카프카 스트림즈를 이용한 IoT 데이터 샘플링 시스템

초록

센서 데이터는 빠른 속도로 생성되는 시계열 스트림 형태이며, 누적된 센서 데이터를 그대로 사용하는 데는 매우 큰 처리 비용이 발생한다. 본 논문에서는 이러한 실시간, 대용량 IoT 센서 데이터의 처리 비용 감소 및 정제 효과를 확보하고자 카프카 스트림즈(Kafka Streams)를 이용한 실시간 샘플링 시스템을 제안한다. 제안 시스템의 설계를 위해, 본 논문에서는 먼저 라즈베리 파이와 온습도, 조도 등 실제 센서를 이용해 실시간 IoT 데이터 생성기를 구축한다. 그리고, 생성기에서 입력되는 센서 데이터를 카프카 클러스터 및 카프카 스트림즈를 통해 샘플링하는 시스템을 설계 및 구현한다. 실험 결과, 제안 시스템에서 빠르게 생성되는 IoT 데이터를 조건에 따라 정상적으로 샘플링함을 보였다. 또한, 샘플링 결과가 분석 과정에 활용하는 데 문제없을 정도로 원본의 트랜드와 특성을 잘 따름을 함께 확인하였다. 결과적으로, 제안 방법은 실시간, 대용량 센서 데이터의 처리 비용을 감소시키고, 이를 통해 보다 다양한 스트림 데이터의 응용을 가능하게 하는 효율적인 시스템이라 사료된다.

키워드