Plan Manager: Apache Storm 기반 동적 데이터 스트림 정제 플랫폼

초록

데이터 스트림은 지속적으로 끊임없이 생성되므로, 이러한 데이터 스트림 전체를 수집하고 분석하는 것은 매우 비효율적이다. 본 논문에서는 대용량 데이터 스트림의 정제를 위해, 실시간 분산 병렬 프레임워크인 아파치 스톰(Apache Storm)에서 샘플링 및 필터링 알고리즘을 구현하고자 한다. 그런데, 스톰은 입력 데이터구조나 처리 알고리즘의 변경 시 작업 전체를 중단하고, 코드를 수정하고, 재배포하고, 재시작해야만 한다. 본 논문에서는 이와 같이 기존 스톰 환경에서 샘플링 및 필터링 기능을 개발했을 때의 문제점을 도출하고, 이를 해결하기 위한 요구사항을 정의한다. 또한, 데이터 스트림의 입력, 처리, 출력 모듈의 조합으로 구성되는 플랜(plan) 모델을 제시한다. 플랜 매니저(Plan Manager)는 스톰, 카프카, 데이터베이스를 하나의 시스템처럼 운용하며, 플랜을 통해 데이터 스트림에 대한 샘플링과 필터링을 동적으로 적용할 수 있는 통합 플랫폼이다. 특히, 웹 클라이언트를 통해 플랜을 시각적으로 생성, 실행, 모니터링할 수 있는 특징을 가진다. 본 논문에서는 제안하는 플랜 매니저에 대한 설계와 구현 결과를 차례로 제시하여 그 유용성을 보인다.

키워드