데이터 스트림의 샘플링 및 필터링을 위한 고속 분산 처리 플랫폼

초록

본 논문에서는 데이터 품질 관리의 대표 기술인 데이터 정제(purification)를 스트림 환경에 적용할 수 있는새로운 분산 처리 플랫폼을 제안한다. 이를 위해, 먼저 기존 정제 기술의 세 가지 문제점을 분석한다. 그리고, 각문제점의 해결 방안으로 오픈소스 프로젝트 기반의 새로운 고속 스트림 처리 플랫폼을 제시한다. 제안 플랫폼은데이터 스트림 처리 엔진, 정제 라이브러리, 플랜 매니저, 공유 스토리지로 구성되며, Apache Storm 및 Apache Kafka를 기반으로 설계한다. 해당 요소들은 스트림 처리 속도 및 처리량이 매우 중요한 성능 지표로, 본 논문에서는 RDMA(Remote Direct Memory Access)를 활용하여 성능을 향상시킨다. 제안 플랫폼의 성능 평가에는 총아홉 대 노드로 구성된 분산 클러스터 환경을 사용하며, 이를 기반으로 각 컴포넌트를 구현 및 평가하였다. 실험을통해 제안 플랫폼의 스트림 처리량이 기존 이더넷 환경 대비 평균 28배 이상, 처리시간은 평균 2,473배 이상 향상되었음을 확인하였다. 결과적으로, 본 논문에서 제안한 스트림 정제 플랫폼은 초고속, 대용량으로 발생하는 스트림의 효율적인 정제를 지원하는 최초의 통합 플랫폼이라 할 수 있다.

키워드