분산 스트림 응용의 벤치마크 테스트를 위한 Apache Storm의 성능 측정 기법

초록

최근, 소셜 네트워킹 서비스(SNS), 사물 인터넷(IoT) 등에서 대용량으로 발생하는 데이터 스트림을 실시간으로 빠르게 처리하기 위해 데이터 스트림 처리 기술 연구가 활발하다. 특히, 분산 환경에서 높은 처리 성능을 보이는 분산 스트림 처리 엔진인 Apache Storm은 기존 스트림 응용을 확장한 분산 스트림 응용 개발에 많이 활용되고 있다. 이러한 응용의 분산화를 통한 성능 향상을 정량적으로 평가하기 위해 분산 스트림응용의 벤치마크 테스트는 매우 중요하다. 하지만, 분산 환경에 배치된 다수의 태스크로부터 분산 스트림 응용의 처리 성능을 추적하고 수집하는 것은 복잡한 작업이다. 본 논문에서는 Storm에서 동작하는 분산 스트림응용의 처리 성능을 측정하는 다섯 가지 벤치마크 기법들을 설명하고 이들의 장단점을 분석한다. 각각은 로컬 파일 시스템 기반, 데이터베이스 기반, 메시지 큐 기반, REST API 기반, 메트릭 서버 기반이며, 이들의비교를 통해 분산 스트림 응용의 특성에 따라 적합한 벤치마크 테스트를 수행할 수 있다.

키워드