Apache Storm에서 지역성을 고려한 효율적인 트래픽 분배

초록

Apache Storm이란 대표적인 실시간 분산 처리 시스템으로써, 분산 서버를 통해 실시간 데이터를 빠르게 처리하는 특징을 갖는다. 기존에 Storm은 다수의 서버에 트래픽을 분배할 때, 셔플(Shuffle) 그룹핑은 처리 지연 문제가 발생하며 이를 개선한 로컬(Local-or-Shuffle) 그룹핑은 트래픽이 특정 노드에 편중되는 문제가 발생할 수 있다. 본 논문은 이러한 기존 Storm 그룹핑에서 발생할 수 있는 문제를 해결하기 위한 지역성 고려(Locality-aware) 그룹핑을 제안한다. 실험에서는 제안하는 지역성 고려 그룹핑이 기존의 셔플 그룹핑 및 로컬 그룹핑에 비해 우수함을 확인하였다. 본 논문은 기존의 Storm의 한계점인 지역성과 로드 밸런싱을 동시에 고려한 우수한 결과라 사료된다.

키워드