다양한 네트워크 환경에서 Apache Storm의 지역성 고려 그룹핑 성능 비교

초록

Apache Storm은 분산 환경에서 데이터 스트림을 빠르게 처리하는 실시간 데이터 처리 시스템이다. Storm은 다수의 서버에서 데이터 스트림을 빠르게 송수신하기 위해, 메시지 수신 서버를 선택하는 스트림 그룹핑 기법들을 다수 제공한다. 하지만, 현재 Storm이 제공하는 그룹핑 기법들은 지역성을 고려하지 않거나 부분적으로만 고려하여 암맹 분배와 부하 불균형 문제가 발생할 수 있다. 이러한 문제를 해결하는 Locality Aware 그룹핑은 지역성을 고려하여 가까운 수신 서버에게 더 많은 메시지를 전송하는 기법이다. 본 논문은 Locality Aware 그룹핑이 속도가 다른 네트워크 대역폭에서 기존 그룹핑 기법 대비 어떤 성능 차이를 갖는지 평가한다. 대역폭의 변화를 위해, 가장 널리 사용되는 Ethernet 장비와 고성능네트워크 장비인 InfiniBand에서 실험한다. 본 논문의 결과는 네트워크 대역폭에 따라 적절한 Storm 그룹핑 기법을 선택하는 기준으로 활용될 수 있다.

키워드