분산 바이너리 베르누이 샘플링의 최적화

초록

본 논문은 바이너리 베르누이 샘플링(binary Bernoulli sampling, 이하 BBS)의 성능 향상 방법을 제안한다. BBS는 다수의 입력 소스에서 발생하는 대용량 스트림 처리에 효과적인 샘플링 기법이다. 최근에는 이러한 BBS에 다중 코디네이터 구조를 접목한 아파치 스톰(Apache Storm) 기반 분산 BBS 모델이 제시되었다. 그러나, 해당 모델은 코디네이터 대기 문제가 발생하여 성능 향상에 제한이 있다. 본 논문에서는 이 같은 코디네이터 대기 문제를 다중 분배 구조와 분배자 분리 구조를 도입하여 해결한다. 다중 분배 구조는 하나가 아닌 여러 코디네이터가 분배에 참여하는 것으로, 코디네이터의 대기를 최소화한다. 분배자 분리 구조는 코디네이터에서 분배 기능을 분리하여 처리 성능을 극대화한다. 우리는 제안한 구조를 스톰 기반의 분산 BBS에 구현하여 다양한 실험을 진행하였다. 실험결과는 기존 분산 BBS에 비해 최대 90배까지 성능이 향상됨을 보여주었다.

키워드