DistPR: 대용량 그래프 처리를 지원하는 로드 밸런싱을 고려한 분산 PageRank 알고리즘

초록

본 논문에서는 대용량 그래프 데이터의 분산 병렬 처리를 위한 DistPR(Distributed PageRank) 알고리즘을 제안한다. DistPR은 고성능 클러스터 환경을 대상으로 하며, 이를 위해 고속 네트워크 프로토콜인 RDMA(Remote Direct Memory Access)를 사용한다. 기존 분산 병렬 처리에 많이 사용되는 프로토콜로는 MPI(Message Passing Interface)가 있다. 그러나, MPI는 다수 노드로 클러스터를 구성하는 경우 복잡한 추가 설정이 필요하고, 특정 노드의 통신 집중 현상으로 인해 전체 성능에 오버헤드가 발생한다. 본 논문에서는 RDMA 기반 클러스터가 MPI를 대체할 수 있음을 보이기 위해 DistPR과 MPI-PR(MPI-based PageRank)를 각각 설계 및 구현하고, 실험을 통해 성능을 비교한다. 그리고, 제안 알고리즘의 노드별 로드 밸런싱을 위해 새로운 그래프 파티셔닝 기법을 함께 제시한다. 실험 결과, 제안하는 DistPR이 MPI-PR보다 최대 1.29배 빠른 성능을 보였다. 또한, 파티셔닝을 적용한 결과 DistPR에서 각 노드의 처리 시간이 균일해지는 효과가 있음을 확인하였다.

키워드