HybridPR: RDMA 및 MPI 기반 하이브리드 분산 병렬 PageRank 알고리즘

초록

본 논문에서는 PageRank의 분산 병렬화를 위한 새로운 알고리즘인 HybridPR(Hybrid PageRank)을 제안한다. RDMA(Remote Direct Memory Access)와 MPI(Message Passing Interface)는 고속 분산 클러스터에서 많이 활용되는 대표적인 통신 방식이다. 이 중 RDMA를 이용한 PageRank(DistPR)는 멀티 노드 환경에서 노드 간 분산 처리를 목적으로 하기 때문에, 각 노드 자체의 성능을 최대로 활용하지 못하는 단점이 있다. 이를 해결하기 위해, 본 논문에서는 먼저 멀티 노드 환경에서 PageRank 연산에 노드 간 분산 처리(RDMA)뿐만 아니라 노드 내 병렬 처리(MPI)까지 적용한 HybridPR을 제안한다. 다음으로, HybridPR의 그래프 처리 성능을 향상시키기 위해 프로세서 단위로 그래프 데이터의 정점(Vertex)을 분할하는 EWP+(Equi-Weight Partitioning+)를 함께 제시한다. 마지막으로, HybridPR의 효율성을 확인하기 위해 DistPR(RDMA-only PageRank) 및 MPI-PR(MPI-only PageRank)를 비교 모델로 각각 구현하여 그래프 처리 성능을 비교한다. 실험 결과, HybridPR은 DistPR에 비해 최대 4.19배, MPI-PR에 비해 최대 1.32배 빠른 성능을 보였다. 이러한 결과로 볼 때, HybridPR이 단독 통신 기법만을 사용하는 기존 방법에 비해 대규모 그래프 처리를 위한 멀티 노드 환경에 보다 적합함을 알 수 있다.

키워드