쿠버네티스와 Ceph 환경을 활용한 GraphSAGE 분산 학습 프레임워크

초록

본 논문에서는 쿠버네티스와 Ceph를 활용한 GraphSAGE 분산 학습 프레임워크를 제안한다. 기존 분산 학습 프레임워크는 로컬 스토리지의 데이터 중복 및 동기화 문제와 NFS의 결함 내성이 존재한다. 또한, 프레임워크 확장 시 제약이 발생한다. 이러한 문제를 해결하기 위해, 본 논문에서는 쿠버네티스를 활용하여 파드를 효율적으로 배포하고, 소프트웨어 설치 오버헤드를 줄여 확장성 제약을 완화한다. 또한, Ceph를 활용하여 데이터를 분산 저장함으로써 데이터 중복 및 동기화 문제를 완화하고, 자동 복구 기능으로 결함 내성을 강화한다. 실험 결과, 제안하는 K8s-Ceph 프레임워크는 기존 문제점을 해결하면서도 성능을 유지하였다. 또한, 하나의 노드에 여러 프로세스(또는 파드)를 구성한 경우 학습 속도 또한 향상되었다. 이러한 결과는 K8s-Ceph 프레임워크가 데이터 접근 및 분산 처리 효율을 높여 대규모 학습 환경에서 성능 개선을 이룰 수 있는 의미 있는 연구라 사료된다.

키워드