FedAttnPSO: Non-IID 환경에서 연합학습 정확도 향상을 위한 개선된 알고리즘 제안

초록

연합학습은 데이터를 공유하지 않고 분산된 환경에서 학습을 수행할 수 있도록 설계된 방법으로, 개인정보보호가 중요한 현대사회에서 실용성을 높이 평가받고 있다. 하지만 각 클라이언트가 보유한 데이터의 양과 분포 및 특성이 모두 상이한 Non-IID 환경에서 모델 성능이 저하되는 한계가 존재한다. 이 문제를 해결하기 위해 알맞은 클라이언트 선택과 가중치 집계 문제를 해결해야 한다. 본 논문에서는 이 문제들을 해결하기 위해 FedAttnPSO를 제안한다. FedAttnPSO는 각 클라이언트의 손실값을 기준으로 성능이 우수한 상위 N개의 클라이언트를 선택한다. 선택된 클라이언트들 중 Attention Mechanism을 통해 성능이 높은 클라이언트의 기여도를 높이고 성능이 낮은 클라이언트의 영향력을 제한하여 동적으로 집계 가중치를 부여한다. 또한 클라이언트 및 서버 측에서 PSO (Particle Swarm Optimization) 알고리즘을 활용한 학습 최적화를 통해 전체적인 모델의 성능을 향상시킨다. FedAttnPSO와 다른 연합학습 알고리즘을 비교하기 위해 표준 이미지 데이터셋인 CIFAR-10, CIFAR-100을 사용하여 비교하였으며, Non-IID 환경에서의 실험을 위해 FEMNIST를 사용하여 FedAttnPSO를 평가 및 비교했다. 실험 결과, 모든 데이터셋에서 기존 알고리즘 대비 성능이 향상됨을 확인하였다.

키워드