코렌트로피 기반 학습 알고리듬의 커널 사이즈에 관한 연구

초록

머신 러닝 및 신호처리에 활용되고 있는 정보이론적 학습법(ITL, information theoretic learning)은 커널 사이즈() 설정이 매우 민감한 어려움을 지닌다. ITL의 성능지표중 하나인 코렌트로피 함수를 최대화하는 성능지표에 대해, 기울기에 존재하는 를 제거한 뒤 남은 커널 사이즈에 대해 적응적으로 조절하는 방법들이 연구되었다. 이 논문에서는, 의 커널 사이즈가 실제 시스템의 민감성이나 불안정에 큰 역할을 하고 있으며 남은 부분에 존재하는 커널 사이즈에 대한 최적해는 오차의 절대값 근방에 수렴함에 따라 오히려 수렴 후 가중치 갱신을 멈추게 하는 부작용이 나타남을 밝혔다. 이에 적응적 커널 사이즈 조절 대신 적절한 상수를 선택하는 것이 보다 효과적이라는 것을 제안하였고, 실험 결과에서 동일한 수렴 속도에 약 2dB 향상된 정상상태 MSE를 보였다. 제안한 방식을 더욱 열악한 다경로 채널환경에 적용하여 실험한 결과 4dB 이상의 성능향상을 보여 제안한 방식은 열악한 상황일수록 더욱 향상된 성능을 보임을 알 수 있다.

키워드