Variable selection in reproducing kernel Hilbert space using random sketch method

초록

커널 능형회귀 (kernel ridge regression; KRR)는 회귀함수를 재생성 커널 힐버트 공간 (reproducing kernel Hilbert space; RKHS)에서 추정하는 비모수적 추정 기법으로, 명시적 모형 가정을 요구하지 않는 장점이 있다. 이러한 RKHS하에서 기울기 벡터들을 학습함을 통해 변수 선택을 하는 방법론이 개발된 바 있다. 그러나 자료의 크기와 변수의 수가 매우 큰 경우, 많은 계산비용을 요구하여 그 활용성에 한계가 있다. 한편 일반적인 KRR에서 계산비용을 줄이기 위하여 커널 행렬을 m차원 랜덤 스케치 행렬을 이용하여 근사 시키는 기법이 개발된 바 있다. 본 연구에서는 RKHS에서 고차원 자료를 효과적으로 분석하기 위한 새로운 KRR 방법을 제안하였다. 제안된 방법은 기존의 RKHS에서의 기울기 학습 기법에 비해 보다 작은 계산 비용으로 동등한 성능을 나타냄을 다양한 모의실험 및 실제 사례 분석을 통해 확인하였다.

키워드