앙상블 기법을 이용한 한국어 단문 분류성능 향상에 관한 연구

초록

현대 사회에서는 짧은 길이의 문장으로 이루어진 문서가 증가하고 있어, 이를 효과적으로 관리하고자 카테고리별로 분류하는 작업이 중요한 과제로 부각 되고 있으며, 이에 따라 효율적이고 성능이 좋은 분류시스템의 필요성이 대두되고 있다. 본 연구에서는 기존에 발표된 연구에서 주로 대상으로 삼았던 문서들보다 훨씬 짧은 길이의 1∼2문장으로 구성된 문서를 대상으로 하며, 이러한 문서들은 다양한 주제와 형식으로 구성되어 있다. 이러한 문서들은 문맥의 부족, 데이터 불균형 등의 특성이 있기에 발생하는 분류의 어려움이 존재한다. 따라서 해당 특성을 고려하여 다양한 기계학습 알고리즘을 조사하고, 다양한 기계학습 알고리즘에 대한 학습을 진행하여 분류성능을 비교한다. 본 연구에서는 로지스틱 회귀, Support Vector Machine, Random Forest, XGBoost, LSTM, BERT 기법을 사용하였다. 이후 분류성능이 뛰어난 알고리즘을 바탕으로 앙상블 기법을 적용하여 단문 분류에서의 정확도를 5∼6% 향상했다.

키워드