임베딩 교체에 따른 구어체 텍스트 탐지 모델 성능 비교

초록

딥러닝 기반 욕설 탐지 모델은 구어체의 오탈자 및 띄어쓰기 오류로 인해 정확도 향상에 많은 제약이 있다. 특히, 구어체는 학습 데이터 생성을 위한 형태소 분석에서 단어 의미 파악을 방해하는 형태소가 빈번하게 생성되는 문제점이 있으며, 이는 탐지 모델의 정확도를 떨어뜨리는 가장 큰 요인이다. 본 논문에서는 이러한 한국어 구어체의 문제점을 극복하기 위해, 임베딩에 따른 탐지 모델을 설계 및 구현하고, 이를 기반으로 욕설 탐지 정확도를 비교한다. 탐지에는 Word2Vec, fastText, SKT-KoBERT, KoELECTRA의 총 네 가지 임베딩 모델을 사용하며, 실험을 통해 각 임베딩 기반 욕설 탐지 모델 성능을 비교 및 평가한다. 실험 결과, 사용 문자 단위에 따른 실험은 Word2Vec과 fastText 모두 90% 이상의 정확도를 보였고, 중의성 판단 여부에 따른 실험에서는 SKT-KoBERT가 fastText에 비해 월등히 높은 성능을 보이는 것으로 나타났다. 마지막으로, 사전 학습 방법에 따른 실험 또한 SKT-KoBERT가 KoELECTRA에 비해 높은 성능을 보이는 것으로 나타났다. 본 논문의 실험 결과를 통해, 다양한 구어체 기반 딥러닝 서비스에 보다 효과적인 임베딩 기술을 적용할 수 있을 것으로 사료된다.

키워드