대기오염 관련 사건 탐지를 위한 LLM 기반 뉴스 기사 분류

초록

뉴스 기사는 사회 전반에서 발생하는 다양한 사건을 다루는 대표적인 텍스트 데이터로, 자연어 처리 연구에서 중요한 분석 대상이다. 그러나 실제 뉴스 환경에서는 특정 사건과 관련된 기사보다 일반 뉴스 기사의 비율이 훨씬 높아 심각한 클래스 불균형 문제가 발생하며, 이로 인해 사건 관련 기사를 정확하게 탐지하는 데 어려움이 있다. 본 연구에서는 이러한 문제를 해결하기 위해 대기오염 관련 사건 탐지를 위한 LLM 기반 대기오염 영향 요인 뉴스 기사 분류 기법을 제안한다. 이를 위해 교통, 기상, 산업, 정책, 재난, 일반 뉴스의 여섯 개 클래스를 설정하였다. 또한 다양한 뉴스 매체에서 수집한 6,000건의 기사 데이터를 기반으로 골드 데이터셋을 구축하였다. 제안 방법의 효과를 검증하기 위해 Dynamic Few-shot 프롬프트와 LLM Fine-tuning 기반 분류 방법을 적용하고, 머신러닝, 딥러닝, LLM 기반 접근 방법의 성능을 비교하였다. 실험 결과, Dynamic Few-shot 기반 Fine-tuning 모델이 가장 우수한 성능을 보였으며, 이를 통해 프롬프트 구조가 파인튜닝 성능에도 중요한 영향을 미칠 수 있음을 확인하였다. 또한 제안 방법은 클래스 불균형 환경에서도 소수 사건 유형을 효과적으로 분류하는 데 유효함을 보였다.

키워드