대형 언어 모델의 제주도 방언에 대한 Hallucination 평가

초록

대형 언어 모델은 다양한 고신뢰 응용 분야에서 활발히 활용되고 있으나, 대부분 표준어 기반의 데이터에 학습되어 있어 방언과 같은 저자원언어 입력에 대한 대응에는 구조적 한계를 지닌다. 특히 제주 방언처럼 문법, 어휘, 표현 방식이 표준어와 크게 상이한 경우, 모델이 질문 의도를정확히 해석하지 못하고 근거 없는 정보를 생성하는 Hallucination 현상이 발생할 수 있다. 본 연구는 이러한 문제를 실증적으로 분석하기 위해,표준어와 제주 방언으로 구성된 질의 데이터셋을 구축하고, 상용 LLM 모델을 대상으로 응답의 신뢰도, Hallucination 빈도, 언어 구성 요소별오류 민감도, 모델 간 교차 반응 차이 등을 중심으로 정량적 비교 분석을 수행하였다. 실험 결과, 방언 입력 시 오류 발생률이 전반적으로 증가하며,특히 복수 정답형 문항이나 어미 구성이 복잡한 질의에서 Hallucination 현상이 두드러졌다. 본 연구는 대형 언어 모델이 방언 입력에 대해 얼마나민감하게 반응하는지를 구체적으로 규명하며, 방언 친화적 언어 모델 개발과 안전한 생성형 AI 시스템 설계를 위한 기반 자료를 제공한다

키워드