의미역 결정을 위한 In-context Learning의 예제 선택 고도화 및 예제 재정렬

초록

최근 대규모 언어 모델은 대용량 데이터를 사전 학습한 뒤 자체적인 언어 이해능력을 활용하여 추가 학습데이터를 학습시키지 않고 단순하게 프롬프트(Prompt)에 예제를 넣는 방법으로 기존의 작업을 처리할 수 있는 In-context Learning(ICL) 기법이 활발히 연구되고 있다. 그러나 이러한 예제 기반의 ICL 기법은 소량의(Few-shot) 예제에 의존하여 성능이 크게 변화하기에 어떤 예제를 선택하는 지와 그 예제를 어떻게 프롬프트로 구성하는지가 중요하다. 본 논문에서는 의미 구조를 출력해야 하는 비교적 어려운 작업인 의미역 결정(Semantic Role Labeling)에 ICL 기법을 적용할 때 예제 선택을 고도화 하고 이를 재정렬하는 방법을 제안한다. 특히 단순히 예제 순서를 유사도의 역순으로 정렬하는 방법만으로 의미역 결정 작업에서 최적의 예제 순서에 가까운 성능을 낼 수 있음을 확인하였다.

키워드