생성형 AI의 법･정치적 추론 성능 분석: 대학수학능력시험 <정치와 법> 과목을 중심으로

초록

이 연구는 최근 비약적으로 발전한 생성형 AI가 대학수학능력시험 <정치와 법> 문항 정답을 얼마나 정확하게 추론할 수 있는지 분석하고, 모델 유형에 따른 법･정치적 추론 성능의 차이를 검증하는 데 목적이 있다. 이를 위해 GPT 4o, 4.5, o3 모델을 대상으로 2021~2025학년도 <정치와 법> 100개 문항을 풀이시켜 정답률, 원점수, 추정등급을 산출하고, 모델 간 성능 차이를 통계적으로 분석하였다. 분석 결과, 4o와 4.5 모델 간에는 유의한 차이가 나타나지 않아 단순한 양적 개선만으로는 추론 성능 향상이 제한적임을 확인하였다. 반면 추론 특화 모델인 o3는 평균 정답률 83%로 두 모델을 크게 상회하였고, 특히 고난도 문항에서도 높은 정답률을 보였다. 이는 추론 모델의 질적 개선이 법･정치적 사고를 요구하는 문제 해결에서 결정적 영향을 미친다는 점을 시사한다. 본 연구는 수능 <정치와 법> 시험 문항에 대한 AI의 정답 추론 성능을 객관적으로 규명하였다는 점에서 의의를 가지며, 향후 교육평가 및 교수-학습 설계, 그리고 사회과 정치･법교육에서 AI의 실질적 적용 가능성과 패러다임 변화 필요성을 제안하고 있다.

키워드