객관식 문항 난이도는 어떻게 결정되나? LLM이 밝혀낸 새로운 해석 가능 AI 모델
객관식 시험의 난이도를 AI는 어떻게 판단하는지 설명할 수 있을까 최근 콜롬비아 Universidad Pedagógica Nacional 연구진과 공동 연구팀이 국제 학술지 AI(MDPI) 에 발표한 연구는 객관식 시험 문항의 난이도를 예측하는 새로운 방법을 제안했다. 단순히 "이 문제는 어렵다"라고 예측하는 것이 아니라, 왜 어려운지 를 설명할 수 있는 AI 모델을 개발한 것이 핵심이다. 최근 대규모 언어모델(LLM)은 의사 국가시험(USMLE), 변호사 시험 등 다양한 표준화 시험에서 높은 성능을 보이고 있다. 그러나 정답을 맞히는 능력과 별개로, AI가 어떤 근거로 특정 문제를 어렵거나 쉽다고 판단하는지는 여전히 '블랙박스'에 가까웠다. 이번 연구는 이러한 문제를 해결하기 위해 객관식 문항을 구성하는 각각의 선택지가 얼마나 그럴듯하게 보이는지를 분석하는 새로운 접근법을 제안했다. 연구진은 이를 통해 기존의 복잡한 딥러닝 모델보다 훨씬 단순하면서도 설명 가능한 구조를 구현했다. 객관식 시험 난이도는 왜 예측하기 어려울까 교육 평가에서 문항 난이도는 매우 중요한 요소다. 시험이 지나치게 쉽거나 어려우면 학생들의 실력을 정확하게 구분하기 어렵다. 국가시험이나 대학 입시에서는 새로운 문항을 실제 시험 전에 수천 명에게 미리 풀게 하여 난이도를 측정하는 '파일럿 테스트'를 실시하는 경우가 많다. 하지만 이런 방식은 상당한 비용이 들고, 한 번 공개된 문항은 보안상 다시 사용하기 어렵다는 문제가 있다. 이 때문에 실제 응시자 데이터를 수집하지 않고도 문항의 난이도를 예측하는 AI 연구가 꾸준히 진행되어 왔다. 기존 AI는 정확했지만 이유를 설명하지 못했다 기존 연구들은 문장의 길이, 단어의 난이도, 문법 구조, 의미 분석 결과, 수백 개의 언어적 특징 등을 동시에 사용하는 딥러닝 모델을 활용했다. 이러한 모델은 높은 정확도를 보였지만 문제도 있었다. ...