객관식 문항 난이도는 어떻게 결정되나? LLM이 밝혀낸 새로운 해석 가능 AI 모델

객관식 시험의 난이도를 AI는 어떻게 판단하는지 설명할 수 있을까

최근 콜롬비아 Universidad Pedagógica Nacional 연구진과 공동 연구팀이 국제 학술지 AI(MDPI)에 발표한 연구는 객관식 시험 문항의 난이도를 예측하는 새로운 방법을 제안했다. 단순히 "이 문제는 어렵다"라고 예측하는 것이 아니라, 왜 어려운지를 설명할 수 있는 AI 모델을 개발한 것이 핵심이다.

최근 대규모 언어모델(LLM)은 의사 국가시험(USMLE), 변호사 시험 등 다양한 표준화 시험에서 높은 성능을 보이고 있다. 그러나 정답을 맞히는 능력과 별개로, AI가 어떤 근거로 특정 문제를 어렵거나 쉽다고 판단하는지는 여전히 '블랙박스'에 가까웠다.

이번 연구는 이러한 문제를 해결하기 위해 객관식 문항을 구성하는 각각의 선택지가 얼마나 그럴듯하게 보이는지를 분석하는 새로운 접근법을 제안했다. 연구진은 이를 통해 기존의 복잡한 딥러닝 모델보다 훨씬 단순하면서도 설명 가능한 구조를 구현했다.

객관식 시험 난이도는 왜 예측하기 어려울까

교육 평가에서 문항 난이도는 매우 중요한 요소다. 시험이 지나치게 쉽거나 어려우면 학생들의 실력을 정확하게 구분하기 어렵다.

국가시험이나 대학 입시에서는 새로운 문항을 실제 시험 전에 수천 명에게 미리 풀게 하여 난이도를 측정하는 '파일럿 테스트'를 실시하는 경우가 많다. 하지만 이런 방식은 상당한 비용이 들고, 한 번 공개된 문항은 보안상 다시 사용하기 어렵다는 문제가 있다.

이 때문에 실제 응시자 데이터를 수집하지 않고도 문항의 난이도를 예측하는 AI 연구가 꾸준히 진행되어 왔다.

기존 AI는 정확했지만 이유를 설명하지 못했다

기존 연구들은 문장의 길이, 단어의 난이도, 문법 구조, 의미 분석 결과, 수백 개의 언어적 특징 등을 동시에 사용하는 딥러닝 모델을 활용했다.

이러한 모델은 높은 정확도를 보였지만 문제도 있었다.

예를 들어 어떤 문제가 어렵다고 예측되더라도 다음과 같은 이유를 설명하기 어려웠다.

• 어떤 오답이 문제였는지
• 정답이 너무 명확했는지
• 특정 선택지가 지나치게 그럴듯했는지

교육 현장에서 교사가 문항을 수정하려 해도 AI가 제시하는 수백 개의 변수들을 이해하기는 사실상 불가능했다. 연구진은 이러한 한계를 '설명 가능성(interpretablity)의 부족'이라고 지적했다.

연구진은 선택지 하나하나의 '그럴듯함'에 주목했다

이번 연구의 가장 큰 특징은 문제 전체를 분석하지 않았다는 점이다.

대신 객관식 문항을 다음과 같이 분해했다.

• 정답
• 오답 1
• 오답 2
• 오답 3
• 필요한 경우 추가 선택지

그리고 GPT 기반 LLM에게 각각의 선택지가 얼마나 정답처럼 보이는지를 백분율로 평가하도록 했다.

예를 들어 어떤 오답이 매우 그럴듯하면 학생들이 많이 속게 되고, 결과적으로 문제는 어려워질 가능성이 커진다.

반대로 정답이 너무 명확하면 문제는 쉬워질 가능성이 높다.

연구진은 이러한 원리를 하나의 수학식으로 표현했다. 문항 난이도는 오답들의 평균 그럴듯함을 정답의 그럴듯함으로 나눈 비율로 계산했다. 정답보다 오답이 더 매력적으로 보일수록 난이도가 높아진다는 직관을 그대로 반영한 모델이다.

GPT는 선택지끼리 직접 비교하며 판단을 수정했다

연구진은 단순히 각 선택지를 독립적으로 평가하지 않았다.

모든 선택지를 서로 짝지어 비교하는 방식도 함께 사용했다.

예를 들어

• A와 B 중 어느 쪽이 더 정답처럼 보이는가
• B와 C 중 어느 쪽이 더 가능성이 높은가
• C와 D 중 어느 쪽이 더 타당한가

와 같은 비교를 반복 수행했다.

이 과정에서 GPT가 동일한 선택지를 상황에 따라 다르게 평가하는 경우에는 해당 선택지의 신뢰도를 낮추는 보정 과정을 추가했다.

이러한 단계적 비교(divide-and-conquer prompting)는 LLM이 단순히 정답을 맞히는 것이 아니라, 선택지 간의 상대적인 설득력을 평가하도록 유도하는 핵심 기법이었다.

미국 의사국가시험과 콜롬비아 국가시험에서 성능을 검증했다

연구진은 두 개의 실제 시험 데이터를 이용해 모델을 검증했다.

첫 번째는 미국 의사국가시험인 USMLE 데이터셋이다.

총 667개의 객관식 문항이 사용됐으며, 이 가운데 466문항으로 모델을 학습하고 201문항으로 성능을 평가했다.

두 번째는 콜롬비아 교육평가기관(ICFES)의 실제 국가시험 데이터였다.

여기에는 대학수학능력시험에 해당하는 다양한 시험 문항 154개가 포함됐다.

연구는 영어와 스페인어라는 서로 다른 언어 환경에서도 동일한 접근법이 효과적인지 함께 검증했다.

단 3개의 핵심 변수만으로 기존 AI와 비슷한 정확도를 달성했다

이번 연구에서 가장 인상적인 결과는 모델의 단순성이다.

기존 최고 수준 모델들은 수백~수천 개의 특징과 수천만 개 이상의 파라미터를 활용했다.

반면 이번 모델은 단 3개의 핵심 매개변수만으로 문항 난이도를 설명했다.

USMLE 데이터에서는 RMSE 0.277을 기록해 기존 최고 수준 연구들과 비슷한 예측 정확도를 보였다.

또한 문항 난이도의 상대적인 순서를 얼마나 잘 맞추는지를 나타내는 Spearman 상관계수는 0.427을 기록했다. 이는 기존 연구 대비 약 70.8% 향상된 결과였다.

ICFES 데이터셋에서는 Spearman 상관계수 0.488을 기록하며 언어와 시험 종류가 달라도 접근법이 유효함을 확인했다.

AI가 어렵다고 생각하는 문제와 사람이 어려워하는 문제는 달랐다

흥미로운 결과도 발견됐다.

연구진은 LLM이 어렵다고 판단하는 문항과 실제 응시자들이 어려워하는 문항의 순위가 일치하지 않는 경우가 적지 않다는 사실을 확인했다.

즉 AI는 사람과 다른 방식으로 문제를 해석하고 있었다.

어떤 문제는 AI가 매우 어렵다고 평가했지만 사람은 쉽게 풀었고, 반대로 사람에게 어려운 문제가 AI에게는 쉬운 경우도 있었다.

이러한 차이는 현재 LLM이 인간의 사고 과정을 완전히 모방하지는 못한다는 점을 보여주는 중요한 결과다. 동시에 AI가 교육 평가에 활용될 때는 사람의 실제 응답 데이터를 함께 고려해야 함을 시사한다.

문항 제작 과정에서 AI가 조언하는 시대가 열릴 가능성이 있다

이번 연구는 단순히 난이도를 예측하는 AI를 만든 것이 아니다.

교사나 출제자가 새로운 객관식 문항을 만들 때 어떤 오답이 지나치게 약한지, 어떤 선택지가 너무 정답처럼 보여 문항을 어렵게 만드는지를 구체적으로 알려줄 수 있는 기반을 마련했다.

이러한 설명 가능한 AI는 자동 문항 생성 시스템이나 교육용 AI 도구에도 활용될 가능성이 크다. 특히 실제 시험 전에 문항의 품질을 빠르게 평가하고 수정할 수 있다면 시험 개발 비용과 시간을 크게 줄일 수 있을 것으로 기대된다.

다만 연구진은 이번 모델이 주로 교육 분야의 객관식 시험 데이터를 기반으로 검증됐으며, 다른 분야나 다양한 형태의 평가에 적용하려면 추가 연구가 필요하다고 설명했다. 또한 LLM의 판단이 항상 인간의 판단과 일치하는 것은 아니므로 실제 교육 현장에서는 경험적 검증과 함께 활용해야 한다고 강조했다.

선택지의 설득력이 문항 난이도를 결정하는 중요한 단서가 될 수 있다

이번 연구는 객관식 문항의 난이도를 단순한 언어적 복잡성이 아니라 선택지 간 경쟁 관계에서 찾았다는 점에서 의미가 크다. 특히 대규모 언어모델을 이용해 각 선택지의 그럴듯함을 개별적으로 평가하고 이를 단순한 수학적 모델로 결합함으로써, 높은 예측 성능과 설명 가능성을 동시에 확보했다.

향후 이러한 접근법이 더욱 다양한 시험과 교육 환경에서 검증된다면, AI는 단순히 문제를 푸는 도구를 넘어 더 나은 시험 문항을 설계하는 조력자로 활용될 가능성이 커질 것으로 보인다.

출처 

Dueñas, G., Jimenez, S., & Mateus Ferro, G. E. (2026). Unveiling the Black Box of Item Difficulty: An Interpretable Decomposition Approach Using LLM-Based Option Plausibility. AI, 7, 249. https://doi.org/10.3390/ai7070249