중학생 수학 서술형 평가의 자동 피드백: 비지도 학습과 거대언어모델의 만남

의미 기반 클러스터링을 활용해 학생들의 수학 풀이를 분석하고, 대규모 언어모델(LLM)이 맞춤형 피드백을 생성하는 과정을 개념적으로 표현한 이미지.

교실에서 학생들이 작성한 수학 서술형 답안을 하나씩 읽고 맞춤형 피드백을 건네는 일은 상당한 시간이 소요되는 과정이다. 최근 거대언어모델(LLM)이 교육 현장의 이러한 평가 부담을 덜어줄 대안으로 주목받고 있지만, 인공지능이 참고할 모범 답안이나 예시를 사람이 직접 일일이 골라 프롬프트에 입력해야 하는 번거로움이 여전히 실무적 걸림돌로 남아 있다.

이러한 문제를 해결하기 위해 연구진은 비지도 의미론적 군집화 기법을 활용해 LLM 피드백용 예시를 자동으로 선별하는 방법론을 연구했다. 중학교 7학년 수학 부등식 문제를 바탕으로 100개의 모의 학생 응답을 생성하고 분석한 결과, 인공지능이 생성한 피드백의 96.42%가 교사 평가에서 수용 가능한 수준을 기록했다. 이 연구는 자동화된 군집화가 프롬프트 엔지니어링의 수고를 덜면서도 교육적으로 활용 가능한 피드백을 만들어낼 수 있음을 보여준다.

시맨틱 클러스터링으로 학생들의 논리 구조를 읽어내다

연구진은 학생들의 서술형 답안을 그대로 대입하는 대신, 문장 임베딩 모델인 Sentence-BERT를 이용해 텍스트를 고차원 벡터로 변환했다. 이어 UMAP을 통해 차원을 축소하고, 밀도 기반 군집화 알고리즘인 HDBSCAN을 적용해 학생들의 풀이 과정에 담긴 공통된 추론 패턴을 그룹화했다.

이 과정에서 기계는 정답 여부라는 기계적 분류를 넘어, 학생들이 공유하는 대수적 논리 구조를 중심 기준으로 삼았다. 예를 들어, 올바른 풀이를 상세하게 적은 집단과 핵심만 간결하게 적은 집단은 의미론적 유사성에 따라 하나의 큰 군집으로 묶였다. 이는 인공지능이 표면적인 글자 배열이 아니라 학생들이 문제를 해결하기 위해 거친 사고의 흐름 자체를 포착해 낸다는 점을 시사한다.

중심값과 경계값 예시가 이끌어낸 높은 피드백 품질

군집화된 데이터 속에서 연구진은 각 그룹의 중심에 위치한 전형적인 답안과 군집의 외곽에 위치한 예외적 답안을 함께 추출해 LLM의 소수 예시 프롬프트로 구성했다. 이렇게 만들어진 프롬프트를 바탕으로 인공지능이 93개의 학생 답안에 대한 개별 피드백을 생성했다.

6명의 독립된 현직 수학교사가 참여한 평가에서 전체 피드백 평점 중 96.42%가 3점 이상을 받았다. 특히 수정 없이 바로 학생에게 전달할 수 있거나 사소한 문구만 고치면 되는 4점 이상의 우수 평가는 86.38%에 달했다. 교사들은 인공지능이 학생의 구체적인 오류 지점을 정확히 짚어내고 알맞은 교육적 어조를 유지한다고 평가했다.

완벽해 보이지만 숨어 있던 인공지능의 한계와 오류

대다수의 피드백이 긍정적인 평가를 받았으나, 낮은 점수를 받은 사례들은 인공지능 기반 평가 시스템이 지닌 구조적 한계를 명확히 드러냈다. 주요 실패 유형은 다음과 같다.

완결성 환각 현상: 간결하게 작성되어 중간 풀이 과정이 생략된 답안에 대해, 인공지능이 마치 학생이 올바른 과정을 거친 것처럼 착각하여 누락된 단계를 스스로 채워 넣으며 과다하게 점수를 부여했다.

산술 검증 실패: 학생이 계산 과정에서 저지른 명백한 산술 오류를 독립적으로 재검산하지 않고, 최종 결론이 그럴듯하다는 이유로 그대로 정답으로 인정해 버리는 태도를 보였다.

정상 논리 오인: 정규 군집에 속하지 않고 노이즈로 분류된 예외적 답안의 경우, 인공지능이 표준화된 예시 틀에 얽매여 타당한 독창적 풀이 과정조차 오류로 잘못 판정했다.

교육 현장 도입을 위한 과제와 전망

이번 연구는 비지도 학습을 통한 자동 예시 선별이 교사의 프롬프트 작성 노력을 대폭 줄여주며, 대규모 학급에서도 실시간 형성평가를 가능하게 하는 실현 가능성을 입증했다.

다만, 확률적으로 텍스트를 생성하는 거대언어모델의 특성상 수학적 엄밀성을 담보하기 위해서는 외부 기호 연산 도구를 활용해 산술 오류를 원천 차단하는 하이브리드 아키텍처 도입이 요구된다. 또한, 소외되기 쉬운 예외적 사고나 간결한 풀이 유형을 프롬프트 구성에 더 세밀하게 반영한다면, 더욱 신뢰도 높은 인공지능 교육 보조 시스템으로 진화할 수 있을 것이다.

글 정보

출처: Pant, Y. R., Adarbah, H. Y., Noore, A., Che, D., Ahmed, A., & Ayala, R. (2026). Semantic Clustering for Automated Few-Shot Exemplar Selection in LLM-Based Formative Feedback for Middle-School Mathematics: A Feasibility Study. AI, 7(8), 280. https://doi.org/10.3390/ai7080280