AI가 쓴 피드백이 공부에 도움이 될까?
 |
| AI가 피드백을 제공하는 것이 과연 도움이 될까? |
이탈리아 대학의 실험이 보여준 의외의 결과
“공부할 때 피드백이 중요하다는 건 누구나 안다. 그런데 그 피드백을 AI가 써준다면 어떨까?”
최근 이탈리아 라퀼라 대학교 연구팀은 이런 질문에 답하기 위해 흥미로운 실험을 진행했다. 데이터 과학 수업에서 학생들에게 과제를 내고, 두 가지 방식의 자동 피드백 시스템을 제공한 것이다. 하나는 기존의 전통적인 인공지능 기반 피드백, 다른 하나는 ChatGPT 같은 대형 언어 모델(LLM)을 활용한 신형 피드백이다.
연구 결과는 흥미로웠다. 학생들은 새로운 LLM 피드백을 “더 좋았다”고 평가했지만, 정작 성적에는 큰 차이가 없었다. 오히려 피드백이 길고 자세해서 집중력이 떨어졌다는 학생도 있었다. “AI가 도와주긴 하는데, 너무 말이 많다”는 셈이다.
---
AI 피드백 시스템, 어떻게 만들었을까?
연구팀은 먼저 학생들에게 데이터 과학 과제를 냈다. 예를 들어 “남녀의 혈압 차이가 통계적으로 유의한지 검정하라”는 식의 과제다. 학생들은 R 언어로 코드를 짜고 해석을 적어 시스템에 제출한다. 그러면 시스템은 피드백을 자동으로 생성해준다.
이 피드백 시스템은 두 가지로 나뉜다.
* 기존 시스템은 코드 오류를 자동으로 분석하고 정답과 비교해 틀린 부분을 지적해주는 방식이다.
* LLM 시스템은 기존 분석 결과를 바탕으로, 마치 사람처럼 “왜 이게 틀렸는지”, “어떤 통계 개념이 잘못됐는지”까지 자세히 설명한다.
예를 들어 “정규성 검정을 안 했다”는 문제를 지적할 때, 기존 시스템은 “정규성 검정이 빠졌습니다”라고만 알려준다. 반면 LLM 피드백은 “표본 수가 적기 때문에 정규성 검정이 필수이며, 결과에 따라 t-검정이나 윌콕슨 검정을 선택해야 합니다”라는 식으로 배경지식까지 덧붙인다.
---
학생들은 어떻게 반응했을까?
연구에 참여한 학생들은 두 그룹으로 나뉘었다. 2022/23 학년도 학생들은 기존 피드백을, 2023/24 학년도 학생들은 LLM 기반 피드백을 사용했다. 각 그룹은 약 130명 규모였고, 성별 비율도 비슷했다.
흥미롭게도, LLM 피드백을 받은 학생들은 시스템을 **더 자주** 사용했다. 시험 전날에는 하루에 2,900건이 넘는 풀이가 제출되기도 했다. 또 설문조사에서 “피드백이 기대보다 훨씬 도움이 됐다”고 답한 비율도 높았다.
그러나 단점도 있었다. LLM 피드백은 설명이 길고 복잡한 탓에, “집중하기 어렵다”는 응답이 눈에 띄었다. 실제로 집중도를 측정한 결과, 기존 피드백을 사용한 작년 학생들보다 집중 점수가 낮았다.
한마디로 말하면, LLM 피드백은 “좋긴 한데 좀 피곤하다”는 것.
---
시험 성적에는 차이가 있었을까?
정작 성적에는 큰 차이가 없었다. 두 그룹 모두 평균 28점 내외(이탈리아 점수 기준, 만점은 30점)에 도달했고, LLM 그룹이 약간 높긴 했지만 통계적으로 의미 있는 차이는 아니었다.
다만 중요한 힌트는 있었다. **많은 문제를 풀어본 학생일수록 성적이 더 좋았다**는 점이다. 특히 90개 이상의 문제를 푼 학생들은 평균 점수가 2점 가까이 높았다. 즉, 피드백 방식보다는 “얼마나 많이 연습했는가”가 더 중요했다는 뜻이다.
---
AI 피드백, 교육의 미래일까?
이 연구는 “AI 피드백이 얼마나 유용한가?”라는 물음에 신중한 답을 던진다. 학생들은 분명 LLM 기반 피드백을 더 선호했지만, 그것이 곧바로 성적 향상으로 이어지진 않았다. 오히려 설명이 과한 탓에 집중력이 분산될 위험도 있었다.
연구팀은 “AI 피드백이 무조건 좋은 건 아니며, 오히려 인지적 부담을 줄 수 있다”고 지적한다. 그러면서 “향후에는 설명을 더 간결하게 하고, 수업 내용과 더 잘 연결되도록 개선해야 한다”고 덧붙였다.
그럼에도 불구하고, 이 연구는 LLM이 교육 현장에서 유용하게 쓰일 수 있음을 보여주는 중요한 첫걸음이다. 특히 혼자 공부할 때 “왜 틀렸는지”를 알고 싶은 학생에겐 큰 도움이 될 수 있다. 다만, AI가 모든 것을 대신해줄 거라는 착각은 금물이다.
---
출처 논문
Letteri, I.; Vittorini, P. Enhancing Student Feedback in Data Science Education: Harnessing the Power of AI-Generated Approaches. *International Journal of Artificial Intelligence in Education*, 2025.