AI 튜터는 정말 ‘소크라테스식 질문’을 하고 있을까? 737건의 대학생 대화를 분석한 연구

소크라테스식 질문을 통해 학생의 사고를 이끌어가는 교육용 AI의 모습을 상징적으로 표현한 이미지. 이번 연구는 AI가 학생과의 대화에서 어떤 질문 전략을 사용하는지 분석했으며, 학습 효과 자체가 아니라 대화 패턴을 조사했다.

정답을 알려주는 AI보다 질문을 던지는 AI가 더 좋은 교사일까?

최근 교육용 AI는 단순히 답을 제공하는 수준을 넘어 학생이 스스로 생각하도록 유도하는 방향으로 발전하고 있다. 그 대표적인 방법이 바로 소크라테스식 문답(Socratic dialogue)이다. 질문을 이어가며 학생이 스스로 답을 찾도록 돕는 방식이다.

그렇다면 실제 교육 현장에서 사용하는 AI는 정말 이런 대화 방식을 구현하고 있을까?

2026년 AI 저널에 발표된 이번 연구는 콜롬비아의 원격대학에서 운영 중인 AI 튜터 MIA(Intelligent Mentor of Accompaniment)와 학생들이 나눈 737개의 실제 대화를 분석해 이 질문에 답하고자 했다. 중요한 점은 이 연구가 학생의 학습 효과를 검증한 것이 아니라 AI의 대화 방식 자체를 분석한 연구라는 점이다.

학생에게 답을 주기보다 질문을 던지는 AI

연구진은 MIA가 소크라테스식 대화를 얼마나 구현하는지 평가하기 위해 여섯 가지 대화 요소를 정의했다.

• 기존 지식을 먼저 확인하는가
• 학생의 상황을 먼저 파악하는가
• 실제 경험과 연결하는가
• 학생이 스스로 판단하도록 유도하는가
• 질문을 단계적으로 발전시키는가
• 마지막에 이해 여부를 확인하는가

이 여섯 가지가 각각 대화 속에서 얼마나 자주 등장하는지 분석했다.

흥미로운 점은 연구진이 처음부터 “교육 효과를 증명하려는 연구가 아니다”라고 여러 차례 강조했다는 점이다. AI가 이러한 질문을 했다는 사실과 학생이 실제로 더 많이 배웠다는 사실은 전혀 다른 문제이기 때문이다. 

무엇을 어떻게 조사했나

연구는 단일 사례를 대상으로 한 내용분석(content analysis) 연구다.

분석 대상은 원격대학 학생과 MIA가 나눈 737개의 대화였다. 연구진은 대화를 하나씩 읽으며 여섯 가지 소크라테스식 요소가 등장하는지를 코드화했다.

분석에 사용된 범주는 다음과 같다.

• 기존 지식 탐색(Exploration of Prior Knowledge)
• 상황 파악(Contextual Adjustment)
• 경험 연결(Linkage to Experiences)
• 자율성 유도(Autonomy-Oriented Prompts)
• 단계적 질문(Dialogic Progression)
• 이해 확인(Verification Prompts)

연구진은 먼저 전문가 검토를 거쳐 분류 기준을 수정했고, 이후 전체 데이터를 다시 분석했다. 이 연구는 대화 내용을 분석한 관찰 연구이며, 실험이나 무작위 대조시험은 아니다. 

가장 많이 나타난 것은 ‘상황 파악’

737개 대화를 분석한 결과 가장 자주 등장한 요소는 다음과 같았다.

대화 요소	등장 비율
상황 파악(Contextual Adjustment)	77.1%
이해 확인(Verification Prompts)	76.1%
자율성 유도	73.7%
기존 지식 확인	69.5%
단계적 질문	33.1%
경험 연결	20.4%

즉 MIA는 상당수의 대화에서 먼저 학생이 무엇을 원하는지 확인하고, 마지막에는 “설명이 도움이 되었는가?”, “더 궁금한 점이 있는가?”와 같은 확인 질문을 하는 경향을 보였다. 

개인적인 고민에서는 경험을 더 많이 물었다

대화 종류에 따라서도 차이가 나타났다.

전체 대화의 약 82%는 학업 관련, 12%는 개인적인 대화, 6%는 지원 관련 대화였다.

특히 자신의 경험을 이야기하도록 유도하는 질문은 개인 대화에서는 33.7%, 학업 대화에서는 18.3%로 나타났다.

즉 AI는 개인적인 고민을 다룰 때 학생 자신의 경험을 더 자주 활용하려는 모습을 보였다. 다만 이것이 실제 상담 품질이나 학습 효과 향상을 의미하는 것은 아니라는 점을 연구진은 분명히 밝혔다.

긴 대화일수록 다양한 질문이 등장했다

또 하나 흥미로운 결과는 대화 길이였다.

짧은 대화보다 긴 대화에서 여섯 가지 질문 유형이 훨씬 다양하게 등장했다.

특히 단계적으로 사고를 확장하는 질문(Dialogic Progression)은 짧은 대화에서는 약 20.8%, 긴 대화에서는 52.3%까지 증가했다.

하지만 이것 역시 긴 대화가 더 좋은 교육을 의미하는 것은 아니다.

연구진은 단순히 대화가 길어질수록 다양한 질문을 사용할 기회가 많아졌기 때문일 가능성을 함께 설명했다.

AI가 가장 자주 사용하는 질문 조합도 있었다

737개의 대화에서는 이론적으로 가능한 64가지 질문 조합 가운데 60가지가 실제로 나타났다.

가장 흔했던 패턴은 기존 지식 확인, 상황 파악, 자율성 유도, 이해 확인을 함께 사용하는 형태였다.

반대로 경험 연결과 단계적 질문은 상대적으로 적게 포함되는 경우가 많았다.

이는 MIA가 기본적으로 학생의 상황을 확인하고 생각을 유도하는 질문은 자주 사용하지만, 실제 경험을 깊이 연결하거나 긴 논증을 이어가는 경우는 비교적 적었음을 보여준다. 

이 연구가 입증한 것과 입증하지 않은 것

이 논문에서 가장 중요한 부분은 연구진이 결과 해석의 범위를 매우 엄격하게 제한했다는 점이다.

논문이 보여준 사실은 다음과 같다.

• MIA는 소크라테스식 질문과 유사한 대화 패턴을 자주 사용했다.
• 질문 유형은 대화 목적과 길이에 따라 달라졌다.
• 다양한 질문 조합이 실제 대화에서 나타났다.

반면 다음 내용은 이번 연구로는 증명되지 않았다.

• 학생이 더 많이 배웠는가
• 비판적 사고가 향상됐는가
• 자기주도학습 능력이 증가했는가
• 학생 만족도가 높아졌는가
• AI가 일반 챗봇보다 우수한가

이러한 결과를 확인하려면 별도의 학습 성과 측정과 비교 실험이 필요하다. 실제로 연구진도 후속 연구가 필요하다고 여러 차례 강조했다. 

이번 연구가 갖는 의미

생성형 AI 교육 연구에서는 종종 “AI가 학습을 향상시킨다”는 결론이 먼저 주목받는다. 그러나 이번 논문은 그보다 한 단계 앞선 질문을 던진다.

AI는 실제로 어떤 방식으로 학생과 대화하고 있는가?

연구 결과는 교육용 AI가 단순한 질의응답 시스템이 아니라 질문을 통해 사고를 유도하는 구조를 구현할 수 있음을 보여준다. 다만 그 질문이 실제 학습 향상으로 이어지는지는 아직 확인되지 않았다.

즉 이번 연구는 AI의 교육 효과를 증명한 연구가 아니라, AI가 소크라테스식 대화를 어떻게 구현하는지를 체계적으로 분석한 연구라는 점에서 의미가 있다. 향후 교육용 AI를 평가하거나 설계할 때 활용할 수 있는 분석 틀을 제시했다는 점도 중요한 기여다.

논문 출처

Velandia, C. A., Bedoya, N. I., Chiappe, A., & Muñoz-Ballier, D. (2026). Socratic Mediation Patterns in AI–Student Interactions: A Content Analysis of a Conversational Agent in Distance Higher Education. AI, 7(8), 303. https://doi.org/10.3390/ai7080303 :contentReference[oaicite:8]{index=8}