챗GPT 덕분에 보고서 쓰는 시간이 절반으로 줄었다?

-

대학원 수업에서 매주 영어로 정책 메모를 써야 한다고 상상해보자. 뉴스 기사 요약하고, 추가 설문조사 자료를 찾아 분석하고, 마지막에는 조직의 정책까지 제안해야 한다. 게다가 이 모든 걸 전부 영어로, 깔끔한 ‘프로의 글’처럼 써야 한다.

여기에 챗GPT 같은 생성형 AI를 제대로 배우고 쓰면 어떤 일이 벌어질까?

국제 학술지 International Journal of Artificial Intelligence in Education에 실린 한 연구는 이 질문에 꽤 분명한 답을 내놓았다. 결론부터 말하면, 학생들이 과제를 끝내는 시간은 절반 이하로 줄었고, 글의 점수는 A-에서 A 수준으로 올라갔다. 특히 영어가 모국어가 아닌 대학원생들에게 효과가 더 컸다. 말 그대로 “영어 글쓰기 레벨링(levelling)”이 일어난 셈이다.

카네기멜론 대학원생 27명을 대상으로 한 작은 실험

이 연구는 미국 카네기멜론대학교의 7주짜리 인공지능 대학원 수업에서 진행했다. 참여자는 석‧박사 과정 대학원생 27명. 전공도 정보시스템, 공공정책, 경영, 컴퓨터공학, 인문학 등 다양했다. 그중 약 56%는 영어가 모국어가 아닌 학생들이었다.

연구팀은 학생들에게 총 세 번의 ‘프로페셔널 메모’ 작성 과제를 줬다. 내용은 매번 다르지만 구성은 항상 같았다.

  • 뉴스 기사 요약하기
  • 인터넷에서 관련 설문조사나 통계 찾기
  • 여러 자료를 비교‧분석하기
  • 그 결과를 기반으로 정책 제안하기
  • 전체 글의 구조와 흐름 정리하기

각 과제는 24점짜리 루브릭으로 채점했다. 요약·외부 조사·분석·정책 제안·스타일 등 8개 항목을 각각 1~3점으로 평가했다.

1단계: AI 완전 금지

첫 번째 과제는 AI 완전 금지 조건에서 진행했다. 학생들은 평소처럼 조사하고 직접 쓰고 스스로 다듬었다. 그리고 실제로 걸린 시간을 직접 재서 제출하게 했다.

2단계: “AI에게 다 맡겨봐라”

두 번째 과제는 30분 안에 AI를 실험해보는 교육용 과제였다. 요약, 조사, 분석, 글쓰기까지 다양한 방식으로 AI를 시험해보는 단계였다. 이 과제는 연구 데이터용이 아니라 “AI의 장단점을 몸으로 배우기 위한” 과제였다.

3단계: AI를 도우미로 쓸지 말지는 학생 선택

이후 2~3주 동안 수업에서는 생성형 AI의 작동 원리, 프롬프트 설계법, 환각 문제 등을 집중적으로 배우고, AI를 글쓰기 전 과정에 어떻게 활용하는지 연습했다.

그 후 세 번째 과제를 줬고, 이번에는 AI 사용 선택 가능이었다. 놀랍게도 학생 27명 모두 AI 사용을 선택했다.

56.7% 빨라지고, 점수는 A-에서 A로

시간: 150분 → 65분

먼저 생산성부터 보자.

  • AI 없음: 중앙값 150분
  • AI 사용: 중앙값 65분

무려 56.7% 감소다. 27명 중 1명을 제외하고 모두 시간이 줄었다.

점수: 91.67 → 95.83

글의 질도 좋아졌다.

  • AI 없음: 91.67% (A-)
  • AI 사용: 95.83% (A)

대학원에서 이 정도 점수 차이는 제법 큰 차이다. 즉, 더 빨라지고 더 잘 썼다.

무엇이 가장 좋아졌나: 구조와 문장

8개 평가 항목 중 특히 다음 두 가지가 눈에 띄게 향상했다.

  • 글의 조직(organization)
  • 문장 스타일·흐름·간결성

AI가 문장 다듬기와 흐름 정리에 강하다는 점이 그대로 드러났다. 반면 정책적 판단이나 깊은 분석 같은 고차원적 영역은 큰 변화가 없었다. 즉, AI는 “예쁘고 자연스러운 글”을 만드는 데 강하지만, 복잡한 판단을 대신하진 못한다.


유학생에게 더 큰 효과

속도 격차 감소

영어 배경에 따라 NES(영어 모국어)와 NNES(비모국어)로 나눠 비교했다.

  • NES: 124분 → 59분
  • NNES: 179.5분 → 66분

처음엔 NNES가 훨씬 오래 걸렸지만, AI 사용 후 그 차이는 거의 사라졌다. AI가 시간 격차를 메워준 셈이다.

점수 향상은 NNES가 더 큼

  • NES: 소폭 상승(통계적으로 뚜렷하지 않음)
  • NNES: 87.5% → 95.8%(큰 폭 상승)

AI 사용 후 NNES의 글이 NES와 거의 같은 수준으로 올라왔다. 이른바 “레벨링 효과”다.

자기평가도 NNES 학생들이 크게 올랐다. 영어 글쓰기에 대한 자신감이 실제 학습에 긍정적으로 작용했을 가능성이 높다.

학생들은 AI를 어떻게 썼나?

설문에서 학생들이 가장 많이 언급한 활용 방식은 다음과 같다.

  • 요약
  • 개요(아웃라인) 작성
  • 문장 교정 및 표현 다듬기
  • 자료 조사와 정리
  • 다수 자료의 통합

부정적 경험을 보고한 학생은 없었다. 전체적으로 “속도 향상” 체감이 가장 컸고, 그 다음이 “글의 질 향상”이었다.

교육과 직장이 배워야 할 것들

이 연구가 보여주는 메시지는 단순하다. “AI를 쓰느냐가 아니라, 어떻게 쓰는지를 가르칠 것.”

  1. 먼저 AI 없이 직접 작성해보고
  2. AI의 한계와 오류를 체험하고
  3. AI 작동 원리와 비판적 활용법을 배운 뒤
  4. AI를 협업 도구로 활용하도록 한다

이러한 단계적 교육이 있을 때 학생들은 더 빠르고, 더 자신감 있게 글을 작성했다.

AI는 글을 대신 써주는 유령 작가가 아니라, 잘만 쓰면 “두 번째 편집자이자 연구 보조자”가 될 수 있다.

앞으로의 글쓰기는 어떻게 달라질까?

앞으로의 세대는 “처음부터 끝까지 혼자 쓰는 글쓰기”를 지금보다 덜 하게 될 가능성이 높다. 하지만 그렇다고 글쓰기 교육이 사라지는 것은 아니다.

오히려 더 중요해지는 능력은 다음과 같다.

  • AI가 만든 결과를 검증하는 능력
  • 논리·사실·윤리적 맥락을 점검하는 능력
  • 도구를 통제하고 협업 파트너로 다루는 메타 스킬

AI는 글을 쓰는 ‘대신봇’이 아니라, 우리가 잘만 다루면 생산성을 극대화해주는 동료다.


출처

Connell Pensky, A. E., Usdan, J. H., & Chang, H. (2025). Generative AI’s impact on graduate student professional writing productivity and quality. International Journal of Artificial Intelligence in Education. https://doi.org/10.1007/s40593-025-00528-z