온라인 설문에서 ChatGPT 사용하면 연구 결과가 달라지? LLM 사용을 탐지한 최신 연구
생성형 AI를 활용한 온라인 설문 응답은 연구 결과에 영향을 줄 수 있으며, 연구진은 키보드 입력, 복사·붙여넣기, 페이지 이동 기록 등을 활용해 AI 사용 여부를 탐지할 수 있음을 제시했다. 온라인 설문에서 참가자의 생성형 AI 사용을 어떻게 찾아낼 수 있는지, 그리고 그것이 연구 결과를 얼마나 바꾸는지를 분석한 연구 온라인 설문조사는 심리학, 경영학, 마케팅 연구에서 가장 널리 활용되는 방법 중 하나다. 특히 참가자가 자신의 생각을 자유롭게 작성하는 주관식 문항 은 사람의 사고 과정과 창의성을 측정하는 중요한 도구로 여겨진다. 하지만 생성형 AI가 보편화되면서 새로운 문제가 등장했다. 참가자가 ChatGPT 같은 대규모 언어모델(LLM)을 이용해 답변을 대신 작성한다면 연구 결과는 여전히 사람의 생각을 반영한다고 볼 수 있을까? 독일 프라이베르크 공과대학교 연구진은 이러한 문제를 검증하기 위해 미국 온라인 패널 참가자 892명을 대상으로 실험을 수행했다. 연구 결과는 단순히 AI 사용 여부를 확인하는 수준을 넘어, 어떤 방식으로 탐지하는 것이 가장 효과적인지와 AI 사용이 실제 연구 결과에 어떤 영향을 미치는지까지 분석했다. 참가자의 AI 사용은 생각보다 흔했고 플랫폼마다 차이가 나타났다 연구진은 크라우드소싱 플랫폼인 Prolific 참가자 450명과 MTurk 참가자 442명을 모집했다. 참가자들은 장난감 곰인형을 더 재미있게 만드는 아이디어를 가능한 많이 작성하는 창의적 브레인스토밍 과제를 수행했다. 이러한 과제는 배경지식이 거의 필요하지 않기 때문에 사람의 창의성을 비교적 순수하게 측정할 수 있다는 장점이 있다. 연구에서는 참가자의 AI 사용을 한 가지 방법으로만 판단하지 않았다. 대신 여러 정보를 함께 분석했다. AI 사용 여부를 직접 묻는 자기보고 웹페이지를 벗어난 기록 복사·붙여넣기 기록 키보드 입력 패턴 분당 입력한 단어 수 특히 키보드 입력 기록과 복사·붙여넣기 분석을 ...