일본어 AI 문체에도 ‘지문’이 있을까? GPT-5·Claude·Gemini를 구별한 최신 연구
최근 교토첨단과학대학교와 메지로대학교 연구진이 발표한 연구에 따르면, 서로 다른 대형언어모델(LLM)이 생성한 일본어 문서는 상당히 높은 정확도로 구별할 수 있는 것으로 나타났다. 이번 연구는 GPT-5, Claude 3.5, Gemini, Microsoft Copilot, Llama 3.1, Perplexity 등 6개 주요 LLM이 작성한 일본어 공공의견서(public comment)를 분석해 각 모델이 고유한 언어적 특징, 즉 일종의 ‘디지털 지문(fingerprint)’을 갖고 있는지를 검증했다. 생성형 AI의 활용이 급속히 늘어나면서 허위정보, 여론 조작, 자동화된 댓글 생성 같은 문제가 사회적 이슈로 떠오르고 있다. 만약 특정 문서가 AI에 의해 작성됐다는 사실뿐 아니라 어떤 AI 모델이 작성했는지까지 식별할 수 있다면 책임 추적과 디지털 포렌식 분야에서 매우 중요한 도구가 될 수 있다. 이번 연구는 바로 이러한 질문에서 출발했다. 과연 같은 트랜스포머(Transformer) 구조를 기반으로 만들어진 여러 LLM도 서로 다른 문체적 특징을 남길까? AI가 쓴 글끼리는 정말 구별하기 어려울까 기존 연구들은 주로 인간이 작성한 글과 AI가 작성한 글을 구분하는 데 집중해 왔다. 실제로 여러 연구에서 사람들은 AI가 작성한 글과 인간이 작성한 글을 육안으로 구분하는 데 어려움을 겪는 것으로 나타났다. 하지만 머신러닝 기반 분석은 상당히 높은 정확도로 이를 구별해냈다. 문제는 그 다음 단계다. AI가 작성한 글이라는 사실을 알게 된 이후, 그것이 GPT 계열인지 Claude인지 Gemini인지까지 구분할 수 있을까? 지금까지 영어권에서는 일부 연구가 있었지만 일본어 환경에서 여러 LLM을 직접 비교한 연구는 거의 없었다. 연구진은 이 공백을 메우기 위해 일본어 텍스트에 집중했다. 300개의 일본어 문서를 이용한 비교 실험 연구진은 총 300개의 일본어 공공의견서 데이터를 구축했다. 각 모델은 ...