AI가 쓴 글과 진짜 뉴스를 구별하는 기술의 한계, 새로운 연구가 밝힌 사실
 |
| 가짜뉴스 탐지 AI는 진실과 거짓보다 사람 문체와 AI 문체의 차이를 학습할 수 있다. 이번 연구는 양쪽 문체를 동일하게 통제했을 때 탐지 성능이 크게 떨어질 수 있음을 보여줬다. |
최신 연구는 가짜뉴스 탐지 AI가 '거짓'을 판별한 것이 아니라 'AI 문체'를 학습했을 가능성을 제기했다.
최근 아제르바이잔 정보기술연구소(Institute of Information Technology)와 아제르바이잔 공과대학교(Institute of Data Science and Artificial Intelligence) 연구진은 기존 가짜뉴스 탐지 인공지능의 성능을 다시 검증한 연구를 발표했다.
연구 결과는 많은 사람이 당연하게 생각했던 전제를 흔든다. 지금까지 높은 정확도를 자랑했던 가짜뉴스 탐지 모델이 실제로는 뉴스의 진실 여부를 판단한 것이 아니라, 사람이 쓴 글과 AI가 작성하거나 수정한 글의 문체 차이를 이용했을 가능성이 크다는 사실을 보여준 것이다.
가짜뉴스 탐지는 생성형 AI 시대에 더욱 중요한 기술이 되고 있다. 누구나 몇 초 만에 자연스러운 기사를 만들어낼 수 있는 환경에서는 거짓 정보를 얼마나 정확하게 식별할 수 있는지가 사회적 신뢰와 직결된다. 하지만 이번 연구는 현재 널리 사용되는 평가 방식 자체에 문제가 있을 수 있다고 지적한다.
연구진은 이를 검증하기 위해 새로운 평가 방법인 Register-Controlled Evaluation을 제안했다. 쉽게 말하면 사람과 AI의 문체 차이를 제거한 뒤에도 탐지기가 제대로 작동하는지를 확인하는 방법이다. 이 접근법은 기존 평가 방식으로는 드러나지 않았던 AI 탐지기의 약점을 명확하게 보여주었다.
높은 정확도가 항상 진실을 구별했다는 의미는 아니다
최근 발표되는 가짜뉴스 탐지 연구를 보면 정확도 98~99%라는 결과를 쉽게 찾아볼 수 있다. 이러한 수치를 보면 이미 기술이 거의 완성 단계에 도달한 것처럼 보인다.
하지만 연구진은 이런 결과를 그대로 받아들여서는 안 된다고 설명한다. 기계학습 모델은 반드시 '진실'이라는 개념을 이해해서 분류하는 것이 아니다. 학습 데이터 안에서 가장 쉽게 발견되는 특징을 이용해 문제를 해결하려고 한다.
예를 들어 고양이 사진과 개 사진을 구분하는 AI를 만들었는데 우연히 고양이 사진에는 항상 파란 배경이 들어 있었다면, AI는 고양이 자체보다 파란 배경을 학습할 수도 있다. 이러한 현상을 Shortcut Learning(지름길 학습)이라고 부른다.
이번 논문은 현재 가짜뉴스 탐지에서도 비슷한 현상이 발생했다고 주장한다.
대부분의 데이터셋은 사람과 AI 문체가 함께 섞여 있다
연구진이 주목한 부분은 기존 데이터셋의 구성 방식이었다. 일반적으로 진짜 뉴스는 언론사가 작성한 기사에서 가져온다. 반면 가짜뉴스는 사람이 작성한 허위 기사뿐 아니라 AI가 생성하거나 AI가 다시 수정한 기사도 함께 포함되는 경우가 많다.
이처럼 데이터를 구성하면 '진짜 뉴스'와 '가짜뉴스' 사이에는 내용뿐 아니라 문체까지 함께 달라진다. 즉, 사람 문체는 진짜 뉴스와 연결되고 AI 문체는 가짜뉴스와 연결되는 패턴이 자연스럽게 형성된다.
AI는 이런 패턴을 매우 빠르게 학습한다. 결국 탐지기가 '거짓인지'를 판단하는 대신 'AI가 쓴 문장처럼 보이는지'만 판단해도 높은 점수를 받을 수 있다. 논문은 이러한 현상을 AI-style-shift vulnerability라고 정의했다.
연구진은 문체 차이를 없애는 새로운 실험을 설계했다
이 문제를 검증하기 위해 연구진은 기존 연구와 다른 실험 구조를 만들었다. 핵심 아이디어는 매우 단순하다. 가짜뉴스만 AI로 다시 작성하지 말고, 진짜 뉴스도 동일한 AI를 이용해 똑같이 다시 작성하는 것이다.
즉, 진짜 기사도 AI가 다시 쓰고 가짜 기사도 AI가 다시 쓰도록 만들었다. 그러면 양쪽 모두 AI 특유의 문체를 갖게 된다. 이렇게 되면 탐지기는 더 이상 'AI 문체'를 이용해 판단할 수 없으며, 오직 기사 내용의 진실성만 이용해야 한다.
논문에서는 이러한 평가 방식을 Register-Controlled Evaluation이라고 부른다. 연구진은 이 방식을 통해 탐지기가 실제로 무엇을 학습했는지 분리해서 측정할 수 있다고 설명한다.
여러 생성형 AI를 거쳐 문체를 계속 바꾸는 '세탁' 과정을 적용했다
연구에서 가장 흥미로운 부분은 Cross-LLM Paraphrase Laundering이라는 과정이다. 연구진은 Claude Sonnet, GPT-4o, Gemini 등 여러 대규모 언어모델을 차례대로 이용해 동일한 기사를 반복해서 다시 작성했다.
예를 들어 사람이 쓴 기사를 Claude가 다시 작성하고, 이어 GPT-4o와 Gemini가 차례대로 다시 작성하는 방식이다. 중요한 점은 기사 속 주장과 숫자, 인물, 장소는 그대로 유지하면서 표현과 문체만 계속 바꾸었다는 것이다.
논문에서는 이런 과정을 Paraphrase Laundering이라고 부른다. 이는 거짓 정보를 숨기는 공격 기법인 동시에 탐지기가 무엇을 학습했는지 확인하는 실험 도구로도 활용됐다.
세 개의 데이터셋과 일곱 개 탐지기를 이용해 성능을 비교했다
연구진은 특정 모델 하나만 평가하지 않았다. 대표적인 가짜뉴스 데이터셋인 WELFake, GossipCop, IFND를 사용했고, 각 데이터셋에서 진짜 기사와 가짜 기사를 균형 있게 추출해 학습과 평가를 수행했다.
탐지기 역시 단순한 TF-IDF 기반 로지스틱 회귀부터 BERT, DistilBERT, RoBERTa-large, Longformer-large까지 총 7종을 비교했다. 모든 모델은 사람의 원본 기사만으로 학습한 뒤 동일한 모델을 변경하지 않고 두 가지 평가 방식에 적용했다. 이렇게 해야 평가 방식의 차이만 성능 변화에 영향을 주는지를 확인할 수 있기 때문이다.
성능이 거의 완벽했던 탐지기가 문체 통제 후 크게 흔들렸다
연구진은 먼저 기존 평가 방식과 비슷한 환경에서 실험을 진행했다. 이 단계에서는 진짜 뉴스는 사람이 작성한 원본 기사를 사용하고, 가짜뉴스만 여러 생성형 AI를 이용해 반복적으로 다시 작성했다. 연구진은 이를 Phase 1이라고 불렀다.
이 결과만 보면 기존 연구들과 크게 다르지 않았다. WELFake 데이터셋에서는 평균 AUROC가 약 99.1%에서 96% 수준으로만 소폭 감소했다. GossipCop 역시 85% 안팎을 유지했고, IFND는 약 99% 수준을 유지했다.
AUROC는 탐지기가 가짜 기사에 진짜 기사보다 더 높은 위험 점수를 부여할 확률을 나타내는 지표다. 0.5는 무작위 추측에 해당하고, 1.0은 완벽한 구분을 뜻한다. 따라서 WELFake에서 0.96이라는 수치는 여전히 매우 높은 성능으로 보인다.
만약 여기서 실험을 끝냈다면 “현재의 가짜뉴스 탐지기는 AI가 문장을 여러 번 바꿔도 충분히 견고하다”는 결론을 내렸을 가능성이 크다. 그러나 연구진은 이 평가에서는 여전히 진짜 기사가 사람 문체이고, 가짜 기사가 AI 문체라는 차이가 남아 있다고 보았다.
진짜 기사도 AI가 다시 쓰자 WELFake 성능은 약 62%까지 떨어졌다
이번 연구의 핵심은 두 번째 실험이다. 연구진은 진짜 기사도 가짜 기사와 같은 방식으로 생성형 AI를 거쳐 다시 작성했다. 진짜 뉴스와 가짜뉴스가 모두 기계적인 문체를 갖게 만들어, 문체 차이를 분류 단서로 활용하지 못하도록 한 것이다.
이 Phase 2 평가에서 결과는 크게 달라졌다. WELFake의 트랜스포머 탐지기 평균 AUROC는 사람 원문을 비교한 기준선의 99.1%에서 두 번째 재작성 단계의 62.5%, 세 번째 재작성 단계의 61.7%로 떨어졌다.
이는 약간의 성능 저하가 아니라 기존 점수의 상당 부분이 사라진 결과다. 논문은 WELFake의 기준 점수와 문체 통제 후 점수 사이에 약 37.4 AUROC 포인트의 차이가 있었다고 분석했다. 연구진은 이 차이의 상당 부분이 진실성보다 글의 작성 방식과 문체에 의존한 신호일 가능성이 있다고 해석했다.
고정된 0.5 판정 기준을 적용했을 때도 같은 현상이 나타났다. WELFake의 정확도는 사람 원문을 비교한 기준선에서 95.4%였지만, 문체를 통제한 뒤 53.7%로 떨어졌다. 진짜와 가짜가 같은 수로 구성된 시험에서는 50%가 무작위 추측 수준이므로, 실제 판정 능력이 크게 약해졌다고 볼 수 있다.
특히 재현율은 17.6%로 떨어졌다. 재현율은 실제 가짜뉴스 가운데 탐지기가 가짜라고 잡아낸 비율이다. 다시 말해 문체 차이가 사라지자 탐지기는 가짜뉴스 대부분을 놓쳤다. 연구진은 탐지기가 모든 글을 무작정 가짜로 분류한 것이 아니라, 오히려 가짜 판정을 거의 내리지 않는 방향으로 위축됐다고 설명했다.
GossipCop과 IFND가 덜 흔들린 이유는 데이터셋마다 학습 단서가 달랐기 때문이다
모든 데이터셋에서 WELFake와 같은 급락이 나타난 것은 아니다. GossipCop은 사람 원문 기준선에서 평균 AUROC 85.3%를 보였고, 문체 통제 후에도 약 86% 수준을 유지했다. IFND는 기준선 98.8%에서 약 90.9%로 낮아졌지만, WELFake보다는 감소 폭이 작았다.
연구진은 이 차이를 데이터셋마다 문체에 의존하는 정도가 다르기 때문이라고 설명했다. 이를 스타일 의존성의 스펙트럼이라고 볼 수 있다. WELFake는 문체 차이가 강한 단서로 작용했지만, GossipCop은 문체를 통일해도 주제나 기사 내용에서 구별할 정보가 비교적 많이 남아 있었다.
IFND는 긴 뉴스 기사보다 짧은 주장 단위에 가까운 데이터셋이다. 짧은 문장에서는 문체보다 주장에 포함된 인물, 사건, 장소, 수치와 같은 내용 요소가 분류에 더 직접적인 영향을 줄 수 있다. 연구진은 이 때문에 IFND 탐지기가 문체 통제 뒤에도 비교적 높은 점수를 유지했을 가능성을 제시했다.
이 결과는 하나의 데이터셋에서 얻은 높은 정확도를 가짜뉴스 탐지 기술 전체의 성능으로 일반화해서는 안 된다는 뜻이다. 데이터셋을 어떤 경로로 수집했는지, 진짜와 가짜 문서가 서로 다른 방식으로 만들어졌는지에 따라 모델이 배우는 단서가 달라질 수 있다.
큰 언어모델 탐지기일수록 잘못된 지름길을 더 강하게 학습했다
이번 연구에서 가장 눈에 띄는 결과 가운데 하나는 모델 크기가 커질수록 문체 통제 후 성능이 더 크게 떨어졌다는 점이다. 일반적으로는 파라미터가 많고 구조가 복잡한 모델일수록 더 강한 탐지 능력을 보일 것으로 기대한다. 그러나 WELFake에서는 반대 경향이 나타났다.
같은 모델 계열을 반복해 글을 바꾼 WF 체인에서 단순한 TF-IDF와 로지스틱 회귀 모델은 평균 AUROC 약 77.8%를 유지했다. BERT-medium은 약 64.6%, DistilBERT는 약 65.5%, BERT-base는 약 58.1%로 내려갔다.
더 큰 BERT-large는 약 53.2%, Longformer-large는 약 53.1%까지 떨어졌다. RoBERTa-large는 약 48.3%로 나타났으며, 통계적 신뢰구간이 0.5를 포함해 무작위 추측과 구별되지 않았다.
연구진은 이 현상을 Capacity Inversion, 즉 역전된 모델 용량 효과로 설명했다. 학습 능력이 큰 모델은 데이터셋에서 가장 강한 신호를 더 정교하게 포착할 수 있다. 그러나 가장 강한 신호가 진실성이 아니라 사람 문체와 AI 문체의 차이라면, 큰 모델일수록 잘못된 지름길에 더 깊이 의존할 수 있다.
문체 단서가 제거되면 대형 모델은 다른 정보에 의존해 판단할 여지가 줄어든다. 반면 TF-IDF처럼 단순한 모델은 단어 빈도와 주제어 같은 거친 내용 신호를 계속 활용하기 때문에 상대적으로 더 높은 성능을 유지할 수 있다.
다만 연구진은 모델 크기 자체가 성능 붕괴의 직접 원인이라고 단정하지 않았다. 이번 결과는 WELFake에서 모델 용량과 문체 의존성 사이에 나타난 연관성이다. 다른 언어, 다른 데이터셋, 다른 학습 방식에서도 동일한 현상이 재현되는지는 추가 검증이 필요하다.
두 차례 재작성만으로 문체 통일 효과가 대부분 포화됐다
연구진은 여러 언어모델을 사용하는 순서와 재작성 횟수가 결과에 어떤 영향을 주는지도 살폈다. 서로 다른 모델 계열을 번갈아 사용하는 CF 체인, 같은 모델을 다른 순서로 사용하는 PM 체인, Anthropic 계열 안에서만 재작성하는 WF 체인을 비교했다.
CF와 PM의 결과는 대체로 비슷했다. 이는 GPT 계열과 Gemini 계열을 어떤 순서로 사용했는지가 핵심 변수가 아니었다는 뜻이다. 반면 WELFake에서는 같은 계열 안에서 반복해서 문체를 바꾼 WF 체인이 가장 낮은 탐지 성능을 만들어냈다.
또한 두 번째 재작성 단계인 R2와 세 번째 단계인 R3의 차이는 크지 않았다. WELFake의 평균 AUROC는 R2에서 62.5%, R3에서 61.7%였다. 연구진은 문체가 비슷해지는 효과가 두 차례 정도의 재작성만으로 대부분 포화됐다고 해석했다.
실제 악의적 사용자의 입장에서도 이는 중요한 결과다. 허위 정보를 탐지기에서 숨기기 위해 매우 긴 처리 과정이나 전문 기술이 필요한 것이 아니라, 상용 생성형 AI를 이용해 몇 차례 표현을 바꾸는 것만으로도 문체 기반 탐지를 약화할 수 있기 때문이다.
사실관계가 바뀌어 점수가 떨어진 가능성을 별도로 점검했다
가짜뉴스를 여러 차례 다시 쓰는 실험에서는 중요한 문제가 생긴다. 재작성 과정에서 원래의 거짓 주장이 사라지거나 사실에 가까운 표현으로 바뀐다면, 탐지 성능 감소를 문체 변화 때문이라고 보기 어렵다.
연구진은 이를 막기 위해 GPT-4o와 Claude Sonnet을 독립적인 판정 모델로 사용했다. 두 모델이 재작성된 기사에 원래의 핵심 주장이 그대로 유지됐다고 모두 판단한 경우만 보존된 자료로 분류했다.
두 판정 모델은 5만8057개의 재작성 기사를 검토했고, 명확한 판정을 내린 5만7799개 가운데 87%에서 의견이 일치했다. 연구진은 두 모델이 모두 내용 보존에 동의한 4만8646개 기사를 검증된 재작성 자료로 유지했다.
자동 판정에만 의존하지 않기 위해 사람 검토도 진행했다. 연구진은 데이터셋과 판정 결과를 고려해 338개의 원문·재작성 문서 쌍을 표본으로 추출했고, 두 명의 평가자가 독립적으로 핵심 주장의 보존 여부를 확인했다.
두 평가자는 각각 98.1%와 99.0%의 기사에서 핵심 주장이 보존됐다고 판단했다. 평가자 간 일치도도 높았다. 이 검증은 성능 하락이 단순히 거짓 내용이 사라져 발생한 현상이 아니라, 표현과 문체가 바뀌면서 탐지 단서가 약해진 결과라는 해석을 뒷받침한다.
문체를 통제해도 진실성만 완벽하게 분리되는 것은 아니다
이번 연구의 평가 방식은 기존 시험보다 엄격하지만, 문체 통제 후 남은 점수를 곧바로 순수한 진실 판별 능력이라고 부를 수는 없다. 연구진도 이 점을 분명히 밝혔다.
진짜 뉴스와 가짜뉴스는 문체 외에도 주제, 기사 길이, 출처, 인물, 사건 유형, 수집 경로가 다를 수 있다. 생성형 AI로 양쪽 문서를 다시 작성해도 이러한 차이가 완전히 사라지는 것은 아니다.
따라서 WELFake에서 기준선과 Phase 2 사이에 나타난 약 37포인트의 차이를 모두 문체 효과라고 단정해서는 안 된다. 재작성 과정이 만든 다른 변화도 일부 포함됐을 수 있다. 연구진은 이 값을 문체 의존성을 정확하게 분리한 절대 수치가 아니라, 문체와 작성 등록이 성능에 기여한 정도를 보여주는 근사치로 다뤘다.
또한 연구는 영어권 중심의 세 데이터셋과 일곱 탐지기를 대상으로 수행됐다. 한국어 가짜뉴스, 짧은 SNS 게시물, 이미지와 영상이 결합된 허위 정보, 최신 생성형 AI가 작성한 텍스트에서도 같은 효과가 나타나는지는 별도로 검증해야 한다.
가짜뉴스 탐지는 글투보다 주장과 증거를 함께 확인해야 한다
이번 결과는 가짜뉴스 탐지 기술이 쓸모없다는 뜻이 아니다. 오히려 탐지기가 무엇을 근거로 판단하는지 더 엄격하게 검증해야 한다는 의미다.
문체 분석은 여전히 보조적인 단서가 될 수 있다. 특정 계정이 짧은 시간에 비슷한 표현의 콘텐츠를 대량으로 게시하거나, 생성형 AI 특유의 반복 패턴을 보이는 경우에는 유용할 수 있다. 그러나 문체가 자연스럽다는 이유만으로 내용을 진실이라고 판단하거나, AI가 쓴 것처럼 보인다는 이유만으로 가짜뉴스라고 분류해서는 안 된다.
앞으로의 탐지 시스템은 기사 속 주장을 신뢰할 수 있는 자료와 대조하는 사실 검증, 인용 출처의 존재 여부, 언론사와 작성자의 신뢰도, 정보가 퍼지는 경로, 여러 보도 사이의 일치 여부를 함께 분석해야 한다.
예를 들어 특정 기사가 정부 통계를 인용한다면 실제 통계 자료와 숫자가 일치하는지 확인해야 한다. 연구 결과를 인용한다면 해당 논문이 존재하는지, 연구 결과가 기사에서 과장되거나 왜곡되지 않았는지 살펴야 한다. 사진과 영상이 포함됐다면 촬영 시점과 장소가 주장과 일치하는지도 검토해야 한다.
이처럼 가짜뉴스 탐지는 단순한 문장 분류 문제가 아니라, 주장과 증거 사이의 관계를 확인하는 문제로 발전해야 한다. 생성형 AI가 사람 문체를 정교하게 흉내 낼수록 이러한 방향 전환은 더 중요해진다.
높은 정확도보다 어떤 단서를 학습했는지가 더 중요하다
이번 연구가 우리에게 주는 가장 중요한 교훈은 성능 수치를 해석하는 방법에 있다. 정확도 99%라는 숫자는 강력해 보이지만, 그 모델이 진실과 거짓을 구분한 것인지 데이터셋의 문체 차이를 구분한 것인지는 별도의 실험 없이는 알 수 없다.
인공지능 평가에서는 시험 문제와 실제 사용 환경이 얼마나 비슷한지가 중요하다. 사람이 쓴 진짜 뉴스와 AI가 쓴 가짜뉴스만 비교하는 시험은 현실의 정보 환경을 충분히 반영하지 못한다. 실제 인터넷에는 사람이 쓴 허위 정보, AI가 다시 쓴 진짜 기사, 사람이 편집한 AI 문서가 모두 섞여 있기 때문이다.
한국의 뉴스와 온라인 커뮤니티 환경에서도 같은 문제가 생길 수 있다. 한국어 생성형 AI는 문체를 빠르게 자연스럽게 바꾸고 있으며, 기사체·블로그체·커뮤니티체를 쉽게 모방한다. 한국어 가짜뉴스 탐지 시스템도 사람 문체와 AI 문체가 뒤섞인 조건에서 별도로 검증할 필요가 있다.
언론사와 플랫폼은 탐지 모델의 단일 점수만 믿기보다, 어떤 유형의 문서에서 오류가 발생하는지 공개해야 한다. 특히 AI로 다시 작성된 진짜 글과 가짜 글을 함께 평가하는 절차를 도입하면, 모델이 문체에 의존하는 정도를 더 정확하게 파악할 수 있다.
일반 독자에게도 중요한 기준은 같다. 글이 사람이 쓴 것처럼 자연스러운지, AI가 쓴 것처럼 매끄러운지를 판단하는 것보다 그 내용에 확인 가능한 출처와 증거가 있는지를 살펴야 한다. 생성형 AI 시대에는 “누가 썼는가”보다 “무엇을 근거로 주장하는가”가 더 중요한 신뢰 기준이 된다.
이번 연구는 가짜뉴스 탐지의 목표를 다시 정의한다. 좋은 탐지기는 AI 문체를 찾아내는 모델이 아니라, 표현이 바뀌어도 거짓 주장과 근거 부족을 찾아낼 수 있는 모델이어야 한다.
출처
Mehdiyev, J., & Aliguliyev, R. (2026). Cross-LLM paraphrase laundering: A register-controlled evaluation of fake news detectors. AI, 7(8), 297. https://doi.org/10.3390/ai7080297