멀티모달 가짜뉴스 탐지 AI, 텍스트와 이미지를 함께 보면 정확도가 97.4%까지 올라가는 이유
새로운 AI 모델은 뉴스 문장과 사진을 동시에 분석해 가짜뉴스를 더 정확하게 찾아낸다 소셜미디어에서 가짜뉴스가 퍼지는 속도는 점점 빨라지고 있다. 과거에는 기사 제목이나 본문만 조작하면 됐지만, 최근에는 실제 사진과 비슷한 이미지를 함께 사용하거나 문맥을 교묘하게 왜곡하는 방식이 많아졌다. 그래서 단순히 텍스트만 분석하는 AI로는 가짜뉴스를 충분히 잡아내기 어려워지고 있다. 이 문제를 해결하기 위해 2026년 발표된 연구에서는 MMCN_TCMB라는 새로운 멀티모달 가짜뉴스 탐지 모델을 제안했다. 연구진은 뉴스의 문장뿐 아니라 함께 게시된 이미지까지 동시에 분석하도록 설계했다. 그 결과 정확도 97.436%, 재현율 97.988%, F1 점수 97.098%를 기록하며 기존 방법보다 우수한 성능을 보였다. 이 연구가 중요한 이유는 단순히 정확도가 높기 때문만은 아니다. AI가 텍스트와 이미지 사이의 불일치를 찾아내는 방식으로 가짜뉴스를 판별한다는 점에서 실제 SNS 환경에 더 가까운 접근법을 제시했기 때문이다. 가짜뉴스 탐지가 점점 어려워지는 이유는 텍스트와 이미지가 함께 조작되기 때문이다 초기의 가짜뉴스 탐지 연구는 대부분 기사 본문이나 제목만 분석했다. 하지만 최근 가짜뉴스는 단순한 거짓 문장이 아니다. 실제 사건 사진을 다른 사건에 끼워 넣거나, 오래된 사진을 현재 상황처럼 소개하거나, 이미지와 문장의 의미를 일부러 어긋나게 만드는 방식이 흔하게 사용된다. 예를 들어 실제 사진은 진짜지만 설명 문장이 거짓인 경우가 있다. 반대로 문장은 사실에 가까워도 이미지가 조작된 사례도 존재한다. 이런 경우 텍스트만 분석하면 진짜로 판단할 가능성이 높다. 연구진은 이러한 한계를 해결하기 위해 텍스트와 이미지를 동시에 이해하는 멀티모달 구조를 설계했다. 연구진은 문장에서 중요한 의미를 먼저 추출했다 AI가 뉴스를 읽으려면 먼저 문장을 숫자 형태로 변환해야 한다. 연구에서는 BERT를 사용해 문장을 토큰 단위로 분해했다. BERT는 문장 속 단어를...