얼굴 왜곡 딥페이크 영상, 정확히 찾아내는 새로운 탐지 기술 등장
 |
| AI가 영상 속 얼굴을 정밀 분석해 왜곡된 부분을 탐지하는 모습. '페이스 워핑'은 딥페이크의 한 형태로, 진짜보다 더 정교한 조작을 가능케 한다. |
진짜 같은 가짜 얼굴, AI가 잡아낸다
요즘 뉴스나 SNS를 보다 보면 유명 인사들이 말도 안 되는 이야기를 하거나, 전혀 다른 표정을 짓는 영상이 종종 올라온다. 잠깐, 이상하다 싶어 자세히 보면, 진짜가 아니다. 바로 딥페이크(Deepfake) 영상이다.
기술이 정교해질수록 진짜보다 더 진짜 같은 가짜들이 늘고 있다. 단순히 얼굴을 바꾸는 수준을 넘어, 이제는 얼굴 형태 자체를 왜곡해서 사람을 조작하는 기술까지 등장했다. 이러한 '페이스 워핑(Face Warping)'을 탐지하고, 어디가 조작됐는지를 정확히 알려주는 기술이 인도 공과대학교 트리치라팔리(National Institute of Technology Tiruchirappalli) 연구팀에 의해 개발됐다.
---
얼굴이 이상하게 찌그러졌다? 그게 바로 워핑이다
딥페이크의 대표적인 기술은 얼굴 바꾸기다. 하지만 최근에는 특정 사람의 표정, 입 모양, 얼굴 비율까지 조작해 실제 존재하지 않는 영상을 만들어내는 '워핑' 방식이 등장했다. 예를 들어, 오바마 대통령이 하지도 않은 발언을 하는 영상에서, 그의 입과 눈썹이 이상하게 움직인다면, 이는 페이스 워핑일 가능성이 높다.
문제는 이 기술이 너무 손쉽게 사용 가능하다는 점이다. 한 장의 사진이나 짧은 영상만 있으면 누구나 고해상도 딥페이크 영상을 만들 수 있다. 실제로 음성 딥페이크를 이용해 CEO를 사칭해 24만 달러를 빼앗은 사건도 있었다. 기술이 좋아진 만큼, 그 피해도 현실이 됐다.
---
AI가 가짜 얼굴을 찾아내는 방법
논문 저자 라첼 셀바 다나라지와 스리데비 교수는 전이학습(Transfer Learning)과 CNN(합성곱 신경망)을 이용해 얼굴 워핑을 자동으로 탐지하고, 그 위치까지 표시하는 모델을 제안했다.
이 시스템의 핵심은 영상 속 얼굴을 잘게 쪼개고, 전처리 과정을 통해 색상 보정, 이미지 정렬, 밝기 표준화 등을 거친 후, 사전 학습된 AI 모델에 적용하는 방식이다. 영상 속 얼굴이 어떻게 왜곡됐는지를 '패턴'으로 인식해낸다.
여기서 사용된 핵심 기술은 'Xception'이라는 딥러닝 모델. 기존의 CNN보다 빠르고 정확하게 복잡한 이미지를 분류할 수 있다. 연구팀은 이 모델을 훈련시키기 위해 ImageNet이라는 방대한 데이터셋을 활용했고, 이후 실험 영상에서 진짜와 가짜를 구분하도록 학습시켰다.
---
탐지 정확도 89%, 위치까지 콕 집어낸다
실험 결과는 놀라웠다. 연구팀의 모델은 영상 속 조작된 얼굴을 평균 89.25%의 정확도로 탐지했으며, 얼굴의 왜곡된 부위까지 시각적으로 표시해줬다.
가장 유명한 테스트 사례는 바로 조던 필 감독이 오바마 대통령을 흉내 내는 영상. 모델은 이 영상에서 오바마의 얼굴이 말할 때마다 이상한 움직임을 보인다는 것을 정확히 캐치했다. 반대로 말이 없고 표정이 고정된 장면에서는 진짜처럼 보인다고 판단했다. 이처럼 말을 하거나 표정이 바뀌는 순간에 '가짜' 신호가 더 강하게 나타난다는 사실도 확인됐다.
---
왜 이 기술이 중요한가?
페이스 워핑 탐지 기술은 단순한 영상 필터 기술이 아니다. 이는 법적 증거물로 사용될 수 있는 영상의 진위 여부를 판단하고, 명예훼손이나 사기 범죄를 막을 수 있는 기술이다. 특히 SNS나 뉴스에서 유포되는 정보가 '진짜인지 가짜인지'를 판단하는 데 중요한 역할을 할 수 있다.
현재 이 기술은 유명한 영상 분석 모델들과 비교해도 성능이 뛰어나다. AUROC 기준에서 Xception 모델은 0.8의 점수를 기록해 기존의 VGGNet(0.55), ResNet(0.6), Inception-v3(0.7)보다 우수한 성능을 보였다.
---
앞으로의 과제
물론 아직 완벽한 것은 아니다. 연구팀도 모델의 정확도를 더 높이기 위해 표정 변화, 광원 변화, 얼굴의 각도 변화 등을 더 반영하는 모델을 만드는 것이 다음 과제라고 밝히고 있다. 나아가 더 복잡한 얼굴 왜곡도 잡아낼 수 있는 맞춤형 이미지 처리 알고리즘 개발이 기대된다.
진짜 같은 가짜가 넘쳐나는 시대. 이를 구분할 수 있는 기술이야말로, 디지털 세상을 안전하게 만드는 가장 강력한 무기가 될 것이다.
**출처 논문**
Dhanaraj, R., & Sridevi, M. (2024). Face Warping Deepfake Detection and Localization in a Digital Video using Transfer Learning Approach. *Journal of Metaverse*, 4(1), 11-20.