AI가 만든 피싱 메일, 기존 탐지기는 왜 놓칠까? 새로운 LLM에도 통하는 탐지 전략 공개

생성형 AI가 만든 피싱 메일은 점점 정교해지고 있지만, 여러 AI 모델을 함께 학습하거나 탐지 기준을 보정하면 새로운 LLM이 생성한 피싱 메일도 높은 정확도로 탐지할 수 있음을 보여주는 개념 이미지.

생성형 AI 시대의 피싱 공격은 더 정교해졌지만, 탐지 성능을 유지하는 방법도 함께 제시됐다.

생성형 AI의 발전으로 피싱 메일은 맞춤법 오류나 어색한 문장 대신 자연스럽고 설득력 있는 문체를 갖추기 시작했다. 하지만 AI가 만든 피싱 메일을 탐지하는 모델에도 새로운 문제가 생겼다. 특정 AI 모델이 만든 메일만 잘 찾아낼 뿐, 다른 AI 모델이 생성한 피싱 메일에서는 성능이 크게 떨어지는 경우가 많았기 때문이다.

최근 발표된 연구는 이 문제가 탐지 모델 자체의 한계가 아니라 판단 기준(Threshold) 설정에 있다는 점을 보여줬다. 연구진은 간단한 임계값 조정이나 여러 AI 모델의 데이터를 함께 학습하는 방식만으로도 탐지 성능을 거의 원래 수준까지 회복할 수 있음을 확인했다.

서로 다른 AI가 만든 피싱 메일도 같은 방식으로 탐지할 수 있을까

기존 연구들은 GPT 계열처럼 하나의 AI 모델이 만든 피싱 메일을 대상으로 높은 정확도를 보고했다. 하지만 실제 공격자는 언제든 다른 생성형 AI를 사용할 수 있다. 오늘은 GPT를 쓰다가 내일은 Llama나 DeepSeek를 사용하는 상황도 충분히 가능하다.

이 연구는 바로 이 현실적인 문제를 검증했다. 연구진은 "한 AI에서 학습한 탐지기가 다른 AI가 만든 피싱 메일도 제대로 찾아낼 수 있는가"를 핵심 질문으로 설정했다.

약 1만 건의 피싱 메일로 대규모 실험을 진행했다

연구진은 총 9,986개의 피싱 메일 데이터셋을 구축했다.

• 사람이 작성한 실제 피싱 메일 5,000건
• GPT-4.1 생성 메일 1,665건
• DeepSeek 3.2 생성 메일 1,665건
• Llama 3.3 70B 생성 메일 1,656건

AI가 생성한 메일은 은행, 택배 배송, IT 지원, 세금 환급, 인사(HR) 등 실제 피싱에서 자주 사용되는 5개 주제로 제작됐다.

연구진은 이메일에서 17개의 문체 특징(stylometric features)을 추출했다. 예를 들어 다음과 같은 요소를 분석했다.

• 단어 다양성
• 문장 길이
• 공손한 표현 빈도
• 긴급성을 강조하는 표현
• 행동을 유도하는 문장
• 권위 기관을 언급하는 표현
• 시간 압박 표현

이러한 특징을 이용해 사람이 작성한 피싱과 AI가 작성한 피싱을 구분하는 머신러닝 모델(Logistic Regression, XGBoost)을 학습했다.

같은 AI에서는 거의 완벽하게 탐지했다

동일한 AI 모델의 데이터로 학습하고 평가했을 때 성능은 매우 높았다.

• GPT-4.1: F1 점수 0.965
• DeepSeek 3.2: F1 점수 0.962
• Llama 3.3 70B: F1 점수 0.952

ROC-AUC 역시 거의 1.0에 가까운 결과를 기록했다.

즉, 하나의 AI만 상대한다면 현재의 문체 분석 기반 탐지 기술은 상당히 효과적이라는 의미다.

다른 AI를 만나자 성능이 최대 28%포인트 떨어졌다

문제는 여기서 시작됐다.

예를 들어 GPT-4.1이 만든 피싱 메일로 탐지기를 학습한 뒤 Llama가 생성한 메일을 탐지하도록 하면 성능이 크게 감소했다.

연구진이 구성한 3×3 교차 평가 결과에서는 평균 F1 점수가 약 28%포인트 하락했다. 특히 DeepSeek로 학습한 모델을 Llama 메일에 적용했을 때는 F1이 0.472까지 떨어지는 사례도 나타났다.

겉으로 보기에는 서로 다른 AI마다 별도의 탐지기를 만들어야 하는 것처럼 보이는 결과였다.

성능 저하의 원인은 AI가 아니라 판단 기준이었다

흥미로운 점은 ROC-AUC가 대부분 0.96 이상을 유지했다는 사실이다.

이는 모델이 사람과 AI가 만든 피싱을 구분하는 정보 자체는 여전히 잘 학습하고 있다는 뜻이다. 문제는 최종적으로 "AI가 만든 메일"이라고 판정하는 기준값이 새로운 AI에서는 맞지 않았다는 데 있었다.

연구진은 새로운 AI 모델에서 일부 이메일만 라벨링한 뒤 임계값을 다시 조정했다.

그 결과 평균 성능 감소폭은 28%포인트에서 4%포인트로 줄었다. 즉, 성능 저하의 약 86%를 간단한 보정만으로 해결할 수 있었다.

왜 이런 결과가 나왔을까?

각 생성형 AI는 비슷한 문체 특징을 가지면서도 미묘한 차이를 보인다. 탐지 모델은 이러한 특징을 이미 학습하고 있었지만, 최종 판정 기준이 특정 AI의 분포에 맞춰져 있었던 것이다. 따라서 소량의 새로운 데이터를 이용해 기준만 다시 맞추면 대부분의 성능을 회복할 수 있었다.

여러 AI를 함께 학습시키는 방법이 가장 안정적이었다

연구진은 또 하나의 방법도 시험했다.

GPT-4.1, DeepSeek, Llama의 데이터를 모두 합쳐 하나의 탐지기를 학습한 것이다.

그 결과 세 AI 모두에서 F1 점수 0.997을 기록했다. 거짓 음성(False Negative)은 발생하지 않았으며, 새로운 AI가 등장할 때마다 탐지기를 처음부터 다시 학습하지 않아도 되는 실용적인 가능성을 보여줬다.

실제 보안 운영 환경에서는 다양한 생성형 AI가 혼재할 가능성이 높기 때문에 이러한 통합 학습 방식이 더욱 현실적인 접근법으로 평가된다.

아직 해결해야 할 과제도 남아 있다

이번 연구는 의미 있는 결과를 제시했지만 몇 가지 한계도 있다.

우선 실험은 GPT-4.1, DeepSeek 3.2, Llama 3.3 70B 세 모델만 대상으로 진행됐다. 앞으로 새로운 생성형 AI가 등장했을 때 동일한 결과가 유지되는지는 추가 검증이 필요하다.

또한 연구는 "사람이 만든 피싱"과 "AI가 만든 피싱"을 구분하는 데 초점을 맞췄으며, 일반적인 정상 이메일과 피싱 이메일을 구별하는 문제는 다루지 않았다.

실제 환경에서는 이미지, 첨부파일, URL 정보, 메일 헤더 등 다양한 신호를 함께 활용하는 통합 탐지 시스템에 대한 연구도 이어질 필요가 있다.

생성형 AI 시대에는 탐지기도 계속 적응해야 한다

생성형 AI는 피싱 공격을 더욱 자연스럽고 설득력 있게 만들고 있다. 하지만 이번 연구는 새로운 AI가 등장할 때마다 탐지 기술을 처음부터 개발해야 하는 것은 아니라는 점을 보여준다.

핵심은 탐지 모델이 새로운 AI의 문체를 전혀 이해하지 못하는 것이 아니라, 최종 판단 기준을 약간 조정해 주면 상당한 성능을 유지할 수 있다는 사실이다.

기업과 보안 담당자는 앞으로 AI 기반 피싱이 계속 늘어날 것을 전제로 탐지 시스템을 설계해야 한다. 여러 생성형 AI의 데이터를 함께 학습하거나 새로운 모델이 등장했을 때 소규모 검증 데이터로 임계값을 재조정하는 전략은 현실적인 대응 방안이 될 수 있다.

이번 연구는 AI 시대의 피싱 방어가 더 이상 단순히 탐지 모델의 성능 경쟁이 아니라, 변화하는 생성형 AI에 얼마나 빠르게 적응하느냐의 문제임을 보여주는 사례라 할 수 있다.

출처

Gutierrez, R., Villegas-Ch, W., & Govea, J. (2026). Cross-model evaluation of phishing detectors against LLM-generated emails. Frontiers in Big Data, 9, 1883452. https://doi.org/10.3389/fdata.2026.1883452