AI가 제로데이 공격을 놓치는 이유: ‘공격의 진화 과정’을 학습해야 한다
새로운 사이버 공격은 과거 패턴이 아니라 변화의 방향을 따라 탐지해야 한다
사이버 보안 업계의 가장 어려운 과제 가운데 하나는 제로데이 공격(Zero-Day Attack) 탐지다. 제로데이 공격은 이전에 알려지지 않았던 새로운 공격이기 때문에 기존 보안 솔루션이 가진 서명(Signature)이나 패턴 데이터베이스에 존재하지 않는다.
문제는 최근 공격이 단순히 새로운 악성코드 한 종류로 등장하는 것이 아니라 지속적으로 형태를 바꾸며 진화한다는 점이다. 공격자는 코드 일부를 수정하거나 실행 방식을 바꾸고, 네트워크 트래픽 패턴을 변형해 기존 탐지 모델을 우회한다.
2026년 발표된 연구는 이런 문제를 해결하기 위해 기존의 "분류(Classification)" 중심 탐지 방식을 넘어 "진화(Evolution)" 중심 탐지 방식을 제안했다. 연구진은 새로운 프레임워크인 M3-GAZE(Meta-Morphological GAN-Augmented Zero-day Detection Engine) 를 개발해 공격 자체보다 공격이 변해가는 방향을 학습하는 방법을 소개했다.
기존 AI 보안 시스템은 과거 데이터를 기반으로 학습한다
현재 대부분의 침입탐지시스템과 AI 기반 보안 모델은 과거 공격 데이터를 학습한다.
예를 들어 랜섬웨어 A와 랜섬웨어 B를 학습한 뒤 새로운 파일이 들어오면 어느 유형과 비슷한지를 판단한다.
하지만 실제 공격자는 이런 방식을 잘 알고 있다.
그래서 공격자는 다음과 같은 방법을 사용한다.
코드 일부 변경
실행 순서 변경
네트워크 통신 패턴 변경
암호화 기법 변경
정상 프로그램 위장
이런 공격은 기존 AI가 학습한 특징과 다르게 보이기 때문에 탐지를 회피할 수 있다. 연구진은 현재 딥러닝 모델조차 "닫힌 세계(Closed World)" 가정을 사용하고 있어 새로운 공격에 취약하다고 설명했다.
연구진은 공격을 하나의 생물처럼 진화하는 존재로 봤다
이 연구의 핵심 아이디어는 매우 독특하다.
기존 보안 시스템은 공격을 개별 사건으로 본다.
반면 연구진은 공격을 생물의 진화 과정처럼 바라봤다.
예를 들어 어떤 랜섬웨어가 존재한다고 가정하면 이후 등장하는 변종은 완전히 새로운 존재가 아니라 원본에서 조금씩 변형된 후손이라는 개념이다.
따라서 중요한 것은 현재 공격이 무엇인가가 아니라 앞으로 어떤 방향으로 변할 가능성이 높은가를 예측하는 것이다.
AI는 공격의 형태를 연속적인 공간에 배치한다
연구진은 LMSE(Latent Morphology Spectrum Extraction)라는 기술을 사용했다.
쉽게 말하면 다양한 공격을 하나의 지도 위에 배치하는 과정이다.
비슷한 공격은 가까운 위치에 놓이고 서로 관련 없는 공격은 멀리 떨어진다.
이 과정에서 중요한 것은 공격 이름이 아니다.
공격이 가진 구조적 특징이다.
예를 들어
명령 실행 방식
네트워크 행동
시스템 호출 패턴
프로세스 구조
등을 분석해 공격 간 유사성을 학습한다.
논문 6페이지의 시스템 구조도는 원시 네트워크 데이터가 이러한 잠재 공간(latent space)으로 변환된 뒤 이후 탐지 과정에 활용되는 흐름을 보여준다.
가짜 공격을 생성해 미래 변종까지 미리 학습했다
연구진은 AE-GAN(Adversarial Evolutionary GAN)이라는 생성형 AI를 추가했다.
일반적인 GAN은 단순히 새로운 데이터를 만들어낸다.
하지만 AE-GAN은 공격의 진화 방향을 고려한다.
즉 단순한 가짜 공격이 아니라 실제 공격자가 앞으로 만들어낼 가능성이 높은 변종을 생성한다.
연구진은 이를 "진화 일관성(Evolution Consistency)" 이라고 설명한다.
이 방법 덕분에 아직 세상에 등장하지 않은 공격 변종까지 일부 학습할 수 있게 된다.
소량 데이터만으로도 새로운 공격을 학습하도록 만들었다
보안 업계에서는 새로운 공격이 처음 발견될 때 데이터가 거의 없다.
기존 딥러닝은 수천 개 이상의 샘플을 필요로 한다.
연구진은 이를 해결하기 위해 메타러닝(Meta-Learning)을 적용했다.
MAFTI(Meta-Adaptive Few-Shot Threat Inducer)는 단 몇 개의 샘플만으로도 새로운 공격 유형을 빠르게 적응할 수 있다.
쉽게 말하면 AI가 "공격 자체"를 외우는 것이 아니라 "새로운 공격을 배우는 방법"을 학습하는 것이다.
AI가 모른다고 말할 수 있어야 한다고 연구진은 주장했다
현재 많은 AI 시스템은 틀린 답을 하면서도 높은 자신감을 보인다.
보안 분야에서는 특히 위험하다.
그래서 연구진은 AUCL(Adversarial Uncertainty Calibration Layer)을 개발했다.
이 모듈은 탐지 결과뿐 아니라 얼마나 확신하는지도 계산한다.
만약 새로운 공격이 기존 데이터와 매우 다르다면 AI는 다음과 같이 판단할 수 있다.
탐지 확신 높음
탐지 확신 낮음
추가 분석 필요
연구진은 불확실성 자체를 경고 신호로 활용해야 한다고 설명했다.
공격의 진화 경로까지 시각적으로 설명할 수 있다
보안 담당자들이 AI를 신뢰하지 못하는 이유 가운데 하나는 결과를 설명하지 못하기 때문이다.
연구진은 CETGS(Causal Evolutionary Threat Graph Synthesizer)를 통해 공격의 변화 과정을 그래프로 재구성했다.
이 그래프는 다음을 보여준다.
공격이 어디서 시작됐는가
어떤 방식으로 변형됐는가
어떤 경로로 확산됐는가
왜 위험하다고 판단했는가
이는 단순히 "악성" 또는 "정상"을 출력하는 기존 모델보다 훨씬 높은 설명 가능성을 제공한다.
실제 실험에서 제로데이 탐지율이 크게 향상됐다
연구진은 CICIDS2017, UNSW-NB15, EMBER 같은 대표적인 보안 데이터셋에서 실험을 진행했다.
논문 14페이지 표 3에 따르면 제안된 M3-GAZE는 다음과 같은 제로데이 탐지 정확도를 기록했다.
CICIDS2017: 94.8%
UNSW-NB15: 93.2%
EMBER: 92.4%
기존 모델보다 더 높은 성능을 보였다.
또한 제로데이 재현율(Recall)도 크게 향상됐다.
CICIDS2017: 91.2%
UNSW-NB15: 89.7%
EMBER: 88.6%
연구진은 특히 새로운 공격을 놓치는 비율(False Negative Rate)을 크게 감소시켰다고 보고했다.
공격 발생 수시간 전에 경고할 수 있었다
흥미로운 결과는 조기 경고 기능이다.
연구진은 AI가 불확실성 신호와 진화 그래프를 결합하면 공격을 더 빨리 감지할 수 있다고 설명했다.
평균 조기 경고 시간은 다음과 같았다.
CICIDS2017: 14.7시간
UNSW-NB15: 13.2시간
EMBER: 12.5시간
전체 평균은 약 13.5시간이었다.
이는 기존 탐지기가 명확한 악성 행위로 판단하기 전에 위험 신호를 먼저 발견했다는 의미다.
미래 사이버 보안은 공격 탐지가 아니라 공격 진화를 이해하는 방향으로 이동할 수 있다
이번 연구가 던지는 메시지는 단순히 새로운 AI 모델을 만들었다는 수준이 아니다.
연구진은 앞으로의 사이버 보안이 "현재 공격이 무엇인가"를 맞추는 경쟁에서 벗어나 "공격이 어떻게 진화하는가"를 이해하는 방향으로 이동해야 한다고 주장한다.
공격이 계속 변하는 환경에서는 과거 데이터를 외우는 시스템보다 변화 자체를 학습하는 시스템이 훨씬 유리하기 때문이다.
제로데이 공격이 점점 증가하는 상황에서 이런 접근법은 차세대 사이버 방어 체계의 중요한 기반이 될 가능성이 있다.
출처
Lanka, K., & Shaik, K. (2026). An integrated evolution-aware meta-learning framework with adversarial morphological augmentation for zero-day threat detections. Frontiers in Artificial Intelligence, 9, 1814012. https://doi.org/10.3389/frai.2026.1814012