적응형 특징 선택으로 네트워크 침입 탐지 정확도를 높이다: 불균형 데이터 문제를 해결한 새로운 ACAFS 프레임워크

희귀한 사이버 공격까지 놓치지 않기 위해 연구진이 제안한 새로운 특징 선택 기법

최근 Frontiers in Big Data에 게재된 탄자니아 넬슨 만델라 아프리카 과학기술대학교(Nelson Mandela African Institution of Science and Technology) 연구진의 연구에서는 기존 머신러닝 기반 네트워크 침입 탐지 시스템(Network Intrusion Detection System, NIDS)이 가진 중요한 한계를 해결하기 위한 새로운 특징 선택(feature selection) 방법을 제안했다.

오늘날 기업과 대학, 공공기관은 하루에도 수백만 건의 네트워크 데이터를 처리한다. 이 가운데 실제 해킹이나 침입 시도는 극히 일부에 불과하다. 문제는 이러한 희귀한 공격이 오히려 가장 치명적인 피해를 유발하지만, 머신러닝 모델은 데이터가 적은 공격 유형을 제대로 학습하지 못하는 경우가 많다는 점이다.

이번 연구는 이러한 문제를 해결하기 위해 Adaptive Class-Aware Feature Selection(ACAFS)라는 새로운 특징 선택 프레임워크를 개발했다. 연구 결과는 불필요한 데이터를 크게 줄이면서도 희귀 공격 탐지 성능을 향상시킬 수 있음을 보여준다.

데이터가 많을수록 탐지가 어려워지는 이유

네트워크 침입 탐지 시스템은 수많은 네트워크 연결 정보를 분석해 정상 트래픽과 악성 트래픽을 구분한다.

하지만 최신 네트워크 데이터셋에는 수십 개에서 수백 개의 특징(feature)이 포함된다. 모든 특징이 실제 탐지에 도움이 되는 것은 아니다.

불필요하거나 서로 비슷한 특징이 많아질수록 학습 시간이 길어지고, 모델이 과적합(overfitting)되기 쉬우며, 실제 운영 환경에서 속도가 저하되고 오히려 탐지 정확도가 떨어질 수 있다.

따라서 중요한 특징만 선택하는 과정인 특징 선택(feature selection)은 침입 탐지 시스템의 핵심 단계로 여겨진다.

기존 특징 선택 방법이 희귀 공격을 놓치는 이유

기존 특징 선택 기법은 대부분 전체 데이터를 기준으로 중요한 특징을 평가한다.

예를 들어 정상 트래픽이 백만 건이고 웹 공격(Web_Attacks)은 수백 건뿐이라면, 알고리즘은 자연스럽게 정상 트래픽을 잘 구분하는 특징을 더 높은 점수로 평가한다.

반대로 희귀 공격을 구분하는 데 꼭 필요한 특징은 중요도가 낮다고 판단될 가능성이 높다. 결국 전체 정확도는 높게 나타나더라도 실제 보안 사고에서 가장 중요한 희귀 공격은 놓칠 수 있다.

연구진은 이러한 문제를 기존 특징 선택 기법의 가장 큰 한계 가운데 하나로 지적했다.

ACAFS는 클래스별 중요도를 함께 고려했다

이번 연구에서 제안한 ACAFS는 기존 접근법과 달리 전체 데이터뿐 아니라 각 공격 유형별 중요도를 동시에 계산한다.

프레임워크는 크게 두 단계로 구성된다.

첫 번째 단계에서는 Mutual Information을 이용해 각 특징이 얼마나 중요한지 계산한다. 여기에 각 공격 클래스마다 정보를 따로 계산하는 Class-Aware Composite Mutual Information을 적용해 희귀 공격에서도 중요한 특징이 제거되지 않도록 설계했다.

두 번째 단계에서는 XGBoost를 이용해 실제 분류 성능을 다시 검증한다. 즉 통계적으로 의미 있는 특징인지, 실제 분류 성능 향상에 도움이 되는지를 동시에 평가해 두 조건을 모두 만족하는 특징만 최종 선택한다.

이러한 이중 검증 구조가 ACAFS의 가장 큰 차별점이다.

사람이 직접 특징 개수를 정하지 않아도 된다

기존 연구에서는 연구자가 사용할 특징 개수를 미리 지정하는 경우가 많았다. 하지만 데이터셋마다 적절한 특징 개수는 달라진다.

연구진은 이를 해결하기 위해 Permutation Test를 이용한 적응형 임계값을 도입했다. 무작위로 데이터를 반복 섞어 우연히 나타날 수 있는 중요도를 계산한 뒤, 그보다 높은 특징만 자동으로 선택하도록 설계했다.

즉 데이터 자체가 몇 개의 특징이 필요한지를 결정하도록 만든 것이다. 이는 다양한 환경에서도 별도의 수작업 없이 적용할 수 있는 장점으로 이어진다.

두 개의 서로 다른 데이터셋으로 성능을 검증했다

연구진은 ACAFS를 국제적으로 널리 사용하는 CSE-CIC-IDS2018 데이터셋과 직접 구축한 SUNE(Simulated University Network Environment) 데이터셋에서 각각 독립적으로 검증했다.

CSE-CIC-IDS2018은 약 1,610만 개의 네트워크 흐름 데이터를 포함하며, 정상 트래픽은 약 116만 건인 반면 Web_Attacks는 650건에 불과해 클래스 불균형이 매우 심한 데이터셋이다.

SUNE는 탄자니아 대학 네트워크 환경을 모사해 구축한 데이터셋으로, 실제 교육기관에서 발생할 수 있는 다양한 트래픽을 재현했다. 이를 통해 ACAFS가 특정 데이터셋에만 최적화된 기법이 아니라는 점을 확인했다.

특징은 70% 줄었지만 성능은 오히려 향상됐다

가장 눈에 띄는 결과는 특징 수 감소였다.

CSE-CIC-IDS2018에서는 원래 74개의 특징 가운데 22개만 선택해 약 70.3%의 차원 축소를 달성했다. SUNE 데이터셋에서도 45개 가운데 18개만 선택해 약 60%의 차원 축소를 기록했다.

이는 원래 데이터에 포함된 많은 특징이 실제 탐지 성능에는 크게 기여하지 않는다는 점을 보여준다.

희귀 공격 탐지 성능이 크게 향상됐다

연구진은 단계별 성능도 비교했다.

기존 Mutual Information만 사용했을 때 Web_Attacks 재현율은 91.37%였다. ACAFS의 첫 번째 단계만 적용하면 96.85%로 향상됐으며, 최종 ACAFS를 적용한 뒤에는 98.59%까지 상승했다.

거짓 양성률(False Positive Rate)은 1.84%에서 0.94%, 다시 0.09%로 단계적으로 감소했다. 이는 희귀 공격을 더 잘 탐지하면서도 정상 트래픽을 공격으로 잘못 판단하는 비율까지 크게 줄였음을 의미한다.

여러 인공지능 모델에서도 효과가 유지됐다

연구진은 ACAFS를 Two-Stage CNN, TabTransformer, XGBoost, Random Forest, LightGBM 등 다양한 머신러닝 및 딥러닝 모델에 적용해 성능을 비교했다.

가장 높은 성능은 Two-Stage CNN에서 나타났다. 정확도는 99.39%, F1 Score는 99.40%, 거짓 양성률은 0.09%를 기록했다.

특히 ACAFS를 적용하지 않았을 때보다 대부분의 모델에서 성능이 향상됐다. XGBoost는 F1 Score가 83.93%에서 96.90%까지 크게 향상돼 특징 선택의 중요성을 보여주었다.

다양한 환경에서도 일관된 성능을 유지했다

보안 시스템은 특정 데이터셋에서만 성능이 좋아서는 실제 활용 가치가 크지 않다.

이번 연구에서는 서로 다른 두 데이터셋에서 거의 일관된 성능을 유지했다. CSE-CIC-IDS2018에서는 F1 Score 99.40%, SUNE에서는 95.77%를 기록했으며, 별도의 수동 조정 없이도 안정적인 탐지 성능을 보였다.

실제 보안 운영 환경에서 기대되는 활용 가능성

이번 연구의 가장 큰 의미는 단순히 높은 정확도를 기록한 것이 아니라 희귀 공격을 위한 특징을 의도적으로 보존하면서도 전체 특징 수를 크게 줄였다는 점이다.

이 기술은 대학 및 공공기관 네트워크, 기업 보안관제센터(SOC), 클라우드 보안 플랫폼, IoT 환경, 스마트팩토리 등 다양한 분야에서 활용될 가능성이 있다. 특히 연산 자원이 부족한 환경에서는 특징 수 감소만으로도 처리 속도 향상과 비용 절감 효과를 기대할 수 있다.

실제 적용을 위해서는 추가 검증이 필요하다

연구 결과는 매우 우수하지만 실제 산업 환경에서는 암호화된 트래픽, 새로운 공격 기법, 변화하는 네트워크 환경 등 다양한 변수가 존재한다.

따라서 앞으로는 다양한 국가와 산업 분야의 실제 운영 데이터를 이용한 추가 검증과 지속적인 모델 업데이트가 필요하다.

희귀 공격 탐지 성능을 높이는 새로운 특징 선택 전략을 제시했다

이번 연구는 특징 선택을 단순한 차원 축소 기술이 아니라 희귀 공격을 얼마나 효과적으로 보존할 수 있는가라는 관점에서 접근했다는 점에서 의미가 있다.

ACAFS는 데이터 특성에 맞춰 특징 개수를 자동으로 결정하고, 소수 클래스의 정보를 유지하면서도 불필요한 특징을 제거하는 새로운 프레임워크를 제안했다. 연구 결과는 특징 수를 약 70% 줄이면서도 높은 정확도와 낮은 거짓 양성률을 유지했으며, 서로 다른 네트워크 환경에서도 안정적인 성능을 보였다. 이는 향후 머신러닝 기반 침입 탐지 시스템의 효율성과 신뢰성을 높이는 데 중요한 기반 기술이 될 것으로 기대된다.

출처

Mchina, J. P., Mduma, N., & Sinde, R. S. (2026). Adaptive class-aware feature selection for high-dimensional and imbalanced multi-class network intrusion detection. Frontiers in Big Data, 9, 1871346. https://doi.org/10.3389/fdata.2026.1871346