생성형 AI 기반 SSH 허니팟, 어떤 LLM이 가장 안전할까? 11개 모델을 비교한 최신 연구

어두운 서버실에서 생성형 AI 기반 SSH 허니팟을 상징하는 홀로그램 리눅스 터미널과 보안 방패가 배치된 사이버 보안 콘셉트 이미지. 텍스트 없이 LLM 기반 허니팟의 보안과 공격 탐지 환경을 시각적으로 표현했다.

같은 허니팟이라도 사용하는 대규모 언어모델(LLM)에 따라 보안 수준은 크게 달라질 수 있다는 사실이 최신 연구를 통해 확인됐다. 생성형 AI를 활용한 SSH 허니팟은 실제 리눅스 서버처럼 보이는 가짜 시스템을 만들어 공격자를 유인하고 행동을 분석하는 기술이다. 지금까지 대부분의 연구는 하나의 LLM만 사용한 뒤 사람이 보기에는 얼마나 실제 서버처럼 보이는지를 평가하는 데 집중했다. 하지만 어떤 LLM이 가장 안전한지는 거의 검증되지 않았다.

2026년 발표된 이번 연구는 동일한 허니팟 환경에서 오직 LLM만 교체하며 11개 모델을 비교했다. 연구진은 약 1만7000개의 응답을 분석한 결과, 단 하나의 모델만 시스템 프롬프트를 그대로 노출하는 치명적인 보안 문제를 보였으며 나머지 10개 모델에서는 동일한 문제가 발견되지 않았다고 보고했다. 

왜 생성형 허니팟의 LLM을 비교해야 했을까

기존 SSH 허니팟은 미리 작성된 스크립트만 출력하기 때문에 공격자가 조금만 다양한 명령을 입력해도 가짜 시스템이라는 사실이 쉽게 드러난다. 이를 해결하기 위해 최근에는 LLM이 실시간으로 터미널 출력을 생성하는 생성형 허니팟이 빠르게 확산되고 있다. 자연스러운 응답을 만들 수 있다는 장점이 있지만, 동시에 새로운 보안 위험도 등장했다.

가장 큰 문제는 LLM이 자신에게 전달된 시스템 프롬프트를 공격자에게 그대로 공개할 수 있다는 점이다. 허니팟은 모델에게 "실제 리눅스 서버처럼 행동하라", "AI라는 사실을 절대 언급하지 말라"와 같은 내부 지침을 제공한다. 만약 이러한 지침이 외부로 유출된다면 공격자는 즉시 허니팟이라는 사실을 알아차릴 수 있다. 이는 OWASP가 정의한 LLM 보안 취약점 가운데 하나인 System Prompt Leakage에 해당하며, 허니팟에서는 가장 치명적인 실패로 간주된다.

연구진은 동일한 환경에서 LLM만 교체했다

이번 연구는 비교 조건을 최대한 동일하게 유지했다는 점에서 기존 연구와 차별화된다. 연구진은 Sage라는 동일한 SSH 허니팟 환경을 사용했고, 동일한 Ubuntu 시스템 정보와 시스템 프롬프트를 유지한 상태에서 백엔드 LLM만 변경했다. 실험에는 GPT 계열, Gemini 계열, Llama, Mistral, Qwen, DeepSeek, GLM 등 총 11개 모델이 참여했다.

평가를 위해 총 42개의 읽기 전용 명령어를 준비하고 각 명령을 20회씩 반복 실행했다. 이를 통해 통제 환경에서만 8,736개의 응답을 확보했으며, 실제 인터넷에서 공격자가 접속하는 환경에서도 추가로 8,626개의 응답을 수집했다. 전체 분석 대상은 약 17,000개의 응답에 달했다. 평가 항목은 시스템 프롬프트 유출, 응답 정확성, 환각(Hallucination), 응답 속도, 출력 길이, 안정성 등 여섯 가지였다. 

단 하나의 모델만 시스템 프롬프트를 그대로 노출했다

이번 연구에서 가장 중요한 결과는 보안성 평가였다. 11개 모델 가운데 오직 gemma-4-31b-it만 시스템 프롬프트를 그대로 노출하는 현상이 반복적으로 발견됐다. 통제 실험에서는 840회 응답 가운데 14회, 즉 약 1.67%에서 프롬프트가 그대로 유출됐다. 실제 공격 환경에서는 709회의 응답 가운데 115회에서 동일한 문제가 재현됐다. 연구진은 해당 모델을 즉시 실무 사용 부적합 모델로 분류했다. 

특히 문제는 단순히 "나는 AI다"라고 말한 수준이 아니었다. 모델 내부의 <thought> 블록이 그대로 출력되면서 시스템 프롬프트와 내부 규칙, 가상 시스템 상태까지 공격자에게 노출됐다. 논문의 Figure 4에는 시스템 프롬프트 일부가 그대로 공개되는 실제 사례가 제시돼 있으며, 연구진은 이를 가장 심각한 수준의 정보 유출 사례로 평가했다. 

보안은 LLM보다 시스템 구조가 더 중요하다

많은 사람들이 생성형 허니팟에서는 LLM이 모든 명령을 처리한다고 생각하기 쉽다. 그러나 연구진은 중요한 보안 명령을 아예 LLM이 처리하지 않도록 설계했다. 전체 42개의 명령 가운데 33개는 일반 프로그램이 처리했고, 오직 9개의 명령만 LLM이 담당했다.

예를 들어 /etc/shadow 파일을 읽거나 root 권한을 요구하는 명령, sudo 정책 확인과 같은 권한 관련 명령은 모두 결정론적인 프로그램이 처리했다. 따라서 어떤 LLM을 사용하더라도 동일한 결과가 반환됐으며, 모델이 권한 상승을 허용하거나 민감한 정보를 생성할 가능성 자체가 차단됐다. 연구진은 이러한 결과를 통해 "허니팟의 보안은 모델이 아니라 아키텍처가 만든다"는 결론을 제시했다. 

존재하지 않는 FLAG를 만들어내는 환각도 큰 문제다

보안 외에도 모델 간 차이가 가장 크게 나타난 부분은 환각이었다. 연구진은 실제로 FLAG가 존재하지 않는 환경에서 FLAG 검색 명령을 반복 실행했다. 정상적인 시스템이라면 아무 결과도 출력하지 않아야 한다.

하지만 일부 모델은 존재하지 않는 FLAG를 스스로 생성했다. Gemma는 100%의 확률로 가짜 FLAG를 생성했고, OpenAI 모델은 95%, GLM-Air는 85%, Gemini Flash는 55%의 생성률을 보였다. 반면 Gemini 3.1 Flash Lite, Llama, Mistral 등은 단 한 번도 가짜 FLAG를 만들지 않았다. 연구진은 이러한 환각이 실제 공격자에게 허니팟이라는 사실을 노출하는 단서가 될 수 있다고 설명했다. 

응답 속도는 최대 10배 이상 차이 났다

응답 속도 역시 모델마다 큰 차이를 보였다. 가장 빠른 모델은 약 987밀리초 안에 응답을 생성한 반면, 가장 느린 모델은 약 13.3초가 걸렸다. 무려 10배 이상의 차이다. 사람이라면 잠시 기다릴 수 있지만 자동화된 공격 도구는 이러한 지연 자체를 허니팟의 특징으로 인식할 수 있다. 따라서 현실적인 허니팟을 구축하려면 보안뿐 아니라 응답 속도 역시 중요한 선택 기준이 된다. 

좋은 LLM보다 좋은 구조가 더 중요하다는 사실을 보여준 연구

이번 연구는 단순히 어느 모델이 가장 뛰어난지를 순위로 매기지 않았다. 오히려 생성형 AI를 보안 시스템에 적용할 때 가장 중요한 것은 LLM의 성능보다 시스템 구조라는 점을 실험적으로 입증했다.

권한과 관련된 민감한 명령은 반드시 결정론적인 프로그램이 처리하고, LLM은 자연스러운 응답이 필요한 일부 명령만 담당하도록 역할을 제한해야 한다. 그 위에서 프롬프트 유출 여부, 환각 발생 빈도, 응답 속도, 안정성을 기준으로 모델을 선택해야 실제 운영 환경에서도 안전성과 현실성을 동시에 확보할 수 있다.

생성형 AI는 보안 분야에서도 빠르게 활용 범위를 넓혀가고 있다. 그러나 이번 연구는 아무리 뛰어난 언어모델이라도 모든 판단을 맡기는 것은 위험할 수 있으며, AI가 담당하는 영역을 최소화하고 검증 가능한 구조를 먼저 설계하는 것이 더 중요하다는 점을 분명하게 보여준다. 앞으로 생성형 AI 기반 보안 시스템을 설계하는 과정에서도 이러한 원칙은 중요한 기준이 될 것으로 보인다.

출처 (APA Style)

Magazov, R., Abeshev, K., Shamuratov, Y., Uralova, F., & Aksholak, G. (2026). Benchmarking LLM Backends for Generative SSH Honeypots: Security, Fidelity, Hallucination, Latency, and Stability. AI, 7, 287. https://doi.org/10.3390/ai7080287 :contentReference[oaicite:8]{index=8}