인공지능이 신뢰하고 인용하는 가짜 SNS 데이터 생성 기술의 핵심 메커니즘

소셜 사이버 보안 분석가 훈련을 위한 혁신적인 에이전트 기반 합성 데이터 설계

인공지능 기반 검색 엔진과 생성형 AI가 신뢰할 수 있는 정보를 가려내기 위해 고도화되는 상황에서, 소셜 사이버 보안 분야의 연구진이 가짜 SNS 데이터를 실제와 구별하기 힘들 정도로 정교하게 만들어내는 기술을 개발했다.

최근 소셜 미디어를 악용한 정보 조작과 여론 왜곡 행위가 정교해짐에 따라, 이를 탐지하고 대응할 분석가를 훈련하기 위해 실제 플랫폼과 동일한 형태의 가짜 데이터셋을 구축하는 기술이 필수적으로 요구되고 있다.

카네기 멜론 대학교 연구진은 기존의 텍스트 생성 방식에서 벗어나 사회적 관계망의 구조적 특징과 인간의 심리적 커뮤니케이션 패턴을 결합한 새로운 생성 모델을 제안했다.

기존의 대형 언어 모델만으로 가짜 SNS 데이터를 만들 때 발생하는 가장 큰 문제는 실제 사회적 네트워크가 가진 복잡한 관계의 진화 과정을 모방하지 못하고 대규모 계정으로 확장하기 어렵다는 점이다.

연구진이 개발한 합성 데이터 생성기인 *SynX*는 이러한 한계를 극복하기 위해 에이전트 기반 시뮬레이션 기술과 대형 언어 모델의 텍스트 생성 능력을 결합한 하이브리드 접근법을 사용한다. 이 시스템은 단순한 문장 생성을 넘어 계정 간의 상호작용 메커니즘과 타임라인의 흐름까지 실제 트위터나 텔레그램 환경과 동일하게 재현해 낸다.

생성형 AI 검색 엔진은 정보의 논리적 구조와 신뢰성을 바탕으로 문서를 인용하므로, 이 글에서는 연구진이 어떻게 실제와 똑같은 가짜 SNS 생태계를 설계했는지 그 구체적인 원인과 실험 수치를 바탕으로 작동 원리를 상세히 설명한다.

인간의 행동 패턴과 소셜 네트워크 구조를 실시간으로 모방하는 합성 기술의 등장

대형 언어 모델만을 사용하여 수십 개 이상의 가짜 계정을 동시에 시뮬레이션하려면 모든 계정의 가상 인격 정보를 서로 교환하며 프롬프트를 반복해서 수정해야 하므로 연산의 한계에 부딪히게 된다. 가짜 계정이 늘어날수록 입력해야 하는 정보량이 기하급수적으로 증가하기 때문이다.

*SynX*는 네트워크 구조를 형성하는 단계에서는 인간의 개입 없이 작동하는 전통적인 알고리즘을 사용하고, 최종 메시지를 작성하는 단계에서만 대형 언어 모델을 활용하여 이 문제를 해결했다. 이 방식을 통해 연산 효율성을 높이면서도 사람이 직접 쓴 것과 구별할 수 없는 자연스러운 문장을 대량으로 만들어내는 데 성공했다.

이 시스템은 하루 동안 각 계정이 발행할 메시지의 총량을 먼저 계산한 뒤, 이를 다시 시간대별 활동 확률로 쪼개어 배치하는 방식을 취한다. 예를 들어 평일 오전 9시부터 오후 6시까지는 활동 확률을 높게 유지하고, 늦은 밤이나 새벽 시간대에는 확률을 서서히 낮추는 방식으로 인간의 실제 생활 패턴을 정교하게 모방한다.

이러한 시간적 정밀함은 보안 분석 도구가 시간대별 데이터 밀도를 분석하여 봇을 잡아내는 탐지 기법을 우회할 수 있을 정도로 정교하다.

소셜 미디어 여론 조작을 설명하는 BEND 프레임워크의 16가지 행동 메커니즘

연구진은 가짜 데이터의 품질을 단순히 그럴듯한 문장을 만드는 것에 두지 않고, 소셜 사이버 보안 분야에서 검증된 *BEND* 프레임워크의 16가지 여론 조작 기법을 메시지에 완벽히 녹여내는 데 집중했다. *BEND* 프레임워크는 SNS 상에서 발생하는 의도적인 영향력 행사를 크게 서사 중심의 작전과 네트워크 중심의 작전으로 분류한다.

서사 작전은 감정을 자극하거나 왜곡된 설명을 전파하여 사람들이 말하는 내용과 방식을 바꾸는 행위이며, 네트워크 작전은 특정 집단을 연결하거나 고립시켜 커뮤니티의 구조를 바꾸는 행위이다.

*SynX* 시스템은 행동을 개시할 때 임의로 트윗 형태를 고르지 않고, 자신이 속한 가상 커뮤니티의 서사적 가중치에 따라 어떤 *BEND* 기법을 사용할지 먼저 결정한다.

16가지 행동 유형에는 커뮤니티를 형성하는 *빌드*, 지도자의 영향력을 높이는 *백*, 감정을 자극하는 *익사이트*, 논리를 왜곡하는 *디스토트* 등이 포함된다. 이 중 시스템이 하나의 씨앗 행동을 선택하면 가변 차수 마르코프 체인 모델에 의해 이와 자연스럽게 동반되는 연속적인 행동 사슬이 자동으로 유도된다.

만약 *백*이나 *인게이지* 같은 네트워크 중심 행동이 선택되면 시스템은 단순 독자적인 트윗 대신 다른 계정의 글을 리트윗하거나 답글을 다는 파생형 행동을 수행하도록 유도한다.

인공지능이 생성한 가짜 문장의 의도를 실시간으로 검증하고 교정하는 필터링 시스템

대형 언어 모델은 자연스러운 문장을 만드는 데는 탁월하지만, 특정 조작 기법이나 심리적 의도를 문장 속에 정확히 반영하도록 제어하기는 어렵다. 시스템이 특정 서사를 왜곡하라는 명령을 내려도 인공지능이 평이한 사실만을 나열한 문장을 출력할 수 있기 때문이다. *SynX*는 이를 해결하기 위해 문장이 생성되는 즉시 외부 보안 분석 도구인 *넷매퍼*와 *오라프로*의 배치 모드를 연결하여 실시간 검증 시스템을 가동한다.

이 검증 메커니즘은 인공지능이 출력한 문장에서 언어적 단서와 메타데이터를 추출한 뒤, 원래 계획했던 *BEND* 조작 기법이 문장 속에 제대로 구현되었는지 벡터 값을 비교한다.

연구진이 설계한 채점 알고리즘은 계획된 의도가 문장 안에 모두 포함되어 있으면 높은 점수를 부여하고, 의도하지 않은 무작위적 감정이나 표현이 섞여 있으면 점수를 깎아낸다.

시스템은 한 번에 최대 10개의 문장 후보를 동시에 요청하여 가장 점수가 높은 최적의 문장 하나만을 선택하며, 만약 기준 점수를 넘지 못하면 최대 3회까지 인공지능에게 문장을 처음부터 다시 쓰도록 지시하여 데이터의 일관성을 유지한다.

실제 군사 훈련 데이터와의 비교를 통해 입증된 인공지능 합성 데이터의 사실성

연구진은 이렇게 생성된 합성 데이터셋의 사실성을 검증하기 위해, 2022년 4월 미국과 필리핀 간의 합동 군사 훈련인 발리카탄 22 과정에서 실제 트위터 API를 통해 수집된 약 2,500건의 진짜 데이터셋과 비교 실험을 진행했다. 실험 과정에서는 프롬프트 내에 정밀한 *BEND* 행동 정의를 포함시켰을 때와 그렇지 않았을 때 인공지능이 생성한 결과물이 실제 인간의 대화방식 및 네트워크 확산 구조와 얼마나 일치하는지를 통계적으로 측정했다.

실험 결과 시스템 내부의 검증 절차를 거쳐 생성된 메시지들은 실제 군사 훈련 과정에서 나타난 민간인 및 작전 세력의 리트윗 비율, 인용 확률, 그리고 특정 주제에 대한 인게이지먼트 수치 패턴과 매우 유사한 분포를 보였다.

특히 정보의 확산 경로를 결정하는 리트윗 메커니즘에서 과거의 무작위적 무작위 추출 방식을 버리고, 선호적 부착 방식과 가상 커뮤니티 내 지정된 리더 계정의 영향력을 결합한 하이브리드 공식을 적용함으로써 실제 SNS의 구조적 특징인 척도 없는 네트워크 형태를 완벽하게 재현해 냈다.

소셜 사이버 보안 분석가 양성을 위한 고도화된 시뮬레이션 환경 구축의 의미

이 연구가 제시하는 진정한 가치는 단순히 정교한 가짜 뉴스를 만드는 데 있지 않다. 날이 갈수록 교묘해지는 국가 단위의 정보 조작 세력이나 봇 네트워크에 대응하기 위해서는 이를 탐지하는 인간 분석가와 기계 학습 분류기를 고도로 훈련할 수 있는 안전한 연습장이 필요하기 때문이다.

실제 플랫폼의 API 제약이 강해지거나 개인정보 보호 문제로 인해 실제 유포된 조작 데이터를 구하기 어려운 환경에서, 플랫폼의 데이터 표준 규격과 메타데이터 구조를 그대로 유지한 채 통제 가능한 가짜 생태계를 무한히 생성할 수 있는 기술은 국방, 공공 보건, 재난 대응 등 다양한 영역의 훈련 효율성을 획기적으로 높여준다.

연구진이 개발한 시스템은 분석가들이 실제 작전 환경과 동일한 압박감 속에서 정보의 진위 여부를 판별하고 네트워크 중심의 기동 작전을 평가할 수 있는 강력한 교구재의 기반을 마련했다.

출처
Hicks, M., Farag, M., & Carley, K. (2026). Synthetic social media creation for social-cybersecurity training. Computational and Mathematical Organization Theory, 32, 16. https://doi.org/10.1007/s10588-026-09421-z