트위터X 봇 탐지 정확도 95.6% 달성…설명 가능한 AI가 찾아낸 가짜 계정의 특징

설명 가능한 AI는 팔로워 관계와 계정 행동 패턴을 분석해 사람 계정과 소셜 봇을 높은 정확도로 구분할 수 있다.

복잡한 그래프 AI 없이도 프로필과 행동 정보만으로 높은 정확도를 구현한 새로운 소셜 봇 탐지 연구

소셜미디어에서 가짜 계정(봇)은 단순한 스팸을 넘어 여론 조작, 허위정보 확산, 금융시장 교란까지 다양한 문제를 일으킨다. 그렇다면 사람과 봇은 무엇이 다를까. 최근 발표된 연구는 계정의 프로필과 활동 기록만 분석해도 사람과 봇을 높은 정확도로 구별할 수 있다는 결과를 제시했다.

연구진은 Twitter(X) 계정을 대상으로 신경망, 랜덤 포레스트(Random Forest), 서포트 벡터 머신(SVM), XGBoost 등 네 가지 머신러닝 모델을 비교했다. 그 결과 신경망 모델은 평균 정확도 95.6%를 기록했고, 랜덤 포레스트는 95.0%, 선형 SVM은 94.1%, XGBoost는 94.0%의 성능을 보였다. 무엇보다 어떤 특징이 봇을 판별하는 데 중요한지까지 설명할 수 있다는 점이 이번 연구의 핵심이다.

왜 봇 탐지는 점점 어려워지고 있을까

초기의 소셜 봇은 반복적으로 같은 글을 올리거나 대량으로 계정을 팔로우하는 단순한 형태였다. 하지만 최근에는 사람처럼 대화하고, 특정 시기에만 활동하며, 실제 사용자와 비슷한 행동을 보이는 하이브리드 형태의 봇이 늘어나고 있다.

기존 연구에서는 이러한 계정을 탐지하기 위해 계정 간 관계를 분석하는 그래프 신경망(Graph Neural Network)이나 대규모 AI 모델을 활용하는 경우가 많았다. 그러나 이런 방법은 방대한 데이터와 높은 연산 자원이 필요해 실제 서비스에 적용하기 어렵다는 한계가 있었다.

이번 연구는 보다 현실적인 접근을 선택했다. 복잡한 네트워크 구조를 분석하지 않고도 계정 자체의 정보와 행동 패턴만으로 높은 탐지 성능을 달성하는 것이 목표였다.

계정의 행동 패턴이 사람과 봇을 구별한다

연구진은 TwiBot-22 데이터셋을 활용했다. 원본 데이터는 약 100만 개 계정을 포함하지만, 결측치와 오류를 제거한 뒤 약 5만7000개의 계정을 확보했다. 이후 사람과 봇의 비율을 동일하게 맞춘 1000개 계정을 이용해 모델을 공정하게 비교했다.

단순히 팔로워 수만 사용하는 대신 새로운 특징도 직접 설계했다. 프로필 소개글의 단어 수, 팔로워와 팔로잉 비율, 프로필 완성도, 계정 생성 시기, 팔로워와 팔로잉 불균형 정도, 게시물 수와 리스트 등록 횟수 등을 함께 분석해 사람과 봇을 더욱 정확하게 구분할 수 있도록 했다.

특히 팔로워 수와 팔로워 대비 팔로잉 비율이 가장 중요한 특징으로 나타났다.

가장 높은 정확도를 기록한 모델은 신경망이다

연구진은 네 가지 머신러닝 모델을 동일한 조건에서 5회 교차검증으로 비교했다.

모델	평균 정확도
신경망(Neural Network)	95.6 ± 0.6%
Random Forest	95.0 ± 0.6%
선형 SVM	94.1 ± 1.5%
XGBoost	94.0 ± 1.1%

흥미로운 점은 모델 간 정확도 차이는 존재했지만 통계적으로는 유의미하지 않았다는 것이다. 즉, 실제 서비스에서는 정확도 차이보다 설명 가능성, 계산 비용, 운영 편의성 등을 함께 고려해 모델을 선택하는 것이 더 중요할 수 있다.

왜 팔로워 비율이 중요한 신호가 되었는가

사람은 일반적으로 팔로우하는 계정과 팔로워 수가 어느 정도 균형을 이룬다. 반면 자동화된 계정은 짧은 시간 안에 수많은 계정을 팔로우하지만 실제 팔로워는 거의 늘지 않는 경우가 많다.

또한 정상 사용자는 프로필 소개를 비교적 자세히 작성하는 반면, 봇은 소개글이 비어 있거나 매우 짧은 경우가 많았다.

연구진은 SHAP라는 설명 가능한 AI 기법을 이용해 각 특징이 결과에 얼마나 영향을 미치는지 분석했다. 그 결과 높은 팔로워 대비 팔로잉 비율은 사람 계정으로 분류될 가능성을 높였고, 소개글 단어 수가 매우 적은 경우에는 봇으로 분류될 가능성이 크게 증가했다. 여러 모델에서 동일한 경향이 확인돼 특징의 신뢰성도 높게 나타났다.

설명 가능한 AI가 실제 서비스에서 더 중요한 이유

높은 정확도만으로는 플랫폼 운영자가 계정을 정지시키기 어렵다. 왜 해당 계정을 봇으로 판단했는지 근거를 제시할 수 있어야 사용자도 결과를 신뢰할 수 있기 때문이다.

이번 연구는 Random Forest의 특징 중요도, 선형 SVM의 계수, XGBoost의 SHAP 분석을 함께 활용해 어떤 변수들이 판단에 가장 크게 기여했는지 설명했다. 단순히 AI가 판단했다고 끝나는 것이 아니라, 어떤 행동 패턴 때문에 봇으로 분류됐는지 근거를 제시할 수 있다는 점이 큰 장점이다.

복잡한 AI보다 좋은 특징이 더 중요할 수도 있다

이번 연구는 최신 그래프 신경망이나 초거대 AI를 사용하지 않았다. 그럼에도 95% 이상의 높은 정확도를 달성했다는 점은 매우 의미 있는 결과다.

다만 연구진은 이번 실험이 사람과 봇을 동일한 비율로 구성한 1000개 계정에서 수행됐기 때문에, 실제 대규모 환경에서는 추가적인 검증이 필요하다고 설명했다. 앞으로는 원본 데이터 전체를 활용하거나 더욱 다양한 환경에서 성능을 검증하는 연구가 이어질 것으로 기대된다.

이번 연구는 좋은 특징(feature engineering)이 있다면 복잡한 AI 모델이 아니어도 높은 성능을 얻을 수 있음을 보여준다. 또한 설명 가능한 AI를 함께 적용하면 플랫폼 운영자는 계정을 차단한 이유를 명확하게 설명할 수 있고, 사용자는 AI의 판단을 더욱 신뢰할 수 있다. 앞으로 허위정보 확산과 자동화 계정 문제를 줄이는 데 실용적인 기술로 활용될 가능성이 높은 연구라 할 수 있다.

출처

López Razo, B. S., Trueba Espinosa, A., García Lamont, F., Valdovinos Rosas, R. M., & Campero Domínguez, J. I. (2026). Enhancing Social Bot Detection in Twitter/X Through Explainable Hybrid AI Models. AI, 7, 288. https://doi.org/10.3390/ai7080288