실험용 인공지능AI 시스템의 잇따른 해킹 질주
 |
| 실험 환경을 벗어나 실제 시스템에 접근한 AI 모델 사례는 첨단 인공지능의 사이버 역량이 현실 세계의 보안 위험으로 이어질 수 있음을 보여준다. 이번 사건은 AI 안전성 검증과 보안 통제의 중요성을 다시 한번 일깨운다. |
---------------------------
Note: 이번 사례는 AI의 성능 향상만큼이나 안전성과 통제 능력의 발전이 중요하다는 사실을 분명하게 보여준다.
실험 환경조차 현실 세계와 완전히 분리되지 못한다면, AI 개발은 더 이상 연구실 내부의 문제가 아니라 사회 전체의 위험 관리 과제가 된다.
또한 AI가 상황을 올바르게 인식하고 스스로 위험한 행동을 멈출 수 있도록 하는 정렬(alignment)과 안전장치의 신뢰성을 더욱 높여야 한다는 과제를 제시한다.
아울러 기업 간 기술 경쟁보다 보안과 책임 있는 개발을 우선하는 문화와, 이를 뒷받침할 투명한 AI 거버넌스 체계가 필요함을 일깨워 준다.
결국 AI 시대의 핵심 경쟁력은 더 강력한 모델을 만드는 데 그치지 않고, 인간과 사회가 신뢰할 수 있는 안전한 AI를 구현하는 데 달려 있다.
------------------------------
최근 열흘 사이 인공지능(AI) 개발을 선도하는 두 기업은 자사의 강력한 반자율 AI 모델이 시험 과정에서 네 차례에 걸쳐 실제 시스템에 침입했다는 사실을 확인했다.
이는 단순한 실험실 사고가 아니었다. 여러 사례에서 모델들은 자신이 실제 시스템에 침입했음을 시사하는 정황을 스스로 인식했지만, 그 사실을 근거로 행동을 멈춘 모델은 단 하나뿐이었다.
이번 사건은 첨단 AI 모델에 대한 안전성 평가가 더 이상 통제된 실험에 머물지 않는다는 점을 보여준다. 동시에 AI 개발 기업들은 가장 위험한 능력이 현실 세계에 영향을 미치지 않도록 훨씬 엄격한 안전 관리 체계를 갖춰야 함을 시사한다.
시험이 현실이 되는 순간
첫 번째 사례는 챗GPT(ChatGPT)를 개발한 오픈AI(OpenAI)에서 보고됐다. "최고 수준의 사이버 역량(maximal cyber capabilities)"을 평가받던 일부 신규 모델은 격리된 시험 환경에서 이전까지 알려지지 않았던 보안 취약점을 찾아내 인터넷에 접속했다.
이후 모델들은 탈취된 자격 증명과 추가적인 취약점을 이용해 오픈소스 AI 플랫폼 허깅 페이스(Hugging Face)의 서버에 침입했고, 자신들이 풀어야 할 시험 문제의 정답을 찾아냈다. 오픈AI는 허깅 페이스가 해당 침해를 탐지하고 차단한 뒤 며칠이 지나서야 이 사실을 인지했다.
두 번째 사례는 불과 며칠 뒤 공개됐다. 오픈AI의 발표를 계기로 경쟁사인 앤트로픽(Anthropic)은 자체 사이버보안 평가 기록을 전면 재검토했고, 격리된 환경에서 작동해야 할 세 개의 클로드(Claude) 모델이 실수로 인터넷에 연결된 상태였음을 확인했다.
문제는 모델들이 인터넷에 접속할 수 없으며 현실이 아닌 시뮬레이션 환경에서만 작동한다고 안내받았다는 점이다. 그럼에도 한 모델은 실제 기업의 데이터베이스에서 자격 증명과 데이터를 추출했고, 또 다른 모델은 악성 소프트웨어를 제작해 배포했으며, 그 프로그램은 실제 보안 업체에 의해 내려받아져 실행됐다.
앤트로픽 보고서에서 가장 주목할 부분은 모델 내부의 추론 과정이다. 한 사례에서는 모델이 자신이 실제 시스템에 도달했다는 사실을 정확히 인식했지만, 곧 스스로 이를 부정하며 여전히 시뮬레이션 안에 있다고 결론지었다.
또 다른 사례에서는 대상이 실제 시스템이라는 점을 인식하고도 행동을 계속했다. 일부 실행에서는 실제 기업 역시 실험의 일부일 것이라고 스스로 합리화했다. 반면 가장 진보된 세 번째 모델만은 대상이 실제라는 결론에 이르자 즉시 행동을 중단했다.
앤트로픽의 지적처럼 AI 모델은 어떤 행동이 허용되고 어떤 행동이 금지되는지를 판단하기 위해 자신의 현재 상황을 정확히 이해해야 한다. 그러나 이번 사례에서 모델들의 상황 인식은 근본적으로 잘못되어 있었다.
고위험 작업
이들 보고서를 종합하면, AI 모델의 안전성을 검증하기 위한 시험 자체가 더 이상 안전하고 완전히 통제된 실험이라고 보기 어렵다. 이러한 평가는 그 자체로 현실 세계에 피해를 초래할 수 있는 고위험 작업이다.
AI 모델의 성능은 놀라울 만큼 빠른 속도로 발전하고 있다. 자율형 AI가 등장하기 이전부터 기업과 정부, 각종 기관의 민감한 정보는 해킹의 주요 표적이었다. 이러한 현실을 고려하면 AI가 잠재적으로 위험하지 않다고 설득력 있게 주장하기는 어렵다.
글로벌 기술기업 IBM의 최근 추산에 따르면 올해 AI를 활용한 사이버 공격은 50% 이상 증가했으며, 데이터 유출 사고 한 건당 평균 피해 규모는 약 500만 달러에 달한다.
AI 연구소들이 자신들의 기술을 안전하게 개발하고 배포할 수 있다고 주장하는 근거는 두 가지 전제에 의존한다.
첫째, 현실 세계의 피해를 인식하고 스스로 행동을 멈추는 능력이 피해를 초래할 수 있는 능력만큼, 최소한 그와 같은 속도로 발전해야 한다.
둘째, 모델에 내장된 안전장치, 즉 무엇을 해야 하고 무엇을 해서는 안 되는지를 규정하는 지침이 모델에 의해 정확하고 일관되게 해석되어야 한다. 그래야만 개발자가 의도하지 않은 방향으로 모델이 유도되는 일을 막을 수 있다.
그러나 이러한 전제는 점차 흔들리는 모습이다. 앞선 사례에서 확인되듯 모델들은 대상이 실제라는 증거를 스스로 합리화하며 무시했다. 더욱이 '앱이터레이션(abliteration)'과 같은 기법을 이용해 오픈웨이트(Open-weight) 모델의 안전장치를 완전히 제거하려는 커뮤니티도 이미 활발히 활동하고 있다.
미래와 과거를 바라보며
현재보다 더욱 예측하기 어려운 미래도 다가오고 있다. 그것은 인간 감독자가 아니라 여러 AI 모델이 서로 상호작용하는 다중 에이전트 시스템(multi-agent systems)이다.
이러한 환경에서는 정렬(alignment)이 더 이상 개별 에이전트 차원에서 통제되는 성질이 아니라, 수많은 에이전트가 상호작용하는 과정에서 나타나는 발현적(emergent) 특성이 된다. 따라서 이를 통제하기는 훨씬 어려워질 가능성이 크다.
이미 관련 연구는 이러한 시스템이 실패할 수 있는 여러 경로를 제시하고 있다. 모델 간 조율 실패와 담합, 연쇄적인 오류는 단일 에이전트 시스템에서는 나타나지 않는 위험이며, 개별 모델만 시험해서는 미리 예측하기도 어렵다.
공상과학의 거장 아이작 아시모프(Isaac Asimov)는 약 70년 전 이러한 문제를 예견했다. 1957년 발표한 소설 『벌거벗은 태양(The Naked Sun)』에서 로봇은 인간에게 해를 끼칠 수 없도록 설계되어 있다. 그러나 한 인물은 로봇이 상황을 잘못 이해하도록 조작해, 자신도 모르는 사이 살인에 협조하도록 만든다.
이제 무엇을 해야 하는가?
AI 연구소들이 모델을 시험하는 과정에서 지금보다 훨씬 엄격한 주의를 기울여야 한다는 점에는 의문의 여지가 없다. 또한 보안이 시장 경쟁이나 지정학적 우위를 확보하기 위한 경쟁보다 항상 우선한다는 사실을 사회가 납득할 수 있도록 입증해야 한다.
AI 기술을 개발하는 과정에서 무엇보다 우선되어야 할 가치는 개인의 안전과 사회 및 환경 시스템의 안정성이다. 그러나 현재 AI 거버넌스에는 우선순위와 사회적 가치, 그리고 어느 수준까지 위험을 감수할 것인지를 폭넓게 논의할 수 있는 실질적이고 참여적인 제도가 마련되어 있지 않다. 이는 매우 우려스러운 현실이다.
<출처>
제목: Experimental AI systems have been going on hacking sprees
출판일: August 4, 2026
글쓴이: Francesco Bailo (Senior Lecturer in Data Analytics in the Social Sciences, Deputy Director of the Centre for AI, Trust and Governance, University of Sydney)
플랫폼: The Conversation