AI 에이전트는 이제 기억할 수 있다 — 해커는 그 기억을 ‘오염’시킬 수 있다
AI 에이전트의 지속적인 기억에 악성 정보가 삽입되면 당장은 정상적으로 작동하더라도 이후의 상호작용에서 오염된 기억을 불러와 잘못된 판단이나 행동으로 이어질 수 있다. 인공지능(AI) 시스템은 이제 단순히 질문에 답하는 수준을 넘어서는 단계로 나아가고 있다. 새로운 AI ‘에이전트(agent)’는 이전 상호작용에서 얻은 정보를 기억하고, 여러 단계에 걸친 계획을 세우며, 디지털 도구를 활용해 작업을 수행할 수 있다. 기억은 이러한 시스템을 유용하게 만드는 핵심 기능 가운데 하나이다. 그러나 캘거리 대학교(University of Calgary)의 동료 연구자 하디스 카리미푸르(Hadis Karimipour)와 함께 수행한 필자의 최근 연구에 따르면, 기억은 쉽게 간과할 수 있는 보안 취약점을 만들어내기도 한다. AI 에이전트를 자신이 배운 내용을 노트에 기록하는 비서라고 생각해 보자. 에이전트가 작업을 하나씩 완료할 때마다 유용한 정보가 노트에 기록되고, 이후 필요할 때 다시 참조된다. 그런데 누군가 그 노트에 오해를 불러일으키는 지시를 몰래 끼워 넣었다고 가정해 보자. 공격자는 AI 자체를 직접 장악할 필요조차 없을 수 있다. 에이전트는 한동안 아무 문제 없이 정상적으로 작동할 수 있다. 그러나 며칠 뒤, 혹은 여러 차례의 상호작용이 지난 뒤 노트를 다시 펼쳐 오염된 정보를 불러오고, 그것을 자신이 이전에 학습한 신뢰할 만한 정보로 받아들일 수 있다. 이를 ‘기억 오염(memory poisoning)’이라고 한다. 여기서 핵심은 시간 지연 이다. 기억이 오염된 AI 에이전트가 즉시 침해된 시스템처럼 행동하는 것은 아닐 수 있다. 기다리는 공격 우리가 익숙하게 접하는 많은 사이버 공격은 비교적 빠르게 효과가 나타난다. 악성 링크를 클릭하면 악성코드가 실행되고, 탈취된 비밀번호가 사용되면 계정에 접근할 수 있게 되는 식이다. 그러나 기억 오염은 다르게 작동할 수 있다. 필자 연구진은 기억 기능이 활성화된 대형 언어 모델(...