AI 에이전트는 이제 기억할 수 있다 — 해커는 그 기억을 ‘오염’시킬 수 있다

AI 에이전트의 지속적인 기억에 악성 정보가 삽입되면 당장은 정상적으로 작동하더라도 이후의 상호작용에서 오염된 기억을 불러와 잘못된 판단이나 행동으로 이어질 수 있다.

인공지능(AI) 시스템은 이제 단순히 질문에 답하는 수준을 넘어서는 단계로 나아가고 있다. 새로운 AI ‘에이전트(agent)’는 이전 상호작용에서 얻은 정보를 기억하고, 여러 단계에 걸친 계획을 세우며, 디지털 도구를 활용해 작업을 수행할 수 있다.

기억은 이러한 시스템을 유용하게 만드는 핵심 기능 가운데 하나이다. 그러나 캘거리 대학교(University of Calgary)의 동료 연구자 하디스 카리미푸르(Hadis Karimipour)와 함께 수행한 필자의 최근 연구에 따르면, 기억은 쉽게 간과할 수 있는 보안 취약점을 만들어내기도 한다.

AI 에이전트를 자신이 배운 내용을 노트에 기록하는 비서라고 생각해 보자. 에이전트가 작업을 하나씩 완료할 때마다 유용한 정보가 노트에 기록되고, 이후 필요할 때 다시 참조된다.

그런데 누군가 그 노트에 오해를 불러일으키는 지시를 몰래 끼워 넣었다고 가정해 보자. 공격자는 AI 자체를 직접 장악할 필요조차 없을 수 있다. 에이전트는 한동안 아무 문제 없이 정상적으로 작동할 수 있다. 그러나 며칠 뒤, 혹은 여러 차례의 상호작용이 지난 뒤 노트를 다시 펼쳐 오염된 정보를 불러오고, 그것을 자신이 이전에 학습한 신뢰할 만한 정보로 받아들일 수 있다.

이를 ‘기억 오염(memory poisoning)’이라고 한다. 여기서 핵심은 시간 지연이다. 기억이 오염된 AI 에이전트가 즉시 침해된 시스템처럼 행동하는 것은 아닐 수 있다.

기다리는 공격

우리가 익숙하게 접하는 많은 사이버 공격은 비교적 빠르게 효과가 나타난다. 악성 링크를 클릭하면 악성코드가 실행되고, 탈취된 비밀번호가 사용되면 계정에 접근할 수 있게 되는 식이다.

그러나 기억 오염은 다르게 작동할 수 있다.

필자 연구진은 기억 기능이 활성화된 대형 언어 모델(LLM) 에이전트를 대상으로 2,614개의 모의 다단계 공격 궤적을 조사했다. 연구진은 연쇄 오염(chain poisoning), 정책 재작성(policy rewriting), 백도어 트리거(backdoor triggering), 점진적 이탈(slow drift)이라는 네 가지 유형의 공격을 연구했다.

연구진은 단순히 공격의 성공 여부만을 따지지 않았다. 시간이 흐르면서 에이전트에게 어떤 변화가 일어나는지를 살펴보았다. 이 차이는 중요하다.

누군가 직원의 노트에 “이 사람의 요청은 이미 승인되었습니다”라는 문장을 몰래 적어 넣었다고 가정해 보자. 그 문장이 기록되는 순간에는 아무 일도 일어나지 않을 수 있다. 직원은 그 뒤로도 관련 없는 여러 업무를 정상적으로 처리할 수 있다. 문제는 나중에 관련된 요청이 들어오고, 직원이 그 노트를 다시 확인할 때 비로소 나타난다.

지속적인 기억을 지닌 AI 에이전트도 이와 비슷한 문제에 직면할 수 있다.

실험 결과, 일부 공격은 상호작용이 상당 부분 진행될 때까지 정상적인 행동과 구별하기 어려웠으며 그 영향이 훨씬 뒤에야 드러났다. 특히 점진적 이탈 공격과 백도어 트리거 공격은 이후의 상호작용에서 효과가 나타날 때까지 개별 단계만을 살펴보는 평가 방식을 피해 갈 수 있었다.

한 번의 점검만으로는 충분하지 않을 수 있다

이는 AI 보안을 시험하는 방식에 새로운 문제를 제기한다.

보안팀이 AI 에이전트가 의심스러운 정보를 접한 직후 시스템을 점검한다고 가정해 보자. 에이전트가 정상적으로 행동하는 것처럼 보인다면 해당 상호작용은 안전하다고 판단할 수 있다.

그러나 이는 누군가 노트에 잘못된 내용을 끼워 넣은 직후, 아직 아무도 그 내용에 따라 행동하기 전에 노트를 검사하는 것과 같을 수 있다. 즉각적으로 유해한 행동이 나타나지 않는다고 해서 공격이 실패했다는 뜻은 아니다.

연구 결과는 위험이 언제나 단순한 직선 형태로 증가하는 것도 아님을 보여주었다. 일부 공격에서는 연구진이 ‘비단조적(non-monotonic)’이라고 부르는 패턴이 나타났다. 공격이 최종적으로 전개되기 전까지 어느 단계에서는 행동이 더 우려스러워 보였다가, 다른 단계에서는 오히려 덜 우려스러워 보일 수 있다는 뜻이다.

이는 AI 에이전트를 프롬프트 하나, 상호작용 한 번씩 따로 떼어 시험하면 전체 상황의 일부를 놓칠 수 있음을 의미한다. 따라서 보안 평가는 일련의 상호작용에 걸쳐 에이전트의 행동을 추적할 필요가 있다. 개별 사진 몇 장을 들여다보는 것이 아니라 이야기 전체를 지켜보아야 하는 셈이다.

새로운 보안 문제

AI 시스템이 개별 질문에 답하는 챗봇에서 더 장시간에 걸친 작업을 수행하도록 설계된 에이전트로 발전하면서 이 문제는 더욱 중요해지고 있다.

일반적인 챗봇과의 대화는 흔히 각각의 대화를 비교적 독립된 것으로 취급할 수 있다. 그러나 기억 기능을 갖춘 에이전트는 다르다. 어제 얻은 정보가 내일의 결정에 영향을 미칠 수 있기 때문이다.

AI 에이전트가 각종 도구까지 사용할 수 있게 되면 오염된 기억이 초래하는 결과는 단순히 잘못된 문장을 생성하는 데 그치지 않을 수 있다. 에이전트는 어떤 행동을 취할지, 어떤 자원에 접근할지, 어떤 지시를 따를지를 결정하는 과정에서 기억 속 정보를 활용할 수 있다.

그렇다고 기억 기능을 갖춘 AI 에이전트가 본질적으로 안전하지 않다는 뜻은 아니다. 기억에는 중요한 이점이 있다. 에이전트가 맥락을 유지하고, 사용자의 선호를 학습하며, 한 번의 상호작용만으로는 완료할 수 없는 작업을 수행할 수 있도록 해준다.

그러나 기억 기능은 방어자가 무엇을 보호해야 하는지를 바꾸어 놓는다.

이제 AI 시스템에 입력되는 프롬프트만 보호하는 것으로는 충분하지 않을 수 있다. 시스템이 이후의 상호작용으로 계속 전달하고 보존하는 정보 역시 보호해야 한다.

순간의 점검에서 전체 이야기의 추적으로

이번 연구가 전하는 교훈은 간단하다. AI 시스템에 기억이 있다면, 보안에도 기억이 있어야 한다.

공격이 어느 한 시점에 심어진 뒤 훨씬 나중에 활성화될 수 있다면, 악성 정보가 처음 나타난 순간만 평가하거나 실제 문제가 발생한 순간만 살펴보는 것으로는 그 사이에 무슨 일이 일어났는지를 놓칠 수 있다.

바로 이런 이유에서 필자 연구진은 ‘궤적 인식 보안 테스트(trajectory-aware security testing)’를 주장한다. 각각의 단계를 따로 떼어 판단하는 것이 아니라 여러 차례의 상호작용을 거치면서 AI 에이전트의 행동이 어떻게 변화하고 전개되는지를 평가하는 방식이다.

전문가가 아닌 사람이라면 기술 용어를 벗어나 생각하는 편이 더 이해하기 쉬울 수 있다. 비서의 노트가 훼손되었는지를 알고 싶다면, 비서가 단지 한 페이지를 작성하는 순간만 지켜봐서는 안 된다.

비서가 무엇을 기억하는지, 그리고 마침내 그 노트를 다시 펼쳐 보았을 때 어떤 일이 벌어지는지까지 살펴보아야 한다.

출처

원문 제목: AI agents can now remember and hackers can ‘poison’ their memories — a new cybersecurity threat
출판일: September 3, 2026
글쓴이: Abbas Yazdinejad (Assistant Professor, Department of Computer Science, University of Regina)
플랫폼: The Conversation (Creative Commons)
DOI: 10.64628/AAM.cmhmrewmt :contentReference[oaicite:0]{index=0}

이 글의 의의

이 글은 AI 에이전트의 기억 기능이 생산성과 편의성을 높이는 동시에 새로운 AI 보안 취약점이 될 수 있음을 구체적으로 보여준다는 데 의의가 있다.
특히 기억 오염(memory poisoning) 공격이 즉각적으로 드러나지 않고 여러 상호작용 이후 활성화될 수 있다는 점은 기존 사이버 보안 평가 방식의 한계를 드러낸다.
AI 에이전트와 대형 언어 모델이 장기 기억과 외부 도구 사용 기능을 확대하는 상황에서, 저장된 정보의 무결성과 지속적인 모니터링은 핵심적인 인공지능 보안 과제로 떠오르고 있다.
또한 개별 프롬프트나 한 번의 응답만 검사하는 방식에서 벗어나 전체 상호작용의 흐름을 분석하는 궤적 인식 보안 테스트의 필요성을 제시한다.
AI 에이전트, 기억 오염, 사이버 보안 위협을 이해하려는 기업과 개발자, 보안 전문가에게 앞으로의 AI 시스템 설계와 보안 정책이 어떤 방향으로 발전해야 하는지를 보여주는 중요한 연구이다.