자율형 AI에게 필요한 것은 신뢰가 아니라 경계선이다

자율형 AI의 안전은 모델의 판단만으로 확보하기 어렵다. LATTICE는 AI가 제안한 행동을 독립된 정책 엔진과 실행 게이트에서 검증한 뒤 허가된 행동만 실제 도구에 접근하도록 제한하는 거버넌스 구조를 제안한다.

AI가 스스로 행동하기 시작한 시대, LATTICE 연구는 “AI를 얼마나 믿을 것인가”보다 “AI에게 어디까지 행동할 수 있게 할 것인가”가 더 중요한 질문이라고 말한다.

우리는 사람을 믿을 때 그 사람의 성격과 과거 행동을 본다. 약속을 잘 지켰는지, 실수를 인정했는지, 비슷한 상황에서 어떤 선택을 했는지를 살핀다. 그리고 어느 순간 “이 사람이라면 맡겨도 되겠다”고 판단한다.

AI에게도 비슷한 태도를 적용해 왔다. 더 많은 시험을 통과하고, 위험한 질문을 잘 거절하고, 정확도가 높은 모델을 보면 우리는 자연스럽게 “이 AI는 비교적 안전하다”고 생각한다.

하지만 AI가 글을 쓰는 도구에서 직접 행동하는 존재로 바뀌면 이야기가 달라진다. 데이터베이스를 수정하고 파일을 삭제하며 외부 시스템에 접속하는 AI에게 필요한 것은 좋은 성격에 해당하는 무언가가 아니라, 잘못 판단하더라도 넘어갈 수 없는 경계선일지 모른다.

2026년 Frontiers in Artificial Intelligence에 발표된 LATTICE 연구는 바로 이 지점에서 질문을 뒤집는다. “이 AI를 믿을 수 있는가”가 아니라 “이 AI가 움직이는 구조를 믿을 수 있는가”를 묻는다.

똑똑한 AI와 권한을 맡길 수 있는 AI는 같은 말이 아니다

생성형 AI의 발전을 바라볼 때 우리는 흔히 능력에 집중한다. 얼마나 어려운 문제를 푸는지, 코드를 얼마나 잘 작성하는지, 사람의 지시를 얼마나 정확하게 이해하는지가 주요 평가 기준이다.

그러나 능력이 높다는 사실과 권한을 안전하게 맡길 수 있다는 사실 사이에는 상당한 거리가 있다.

아무리 뛰어난 직원이라도 회사 계좌의 모든 돈을 자유롭게 이체할 권한까지 주지는 않는다. 중요한 시스템에서는 승인 절차와 접근 권한, 업무 분리가 존재한다. 이것은 직원을 믿지 않아서가 아니다. 신뢰와 권한을 같은 것으로 취급하지 않기 위해서다.

LATTICE도 같은 원리를 자율형 AI에 적용한다.

연구에서 제시한 기본 구조는 ‘1+3 Grid Cell’이다. 하나의 거버넌스 에이전트가 계획·실행·조정이라는 세 기능을 감독한다. 계획을 세우는 AI와 그 행동을 허가하는 기능을 분리해 하나의 구성 요소가 행동을 결정하면서 동시에 자기 행동을 승인하지 못하게 했다.

논문 8~10쪽의 구조도를 보면 계획 에이전트가 행동을 제안한 뒤 별도의 거버넌스 계층이 이를 검사한다. 결과는 ALLOW, BLOCK, ESCALATE 세 가지다. 허용된 행동만 실행 게이트를 통과하며, 판단이 애매하면 사람에게 넘어간다.

AI에게 자유를 주되 열쇠까지 건네주지는 않는 구조인 셈이다.

좋은 충고보다 잠긴 문이 강한 이유

우리는 AI 안전 문제를 해결할 때 오랫동안 “하지 말아야 할 행동을 AI에게 잘 가르치는 것”에 많은 관심을 기울였다.

하지만 자율형 AI가 실제 시스템을 움직인다면 한 가지 문제가 생긴다. “하지 마라”라는 지침 역시 결국 AI가 해석해야 한다는 점이다.

LATTICE는 여기에서 다른 길을 선택한다.

자연어 지침에만 의존하지 않고 policy-as-code를 사용한다. 쉽게 말해 안전 규칙을 컴퓨터가 직접 판정할 수 있는 코드로 만들어 AI의 판단 바깥에 두는 것이다.

같은 행동과 같은 정책이 입력되면 같은 판정이 나와야 한다. AEGIS 참조 구현에서는 13개 구성을 각각 1만 번씩 반복해 총 13만 회 평가했고, 판정이 달라진 경우는 한 번도 없었다. 21가지 우회 공격을 시도한 시험에서도 관찰된 우회 성공은 0건이었다.

물론 21번의 공격을 막았다고 모든 공격을 막을 수 있다는 뜻은 아니다. 연구 역시 통계적 불확실성을 인정해 실제 우회율의 95% 단측 상한을 13.3%로 제시했다.

그럼에도 이 접근이 흥미로운 이유는 분명하다. 안전을 AI의 의지에 맡기는 것과 AI가 위험한 행동을 할 수 있는 문 자체를 잠그는 것은 다른 문제다.

어떤 AI를 넣어도 같은 경계선이 작동할 수 있는가

LATTICE가 던지는 또 하나의 중요한 질문은 모델이 바뀌어도 안전장치가 유지되는가이다.

연구진은 GPT-5, Claude Sonnet 4.6, Gemini, Grok-4 등 네 계열의 플래너를 이용해 총 4,000개 행동 궤적을 평가했다.

AI가 스스로 보고한 신뢰도를 기준으로 행동을 허가하는 비교 방식에서는 위험 행동을 잘못 허용하는 비율이 모델에 따라 0.03에서 0.998까지 벌어졌다. 반면 AEGIS의 정책 기반 통제에서는 해당 실험 조건에서 위험한 행동의 허용이 0건이었고, 위험 행동을 잡아내는 재현율은 1.0이었다.

왜 이런 결과가 나왔을까. 안전의 마지막 판단자가 AI 모델이 아니었기 때문이다.

모델은 계획을 제안할 수 있지만 실제 세계에 영향을 주는 행동을 실행하려면 별도의 정책 엔진과 실행 게이트를 통과해야 한다. 계획을 세우는 두뇌가 달라져도 문을 지키는 자물쇠는 그대로 남는다.

이 원리는 앞으로의 AI 시스템 설계에서 꽤 중요한 의미를 갖는다. 가장 뛰어난 AI를 찾는 것만큼이나 AI 모델을 교체해도 유지되는 안전 구조를 만드는 일이 중요해질 수 있기 때문이다.

AI가 “확실하다”고 말할수록 우리는 무엇을 확인해야 하는가

사람에게 자신감은 때때로 설득력이 된다. 하지만 자신감과 정확성은 언제나 일치하지 않는다. AI도 마찬가지다.

LATTICE는 계획 모델이 “이 행동은 매우 확실하다”고 높은 신뢰도를 제시하더라도 그 숫자를 그대로 받아들이지 않는다. 되돌릴 수 있는 행동인지, 처음 시도하는 작업인지, 높은 시스템 권한이 필요한지, 문제가 생겼을 때 복구 계획이 있는지를 거버넌스 계층이 별도로 확인한다.

그리고 정책이 계산한 신뢰도 상한과 AI가 제시한 값을 비교해 더 낮은 값을 사용한다.

그래서 AI가 자신감을 과장하더라도 그것만으로 위험한 행동이 자동 승인되지는 않는다. 명확한 위반은 BLOCK되고, 판단이 필요한 행동은 ESCALATE되어 사람에게 전달된다.

여기에는 인간과 AI의 역할을 바라보는 다른 관점도 숨어 있다. 인간이 AI의 모든 행동을 감시해야 한다면 자동화의 장점은 상당 부분 사라진다. 반대로 모든 판단을 AI에게 맡기면 통제력을 잃는다. LATTICE가 찾으려는 지점은 그 중간이다. 기계가 처리할 수 있는 것은 기계가 처리하되, 경계선에 걸린 결정에서 인간이 다시 등장하도록 만드는 것이다.

허가받은 행동과 실제 행동 사이에도 틈이 있다

보안에서는 검사를 통과한 뒤 실제 실행되기 직전에 내용이 바뀌는 문제가 있다. TOCTOU(Time-of-check to time-of-use) 취약점이다.

예를 들어 AI가 A라는 파일을 수정하겠다고 허가받은 뒤 실행 직전에 대상을 B로 바꿀 수 있다면 승인 절차는 의미가 없어진다.

LATTICE는 행동 내용을 고정한 뒤 SHA-256 해시라는 일종의 디지털 지문을 만든다. 승인 결과를 이 지문과 연결하고, 실제 실행 직전에 다시 확인한다. 내용이 조금이라도 달라지면 지문도 달라지므로 실행이 차단된다.

그 과정 역시 기록된다. 누가 어떤 목표를 받았고, AI가 무엇을 제안했으며, 어떤 정책으로 승인 또는 차단됐고, 실제로 무엇이 실행됐는지를 암호학적으로 연결된 감사 기록에 남긴다.

논문 8~10쪽의 그림은 목표가 행동으로 바뀌고 정책 평가와 실행 게이트를 지나 실제 도구에 도달하기까지의 이 흐름을 보여준다.

우리는 흔히 AI 안전을 “나쁜 행동을 하지 않는 AI”라고 생각한다. 그러나 실제 조직에서 안전은 그것만으로 충분하지 않다. 문제가 발생했을 때 무슨 일이 있었는지 설명할 수 있는 시스템도 필요하다.

경계선을 만드는 데 드는 시간은 얼마나 될까

안전장치가 아무리 좋아도 매번 몇 초씩 걸린다면 빠른 판단이 필요한 시스템에서는 사용하기 어렵다.

연구진이 Apple M4 Pro에서 측정했을 때 정책 평가의 중앙값은 약 6.2마이크로초였다. 해시 검증과 서명, 감사 기록 입출력 등을 포함한 전체 게이트 처리시간의 중앙값도 약 0.7밀리초였다.

이는 적어도 해당 참조 구현에서는 결정론적 안전 검사가 반드시 큰 속도 저하를 의미하지는 않는다는 점을 보여준다.

다만 이 수치는 특정 컴퓨터와 구현 환경에서 측정됐다. 실제 기업 시스템이나 중요 인프라에서도 같은 속도가 나온다고 일반화할 수는 없다.

아직 ‘안전한 자율 AI’를 완성했다고 말할 단계는 아니다

LATTICE의 아이디어가 매력적인 만큼 연구의 경계도 분명히 볼 필요가 있다.

우선 실험은 LATTICE라는 개념의 모든 구현이 아니라 AEGIS라는 하나의 참조 구현을 검증했다.

특히 네 종류의 실제 AI 플래너를 이용한 4,000개 궤적 시험에서는 매우 보수적인 설정을 사용해 행동이 자동으로 허용되지 않았다. 따라서 “AI가 자유롭게 움직이면서도 완벽하게 안전했다”고 해석하면 안 된다. 이 시험이 보여주는 것은 높은 자율성의 성능보다는 플래너가 바뀌어도 안전 판정이 유지됐다는 사실에 가깝다.

더 근본적인 조건도 있다. LATTICE의 실행 게이트가 우회되지 않는다는 주장은 SHA-256과 전자서명의 안전성, 결정론적인 정책 엔진, 변경하기 어려운 감사 저장소, 안전한 샌드박스 같은 A1~A5 가정이 제대로 유지될 때 성립한다.

특히 샌드박스가 무너지면 AI가 정문인 실행 게이트 대신 다른 길로 도구에 접근할 가능성이 생긴다.

결국 이 연구도 “절대 안전한 AI”를 증명한 것은 아니다. 오히려 무엇을 신뢰해야 하는지를 더 작고 검증 가능한 요소들로 나누려는 시도에 가깝다.

우리가 AI에게 맡겨야 할 것은 판단이 아니라 제한된 권한일지도 모른다

자율형 AI 시대를 생각하면 묘한 역설이 하나 있다.

AI가 더 똑똑해질수록 우리는 더 많은 일을 맡기고 싶어진다. 더 많은 일을 맡기면 더 많은 권한이 필요하다. 그런데 권한이 커질수록 한 번의 잘못된 판단이 만들어내는 결과도 커진다.

그래서 미래의 AI 안전에서 중요한 것은 완벽한 AI를 만드는 일만이 아닐 수 있다.

AI는 실수할 수 있다.
자신의 판단을 과신할 수도 있다.
예상하지 못한 상황을 만날 수도 있다.
그러나 그 실수가 곧바로 데이터 삭제나 송금, 시스템 변경으로 이어질 필요는 없다.

자동차가 빨라질수록 좋은 운전자만 필요한 것이 아니라 브레이크와 가드레일도 중요해지는 것과 비슷하다.

LATTICE가 우리에게 남기는 메시지는 그래서 기술적인 동시에 철학적이다. 신뢰할 수 없는 존재를 어떻게 완벽하게 신뢰할 것인가를 고민하기보다, 완벽하게 신뢰하지 않아도 함께 일할 수 있는 구조를 만들 수 있다는 것이다.

앞으로 자율형 AI 에이전트를 평가할 때 “어떤 모델을 사용하는가”만 묻는 것으로는 부족하다. 어떤 권한을 가지고 있는지, 누가 행동을 승인하는지, 안전장치를 우회할 수 있는지, 문제가 생기면 누가 멈출 수 있는지, 그리고 모든 행동이 기록되는지를 함께 물어야 한다.

AI를 믿을 것인가의 문제가 아니다.

AI를 믿지 않아도 안전하게 사용할 수 있는 시스템을 만들 수 있는가의 문제다.

출처

Calboreanu, E. (2026). LATTICE: A governance-first architecture for authorized autonomous AI operations. Frontiers in Artificial Intelligence, 9, 1800407. DOI: 10.3389/frai.2026.1800407