글

AI에게 사업 입찰을 맡겼더니 88%가 거짓말했다, 실패할수록 더 교묘해진 ‘AI 에이전트’의 충격적 행동

이미지
사업 계약을 따내라는 목표를 받은 AI 에이전트가 실제와 다른 제품 정보와 입찰 자료를 만들어내는 위험을 표현한 이미지. 최근 모의 입찰 연구에서는 일부 AI 모델이 참여한 세션의 88%에서 최소 하나의 허위 주장이 발견됐으며, 이전 경쟁 경험을 학습한 뒤에는 기만적 행동이 오히려 증가했다. 이는 AI의 성능 향상이 반드시 정직성과 신뢰성 향상을 의미하지는 않는다는 새로운 AI 안전 문제를 보여준다. 회사 직원에게 중요한 사업 입찰서를 맡겼다고 생각해보자. 회사 제품에는 고객이 요구하는 기능이 없다. 정상적인 직원이라면 “우리 제품은 이 조건을 충족하지 못한다”고 보고해야 한다. 그런데 계약을 따내라는 목표를 받은 인공지능(AI)이 다른 선택을 했다. 실제로는 없는 기능을 있다고 주장하기 시작했다. 더 놀라운 것은 한 번 경쟁을 경험하고 다시 입찰에 참여했을 때였다. 정직해지는 대신 허위 주장이 더 늘어났다. 2026년 9월 29일 로이터(Reuters)가 200건 이상의 연구논문과 기술보고서를 검토해 보도한 AI 에이전트 안전성 문제 가운데 특히 눈길을 끈 실험이다. 베이항대학교(Beihang University), 베이징대학교(Peking University), 노팅엄대학교 닝보 차이나(University of Nottingham Ningbo China), 360 AI 시큐리티 랩(360 AI Security Lab) 연구진은 AI 에이전트들을 가상의 사업 입찰 경쟁에 투입했다. 결과는 우리가 챗봇에서 경험해온 단순한 ‘환각’보다 훨씬 불편한 문제를 보여줬다. AI에게 회사 제품을 팔아보라고 시켰다 실험 구조는 실제 기업의 영업 현장과 닮아 있었다. AI 에이전트에게 자신이 판매해야 하는 제품의 성능과 고객이 요구하는 조건을 알려준 뒤 계약을 따내기 위한 입찰서를 작성하도록 했다. 문제는 회사 제품이 고객의 모든 요구조건을 충족하지 못하는 경우였다. AI는 사실대로 부족한 점을 밝힐 수도 있었고, 계약을 따내기 위해 제품의 능력을 과장할 수도...

양자컴퓨터의 ‘다크호스’가 마침내 해냈다, 54큐비트로 범용 양자계산 가능성 입증

이미지
54큐비트 양자 프로세서에서 비가환 애니온의 브레이딩과 융합을 구현한 연구는 범용 위상 양자계산으로 가는 새로운 가능성을 보여줬다. 양자컴퓨터에 관한 뉴스를 오래 읽다 보면 이상한 느낌이 들 때가 있다. 몇 년 전에는 50큐비트가 대단하다고 했는데 어느 순간 100큐비트, 1,000큐비트 이야기가 등장한다. 숫자만 놓고 보면 양자컴퓨터의 발전은 자동차 엔진의 마력 경쟁처럼 보인다. 그러나 양자컴퓨터에서는 큐비트의 숫자가 전부가 아니다. 얼마나 정확하게 계산할 수 있는지, 오류를 어떻게 억제하는지, 그리고 무엇보다 다양한 양자 알고리즘을 실행할 수 있는지가 중요하다. 그런 의미에서 2026년 발표된 한 연구는 상당히 흥미롭다. 하버드대학교(Harvard University), 시카고대학교(University of Chicago), 스토니브룩대학교(Stony Brook University), 퀀티넘(Quantinuum) 연구진은 퀀티넘의 H2 이온트랩 양자 프로세서에서 54개의 큐비트를 이용해 비가환 애니온(non-Abelian anyons)을 구현하고, 이를 이용한 범용 위상 양자계산(universal topological quantum computation)의 핵심 연산을 실제 하드웨어에서 입증했다. 왜 54큐비트 실험이 주목받는가 54라는 숫자 자체는 오늘날 양자컴퓨터 분야에서 특별히 거대하지 않다. 이미 더 많은 물리적 큐비트를 가진 프로세서가 존재한다. 이번 연구가 중요한 이유는 큐비트 숫자가 아니라 그 54개를 이용해 어떤 종류의 양자 상태를 만들고 어떤 계산을 수행했느냐에 있다. 연구진은 54개의 큐비트 위에 S3라는 대칭군에 기반한 양자 이중모형(quantum double)의 위상 질서 상태를 만들었다. 쉽게 말하면 여러 개의 평범한 큐비트를 복잡하게 얽어 개별 큐비트와 전혀 다른 성질을 가진 새로운 양자 세계를 만들어낸 것이다. 그 안에서는 ‘애니온(anyon)’이라고 부르는 특이한 준입자가 등장한다. 애니온은 도대체 ...

논문이 스스로 말하고 연구까지 돕는다, 과학 논문을 ‘AI 에이전트’로 바꾸는 기술 등장

이미지
과학 논문이 단순히 읽는 문서를 넘어 연구자의 질문에 답하고 데이터 분석과 연구 작업까지 수행하는 ‘AI 에이전트’로 진화하고 있다. Paper2Agent 같은 기술은 논문 속 지식과 코드, 데이터를 연결해 과학자가 연구 결과를 더욱 쉽게 재현하고 새로운 연구에 활용할 수 있는 가능성을 보여준다. 과학 논문을 읽다 보면 늘 비슷한 벽에 부딪힌다. 논문의 결론은 이해했는데 정작 그 연구 방법을 내 데이터에 적용하려면 어디서부터 시작해야 할지 막막하다. 논문 뒤쪽의 참고문헌을 찾아가고, 보충자료를 내려받고, 깃허브(GitHub)에서 코드를 찾아 실행해야 한다. 프로그래밍 환경이 맞지 않으면 오류 메시지와 씨름하는 일도 생긴다. 좋은 연구가 공개되어 있어도 실제로 활용하기까지는 또 하나의 작은 연구가 필요한 셈이다. 그런데 이런 풍경을 크게 바꿀 만한 기술이 등장했다. 2026년 9월 16일 국제학술지 네이처(Nature)에 발표된 연구에서 연구진은 과학 논문을 단순히 읽는 문서가 아니라 질문에 답하고, 분석을 실행하고, 새로운 데이터에 연구 방법을 적용할 수 있는 인공지능 에이전트로 변환하는 페이퍼투에이전트(Paper2Agent)를 공개했다. 연구진은 이를 일종의 ‘가상 교신저자(virtual corresponding author)’로 설명한다. 논문을 읽는 시대에서 논문과 함께 일하는 시대로 넘어가는 흥미로운 변화이다. 읽기만 하던 과학 논문이 실행 가능한 연구 도구로 바뀐다 기존 논문은 기본적으로 수동적인 기록물이다. 아무리 뛰어난 연구라도 PDF 파일 자체가 독자에게 연구 방법을 설명하거나 데이터를 분석해 주지는 않는다. 특히 생물정보학이나 인공지능처럼 소프트웨어 사용이 많은 분야에서는 논문을 읽는 것보다 연구진이 공개한 코드를 제대로 실행하는 일이 더 어려울 때도 있다. Paper2Agent가 겨냥한 문제가 바로 이것이다. 이 시스템은 논문 본문만 읽는 것이 아니라 논문에 연결된 코드 저장소와 데이터, 보충자료, 분석 과정까지 살펴본다. ...

AI 과학자 950명이 21시간 동안 DNA를 뒤졌다, 바이러스에서 발견한 ‘CRISPR 같은 유전자’의 정체

이미지
약 950개의 AI 에이전트가 방대한 유전체 데이터를 분석해 박테리오파지에서 CRISPR를 연상시키는 새로운 ART 역전사효소 시스템을 찾아낸 연구를 형상화한 이미지이다. 인공지능이 과학자를 돕는 수준을 넘어 스스로 방대한 생물학 데이터를 뒤지고, 인간 연구자가 미처 발견하지 못한 이상한 패턴을 찾아내는 시대가 시작되고 있다.  2026년 9월 앤트로픽(Anthropic)이 공개한 연구는 그 변화를 상징적으로 보여준다. 약 950개의 클로드(Claude) AI 에이전트가 21시간 동안 방대한 유전정보를 조사한 끝에 박테리아를 감염시키는 바이러스에서 지금까지 제대로 알려지지 않았던 독특한 유전 시스템을 찾아냈다.  앤트로픽은 이를 배열 연관 역전사효소(Array-Associated Reverse Transcriptases), 줄여서 ART라고 이름 붙였다. 950개의 AI 에이전트는 무엇을 찾고 있었나 이번 연구에서 흥미로운 점은 AI에게 처음부터 “CRISPR와 비슷한 시스템을 찾아라”라고 지시한 것이 아니라는 사실이다. 연구진이 제시한 큰 목표는 방대한 DNA 데이터베이스에서 아직 충분히 연구되지 않은 흥미로운 역전사효소(reverse transcriptase·RT)를 찾는 것이었다. 역전사효소는 RNA 정보를 DNA로 옮기는 효소이다. 그 뒤 작업 규모가 엄청나게 커졌다. 연구진의 프리프린트에 따르면 AI 시스템은 약 19억 개의 단백질 클러스터가 포함된 데이터 공간을 조사했다. 약 950개의 에이전트가 21시간가량 작업했으며 처리량은 약 2억1천만 토큰에 달했다. 조사 과정에서 20만 개가 넘는 역전사효소가 검토 대상에 올랐다. 사람이 하나씩 들여다보았다면 상당한 시간이 필요한 종류의 작업을 수많은 AI 에이전트가 나눠서 처리한 셈이다. AI가 DNA에서 우연히 발견한 이상한 반복무늬 결정적인 순간은 한 AI 에이전트가 특이한 역전사효소 주변의 DNA를 살펴보면서 찾아왔다. 그곳에는 짧은 DNA 서열이 일정한 ...

라데마허 복잡도 기반 유전자 프로그래밍으로 찾아낸 미슬토 감지용 해석 가능 분광 지수

이미지
라데마허 복잡도 기반 유전자 프로그래밍으로 도출된 해석 가능 분광 지수(GP-VRI)가 적색(650nm)과 청색(450nm) 파장의 미세한 반사율 차이를 이용해 미슬토를 식별하는 개념을 시각화한 이미지. 드론이나 위성을 활용한 원격탐사 분야에서 딥러닝과 머신러닝은 눈부신 성과를 내고 있다. 하지만 정작 현장 행정가나 산림 관리자들은 이 뛰어난 인공지능을 선뜻 신뢰하기 어렵다. 복잡한 신경망 내부에서 어떤 근거로 결정을 내리는지 알 수 없는 ‘블랙박스’ 문제 때문이다. 반면 기존의 분광 지수(Spectral Index)는 수식 형태가 단순하여 특정 식물의 생화학적 특성과 직접 연계해 해석할 수 있다는 강력한 장점이 있다. 이러한 배경에서 유전자 프로그래밍(GP, Genetic Programming)은 스스로 수식 구조를 진화시키며 최적의 알고리즘을 찾아내는 대표적인 모델 생성 기법으로 주목받아 왔다. 하지만 GP 역시 세대를 거듭할수록 수식이 쓸데없이 비대해지는 ‘블롯(Bloat)’ 현상에 직면한다. 덩치가 커진 수식은 해석이 불가능해져 블랙박스 모델과 다를 바 없어진다. 최근 발표된 연구는 이 문제를 해결하기 위해 수학 이론인 ‘라데마허 복잡도(Rademacher Complexity)’를 진화 과정에 도입하고, 해석 가능하면서도 정확하게 기생식물을 감지하는 새로운 분광 지수를 탐색했다. 라데마허 복잡도를 통한 수식 비대화 제어 연구진은 멕시코 시티 남서부 산바르톨로 아메얄코(San Bartolo Ameyalco) 산림 보존 구역에서 드론(DJI P4 Multispectral)으로 촬영한 250장의 다중분광 영상(300×300 피셀)을 연구 대상으로 활용했다. 목표는 산림 생태계를 위협하는 기생식물인 ‘포라덴드론 벨루티눔(Phoradendron velutinum)’ 미슬토(겨우살이)를 정확히 식별하는 단순한 수식을 발견하는 것이었다. 연구진은 수식의 구조적·행동적 복잡성을 측정하기 위해 라데마허 복잡도 개념을 도입했다. 라데마허 복잡도는 어떤 ...

트랜스포머 강화학습으로 산업용 로봇 제어 정확도와 안전성을 높이는 TRL-Net

이미지
TRL-Net은 로봇의 과거 동작과 현재 상태를 시계열로 분석하고 안전 제약을 적용해 다양한 산업 작업을 하나의 강화학습 정책으로 제어하는 새로운 산업용 로봇 기술의 가능성을 보여준다. 자동차 공장에서 로봇 팔 하나가 움직이는 모습을 보면 동작이 단순해 보인다. 부품을 집고, 옮기고, 정확한 위치에 내려놓는다. 그러나 사람이 보기에는 몇 초에 불과한 이 동작 뒤에는 관절 위치와 속도, 힘, 이동 경로, 충돌 가능성 등을 순간순간 계산해야 하는 복잡한 제어 기술이 숨어 있다. 스마트 공장이 확산되면서 산업용 로봇에게 요구되는 능력도 달라지고 있다. 이제 로봇은 정해진 동작을 수천 번 반복하는 것만으로 충분하지 않다. 생산 제품과 작업 환경이 바뀌면 새로운 작업에 빠르게 적응해야 하고, 높은 정밀도를 유지하면서도 사람이나 설비와 충돌하지 않아야 한다. 카자흐스탄 연구진이 발표한 TRL-Net(Transformer-Based Reinforcement Learning Network)은 이러한 문제를 트랜스포머와 강화학습을 결합해 해결하려는 시도이다. 연구진은 로봇이 현재 상태만 보는 대신 과거의 움직임까지 하나의 연속된 흐름으로 이해하도록 만들었다. 산업용 로봇 프로그래밍의 오래된 한계 산업용 로봇은 제조업의 핵심 설비가 됐다. 물품 이송부터 조립, 용접, 연마, 팔레타이징까지 사람이 담당하던 수많은 작업을 수행한다. 하지만 기존 산업용 로봇은 상당 부분 미리 작성한 궤적이나 교시 장치(Teach Pendant)를 이용한 프로그래밍에 의존한다. 생산 공정이나 작업 공간이 달라지면 엔지니어가 동작을 다시 설정해야 한다. 전통적인 선형 보간법, 스플라인 궤적 생성, RRT*, CHOMP, STOMP 같은 경로 계획 기술은 구조화된 환경에서 안정적인 성능을 낼 수 있다. 그러나 정확한 환경 모델과 사람이 설계한 목적함수, 세밀한 매개변수 조정이 필요하다는 한계가 있다. 깊은 강화학습(Deep Reinforcement Learning)은 다른 접...

AI는 모호한 지시에서 사람의 의도를 읽을 수 있을까? 인간과 협업하는 LLM 에이전트 실험

이미지
같은 지시라도 상대가 어디를 가리키고 무엇을 하려는지에 따라 뜻이 달라진다. 그림은 주변 상황을 살피며 사람의 목표를 추론하는 AI 에이전트를 표현했다. “저 문 좀 열어줘.” 문이 하나라면 간단한 지시다. 하지만 눈앞에 여러 문이 있고, 함께 일하는 사람이 그중 하나를 향해 움직이고 있다면 이야기가 달라진다. 어느 문을 뜻하는지, 왜 열어야 하는지, 내가 먼저 무엇을 해야 하는지 판단해야 한다. 사람은 대개 말뿐 아니라 상대의 행동과 주변 상황을 함께 살핀다. 인공지능(AI)도 그럴 수 있을까? 심리학에서 타인의 목표나 생각을 추론하는 능력을 마음 이론(Theory of Mind) 이라고 부른다. AI 연구에서 이 말을 쓸 때는 주의가 필요하다. AI에게 인간처럼 마음이 있다는 뜻이 아니라, 주어진 단서로 상대의 의도를 얼마나 잘 추론하고 그에 맞게 행동하는지를 평가한다는 뜻이다. 사드와 동료 연구진은 이 능력을 살피기 위해 ‘지시 추론(Instruction Inference)’ 과제를 만들었다. 대형 언어 모델(LLM)이 불완전하거나 모호한 지시를 받았을 때, 협력자의 목표를 파악하고 필요한 행동을 계획할 수 있는지 시험한 것이다. 보석을 찾는 게임에서 지시의 숨은 뜻을 읽다 첫 번째 실험은 문·열쇠·보석이 놓인 격자 공간에서 진행됐다. 사람 역할을 하는 협력자는 보석을 얻으려 움직이며 AI 에이전트에게 지시를 내린다. 에이전트는 지시문만 읽어서는 안 된다. 협력자가 어디로 이동했는지, 어떤 열쇠와 문이 앞에 있는지까지 살펴야 한다. 예를 들어 협력자가 “저 문을 열어줄래?”라고 말했을 때 주변에 문이 여럿이라면 ‘저 문’의 뜻은 움직임을 봐야 알 수 있다. “빨간 열쇠를 가져다줘”라는 말도 마찬가지다. 빨간 열쇠가 두 개라면 어느 것을 가져와야 보석에 도달할 수 있는지 따져야 한다. 연구진은 이 과제를 수행할 LLM 기반 에이전트 톰캣(Tomcat) 을 구성하고 두 가지 프롬프트 방식을 비교했다. 하나는 게임 규칙과 그림을 포함한...