AI-World-Story

AI의 판단을 이해한다는 것은 모든 계산을 들여다보는 것이 아니라, 어떤 특징이 달라졌을 때 판단이 바뀌는지를 알아내는 과정에 가깝다. FCCE는 이러한 반사실적 설명을 사람이 이해할 수 있는 개념의 변화로 제시한다. AI의 판단을 이해하는 데 필요한 것은 더 많은 정보가 아니라, 판단을 바꾸는 핵심 조건일 수 있다는 연구 결과가 나왔다. 우리는 이해하지 못하는 판단 앞에서 설명을 요구한다. 의사가 진단을 내리면 이유를 묻고, 심사에서 탈락하면 기준을 알고 싶어 한다. AI가 일상적인 의사결정에 들어오기 시작하면서 같은 요구가 기계를 향하고 있다. “왜 이런 답을 냈는가.” 그런데 설명이 자세해질수록 우리는 정말 AI를 더 잘 이해할까. Zhang과 동료들이 개발한 FCCE(Fast Concept-based Counterfactual Explanations) 연구는 조금 다른 답을 내놓는다. 197명이 참여한 실험에서 핵심적인 개념 변화만 제시받은 사람들의 판단 정확도는 89.88%였다. 오히려 설명을 더 붙이자 정확도는 77.56%까지 떨어졌다. AI의 머릿속을 모두 보여준다고 이해가 생기는 것은 아니다 이미지 AI가 새 한 마리를 보고 특정 종이라고 판단했다고 생각해보자. 기존 설명 기술은 AI가 사진의 어느 부분에 주목했는지 색으로 표시할 수 있다. 하지만 “다리를 많이 봤다”는 사실과 “왜 이 새를 A종이라고 판단했는가”를 이해하는 것은 다른 문제다. 그래서 등장한 것이 반사실적 설명(counterfactual explanation) 이다. 현재 판단의 이유를 길게 늘어놓는 대신 “이 조건이 달랐다면 AI의 판단도 달라졌을 것”이라고 설명한다. 인간이 일상에서 사용하는 설명 방식과도 닮았다. 시험에 떨어진 사람에게 모든 채점 과정을 보여주는 대신 “이 항목에서 3점이 더 높았다면 합격이었다”고 알려주는 것과 비슷하다. 문제는 이미지가 수십만 개의 픽셀로 이루어져 있다는 데 있다. 픽셀을 하나씩 바꾸며 답을 찾으...

튀르키예의 1962~2023년 식량생산 데이터를 분석한 연구에서는 복잡한 머신러닝보다 베이지안 릿지 회귀가 더 안정적인 예측력을 보였다. 식량 생산 예측에서는 알고리즘의 복잡성보다 데이터의 규모와 구조에 적합한 모델을 선택하는 것이 중요하다는 점을 보여준다.   튀르키예의 1962~2023년 식량 데이터를 분석한 연구에서 복잡한 머신러닝보다 단순한 회귀모델이 더 안정적인 예측력을 보였다. AI 모델은 복잡할수록 더 정확할 것이라는 기대가 있다. 더 많은 계산과 더 정교한 알고리즘이 데이터 속에 숨어 있는 패턴을 찾아낼 것이라는 생각이다. 그러나 데이터가 언제나 복잡한 답을 요구하는 것은 아니다. 때로는 수십 년 동안 쌓인 숫자가 화려한 알고리즘보다 단순한 모델에 더 분명하게 자신의 구조를 드러낸다. 튀르키예와 루마니아 연구진이 1962년부터 2023년까지 튀르키예의 식량생산 데이터를 분석해 7가지 예측 모델을 비교했다. 가장 높은 정확도를 기록한 것은 인공신경망이나 랜덤포레스트가 아니라 베이지안 릿지 회귀 였다. 결정계수 R²는 0.968이었다. 다중선형회귀도 0.918을 기록한 반면 인공신경망은 0.731이었다. 이 결과가 던지는 메시지는 단순하다. 좋은 예측을 만드는 것은 가장 복잡한 알고리즘이 아니라 데이터의 성격에 맞는 알고리즘 일 수 있다는 것이다. 한 나라의 식탁에는 수십 년의 경제와 농업이 겹쳐 있다 마트에 놓인 밀가루 한 봉지나 채소 한 단을 보면서 환율이나 도시화, 산업구조를 떠올리는 사람은 많지 않다. 하지만 국가 전체의 식량 생산을 바라보면 이들은 서로 떨어진 문제가 아니다. 식량 생산은 어느 한 해의 작황만으로 결정되지 않는다. 비료 사용량과 농지, 농업기술뿐 아니라 경제성장, 환율, 무역 구조, 농촌 인구의 변화가 오랜 시간 겹치면서 생산 체계를 바꾼다. 연구진이 분석한 식량생산지수(Food Production Index·FPI)는 특정 기준 기간과 비교해 한 국가의 식량 생산 수준이 어떻...

  설명 가능한 AI는 단순히 모델이 어디를 봤는지 보여주는 데서 그치지 않고, 어떤 특징이 달라졌을 때 판단이 바뀌는지도 설명하려 한다. FCCE는 이미지의 픽셀 대신 개념 공간에서 이러한 반사실적 변화를 빠르게 계산하는 방법이다. FCCE 연구에서 197명의 참가자는 AI가 무엇을 봤는지를 아는 데서 그치지 않고, 어떤 조건에서 판단을 바꾸는지를 확인했을 때 모델의 오류를 더 정확하게 가려냈다. 인공지능이 새 사진 한 장을 보고 특정 종이라고 판정했다고 생각해보자. 우리는 자연스럽게 묻게 된다. “왜 그렇게 판단했을까?” 설명 가능한 인공지능(XAI)은 오랫동안 이 질문에 답하려 했다. 사진에서 AI가 중요하게 본 영역을 색으로 표시하거나, 예측에 영향을 미친 특징을 보여주는 방식이 대표적이다. 어디를 주목했는지 알면 적어도 완전히 알 수 없는 기계처럼 느껴지지는 않는다. 하지만 그것만으로 충분할까. 사람의 생각을 이해할 때를 떠올려보면 조금 다른 질문이 나온다. 누군가 무엇을 중요하게 생각하는지 아는 것보다 어떤 조건이 달라졌을 때 생각을 바꾸는지 알게 되면 그 사람의 판단 기준이 훨씬 선명해진다. AI도 마찬가지일 수 있다. “무엇이 달랐다면 너는 다른 답을 내렸을까?” Ruihan Zhang과 동료들이 학술지 Artificial Intelligence 에 발표한 연구는 이 질문을 이미지 분류 AI에 적용했다. 연구진이 제안한 FCCE(Fast Concept-based Counterfactual Explanations)는 픽셀을 하나씩 수정하거나 새로운 이미지를 반복 생성하지 않는다. 대신 AI 내부의 특징을 몇 개의 개념으로 표현하고, 어떤 개념이 얼마나 달라지면 판단이 바뀌는지를 계산한다. 연구진은 알고리즘이 빠르게 작동하는지만 확인하지 않았다. CUB·MNIST·ImageNet에서 계산 성능과 원래 모델에 대한 충실도를 검증하고, 197명이 참여한 행동실험을 통해 이 설명이 실제로 사람의 판단에 도움이 되는...

  능동학습은 모든 데이터에 라벨을 붙이는 대신, AI가 가장 불확실하게 판단하는 사례를 우선 선택해 사람에게 정답을 요청한다. 이렇게 선별된 데이터로 모델을 반복 학습하면 적은 라벨 데이터로도 텍스트 분류 효율과 정확도를 높일 수 있다. 데이터를 닥치는 대로 늘리는 대신 AI가 가장 헷갈리는 사례를 골라 배우게 하자, 적은 라벨 데이터로도 텍스트 분류 정확도가 높아졌다. 우리는 대개 많이 공부하면 더 잘하게 된다고 생각한다. 책을 많이 읽고, 문제를 많이 풀고, 더 많은 사례를 경험할수록 실력이 좋아진다는 믿음이다. 인공지능을 바라볼 때도 비슷하다. 데이터가 많으면 많을수록 더 똑똑한 AI가 만들어질 것처럼 느껴진다. 하지만 인간의 공부도 꼭 그렇지만은 않다. 이미 풀 줄 아는 문제를 백 번 반복하는 것보다 틀린 문제 하나를 붙잡고 “나는 왜 여기서 헷갈렸을까”를 생각하는 편이 더 도움이 될 때가 있다. 중요한 것은 경험의 양만이 아니라 어떤 경험을 선택하느냐 다. 2026년 PLOS One에 발표된 연구는 바로 이 생각을 텍스트 분류 AI에 적용했다. 모든 문장에 사람이 정답을 붙이는 대신, AI가 가장 판단하기 어려워하는 데이터를 찾아 사람에게 물어보도록 했다. 그리고 SVM, 로지스틱 회귀, 나이브 베이즈, 랜덤 포레스트라는 서로 다른 네 가지 머신러닝 모델의 판단을 결합했다. 그 결과 의료 관련 데이터에서는 TF-IDF 기반 모델의 정확도가 기존 80%에서 89%로 높아졌다. SMS 스팸 데이터에서도 79%에서 87%로 상승했다. 이 연구가 던지는 메시지는 간단하다. AI를 잘 가르치는 방법은 언제나 더 많은 정답을 제공하는 데 있는 것이 아니다. 때로는 가장 배울 가치가 있는 질문을 찾아주는 것 이 더 중요하다. 데이터는 넘쳐나는데 정답을 달아줄 사람은 부족하다 인터넷에는 매 순간 새로운 문장이 쌓인다. 상품평이 올라오고, 고객 상담 기록이 남고, 뉴스가 발행되고, 이메일과 문자메시지가 오간다. AI가 읽을 ...

  웨어러블 기기의 IMU 센서는 가속도와 회전 데이터를 수집한다. 머신러닝은 이 신호에 숨어 있는 움직임의 리듬과 패턴을 분석해 걷기, 앉기 등 사람의 행동을 구별할 수 있다. 센서를 더 많이 다는 것보다 중요한 것은 몸이 남긴 작은 신호에서 의미 있는 패턴을 찾아내는 일이었다. 아침에 일어나 스마트워치를 손목에 찬다. 엘리베이터 대신 계단을 내려가고, 지하철역까지 걷는다. 한동안 의자에 앉아 있다가 다시 일어나 움직인다. 우리에게는 별다를 것 없는 하루지만 손목이나 주머니 속 작은 센서의 관점에서 보면 이야기가 달라진다. 센서는 우리가 ‘걷는다’는 사실을 모른다. 계단을 오르고 있다는 것도, 의자에 앉았다는 것도 모른다. 센서가 아는 것은 몸이 어느 방향으로 얼마나 빠르게 움직였는지, 얼마나 기울어지고 회전했는지를 나타내는 숫자의 흐름뿐이다. 그런 숫자를 인간의 행동으로 번역하는 것이 인간 행동 인식(HAR) 기술이다. 미국 센트럴미시간대학교 Ashwin Sankaran 연구자는 웨어러블과 스마트폰의 관성측정장치(IMU)가 기록한 신호를 여러 방식으로 가공해 사람의 행동을 구별하는 시스템을 연구했다. 그 결과 UCI-HAR 데이터에서는 94.60%, PAMAP2에서는 93.83% 수준의 분류 정확도가 보고됐다. 흥미로운 부분은 단순히 더 복잡한 인공지능을 사용해서 얻은 결과가 아니라는 점이다. 연구의 핵심은 AI에게 무엇을 학습시킬 것인가에 있었다. 센서 신호의 잡음을 걷어내고 움직임을 시간, 리듬, 에너지, 방향이라는 여러 관점으로 다시 표현하자 평범해 보였던 숫자 속에서 행동의 특징이 드러났다. 기계에게 ‘걷는다’는 것은 무엇일까 사람은 멀리서 누군가의 뒷모습만 보아도 그가 걷는지 뛰는지 대체로 알아차린다. 몸 전체를 세밀하게 관찰할 필요도 없다. 팔이 흔들리는 속도와 발걸음의 간격, 몸의 위아래 움직임 같은 몇 가지 단서만으로 충분하다. 그러나 기계에는 이런 직관이 없다. 가속도계가 기록하는 것은 x·y·z...

에이전트 AI는 단순히 답변을 생성하는 것을 넘어 외부 도구를 직접 사용하고 실제 행동을 수행한다. 이러한 특성은 목표 설정, 내부 정렬, 도구 사용 보안, 다중 에이전트 협력 등 새로운 AI 안전성 과제를 만들어내고 있다. AI가 답을 생성하는 시대에서, 직접 행동하는 시대로 넘어가고 있다. 챗봇에게 질문을 던지고 답을 받는 것과, AI가 스스로 이메일을 보내고 데이터베이스를 수정하며 웹사이트를 탐색하는 것은 전혀 다른 문제다. 잘못된 답변은 수정하면 되지만, 잘못된 행동은 되돌릴 수 없는 결과를 남길 수도 있다. 2026년 발표된 리뷰 논문은 바로 이 변화에 주목했다. 연구진은 최근 급속히 발전하는 Agentic AI(에이전트 AI) 의 안전성 연구를 체계적으로 분석하고, 아직 해결되지 않은 핵심 과제를 정리했다. 또한 이를 EU AI Act와 미국 NIST AI Risk Management Framework 같은 규제 체계와 연결해 현재 무엇이 준비되어 있고 무엇이 비어 있는지도 함께 살펴봤다. AI의 위험이 '예측 오류'에서 '통제 실패'로 바뀌었다 기존의 생성형 AI는 주로 문장을 만들어내는 시스템이었다. 잘못된 정보를 말할 수는 있지만, 대부분은 사람이 마지막 판단을 내렸다. 하지만 에이전트 AI는 다르다. 예를 들어 AI가 스스로 이메일을 발송하고, 온라인 쇼핑을 대신하며, 서버에 접속해 파일을 수정하고, 여러 프로그램(API)을 호출해 업무를 수행한다면 이제 AI는 단순히 텍스트를 생성하는 존재가 아니라 실제 환경을 바꾸는 행위자가 된다. 논문은 이를 Prediction Error(예측 오류) 에서 Control Failure(통제 실패) 로 위험의 성격이 바뀌었다고 설명한다. 작은 판단 착오 하나가 실제 행동으로 이어지고, 그 결과는 되돌리기 어려울 수 있기 때문이다. 연구진은 무엇을 조사했나 이 논문은 새로운 실험을 수행한 연구가 아니라 PR...

생성형 AI가 만든 피싱 메일은 점점 정교해지고 있지만, 여러 AI 모델을 함께 학습하거나 탐지 기준을 보정하면 새로운 LLM이 생성한 피싱 메일도 높은 정확도로 탐지할 수 있음을 보여주는 개념 이미지. 생성형 AI 시대의 피싱 공격은 더 정교해졌지만, 탐지 성능을 유지하는 방법도 함께 제시됐다. 생성형 AI의 발전으로 피싱 메일은 맞춤법 오류나 어색한 문장 대신 자연스럽고 설득력 있는 문체를 갖추기 시작했다. 하지만 AI가 만든 피싱 메일을 탐지하는 모델에도 새로운 문제가 생겼다. 특정 AI 모델이 만든 메일만 잘 찾아낼 뿐, 다른 AI 모델이 생성한 피싱 메일에서는 성능이 크게 떨어지는 경우가 많았기 때문이다. 최근 발표된 연구는 이 문제가 탐지 모델 자체의 한계가 아니라 판단 기준(Threshold) 설정에 있다는 점을 보여줬다. 연구진은 간단한 임계값 조정이나 여러 AI 모델의 데이터를 함께 학습하는 방식만으로도 탐지 성능을 거의 원래 수준까지 회복할 수 있음을 확인했다. 서로 다른 AI가 만든 피싱 메일도 같은 방식으로 탐지할 수 있을까 기존 연구들은 GPT 계열처럼 하나의 AI 모델이 만든 피싱 메일을 대상으로 높은 정확도를 보고했다. 하지만 실제 공격자는 언제든 다른 생성형 AI를 사용할 수 있다. 오늘은 GPT를 쓰다가 내일은 Llama나 DeepSeek를 사용하는 상황도 충분히 가능하다. 이 연구는 바로 이 현실적인 문제를 검증했다. 연구진은 "한 AI에서 학습한 탐지기가 다른 AI가 만든 피싱 메일도 제대로 찾아낼 수 있는가"를 핵심 질문으로 설정했다. 약 1만 건의 피싱 메일로 대규모 실험을 진행했다 연구진은 총 9,986개의 피싱 메일 데이터셋을 구축했다. • 사람이 작성한 실제 피싱 메일 5,000건 • GPT-4.1 생성 메일 1,665건 • DeepSeek 3.2 생성 메일 1,665건 • Llama 3.3 70B 생성 메일 1,656건 AI가 생성한...