"오늘 내 자율주행차는 완벽할까?" 사고 칠 확률 미리 맞히는 '족집게 AI'가 온다
우리는 지금껏 인공지능(AI)이 얼마나 똑똑한지에만 열광했다. 바둑을 이기고, 수능 문제를 풀고, 그림을 그려내는 능력에 감탄하느라 정작 중요한 질문을 놓치고 있었다. 바로 "이 AI가 언제, 어디서, 왜 실수를 할 것인가?"라는 질문이다.
자율주행 자동차가 평소에는 베스트 드라이버였다가 갑자기 안개가 끼거나 길이 굽어지면 엉뚱한 판단을 내려 대형 사고를 낼지, 우리는 미리 알 길이 없었다. 성적은 전교 1등인데 언제 돌발 행동을 할지 모르는 불안한 친구와 함께 사는 기분이다.
최근 인공지능 분야의 권위 있는 학술지에 발표된 연구는 이제 성능(Performance)보다 더 중요한 가치는 바로 예측 가능성(Predictability)이라고 선언하며 패러다임의 전환을 예고했다.
이제는 정답률 100%보다 틀릴 때 말해주는 정직함이 더 중요하다
연구팀은 AI가 무조건 똑똑해지는 것보다, 자신이 언제 실패할지를 사용자에게 정확히 예고하는 것이 인류에게 훨씬 더 유용하다고 강조한다. 이를 예측 가능한 AI(Predictable AI)라고 부른다. 우리가 운전을 할 때 시야가 확보되지 않거나 도로가 너무 험하면 "지금은 위험하니 조심해야겠다"라고 판단하는 것처럼, AI도 자신의 한계를 스스로 알고 경고를 보낼 수 있어야 한다는 것이다.
만약 어떤 AI가 1,000번 중 999번을 성공하더라도 나머지 1번의 치명적인 실패가 언제 일어날지 모른다면 우리는 그 AI를 전적으로 믿을 수 없다. 반대로 성공률이 80%에 불과하더라도 "이번 상황은 제가 잘 모르는 패턴이니 사람이 개입하세요!"라고 정확히 말해준다면, 우리는 그 AI를 훨씬 더 안전하고 효과적으로 활용할 수 있게 된다. 연구진이 정의한 AI의 두 가지 핵심 지표를 비교하면 다음과 같다.
| 구분 | 성능 (Performance) | 예측 가능성 (Predictability) |
|---|---|---|
| 핵심 질문 | 얼마나 정답을 잘 맞히는가? | 언제 틀릴지 미리 알 수 있는가? |
| 목표 | 높은 정확도와 효율성 | 높은 신뢰도와 안전성 |
| 사용자 체감 | "와, 정말 똑똑하다!" | "믿고 맡길 수 있겠다!" |
| 실패 시 상황 | 예기치 못한 갑작스러운 사고 | 예고된 정지에 따른 안전 확보 |
AI가 사고 칠 시점을 미리 알아내는 세 가지 마법의 안경
그렇다면 AI의 행동을 어떻게 미리 내다볼 수 있을까? 연구팀은 AI의 운명을 점치는 세 가지 핵심적인 방법론을 제시했다.
첫째, 인간의 직관을 활용하는 방법이다. 사람이 문제를 보고 "이건 AI가 풀기 어렵겠는데?"라고 느끼는 난이도 점수가 실제로 AI의 실패 확률과 높은 상관관계를 보였다는 점에 주목한다.
둘째, AI 스스로가 "나 지금 이 문제 틀릴 것 같아"라고 자신감을 점수로 매기는 자가 진단 방식이다. 셋째, 메인 AI를 실시간으로 감시하는 또 다른 감시자 AI(Assessor)를 두는 것이다.
연구진은 특히 AI가 맞닥뜨리는 환경(운영 조건)에 따라 예측의 난이도가 달라진다는 점을 분석했다.
| 운영 조건의 유형 | 설명 | 예측 난이도 |
|---|---|---|
| 이미 알려진 조건 | AI가 학습한 데이터와 유사한 환경 | 매우 쉬움 (안정적) |
| 변화하는 조건 | 날씨, 시간대 등 예측 가능한 변화 | 중간 (통계적 예측) |
| 전혀 새로운 조건 | 한 번도 겪어보지 못한 돌발 상황 | 매우 어려움 (주의 필요) |
이 감시자 시스템은 메인 AI가 일하는 환경 정보(예: 안개의 농도, 도로의 곡선 정도)와 메인 AI의 과거 데이터를 분석해 "너는 아마 10분 뒤에 경로를 이탈할 확률이 70%야"라고 예언한다.
연구 결과, 복잡한 계산 없이도 몇 가지 핵심 정보만으로 AI의 실패를 놀라울 정도로 정확하게 맞힐 수 있었다. 결국 똑똑함과 정직함은 별개의 영역이며, 우리는 이제 정직함을 측정하는 데 집중해야 한다.
예측 가능한 AI가 우리 삶을 바꾸는 결정적 순간들
이 기술이 우리 일상에 적용되면 어떤 변화가 일어날까? 우선 자율주행 자동차를 탈 때의 불안감이 사라진다.
자동차가 출발 전 "오늘 날씨와 제 상태를 분석한 결과, 안전 도착 확률은 99.8%입니다"라고 브리핑해주거나, 위험 구간 진입 직전에 "여기서부터는 제 데이터에 없는 구간이니 직접 운전해 주세요"라고 미리 권한을 넘길 수 있다.
AI의 예측 가능성이 높아졌을 때와 낮을 때 우리가 느끼는 차이를 표로 정리해 보았다.
| 적용 분야 | 예측 가능성이 높을 때 (안전) | 예측 가능성이 낮을 때 (위험) |
|---|---|---|
| 자율주행 | 위험 구간 전 운전자에게 알림 | 갑작스러운 급브레이크나 사고 |
| 의료 진단 | "확률이 낮으니 추가 검사 하세요" | 오진인 줄 모르고 수술 진행 |
| 금융 투자 | "변동성이 크니 거래를 중단합니다" | 순식간에 일어나는 알고리즘 폭락 |
| AI 챗봇 | 모르는 질문에 "잘 모릅니다" 답변 | 그럴듯한 거짓말(환각 현상) 생성 |
안전한 미래를 위한 약속, 성능보다 신뢰를 선택하라
미래의 AI는 지금보다 수천 배 더 강력해질 것이다. 하지만 그 힘이 우리에게 축복이 되려면 반드시 통제 가능성이 전제되어야 한다.
이번 연구는 전 세계 AI 개발자들에게 중요한 메시지를 던진다. 이제 단순히 정답률을 높이는 경쟁을 멈추고, AI가 인간에게 자신의 한계를 솔직하게 고백하게 만드는 기술에 우선순위를 두라는 것이다.
우리가 AI에게 진정으로 원하는 모습은 신처럼 전지전능한 존재가 아니다. 자신의 실수를 미리 알고 인간이 대비책을 세울 수 있게 해주는, 소통 가능한 파트너다. 앞으로 우리는 새로운 AI 모델이 나올 때마다 이렇게 물어야 할 것이다. "너는 얼마나 똑똑하니?"가 아니라, "너는 네가 언제 틀릴지 알고 있니?"라고 말이다.
출처: Zhou, L., Casares, P. A. M., Martínez-Plumed, F., Burden, J., Burnell, R., Cheke, L., Ferri, C., Marcoci, A., Mehrbakhsh, B., Moros-Daval, Y., hÉigeartaigh, S. Ó., Rutar, D., Schellaert, W., Voudouris, K., & Hernández-Orallo, J. (2026). Predictable artificial intelligence. Artificial Intelligence, 353, 104491. https://doi.org/10.1016/j.artint.2026.104491