AI는 왜 이 사진을 틀렸을까? 0.01초 만에 판단 근거를 밝히는 FCCE

FCCE는 픽셀을 하나씩 수정하는 대신 부리 색, 날개 무늬, 꼬리 모양 같은 의미 있는 개념을 분석해 AI의 판단이 바뀌는 최소 조건을 실시간으로 찾아낸다.

인공지능이 새 사진을 보고 특정 종이라고 판정했다. 그런데 결과가 틀렸다면 우리는 무엇을 알아야 할까. 지금까지 널리 사용된 설명 방식은 대개 AI가 사진의 어느 부분을 보았는지를 색으로 표시했다. 새의 부리나 날개가 붉게 강조되면 그 부분이 판단에 중요했다는 사실은 알 수 있다. 하지만 여전히 핵심 질문은 남는다. 그 특징이 어떻게 달라졌다면 AI의 판단도 바뀌었을까?

2026년 국제학술지 Artificial Intelligence에 발표된 연구는 이 질문에 실시간으로 답하는 새로운 설명가능한 인공지능 기술을 제시했다. 이름은 ‘고속 개념 기반 인과대립 설명(Fast Concept-based Counterfactual Explanations, FCCE)’이다. FCCE는 픽셀을 하나씩 고치는 대신 AI가 학습한 의미 있는 시각적 개념을 이용해 판단이 바뀌는 최소 조건을 계산한다.

AI가 본 위치가 아니라 판단이 바뀌는 조건을 묻다

기존의 두드러짐 지도나 클래스 활성화 지도는 AI가 사진의 어디에 주목했는지를 보여준다. 이는 유용하지만 설명으로서는 수동적이다. 강조된 부위가 왜 중요했는지, 무엇을 바꾸면 다른 결과가 나오는지까지 알려주지는 못한다.

인과대립 설명은 질문의 방향을 바꾼다. “왜 AI는 이 새를 Q종이 아니라 P종으로 분류했는가?” 또는 “어떤 특징이 달랐다면 Q종으로 판단했을까?”라고 묻는다. 예를 들어 “꼬리의 말린 정도와 배의 색이 달랐다면 말라뮤트가 아니라 허스키로 분류했을 것”이라는 식이다. 사람은 이러한 설명을 통해 결과뿐 아니라 모델이 적용한 판단 규칙까지 추론할 수 있다.

픽셀의 바다를 벗어나 ‘부리 색’과 ‘꼬리 모양’으로 이동하다

사진은 수많은 픽셀로 이루어져 있다. 픽셀 공간에서 분류 결과가 바뀌는 이미지를 찾으려면 반복적인 최적화나 생성 과정이 필요하다. 확산 모델은 그럴듯한 반대 사례 이미지를 만들 수 있지만 여러 차례 노이즈를 제거해야 하므로 시간이 오래 걸린다. 무엇보다 시각적으로 자연스러운 이미지가 반드시 분류기의 실제 판단 논리를 충실하게 보여주는 것도 아니다.

FCCE는 이 복잡한 픽셀 공간을 그대로 헤매지 않는다. CNN 내부 특징 맵에서 비지도 방식으로 잠재 개념을 발견한 뒤 이미지를 개념 점수의 조합으로 표현한다. 조류 사진이라면 이러한 개념은 부리 색, 이마 무늬, 목과 배의 색, 꼬리 모양과 연결될 수 있다. 연구진은 이 개념 공간에서 분류 경계를 국소적으로 선형화하면, 예측을 뒤집는 변화량을 반복 탐색 없이 수식으로 곧바로 계산할 수 있다는 점을 이용했다.

반복 탐색 대신 한 번의 투영으로 답을 구하다

FCCE의 핵심은 현재 이미지의 개념 점수를 목표 클래스와의 결정 경계 위로 투영하는 것이다. 길을 하나씩 시험하며 출구를 찾는 방식이 아니라, 현재 위치에서 가장 가까운 경계까지의 방향과 거리를 계산하는 셈이다. 연구진은 여기에 목표 클래스의 중심점 정보를 반영해 결과가 실제 데이터 분포에서 지나치게 벗어나지 않도록 했다.

다만 수학적으로 계산된 변화는 여러 개념에 조금씩 퍼질 수 있다. 이를 그대로 보여주면 사용자는 지나치게 많은 정보를 받아들여야 한다. FCCE는 판단 변화에 가장 크게 기여한 상위 개념만 남겨 설명을 간결하게 만든다. 복잡한 계산 결과를 사람이 기억하고 활용할 수 있는 몇 개의 규칙으로 압축한 것이다.

197명이 확인한 효과, 모델의 실수를 더 잘 가려냈다

연구진은 CUB-200-2011 조류 데이터셋을 이용해 참가자 197명을 대상으로 행동 실험을 진행했다. 참가자들은 새 사진과 CNN의 예측, 그리고 각 방식이 만든 설명을 본 뒤 모델의 예측이 맞았는지 틀렸는지를 판단했다. 따라서 실험에서 보고한 정확도는 CNN의 이미지 분류 성능이 아니라, 사람이 AI의 성공과 실패를 얼마나 정확하게 구별했는지를 뜻한다.

시각 영역을 교체하는 CVE 설명을 본 집단의 판단 정확도는 50.89%에 머물렀다. 세그먼트 기반 개념 설명인 ACE는 68.47%, 잠재 개념을 보여주는 ICE는 82.95%를 기록했다. FCCE 집단은 89.88%로 가장 높은 정확도를 보였다. 이는 단순히 중요한 특징을 보여주는 것보다 “어떤 개념이 바뀌면 분류 결과가 뒤집히는가”를 알려주는 방식이 모델의 오류를 발견하는 데 더 유용할 수 있음을 보여준다.

그럴듯한 그림은 높은 신뢰를 주지만 정답을 보장하지 않는다

실험에서 특히 눈길을 끄는 결과는 자신감과 실제 판단력이 항상 일치하지 않았다는 점이다. CVE 집단의 정확도는 사실상 무작위 선택에 가까운 50.89%였지만, 참가자들이 보고한 자신감은 5점 만점에 4.02점이었다. 눈으로 보기에 설득력 있는 설명이 반드시 올바른 이해를 낳지는 않았던 것이다.

FCCE 집단은 자신감 4.42점, 이해도 4.43점, 만족도 4.00점으로 전반적으로 가장 높은 평가를 받았다. 그러나 만족도와 설명의 완전성에서는 집단 간 차이가 통계적으로 유의하지 않았으므로, 모든 주관적 지표가 확실히 개선됐다고 단정해서는 안 된다.

설명을 더 붙일수록 오히려 판단력이 떨어졌다

연구진은 전역적인 개념 규칙에 개별 이미지 설명이나 개념의 텍스트 이름을 추가하면 성능이 더 좋아질 것이라고 예상했다. 결과는 반대였다. 정보가 늘어나도 판단 정확도는 향상되지 않았으며, 일부 조건에서는 오히려 낮아졌다.

개별 사례에 관한 세부 정보가 핵심 규칙을 가리고, 텍스트 이름이 불필요한 선입견을 만들었을 가능성이 있다. 설명가능한 AI에서 중요한 것은 정보의 양이 아니라 사용자가 실제 판단에 활용할 수 있는 구조이다. 때로는 여러 장의 그림과 긴 설명보다 “이 모델은 다리 색과 꼬리 모양에 지나치게 의존한다”는 짧은 규칙이 더 유용하다.

0.01초 안팎의 설명 속도와 0.3% 미만의 충실도 오차

빠른 설명이 원래 CNN의 판단과 동떨어져 있다면 실용적 가치가 없다. 연구진은 개념 공간에서 계산한 반대 사례를 원래 비선형 CNN에 다시 적용하고, 원래 클래스와 목표 클래스의 로짓이 실제 결정 경계에서 얼마나 가까워지는지를 상대적 로짓 격차(Relative Logit Gap, R-Gap)로 측정했다.

CUB, MNIST, ImageNet에서 FCCE의 R-Gap은 모두 0.3% 미만이었다. 이는 단순화된 개념 공간에서 구한 결과가 원래 CNN의 실제 결정 경계와 매우 가깝게 대응했음을 의미한다. 다만 R-Gap은 결정 경계에 대한 충실도를 측정한 지표이지, 발견된 개념이 인간에게 언제나 명확하거나 인과적으로 참이라는 사실까지 보장하는 지표는 아니다.

속도는 더욱 두드러졌다. 폐형식 해 자체를 계산하는 데 걸린 시간은 CPU에서 10^-5초 미만이었고, 특징 추출을 포함한 인스턴스별 설명 시간은 대략 10^-2초 수준이었다. ImageNet의 FCCE 로컬 설명 시간은 약 0.00982초였다. 반면 지연 시간 참고용으로 측정한 Guided Diffusion 파이프라인은 NVIDIA Tesla T4 GPU에서 이미지 한 장당 평균 16.34초가 걸렸다.

이 비교는 두 방법의 설명 품질을 동일 조건에서 겨룬 결과가 아니다. 확산 모델은 사실적인 이미지를 만드는 데 강점이 있고, FCCE는 빠르게 개념 규칙을 제시하는 데 초점을 맞춘다. 그러나 사람이 AI와 대화하듯 설명을 요청하고 즉시 판단해야 하는 시스템에서는 수초와 0.01초의 차이가 결정적일 수 있다.

허스키의 꼬리와 서점 간판에서 드러난 AI의 편법

사례 연구에서 FCCE는 허스키와 말라뮤트를 구분하는 CNN이 흔히 거론되는 눈 색이나 얼굴 무늬뿐 아니라 ‘말린 꼬리’에 의존하고 있음을 찾아냈다. 또 다른 사례에서는 모델이 상점 간판을 이발소와 연결해 학습한 탓에 ‘Amazon Books’ 간판을 이발소의 증거로 오인하는 지름길 학습도 드러냈다.

이러한 설명은 AI가 맞았는지를 사후에 해설하는 데 그치지 않는다. 모델이 우연한 배경, 문자, 촬영 구도에 의존하는지 찾아내고 데이터셋을 수정하는 디버깅 도구가 될 수 있다. 연구진은 피부 병변 영상에서도 임상적으로 의미를 가질 수 있는 피부경 패턴과 연결된 개념을 제시했다. 다만 이는 적용 가능성을 보여준 정성적 사례이므로, FCCE의 임상 안전성이나 진단 효과가 검증됐다는 뜻으로 확대 해석해서는 안 된다.

FCCE가 넘어야 할 한계

FCCE의 성능은 발견된 개념 공간의 품질에 크게 좌우된다. 비지도 행렬 분해는 사람이 일일이 개념에 이름을 붙이는 비용을 줄이지만, 추출된 개념이 항상 서로 뚜렷하게 구별되거나 인간이 즉시 이해할 수 있는 것은 아니다. 연구에 사용된 표준 비음수 행렬 분해는 특정 클래스의 판단을 억제하는 음의 특징을 표현하는 데도 제약이 있다.

또한 이번 연구의 높은 충실도는 주로 ResNet 계열 구조에서 확인됐다. 결정 경계가 더욱 복잡한 비전 트랜스포머에서도 같은 수준의 선형 근사가 성립하는지는 추가 검증이 필요하다. 사람 대상 실험 역시 세밀한 조류 분류라는 제한된 과제에서 이루어졌다. 의료, 자율주행, 산업 안전처럼 실제 책임이 따르는 환경에서도 같은 효과가 재현되는지는 앞으로 확인해야 한다.

설명가능한 AI의 미래는 ‘더 많은 설명’이 아니라 ‘쓸 수 있는 설명’이다

FCCE 연구의 가장 큰 의의는 AI 설명의 목표를 다시 묻게 한다는 데 있다. 화려한 시각화나 방대한 정보가 좋은 설명을 자동으로 만들어 주지는 않는다. 사용자가 모델의 약점을 발견하고 다음 행동을 결정할 수 있어야 비로소 설명은 실용적인 도구가 된다.

FCCE는 “AI가 어디를 보았는가”에서 한 걸음 더 나아가 “무엇이 달랐다면 판단이 바뀌었는가”를 개념의 언어로 제시한다. 그리고 그 답을 사람이 기다림을 느끼기 어려운 0.01초 안팎에 내놓는다. 인공지능의 블랙박스를 완전히 열어젖힌 것은 아니지만, 인간이 그 판단의 약점을 더 빠르고 정확하게 시험할 수 있는 손잡이를 마련한 셈이다.

출처

Zhang, R., Miller, T., Ehinger, K. A., & Rubinstein, B. I. P. (2026). “Fast concept-based counterfactual explanations for image classification.” Artificial Intelligence, 359, 104599.