설명 가능한 AI, 더 많이 보여줄수록 더 잘 이해할까

 

설명 가능한 AI는 단순히 모델이 어디를 봤는지 보여주는 데서 그치지 않고, 어떤 특징이 달라졌을 때 판단이 바뀌는지도 설명하려 한다. FCCE는 이미지의 픽셀 대신 개념 공간에서 이러한 반사실적 변화를 빠르게 계산하는 방법이다.

FCCE 연구에서 197명의 참가자는 AI가 무엇을 봤는지를 아는 데서 그치지 않고, 어떤 조건에서 판단을 바꾸는지를 확인했을 때 모델의 오류를 더 정확하게 가려냈다.

인공지능이 새 사진 한 장을 보고 특정 종이라고 판정했다고 생각해보자. 우리는 자연스럽게 묻게 된다. “왜 그렇게 판단했을까?”

설명 가능한 인공지능(XAI)은 오랫동안 이 질문에 답하려 했다. 사진에서 AI가 중요하게 본 영역을 색으로 표시하거나, 예측에 영향을 미친 특징을 보여주는 방식이 대표적이다. 어디를 주목했는지 알면 적어도 완전히 알 수 없는 기계처럼 느껴지지는 않는다.

하지만 그것만으로 충분할까. 사람의 생각을 이해할 때를 떠올려보면 조금 다른 질문이 나온다. 누군가 무엇을 중요하게 생각하는지 아는 것보다 어떤 조건이 달라졌을 때 생각을 바꾸는지 알게 되면 그 사람의 판단 기준이 훨씬 선명해진다.

AI도 마찬가지일 수 있다. “무엇이 달랐다면 너는 다른 답을 내렸을까?”

Ruihan Zhang과 동료들이 학술지 Artificial Intelligence에 발표한 연구는 이 질문을 이미지 분류 AI에 적용했다. 연구진이 제안한 FCCE(Fast Concept-based Counterfactual Explanations)는 픽셀을 하나씩 수정하거나 새로운 이미지를 반복 생성하지 않는다. 대신 AI 내부의 특징을 몇 개의 개념으로 표현하고, 어떤 개념이 얼마나 달라지면 판단이 바뀌는지를 계산한다.

연구진은 알고리즘이 빠르게 작동하는지만 확인하지 않았다. CUB·MNIST·ImageNet에서 계산 성능과 원래 모델에 대한 충실도를 검증하고, 197명이 참여한 행동실험을 통해 이 설명이 실제로 사람의 판단에 도움이 되는가를 시험했다.

FCCE 설명을 본 참가자의 모델 오류 판별 정확도는 89.88%였다. 비교 방법인 CVE는 50.89%, ACE는 68.47%, ICE는 82.95%였다.

하지만 이 논문의 진짜 이야기는 89.88%라는 숫자만으로 끝나지 않는다. 설명을 더 자세하게 제공했더니 오히려 사람들의 판단 정확도가 떨어졌기 때문이다.

AI가 어디를 봤는지 알았다면, 이제는 언제 판단을 바꾸는지 물어야 한다

이미지 AI를 설명하는 가장 직관적인 방법 가운데 하나는 모델이 중요하게 본 부분을 보여주는 것이다. 새의 머리 주변이 강조돼 있다면 “이 모델이 머리 부분을 중요하게 보는구나”라고 이해할 수 있다. 그러나 여기에는 한계가 있다. 어디를 봤는지는 알 수 있어도 그 특징이 판단을 어떻게 바꾸는지까지는 알기 어렵다.

사람의 선택에서도 비슷한 일이 벌어진다. 누군가 자동차를 살 때 가격을 중요하게 본다는 사실만으로는 어떤 자동차를 고를지 예측하기 어렵다. 그러나 “가격이 이 수준을 넘으면 다른 자동차를 선택한다”는 조건을 알게 되면 그 사람의 판단 구조가 훨씬 명확해진다.

반사실적 설명(counterfactual explanation)이 묻는 것도 이것이다. “현재 A라고 판단했다면, 무엇이 얼마나 달라져야 B라고 판단하는가?”

문제는 이미지가 수많은 픽셀로 이루어진 고차원 데이터라는 데 있다. 픽셀 공간에서 AI의 판단을 바꾸는 변화를 하나씩 탐색하면 계산량이 커진다. 생성형 모델을 이용해 반대 사례 이미지를 만드는 방법도 있지만 반복적인 생성 과정에 시간이 들고, 시각적으로 그럴듯한 변화가 반드시 분류 모델의 실제 판단 논리를 충실하게 보여준다고 보장할 수도 없다.

FCCE는 이 문제를 다른 방향에서 풀었다. 픽셀을 움직이지 말고 개념을 움직이자는 것이다.

FCCE는 픽셀 대신 몇 개의 ‘개념’으로 AI의 판단 경계를 계산한다

FCCE는 CNN 내부의 복잡한 특징을 사람이 해석할 수 있는 잠재적 개념들로 압축한다. 새 이미지라면 어떤 개념은 부리나 다리, 깃털색 같은 시각적 특징과 연결될 수 있다.

연구진은 ICE 계열의 비지도 개념 학습 방식을 이용했다. 사람이 처음부터 ‘부리’, ‘날개’, ‘다리’라는 정답표를 만들어 입력하는 것이 아니라 신경망의 특징 지도에서 잠재적인 개념을 찾아낸다.

이렇게 고차원 특징을 개념 공간으로 옮기면 결정적인 장점이 생긴다. 복잡한 CNN의 판단을 이 공간에서는 선형적으로 근사할 수 있다. 따라서 현재 이미지가 두 클래스 사이의 결정 경계(decision boundary)에 도달하려면 개념 점수가 어느 방향으로 얼마나 이동해야 하는지 수학적으로 계산할 수 있다.

논문 5쪽 그림 1은 이 아이디어를 기하학적으로 보여준다. 현재 사례에서 출발해 두 분류를 가르는 경계까지 이동하는 방향을 찾는 구조다.

FCCE의 속도를 만들어내는 핵심도 여기에 있다. 반복적으로 후보를 만들고 시험하는 대신 닫힌 형태의 해(closed-form solution)를 이용한다. 쉽게 말하면 여러 번 시행착오를 거쳐 답을 찾기보다 수식으로 직접 계산하는 방식이다.

다만 수학적으로 얻은 변화량을 그대로 사람에게 보여주면 또 다른 문제가 생긴다. 여러 개념에 작은 변화가 조금씩 걸쳐 있을 수 있기 때문이다. 정확하더라도 “17개 특징을 각각 조금씩 바꾸라”는 설명은 좋은 인간용 설명이 아니다.

그래서 연구진은 분류 변화에 크게 기여하는 개념만 남겼다. 인간 실험에서는 예측 점수 변화의 첫 90%를 설명하는 특징을 표시했고, 일반적으로 1~3개의 개념이 설명에 포함됐다.

여기서 논문이 스스로 한계를 명확히 밝힌 부분도 눈여겨볼 필요가 있다. FCCE가 목표 클래스의 중심점을 이용해 만드는 ‘그럴듯한 변화 방향’은 연구진이 정의한 전체 최적화 문제의 정확한 수학적 최적해가 아니다. 연구진도 이를 유사성과 그럴듯함을 고려하면서 빠른 계산을 유지하기 위한 대리 구성이라고 설명한다.

즉 FCCE의 가치는 복잡한 문제의 완벽한 답을 찾았다는 데 있지 않다. 복잡한 AI의 판단 문제를 실시간으로 계산할 수 있는 형태로 단순화하고, 그 단순화가 실제 모델에서도 얼마나 잘 유지되는지 검증했다는 것이 중요하다.

197명에게 주어진 질문은 “무슨 새인가”가 아니라 “이 AI를 믿어도 되는가”였다

설명 가능한 AI 연구에서 가장 경계해야 할 착각 가운데 하나는 그럴듯한 설명과 유용한 설명을 같은 것으로 보는 것이다. 사람들이 설명을 보고 “이해하기 쉽다”고 말한다고 해서 그 설명이 실제 판단에도 도움이 된다는 보장은 없다.

연구진은 이를 확인하기 위해 인간 행동실험을 설계했다. CUB-200-2011의 세밀한 새 종 분류를 사용했고 최종 분석에는 197명이 포함됐다. 참가자는 한 실험 조건에 무작위로 배정되는 집단 간 설계로 참여했다.

중요한 것은 참가자에게 요구한 과제다. 연구진은 “이 새가 어떤 종인지 맞혀보라”고 하지 않았다.

이미지와 AI의 예측, 그리고 설명을 보여준 뒤 “이 AI의 예측이 맞을 것 같은가?”라고 물었다. 즉 사람의 새 분류 능력을 시험한 것이 아니라, 설명을 이용해 AI가 언제 성공하고 언제 실패할지를 알아낼 수 있는가를 측정했다.

논문 7쪽 그림 2가 좋은 예다. 모델이 두 새 종을 구분할 때 다리 색과 관련된 특징을 중요하게 이용한다는 설명이 제시된다. 그렇다면 다리가 보이지 않거나 가려진 사진에서는 모델이 실패할 가능성을 의심할 수 있다.

이 순간 설명의 역할이 달라진다. 설명은 AI의 판단을 사후에 구경하기 위한 그림이 아니다. AI를 언제 믿고 언제 의심해야 하는지를 판단하기 위한 도구가 된다.

FCCE의 오류 판별 정확도는 89.88%, 그러나 숫자만으로 승자를 정하면 안 된다

인간 실험에서 가장 눈에 띄는 숫자는 89.88%다. FCCE 설명을 사용한 참가자의 모델 예측 정확성 판별 성적이었다. ICE는 82.95%, ACE는 68.47%, CVE는 50.89%였다. 네 집단의 전체 차이는 일원분산분석에서 통계적으로 유의했다(p < .001).

여기까지만 읽으면 “FCCE가 기존 방법을 확실히 이겼다”고 쓰고 싶어진다. 그러나 논문은 그렇게 단순하지 않다.

FCCE와 ICE의 차이는 일반적인 사후검정에서는 통계적으로 유의하지 않았다. 1.5 IQR 기준으로 이상치를 제거한 뒤에야 유의한 차이가 나타났다.

따라서 이 연구 하나를 근거로 “FCCE가 ICE보다 우수하다는 것이 입증됐다”고 단정하는 것은 적절하지 않다. 보다 정확한 표현은 이렇다. 이 연구의 특정한 모델 실패 판별 과제에서 개념 기반 설명들이 높은 성과를 보였고, FCCE 조건에서 가장 높은 평균 정확도인 89.88%가 관찰됐다.

과학 논문을 읽을 때 가장 화려한 숫자만큼 중요한 것은 그 숫자의 경계다. 좋은 과학적 설명은 결과를 크게 만드는 일이 아니라 데이터가 말할 수 있는 곳과 말할 수 없는 곳 사이에 정확하게 선을 긋는 일이다.

설명을 더 많이 제공하자 89.88%가 77.56%까지 떨어졌다

이 논문에서 가장 생각할 거리를 주는 결과는 오히려 다른 곳에 있다. 연구진은 처음에 설명 정보를 더 제공하면 사용자가 더 정확하게 판단할 것이라고 예상했다. 그래서 전역적인 클래스 수준 설명에 개별 이미지에 관한 국소 설명과 특징 이름을 추가했다.

예상과 반대의 결과가 나왔다.

FCCE에서 전역 설명만 제공하고 특징 이름을 별도로 붙이지 않았을 때 정확도는 89.88%였다. 국소 설명을 추가하면 83.22%, 특징 이름만 추가하면 80.06%, 두 정보를 모두 제공하면 77.56%로 낮아졌다. ICE에서도 같은 방향의 감소가 관찰됐다.

설명이 많아졌는데 판단은 나빠졌다.

연구진은 이를 인지적 과부하(cognitive overload) 가능성으로 해석했다. 이 과제에서 참가자에게 정말 필요했던 것은 개별 사진에 대한 최대한 많은 정보가 아니라 두 클래스 사이에서 모델이 사용하는 안정적인 판단 규칙이었을 수 있다는 것이다.

하지만 여기에서도 데이터와 해석은 구분해야 한다. 연구가 직접 보여준 것은 이 실험 조건에서 추가 정보를 받은 참가자 집단의 평균 정확도가 낮았다는 사실이다. 이것만으로 “AI 설명은 자세할수록 나쁘다”는 보편적인 인과 법칙이 입증된 것은 아니다.

그럼에도 질문은 남는다. 우리는 설명을 만들 때 오랫동안 무엇을 더 보여줄 것인가를 고민해왔다. 더 많은 특징, 더 자세한 그래프, 더 풍부한 문장. 그러나 사람이 좋은 판단을 내리는 데 필요한 것은 정보의 총량이 아닐 수 있다. 무엇이 중요한 정보이고 무엇이 지금 판단에는 불필요한 정보인지 구분할 수 있게 해주는 구조가 더 중요할 수 있다.

설명의 목적이 모든 것을 보여주는 것이라면 상세함은 미덕이다. 하지만 설명의 목적이 더 나은 판단이라면 이야기가 달라진다.

“AI를 이해했다는 느낌”과 실제로 AI의 오류를 알아채는 능력은 달랐다

또 하나 놓치기 어려운 결과가 있다. CVE를 사용한 참가자의 객관적 판단 정확도는 50.89%였다. 그런데 자신의 판단에 대한 평균 자신감은 5점 만점에 4.02점이었다.

정확도와 자신감 사이에 상당한 간극이 있었다.

설명 가능한 AI에서는 이 문제가 특히 중요하다. 시각적으로 매끄럽고 직관적인 설명은 사람에게 “나는 이제 이 AI를 이해했다”는 느낌을 줄 수 있다. 하지만 이해했다는 느낌과 AI가 실제로 어떻게 행동할지 예측할 수 있는 능력은 같은 것이 아니다.

연구에서도 추가적인 특징 정보가 주관적인 만족도를 높이는 경우가 있었지만 객관적 정확도는 오히려 낮아졌다.

따라서 설명 가능한 AI를 평가할 때 “사용자가 이 설명을 좋아했는가?”라는 질문만으로는 부족하다. 한 단계 더 나아가 “이 설명을 본 뒤 사용자는 AI가 틀리는 순간을 더 정확하게 알아차릴 수 있었는가?”라고 물어야 한다.

설명은 친절할 수 있다. 아름다울 수도 있고 설득력 있게 보일 수도 있다. 그러나 잘못된 순간에도 AI를 믿게 만드는 설명이라면, 그 친절함은 오히려 과신을 만들 수 있다.

단순화한 개념 공간의 답이 실제 CNN에서도 맞는지 확인했다

FCCE에는 기술적으로 피할 수 없는 질문이 있다. 원래 CNN은 복잡한 비선형 모델이다. 반면 FCCE는 빠른 계산을 위해 그 판단을 개념 공간에서 선형적으로 근사한다.

그렇다면 단순한 공간에서 계산한 반사실적 경계가 원래 CNN의 실제 결정 경계와 다를 수도 있다. 연구진도 이 문제를 핵심 검증 대상으로 삼았다.

개념 공간에서 계산한 반사실적 결과를 다시 원래 비선형 CNN에서 평가하고, 원래 클래스와 목표 클래스의 출력값이 얼마나 가까워지는지를 Relative Logit Gap(R-Gap)으로 측정했다. 값이 0에 가까울수록 실제 CNN의 두 클래스 결정 경계에 가까워졌다는 의미다.

논문 표 3에서 분석적 FCCE의 실제 모델 R-Gap은 CUB 0.0315%, MNIST 0.2544%, ImageNet 0.0583%였다. 모두 0.3% 아래였다.

이 검증은 FCCE에서 중요하다. 선형 공간에서 수학적으로 깔끔한 답을 얻는 것만으로는 설명의 신뢰성을 확보할 수 없기 때문이다. 그 결과가 다시 원래 비선형 모델로 돌아갔을 때도 결정 경계에 가까워야 한다.

이번 세 데이터셋에서는 그 간극이 작았다. 물론 이것이 모든 CNN과 모든 데이터에서 0.3% 이하의 결과를 보장한다는 뜻은 아니다. 논문이 시험한 모델과 데이터 범위 안에서 속도를 위해 사용한 단순화가 원래 모델과의 관계를 크게 훼손하지 않았다는 경험적 증거로 읽는 편이 정확하다.

반사실적 해는 10⁻⁵초 미만, FCCE가 겨냥한 것은 ‘실시간 설명’이다

아무리 좋은 설명이라도 사용자가 질문할 때마다 오랫동안 기다려야 한다면 실제 시스템에서 쓰기 어렵다. FCCE가 반복 최적화 대신 분석적 해를 택한 이유가 여기에 있다.

논문에서 분석적 반사실 해 자체의 계산 시간은 CPU에서 10⁻⁵초 미만이었다. 특징 추출 등을 포함한 개별 설명의 추가 비용은 대략 10⁻²초 수준이었다.

이 수치를 모든 실제 서비스의 응답 속도로 받아들여서는 안 된다. 하드웨어와 모델, 데이터 처리 과정에 따라 전체 시스템의 지연시간은 달라질 수 있다.

중요한 것은 계산 구조다. 반복적으로 후보를 생성하고 검증하는 대신 수식으로 직접 해를 계산하기 때문에 설명 생성에 필요한 추가 비용을 크게 줄일 수 있다.

그래서 FCCE가 겨냥하는 것은 단순한 사후 분석이 아니다. 사용자가 AI와 상호작용하면서 “왜 A인가?”, “B라면 무엇이 달라져야 하는가?”라고 물을 수 있는 실시간 설명 환경에 가깝다.

FCCE의 89.88%보다 더 오래 남는 질문

이 연구만으로 설명 가능한 AI의 문제가 해결됐다고 말할 수는 없다.

인간 실험은 CUB의 새 이미지라는 특정 영역에서 진행됐다. 선택된 클래스 쌍, ResNet-50 모델, 모델 실패 판별이라는 특정 과제가 사용됐다. 참가자는 훈련과 선별 과정도 거쳤다.

따라서 의료 영상에서 의사가 FCCE를 사용하면 진단 오류가 줄어든다거나, 자율주행 시스템의 안전성이 높아진다고 말할 근거는 이 논문에 없다.

FCCE의 개념 역시 사람이 처음부터 정의한 의미 체계가 아니라 신경망 특징에서 비지도 방식으로 발견된 잠재 개념이다. 새 이미지에서는 특정 개념이 다리나 깃털 같은 시각적 특징과 비교적 자연스럽게 연결될 수 있지만, 다른 데이터에서도 모든 개념이 사람에게 똑같이 명확한 의미를 갖는다고 보장할 수 없다.

그럼에도 이 연구가 던지는 질문은 꽤 오래 남는다.

우리는 AI가 무엇을 보고 판단했는지를 더 많이 보여주면 투명성이 높아질 것이라고 생각해왔다. 더 화려한 시각화, 더 자세한 특징 이름, 더 많은 설명이 이해를 깊게 만들 것이라고 기대했다.

그런데 인간에게 AI 설명이 필요한 이유부터 다시 생각하면 평가 기준이 달라진다. 우리는 기계의 사고 과정을 감상하기 위해 설명을 요구하는 것이 아니다. 언제 믿어도 되고, 언제 의심해야 하는지를 판단하기 위해 설명을 요구한다.

그런 의미에서 이 논문의 가장 중요한 숫자는 89.88%가 아닐지도 모른다.

설명을 더 추가했을 때 정확도가 77.56%까지 내려갔다는 숫자, 그리고 정확도가 50.89%에 불과했던 조건에서도 사람들이 상당히 높은 자신감을 보였다는 사실이 오히려 설명 가능한 AI가 풀어야 할 다음 문제를 보여준다.

더 많은 설명이 반드시 더 깊은 이해를 만들지는 않는다. 이해했다는 느낌과 실제로 AI의 행동을 예측할 수 있는 능력도 같지 않다.

그래서 좋은 설명 가능한 AI의 기준은 앞으로 조금 달라져야 할지도 모른다. 얼마나 많은 것을 보여주는가가 아니라, 중요한 순간에 사람이 더 정확한 판단을 내릴 수 있게 하는가가 더 중요한 기준이 될 수 있다.

FCCE는 그 질문에 대한 최종 답은 아니다. 특정 이미지 분류 환경에서 얻은 하나의 연구 결과다.

하지만 계산 속도와 모델 충실도만 따로 평가하지 않고, 마지막에 실제 사람을 앉혀 놓고 “그래서 이 설명을 본 사람이 AI의 실패를 더 잘 알아챘는가?”라고 물었다는 점은 중요하다.

설명 가능한 AI가 결국 설명해야 하는 대상은 기계가 아니라 사람이기 때문이다.

논문 출처

Zhang, R., Miller, T., Ehinger, K. A., & Rubinstein, B. I. P. (2026). Fast concept-based counterfactual explanations for image classification. Artificial Intelligence, 359, 104599. https://doi.org/10.1016/j.artint.2026.104599