AI에게 더 많은 설명을 요구할수록 우리는 더 잘 이해하게 되는 것일까

AI의 판단을 이해한다는 것은 모든 계산을 들여다보는 것이 아니라, 어떤 특징이 달라졌을 때 판단이 바뀌는지를 알아내는 과정에 가깝다. FCCE는 이러한 반사실적 설명을 사람이 이해할 수 있는 개념의 변화로 제시한다.

AI의 판단을 이해하는 데 필요한 것은 더 많은 정보가 아니라, 판단을 바꾸는 핵심 조건일 수 있다는 연구 결과가 나왔다.

우리는 이해하지 못하는 판단 앞에서 설명을 요구한다. 의사가 진단을 내리면 이유를 묻고, 심사에서 탈락하면 기준을 알고 싶어 한다. AI가 일상적인 의사결정에 들어오기 시작하면서 같은 요구가 기계를 향하고 있다. “왜 이런 답을 냈는가.”

그런데 설명이 자세해질수록 우리는 정말 AI를 더 잘 이해할까. Zhang과 동료들이 개발한 FCCE(Fast Concept-based Counterfactual Explanations) 연구는 조금 다른 답을 내놓는다. 197명이 참여한 실험에서 핵심적인 개념 변화만 제시받은 사람들의 판단 정확도는 89.88%였다. 오히려 설명을 더 붙이자 정확도는 77.56%까지 떨어졌다.

AI의 머릿속을 모두 보여준다고 이해가 생기는 것은 아니다

이미지 AI가 새 한 마리를 보고 특정 종이라고 판단했다고 생각해보자.

기존 설명 기술은 AI가 사진의 어느 부분에 주목했는지 색으로 표시할 수 있다. 하지만 “다리를 많이 봤다”는 사실과 “왜 이 새를 A종이라고 판단했는가”를 이해하는 것은 다른 문제다.

그래서 등장한 것이 반사실적 설명(counterfactual explanation)이다.

현재 판단의 이유를 길게 늘어놓는 대신 “이 조건이 달랐다면 AI의 판단도 달라졌을 것”이라고 설명한다. 인간이 일상에서 사용하는 설명 방식과도 닮았다. 시험에 떨어진 사람에게 모든 채점 과정을 보여주는 대신 “이 항목에서 3점이 더 높았다면 합격이었다”고 알려주는 것과 비슷하다.

문제는 이미지가 수십만 개의 픽셀로 이루어져 있다는 데 있다. 픽셀을 하나씩 바꾸며 답을 찾으면 사람이 이해하기 어려울 뿐 아니라 계산도 무거워진다.

연구진은 질문을 바꿨다.

픽셀을 바꾸는 대신 개념을 바꾸면 어떨까.

‘몇 번째 픽셀’ 대신 ‘다리 색’이라는 언어로 AI를 들여다봤다

FCCE는 신경망 내부의 복잡한 이미지 특징을 몇 개의 잠재적인 시각 개념으로 압축한다. 새를 구별하는 모델이라면 이런 개념이 다리 색, 날개나 부리와 관련된 특징으로 나타날 수 있다.

논문에 제시된 실제 실험 화면에서는 두 종류의 새를 구별할 때 모델이 ‘노란색·주황색 다리’와 ‘검은 다리’ 같은 특징에 어떻게 의존하는지를 보여주고, 참가자가 이를 이용해 AI의 예측이 맞을지 판단하게 했다.

핵심 질문은 이렇게 단순해진다.

“어떤 개념이 얼마나 달라지면 AI의 판단이 바뀌는가.”

FCCE가 빠른 이유도 여기에 있다. 복잡한 이미지 공간에서 여러 후보를 반복해서 시험하지 않고, 단순화된 개념 공간에서 현재 위치와 판단 경계 사이의 거리를 수학적으로 계산한다.

길을 잃은 사람이 모든 골목을 돌아보는 대신 지도 위에서 목적지 방향을 바로 그어보는 것에 가깝다.

계산은 0.00001초보다 짧았고 실제 AI에서도 경계가 유지됐다

빠른 설명에는 위험이 있다. 계산을 단순하게 만들수록 원래 AI의 판단과 멀어질 수 있기 때문이다.

연구진은 그래서 CUB 새 이미지뿐 아니라 손글씨 숫자인 MNIST와 대규모 이미지 데이터셋 ImageNet에서도 결과를 검증했다.

FCCE가 찾아낸 반사실적 결과를 다시 원래의 비선형 CNN에 넣었을 때 실제 결정 경계와의 차이를 나타내는 Relative Logit Gap은 CUB 0.0315%, MNIST 0.2544%, ImageNet 0.0583%였다. 세 데이터셋 모두 0.3% 아래였다.

반사실적 해 자체를 구하는 계산은 CPU에서 10^-5초 미만이었다. 특징 추출 등을 포함한 개별 설명의 추가 비용도 약 10^-2초 수준이었다. 반복적인 최적화나 여러 단계에 걸쳐 이미지를 생성해야 하는 방식과 달리 실시간 상호작용을 염두에 둘 수 있는 속도다.

그러나 이 논문에서 더 흥미로운 부분은 속도가 아니라 사람이었다.

197명에게 물었더니 ‘판단을 바꾸는 설명’이 가장 높은 정확도를 보였다

연구진은 참가자에게 새 사진과 AI의 예측을 보여주고, 제공된 설명을 이용해 AI의 판단이 맞을지 틀릴지를 예측하게 했다.

최종 분석 대상은 197명이었다.

FCCE를 사용한 참가자의 판단 정확도는 89.88%였다. AI가 현재 무엇을 보고 있는지 개념으로 설명하는 ICE는 82.95%, 이미지 조각을 이용하는 ACE는 68.47%, 시각적 반사실적 변화를 보여주는 CVE는 50.89%였다. 전체 집단 차이는 p<0.001로 나타났다.

다만 숫자는 조심해서 읽어야 한다. FCCE와 ICE의 차이는 일반적인 사후 통계검정에서는 유의하지 않았다. 이상치를 제거한 추가 분석에서 유의성이 확인됐다. 따라서 이 연구만으로 FCCE가 모든 설명 방법보다 항상 우수하다고 결론 내릴 수는 없다.

그럼에도 한 가지 차이는 생각해볼 만하다.

ICE가 “AI가 어떤 특징을 사용했는가”를 보여준다면 FCCE는 한 걸음 더 나아가 “어떤 특징이 달라져야 판단이 뒤집히는가”를 알려준다.

설명에서 중요한 것은 정보의 양이 아니라 판단과 연결되는 관계일 수 있다는 뜻이다.

더 친절하게 설명했는데 사람은 오히려 더 많이 틀렸다

연구진은 여기서 흥미로운 실험을 하나 더 했다.

FCCE의 전체적인 규칙만 보여줬을 때 참가자의 정확도는 89.88%였다. 여기에 개별 이미지에 대한 설명을 추가하자 83.22%가 됐다. 특징의 이름까지 붙이자 80.06%로 낮아졌고, 개별 설명과 이름표를 모두 제공했을 때는 77.56%였다. ICE에서도 비슷한 패턴이 나타났다.

정보를 더 주었는데 판단은 더 나빠진 것이다.

연구진은 그 원인으로 인지 과부하를 제시한다. 사람이 AI의 전반적인 오류 패턴을 찾아야 하는 상황에서 세부적인 정보가 계속 들어오면 핵심 규칙보다 눈앞의 사례에 주의를 빼앗길 수 있다는 설명이다.

우리가 흔히 ‘좋은 설명’이라고 생각하는 것과 실제로 유용한 설명 사이에 간격이 존재할 가능성도 보였다. CVE 참가자의 정확도는 50.89%에 불과했지만 자신감 점수는 5점 만점에 4.02점이었다.

이 대목은 설명 가능한 AI가 왜 필요한지를 넘어 더 어려운 질문으로 이어진다.

이해했다고 느끼는 것과 실제로 이해하는 것은 같은가.

설명 가능한 AI의 목표는 신뢰시키는 것이 아니라 의심할 근거를 주는 데 있다

의료 AI가 폐 사진을 보고 질환 가능성을 제시한다고 생각해보자.

화려한 이미지와 상세한 설명이 붙어 있으면 사람은 AI를 더 잘 이해했다고 느낄 수 있다. 그러나 정작 AI가 엉뚱한 특징에 의존했는지를 알아차리지 못한다면 그 설명은 중요한 역할을 하지 못한다.

좋은 설명의 목적은 AI를 더 믿게 만드는 데 있지 않다.

언제 믿지 말아야 하는지 판단할 근거까지 제공해야 한다.

FCCE 연구에서 참가자에게 요구한 것도 바로 이것이었다. AI가 맞았다는 사실을 설명하는 것이 아니라, 모델의 판단 규칙을 보고 이번에는 AI가 틀릴 것인지 알아내야 했다.

이 관점은 의료 영상, 자율 시스템, 산업 검사처럼 AI의 오류를 사람이 마지막 단계에서 검토해야 하는 분야에서 특히 중요하다.

물론 아직 넘어야 할 단계가 많다. 인간 실험은 CUB 조류 분류라는 제한된 환경에서 이루어졌다. 실제 의사나 엔지니어가 전문 업무에서 FCCE를 사용했을 때 같은 효과가 나타나는지는 검증되지 않았다. 개념 공간을 단순한 선형 관계로 표현하는 접근이 다양한 AI 구조에서도 충분히 충실한지도 더 확인해야 한다.

어쩌면 좋은 설명은 덜 말하는 기술에 가까울지도 모른다

우리는 복잡한 기술을 만나면 더 자세한 설명을 요구한다. 그래프를 추가하고 숫자를 붙이고 사례를 하나 더 보여주면 이해도 깊어질 것이라고 생각한다.

하지만 인간의 이해에는 한계가 있다.

197명을 대상으로 한 이번 실험에서는 정보를 추가할수록 오히려 AI의 오류를 판별하는 능력이 떨어졌다. 이것이 모든 설명에서 ‘적을수록 좋다’는 의미는 아니다. 대신 어떤 정보를 남겨야 하는지를 묻게 한다.

AI 시대의 설명은 기계의 머릿속을 전부 펼쳐 보이는 일이 아닐지도 모른다.

수십만 개의 픽셀과 수백만 개의 계산 가운데 인간이 판단하기 위해 꼭 알아야 할 몇 가지 관계를 찾아내는 일에 더 가깝다.

“AI가 왜 이렇게 생각했는가”도 중요하다. 하지만 더 유용한 질문은 때때로 그다음에 있다.

“무엇이 달랐다면 AI는 생각을 바꿨을까.”

그리고 그 질문에 짧고 정확하게 답할 수 있을 때, 설명은 단순한 해설에서 인간의 판단을 돕는 도구로 바뀐다.

출처

Zhang, R., Miller, T., Ehinger, K. A., & Rubinstein, B. I. P. (2026). Fast concept-based counterfactual explanations for image classification. Artificial Intelligence, 359, 104599. https://doi.org/10.1016/j.artint.2026.104599