딥러닝이 자동차를 인식할 때, '자동차' 하나로만 보지 않는다
 |
딥러닝 모델이 '자동차' 개념을 어떻게 다양한 방식으로 인식하는지를 설명하는 시각화. 하나의 개념도 실제로는 서로 다른 하위 개념(서브개념)으로 분포하며, 이를 포착하는 것이 바로 LoCE 기법의 핵심이다.
딥러닝 비전 모델, 특히 자율주행이나 의료 영상 같은 고위험 분야에 사용되는 경우, 그 결정 과정이 어떻게 이루어지는지를 파악하는 것은 매우 중요하다. 그래서 요즘 뜨고 있는 분야가 있다. 바로 '설명 가능한 인공지능(XAI)'이다. 그런데 대부분의 설명 기법은, '자동차'라는 개념을 딱 하나의 벡터로 표현한다. 이는 모델이 어떤 픽셀이 자동차인지 아닌지를 선형적으로 구분할 수 있다고 가정한다. 그런데 과연 딥러닝 모델이 그렇게 단순하게 사고할까?
독일의 연구진은 이 질문에 정면으로 도전했다. 이들은 딥러닝 모델이 자동차라는 개념을 하나의 벡터가 아니라, 훨씬 복잡한 '분포'로 인식하고 있다는 사실을 밝혀냈다. 그리고 그 분포를 포착할 수 있는 새로운 분석 방법, '로컬 개념 임베딩(Local Concept Embedding, LoCE)'을 제안했다.
---
개념은 하나가 아니다: LoCE의 발상
전통적인 XAI 기법은 사용자 정의 개념(예: 자동차, 사람, 고양이)을 딥러닝 모델의 잠재 공간(latent space)에서 하나의 방향 벡터로 표현한다. 하지만 이 논문은 한 이미지 속의 자동차도 '가까운 자동차', '멀리 있는 자동차' 등 서로 다른 서브개념(sub-concept)으로 나뉘어 있을 수 있다고 본다. 또 '버스'와 '트럭'처럼 개념 사이에 겹치는 경우도 많다. 이런 미묘한 차이를 단 하나의 벡터로는 담을 수 없다는 것이다.
그래서 LoCE는 각 이미지마다 개별적으로 최적화된 '로컬 벡터'를 만든다. 즉, 모든 데이터를 통합해 하나의 전역 벡터(global concept vector)를 만드는 대신, 각 이미지에 대해 별도의 개념 벡터를 생성하는 방식이다. 이렇게 얻어진 수많은 로컬 벡터들을 분석하면, 하나의 개념이 실제로는 여러 서브개념으로 구성되어 있다는 사실을 드러낼 수 있다.
---
무엇이 가능해졌나?
이 방식은 기존 XAI 기법이 놓치던 부분들을 해명하는 데 유용하다. 예를 들어, LoCE는 다음과 같은 분석이 가능하게 만든다:
서브개념 분류: 자동차가 근거리/중간/원거리 등 다양한 하위 개념으로 나뉘는 구조 파악
개념 혼동 감지: '버스'와 '트럭'처럼 유사한 개념이 뒤섞인 부분 식별
이상치 탐지: 딥러닝 모델이 낯설어하거나 혼란스러워하는 샘플 자동 포착
개념 기반 이미지 검색: '고양이+소파'처럼 개념+배경 조합으로 유사 이미지 찾기
실험 결과, 기존 글로벌 벡터 기반 기법(Net2Vec 등)과 비교해도 성능이 뒤떨어지지 않으면서, 훨씬 풍부한 개념 구조 정보를 제공할 수 있다는 것이 입증됐다.
---
방법은?
연구진은 총 6개의 딥러닝 모델(ViT, SWIN, YOLOv5 등)에 대해 실험을 진행했고, MSCOCO, PASCAL VOC, 그리고 카피바라 이미지로 구성된 별도 데이터셋을 활용했다. 이들은 각 이미지와 개념 쌍에 대해 LoCE 벡터를 생성하고, 이 벡터들이 잠재 공간에서 어떤 분포를 형성하는지를 분석했다. 분석 방법으로는 UMAP 차원 축소, 가우시안 혼합 모델(GMM), 계층적 클러스터링 등이 활용됐다.
실제로 '자동차' 개념은 세 개의 주요 클러스터로 나뉘었는데, 이는 근거리, 중간 거리, 원거리 자동차에 해당했다. 또 '사람' 개념은 '혼잡한 군중'과 '단독 인물'로 자연스럽게 분화됐다. 딥러닝 모델이 무의식적으로 학습한 개념의 구조를 LoCE가 처음으로 시각화해준 셈이다.
---
이게 왜 중요한가?
LoCE는 단지 XAI 기술 중 하나가 아니다. 이는 우리가 딥러닝 모델을 바라보는 관점을 바꿔줄 수 있는 전환점이다. 지금까지 우리는 '딥러닝은 고양이를 고양이로 인식한다'고 막연히 생각해왔다. 하지만 실제로는 '소파 위에 있는 털이 많은 존재인데, 개는 아니고, 귀가 뾰족하니 고양이일 것이다'처럼 추론하고 있을지 모른다. LoCE는 바로 이런 미묘한 개념적 흐름을 잡아낼 수 있는 도구다.
또한 LoCE는 모델 디버깅, 편향 탐지, 데이터 오류 수정 등 다양한 응용 가능성을 제공한다. 자율주행, 의료 영상, 보안 등에서 모델의 판단 근거를 신뢰할 수 있어야 하는 상황에선 LoCE 같은 기법이 필수가 될지도 모른다.
---
출처 논문:
Mikriukov, G., Schwalbe, G., & Bade, K. (2025). Local Concept Embeddings for Analysis of Concept Distributions in Vision DNN Feature Spaces. International Journal of Computer Vision. [https://doi.org/10.1007/s11263-025-02446-y]