인공지능이 오답을 정답처럼 당당하게 말하는 이유와 이를 해결하는 알고리즘의 원리

에지 디바이스 환경에서 인공지능의 지식 공백을 스스로 식별하는 초경량 프레임워크의 개발

사용자가 던진 질문과 이미지를 동시에 처리하는 시각 질의응답 시스템은 자율주행이나 로봇 공학 등 다양한 분야에서 핵심적인 역할을 맡고 있다. 그러나 현재의 인공지능 모델들은 치명적인 결함을 가지고 있다. 

자신이 모르는 문제조차 마치 확실한 정답인 것처럼 당당하게 오답을 출력한다는 점이다. 

인공지능이 왜 모른다는 사실을 인지하지 못하는지, 그리고 왜 이런 오답을 확신하며 내뱉는지는 인류가 안전한 인공지능 협업 환경을 구축하기 위해 반드시 풀어야 할 과제였다.

최근 오하이오 주립대학교와 존스 홉킨스 대학교 등의 공동 연구진은 인공지능이 스스로 자신의 인지적 결함을 찾아내도록 만드는 초경량 프레임워크인 TinyKGI를 학술지 Frontiers in Computer Science에 발표했다. 

인간은 문제를 풀다가 배경지식이 부족함을 느끼면 추가적인 정보를 탐색하거나 행동을 수정한다. 연구진은 이러한 인간의 고차원적 인지 역량을 인공지능 알고리즘에 그대로 이식했다. 인공지능이 예측을 내리기 전에 자신이 어떤 부분의 능력이 결여되어 있는지 스스로 체크리스트를 만들어 평가하도록 유도하는 메커니즘이다.

이 기술은 대규모 클라우드 서버의 도움 없이 스마트폰이나 소형 보드컴퓨터 같은 에지 디바이스 내부에서 직접 구동할 수 있도록 설계되었다. 연구진은 타이니 머신러닝 최적화 기법을 적용하여 연산 처리 속도를 높이고 메모리 점유율을 극적으로 감소시켰다. 

인공지능이 잘못된 판단을 내리는 근본적인 원인은 무엇인지, 그리고 인터넷 연결이 없는 소형 하드웨어 내부에서 어떻게 실시간으로 자신의 빈틈을 잡아내는지 그 구체적인 원리와 실험 결과를 상세히 분석했다.

학습 데이터의 통계적 패턴에만 의존하는 인공지능은 왜 과잉 확신 오류에 빠질까

기존의 딥러닝 기반 인공지능 모델들은 입력된 데이터 사이의 수학적 결합과 통계적 확률만을 계산하도록 훈련되었다. 이로 인해 학습 데이터의 범위를 벗어나는 낯선 이미지나 모호한 질문을 마주했을 때 자기가 틀릴 수도 있다는 가능성 자체를 연산하지 못한다. 

질문에 포함된 특정 단어의 빈도수에 현혹되는 언어적 편향을 겪거나, 이미지의 일부분만을 보고 섣부른 인과관계를 맺으면서도 결과물의 신뢰도를 최고 수치로 판정하는 과잉 확신 현상이 발생하는 원인이 바로 여기에 있다.

지금까지의 연구들은 모델이 최종 출력을 내놓은 이후에 그 결과의 불확실성을 추정하거나 사후에 확률값을 교정하는 방식에 그쳤다. 이러한 방식은 결과물이 틀릴 확률은 알려줄 수 있어도 인공지능이 구체적으로 왜 그런 잘못된 판단을 내렸는지 근본적인 실패 원인을 설명하지 못한다는 한계를 지닌다. 

시스템의 내부 손상을 진단하지 못하고 결과물만 수정하는 식의 접근은 고도의 안전성이 필요한 자율 시스템에서 예기치 못한 사고로 이어질 위험성을 안고 있다.

TinyKGI 연구진은 이 문제를 인지과학적 관점에서 접근하여 해결책을 마련했다. 인간은 시각적 질문을 해결할 때 지각, 기억, 공간 인지, 논리적 추론 등 다양한 인지 기능을 복합적으로 가동한다. 만약 조명이 어두워 사물의 텍스처를 식별할 수 없다면 인간은 재질을 알 수 없다고 판단하고 답변을 유보한다. 

연구진은 인공지능 역시 인간과 유사한 형태의 인지적 한계를 가질 수밖에 없다고 가정하고, 시스템이 마주하는 결함의 종류를 구조화된 형태의 지식 공백으로 정의했다.

본 연구에서 활용한 지식 공백은 물체의 움직임이나 행동을 파악하지 못하는 활동 공백, 사물의 질감과 구성을 헷갈리는 재질 공백, 수량을 추정하지 못하는 계수 공백, 위치와 방향을 오인하는 방향 공백 등 총 14가지 영역으로 분류된다. 

시스템에 질문과 이미지가 입력되는 즉시 신경망은 이 14가지 영역 중 자신이 현재 어떤 역량이 모자라 오답을 낼 확률이 높은지 스스로 진단한다. 

이를 통해 단순히 이 정답은 틀릴 가능성이 높다는 경고를 넘어, 현재 화면의 해상도가 낮아 물체의 재질을 분석할 수 없기 때문에 오류가 발생했다는 명확한 인과관계를 규명하게 된다.

문장의 단어와 이미지의 특정 영역을 교차 분석하여 결함을 찾아내는 융합 신경망

인공지능이 자신의 내부에 존재하는 결함을 정확하게 식별하려면 사용자의 질문 문맥과 매칭되는 이미지의 시각적 증거를 유기적으로 동시 분석해야 한다. 

TinyKGI 프레임워크는 이를 구현하기 위해 텍스트의 의미를 유추하는 질문 인코더, 시각적 특징을 추출하는 이미지 인코더, 그리고 이 두 정보를 병합해 최종 공백을 판별하는 신경망 분류기의 세 가지 구성 요소를 축으로 구동된다.

기존의 초기 시스템들은 질문 텍스트의 단순한 단어 조합이나 데이터셋의 규칙에만 의존하여 공백을 유추했기 때문에 복잡한 현실 세계의 이미지를 유연하게 반영하지 못하는 확장성 한계를 보였다. 

반면 TinyKGI는 문장의 고차원적 맥락을 정확하게 파악하기 위해 BERT, MPNet, ALBERT 등 검증된 언어 변환기 아키텍처를 결합하여 질문 문장을 고정된 길이의 다차원 수치 벡터로 변환한다. 

여기에 시각적 데이터를 정교하게 연동하고자 메타의 세그먼트 애니띵 모델을 기반으로 한 고도의 시각 융합 기술을 접목했다.

이 융합 메커니즘의 핵심은 인공지능이 질문과 밀접한 관련이 있는 이미지의 특정 영역만을 스스로 포착하여 집중하도록 만드는 접지된 지역화 기능이다. 

만약 자동차와 개가 서로 다른 색상을 가지고 있느냐는 질문이 주어지면 시스템은 배경이나 하늘 같은 무관한 요소들을 전부 배제한다. 

질문 속에 포함된 핵심 단어를 추적하여 이미지 내부에서 자동차와 개의 정밀한 경계선 마스크를 따낸 뒤, 해당 구역만을 밀착 크롭하여 시각 특징 벡터로 변환한다. 

이렇게 정제된 문장 벡터와 국소 시각 벡터는 하나로 결합되어 다층 퍼셉트론 신경망 분류기로 전송되며, 드롭아웃 확률 0.3을 거치며 과적합을 방지한 채 현재 시스템이 직면한 지식 공백 유형을 높은 정확도로 판단하게 된다.

제한된 자원을 가진 소형 하드웨어에서 초고속 연산을 대폭 가능하게 만든 경량화 원리

다중 모달 인공지능 모델을 인터넷 연결이 끊긴 자율주행 차량이나 소형 스마트 기기 내부의 독자적인 칩셋 위에서 직접 실행하는 것은 오랫동안 불가능에 가까운 영역으로 취급받았다. 

컴퓨터 자원이 부족한 소형 기기에서 거대한 매개변수를 가진 딥러닝 모델을 구동하면 극심한 연산 부하가 걸려 하드웨어가 멈추거나 반응 속도가 지나치게 지연되기 때문이다.

 TinyKGI 연구진은 이 한계를 극복하기 위해 하드웨어 친화적인 타이니 머신러닝 최적화 알고리즘을 전방위적으로 도입했다.

경량화 과정에서 가장 중추적인 역할을 담당한 기술은 훈련 후 동적 양자화이다. 이 기술은 컴퓨터가 고정밀 연산을 수행할 때 사용하는 32비트 부동소수점 데이터 가중치를 부호가 포함된 8비트 정수 형태로 압축하여 변환하는 원리다. 

신경망 내부의 수많은 가중치 데이터를 4분의 1 부피로 압축함으로써 하드웨어의 메모리 공간을 극적으로 절약할 수 있게 된다. 

숫자의 정밀도가 낮아지면 지식 공백을 찾아내는 판별 능력이 왜곡될 것이라는 일반적인 통념과 달리, TinyKGI 시스템은 압축 이후에도 연산 손실을 최소화하는 높은 강건함을 증명해냈다.

여기에 변환기 아키텍처의 가장 고질적인 병목 현상으로 지목되던 어텐션 연산의 지연 시간을 줄이기 위해 플래시 어텐션 2 알고리즘을 함께 융합했다. 

이미지에서 개체의 마스크를 계산하는 과정은 전체 연산 시간의 90% 이상을 고대역폭 메모리 액세스에 소비하게 되는데, 이 기술은 연산 과정을 하나로 통합하여 하드웨어 내부의 고속 캐시 메모리를 집중 활용하도록 유도한다. 

추가로 데이터 내부에서 무작위로 튀어나오는 극단적인 이상치로 인해 양자화 오차가 증폭되는 현상을 억제하기 위해, 직교 회전 행렬을 신경망 레이어에 주입해 가중치 분포를 균일하게 재분배하는 스핀퀀트 알고리즘까지 체계적으로 검증하여 소형 기기에 최적화된 초경량 알고리즘을 구현했다.

인공지능 성능 저하를 차단하면서 속도는 1.8배 높이고 메모리는 4배 압축했다

연구진은 초경량 지식 공백 식별 시스템의 객관적인 성능을 검증하고자 현실 세계 이미지 기반의 GQA, 3D 도형 기반의 CLEVR, 작업 지향 이미지 이해 중심의 TDIUC 등 세 가지 공인 학술 데이터셋을 동원해 비교 실험을 진행했다. 

기존에 존재하던 규칙 기반 및 단순 텍스트 미세조정 방식의 정밀 모델들과 비교 분석한 결과, 최종적인 결함 판단력을 나타내는 지표인 Macro-F1 스코어에서 이전 최신 기술 대비 최대 10%의 높은 성능 향상을 달성했다.

32비트 부동소수점 기반의 정밀 모델과 비교했을 때, 8비트 정수형으로 가중치를 압축하고 플래시 어텐션을 결합한 초경량 신경망 조합은 연산 효율성의 정점을 보여주었다. 인공지능의 지식 공백 예측 정확도 손실은 고작 소수점 단unit에 불과했으나, 데이터를 처리하는 속도는 모델에 따라 최대 1.8배 가속화되었고 연산에 필요한 메모리 점유율은 무려 4배나 감소하는 수치를 보였다.

이 알고리즘을 시중에서 흔히 구동되는 소형 단말 하드웨어인 엔비디아 젯슨 나노 보드에 탑재해 실시한 온디바이스 실측 실험에서도 혁신적인 결과가 고스란히 유지되었다. 

네트워크 망의 동기화 없이 소형 보드 내부의 CPU 자원만을 활용해 연산했음에도 불구하고, 종합 Macro-F1 스코어의 하락은 단 0.1%*에 불과했다. 

반면 기기 내부의 연산 속도는 *1.7배 가속화되었으며 메모리 사용량은 3.9배나 절감되는 효율성을 증명하여, 가상 환경에서의 실험 결과가 실제 물리 하드웨어 칩셋 위에서도 완벽하게 재현됨을 확증했다.

인간과 인공지능이 안전하게 협력하는 지능형 시스템의 구축을 위한 새로운 발판

인공지능이 자신의 한계를 스스로 판단하고 지식의 빈틈을 명확하게 표현할 수 있게 되었다는 사실은 단순한 하드웨어 연산 효율의 상승을 넘어 인간과 기기의 협업 구조를 근본적으로 뒤바꿀 수 있는 중대한 이정표다. 

내부 연산 과정이 베일에 싸여 있는 블랙박스형 인공지능은 잘못된 결과물을 도출해도 인간이 이를 실시간으로 파악하기 어려워 높은 수준의 안전성이 요구되는 자율주행이나 의료 수술 로봇 등에 전면적으로 도입하기에 치명적인 제약이 따랐다.

그러나 소형 에지 단말 환경에서 실시간으로 구동되는 TinyKGI 알고리즘이 시스템에 탑재되면 기기는 자신이 처리하기에 데이터가 부족하거나 모호한 대상을 마주하는 순간 인간에게 즉각적인 경고를 보낼 수 있다. 

오답을 정답처럼 고집하는 대신, 현재 시각 정보의 방향성이 불분명하여 공간 인지 공백이 발생했으니 인간의 개입이 필요하다는 식으로 자신의 한계를 투명하게 고백하는 메커니즘이 성립되는 것이다. 

이러한 자체 진단 시스템은 인공지능의 제어권 상실과 예기치 못한 오작동을 사전에 차단하는 강력한 방어선이 될 수 있으며, 향후 수많은 스마트 임베디드 기기에 이식되어 한층 더 안전하고 신뢰할 수 있는 온디바이스 인공지능 생태계를 조성하는 데 기여할 것이다.

출처

Sridhar, S., Ganesh, S. S., Bajaj, G., Myers, C., & Parthasarathy, S. (2026). Identifying knowledge gaps on the edge for visual question answering. Frontiers in Computer Science, 8, Article 1817034. https://doi.org/10.3389/fcomp.2026.1817034