AI가 만든 안전 조언, 정말 믿을 수 있을까?
요즘 누구나 한 번쯤은 생성형 AI, 예컨대 ChatGPT에게 “이럴 땐 어떻게 해야 해?”라고 묻는다. 실제로 산업 현장에서도 AI는 작업 안전 지침을 주는 도우미로 쓰이고 있다. 하지만 과연 이 ‘인공지능 조언자’는 인간의 생각을 제대로 따라잡았을까?
Transformer 구조의 숨겨진 거리
미국 인디애나주립대와 텍사스 A&M 대학의 연구진은 이 물음에 대해 과학적으로 파고들었다. 그들은 ChatGPT처럼 Transformer 기반으로 작동하는 생성형 AI 내부 구조가 사람의 사고방식과 얼마나 멀리 떨어져 있는지를 ‘건설 현장의 추락 사고 예방 조언’을 예로 들어 측정했다.
AI와 사람 생각 사이, 수치로 드러난 '거리'
- 벡터화 거리: 인간의 조언과 AI의 조언 사이, 의미적으로 57%의 차이가 있었다.
- 포지셔닝 거리: 같은 문장이라도 단어 순서를 고려한 AI의 해석은 원문과 86% 차이가 났다.
- 주의 집중 거리: AI는 ‘근로자’, ‘구두점’ 같은 단어에 집중해 실제 중요한 정보는 놓쳤다.
- 최적화 거리: 같은 질문을 반복하면 답변이 점점 일관성을 잃고 멀어졌다(최대 90% 거리).
왜 이런 문제가 생길까?
AI는 언뜻 보면 사람처럼 자연스럽게 말하지만, 그 내부는 통계적 규칙과 수학적 벡터로 이뤄져 있다. 이 구조 자체가 인간의 직관과 사고 흐름과는 ‘거리’가 있다는 것이다. 이 간극이 커질수록 AI의 조언을 그대로 믿었다가는 현실에서 사고로 이어질 수도 있다는 게 연구진의 경고다.
해결책은?
연구팀은 단순히 AI를 더 똑똑하게 만드는 것이 아니라, AI의 내부 구조 자체를 사람의 인지 구조에 더 가깝게 설계하는 것이 중요하다고 강조했다. 또한, 사람이 개입할 수 있는 ‘설명 가능한 인터페이스’, 신뢰 점수 표시, 반복 질문 시 답변 일관성 유지 같은 디자인 개선이 필요하다고 밝혔다.
앞으로는?
이 연구는 특히 산업, 의료, 자율주행 등 ‘실패가 생명을 위협할 수 있는’ 분야에서 생성형 AI의 한계를 짚는다. 인공지능을 무조건 신뢰하기보다, 그 내부가 어떻게 작동하는지를 알고, 위험을 최소화하는 방향으로 설계하고 써야 한다는 교훈을 준다.
출처 논문
Wen, H.; Hu, P. Architectural Gaps in Generative AI: Quantifying Cognitive Risks for Safety Applications. AI 2025, 6, 138. https://doi.org/10.3390/ai6070138