“AI가 설명서를 읽다가 길을 잃는 이유”… 한국 연구진이 찾아낸 충격적인 원인
자동차 설명서를 펼쳐본 적 있는가. 어떤 버튼은 12페이지 그림을 보라고 하고, 경고 문구는 또 다른 표를 참고하라고 한다. 문제는 AI도 이 설명서를 읽을 때 똑같이 헤맨다는 점이다. 아니, 어쩌면 인간보다 더 심각하게 길을 잃는다. 최근 공개된 한 연구는 바로 이 문제를 정면으로 파고들었다. 그리고 놀라운 결론을 내놨다. 지금까지의 AI 검색 시스템은 “문서를 읽는 척만 하고 있었다”는 것이다. 연구진은 AI가 기술 문서를 제대로 이해하지 못하는 이유가 단순히 성능 부족이 아니라, 문서 속 “관계”를 잃어버리기 때문이라고 분석했다. 그리고 그 해결책으로 등장한 것이 바로 TechDocRAG 다. AI는 왜 설명서를 읽다가 엉뚱한 답을 할까 요즘 AI 챗봇은 웬만한 질문에는 척척 답한다. 하지만 제품 설명서나 공학 문서처럼 복잡한 자료가 등장하면 이야기가 달라진다. 예를 들어 이런 질문을 한다고 가정해보자. “센서 Y를 재보정하려면 어떻게 해야 하나요?” 인간은 보통 이렇게 읽는다. 절차 단계 확인 경고 문구 확인 관련 그림 확인 온도 조건 표 확인 하지만 기존 AI는 이 모든 정보를 따로따로 잘라서 읽는다. 문서를 “조각난 텍스트”로만 처리하기 때문이다. 그러다 보니 경고 문구는 놓치고, 그림 설명은 잃어버리고, 표와 문장의 연결도 끊어진다. 결국 AI는 문맥 없이 일부 문장만 읽고 대답하게 된다. 연구진은 이것을 “증거 사슬 붕괴”라고 설명했다. 쉽게 말하면, 답을 만드는 데 필요한 정보들이 서로 연결돼 있어야 하는데 AI가 그 연결선을 끊어버린다는 뜻이다. 지금까지의 RAG는 왜 한계가 있었나 최근 AI 업계에서 가장 주목받는 기술 중 하나가 바로 RAG다. Retrieval-Augmented Generation, 즉 “검색 기반 생성” 기술이다. 쉽게 설명하면 AI가 답을 만들기 전에 외부 문서를 검색해서 참고하는 방식이다. 예를 들어 AI에게 “USB 포트 최대 전압은?”이라고 물으면 AI는 설명서에서 관련 내용을 찾아 읽고 답...