인공지능 챗봇이 오류를 냈을 때 사용자의 이탈을 막는 최적의 신뢰 회복 전략
인간다운 사과보다 시스템 내부 논리를 투명하게 설명하는 설명 가능 인공지능 전략이 사용자의 실제 서비스 지속 이용률을 더 높인다
인공지능 기반 대화형 에이전트가 고객 서비스 영역에서 자동화를 주도함에 따라 시스템 오류는 불가피하게 발생하며 이는 사용자의 신뢰를 손상시키는 원인이 된다. 기존의 설명 가능 인공지능 연구는 시스템을 처음 사용하기 전 신뢰를 형성하는 단계에만 집중되어 있었으나, 실제 서비스 상황에서 오류가 발생한 사후에 신뢰를 복구하는 영역은 미개척 상태였다. 이에 따라 인공지능 챗봇이 대화 도중 오류를 유발했을 때 인간다운 소셜 대응 방식과 시스템 중심의 기술적 투명성 제공 방식 중 무엇이 더 효과적인지 규명하는 연구가 진행되었다.
실험 결과 두 방식 모두 주관적인 신뢰 응답 점수를 높이는 데는 비슷하게 기여했으나, 사용자가 실제로 이탈하지 않고 서비스를 지속해서 선택하게 만드는 행동 변화에서는 시스템 내부 논리를 설명하는 방식이 압도적으로 우수한 결과를 나타냈다.
이러한 결과는 사용자가 인공지능의 오류를 맞닥뜨렸을 때 감정적인 위로보다는 시스템이 왜 그러한 판단을 내렸는지에 대한 인지적 이해와 명확한 대안 구조를 원한다는 점을 시사한다. 기존 가상비서 디자인에서 관행적으로 채택되던 인간 친화적 무조건적 사과 패러다임은 주관적 만족감만 줄 뿐 실제 행동 지속으로 이어지지 않는 한계를 지닌다. 인공지능이 자신의 구동 메커니즘을 투명하게 드러낼 때 사용자는 시스템의 한계를 예측 가능한 범위로 인식하게 되며, 이것이 곧 서비스 이탈율을 낮추는 강력한 고리가 된다.
챗봇의 실수를 바로잡기 위해 사용자가 직접 개입해야 할 때 신뢰도가 급격히 하락한다
연구진은 실험 참가자 261명을 대상으로 전자상거래 가상 쇼핑몰 상황을 연출하여 신뢰 회복 메커니즘을 정밀 측정했다. 참가자들은 주문한 상품 중 야구 모자가 배송되지 않은 상황을 처리하기 위해 챗봇과 대화를 나누었다. 이때 챗봇은 사용자의 누락 요청을 정상적으로 인식했음에도 불구하고 시스템 내부의 확률적 데이터 매칭 오류로 인해 이미 정상 배송된 청바지를 다시 무료 교환해주겠다는 오작동 발언을 유발하도록 설계되었다. 챗봇의 확신에 찬 오류 발언 직후 사용자가 잘못을 지적했을 때, 챗봇이 취하는 다섯 가지 대응 방식에 따른 신뢰도 변화를 추적했다.
분석 결과 챗봇이 스스로 판단하여 오류를 수정하는 자율 복구 방식과 사용자에게 다시 질문하여 단서를 얻으려는 사용자 보조 방식 간에 뚜렷한 신뢰도 격차가 발생했다. 챗봇이 "무엇이 잘못되었는지 상세히 다시 말해달라"고 요청하는 질문형 전략은 사용자에게 불필요한 인지적 부담과 추가 노동을 전가하는 행위로 인식되었다. 자신이 발생시키지 않은 시스템의 오작동을 해결하기 위해 사용자가 조사관 역할을 수행해야 할 때 인간은 인공지능에 대한 피로감을 느끼며 신뢰 복구 수준은 아무런 조치를 취하지 않은 통제 집단과 비교해 유의미한 차이를 만들지 못할 만큼 낮았다.
수치 기반의 국소적 설명과 조건 변경 대안 제시가 인공지능 오작동의 부정적 인식을Reframing한다
시스템 중심의 설명 가능 인공지능 전략은 구체적으로 국소적 설명과 반사실적 옵션 제시 두 가지 형태로 구현되어 실험에 투입되었다. 국소적 설명 전략은 챗봇이 특정 문맥에서 왜 그러한 오판을 내렸는지 텍스트 내 키워드 가중치 추론 점수를 투명하게 시각화하여 제시하는 방식이다. 사용자는 수치화된 추론 점수를 통해 챗봇이 전체적으로 고장 난 것이 아니라 특정 단어의 연산 빈도 차이로 인해 발생한 예외적 한계 상황임을 인지하게 된다.
반사실적 옵션 구조는 만약 입력값의 특정 조건을 변경했다면 시스템 결과가 어떻게 달라졌을지를 사용자에게 명확한 선택지로 가공해 제공하는 방식이다. 예를 들어 "만약 사용자가 요청한 키워드에 [의류 부속품] 조건을 추가 선택했다면 올바른 모자 발언이 도출되었을 것입니다"와 같이 사후 행동 가이드를 매뉴얼 형태로 변환해 주는 원리다. 이러한 시스템 중심의 설명 메커니즘은 사용자로 하여금 인공지능을 감정적 소통 대상이 아닌 예측 및 제어가 가능한 도구적 개체로 변환하여 인식하게 만듦으로써 시스템 실패가 주는 타격을 상쇄시킨다.
말뿐인 사과와 투명한 설명 간의 주관적 신뢰도와 실제 행동 지속 의사의 결정적 괴리
컴퓨터를 사회적 행위자로 인식하는 기존의 이론적 관점은 인공지능 챗봇이 정중한 사과와 감정적 어조를 취할 때 인간이 쉽게 용서할 것이라고 가정한다. 이번 정밀 실험에서도 사용자가 설문조사지에 직접 기록한 주관적 신뢰Perception 점수 영역에서는 챗봇의 정중한 사과와 설명 가능 인공지능 기술을 활용한 투명한 원인 분석이 서로 통계적으로 동등한 수준의 복구 효과를 나타냈다.
그러나 연구진이 실험의 마지막 단계에서 사용자의 실제 행동을 유도했을 때 중대한 차이가 목격되었다. 연구진은 참가자들에게 다음 업무를 수행할 때 인공지능 챗봇을 그대로 사용할 것인지, 아니면 다소 번거롭더라도 기존의 전통적인 텍스트 기반 웹사이트 문의 폼 접수 방식으로 전환할 것인지 실제 이진 행동 선택권을 부여했다. 이 과정에서 사과를 받은 사용자 집단은 높은 주관적 신뢰 점수를 매겼음에도 불구하고 실제 선택 단계에서는 챗봇을 불신하여 웹사이트 폼 양식으로 대거 이탈하는 현상을 보였다. 반면 수치와 인과관계 설명을 통해 챗봇의 오작동 메커니즘을 정확히 파악한 사용자 집단은 챗봇을 지속해서 선택하여 후속 과제를 완수하는 실제 지속 행동을 나타냈다.
이는 인간이 인공지능의 오류를 경험한 뒤 서비스를 계속 이용할지 결정할 때는 정서적 위안보다 시스템 오작동이 통제 가능한 영역에 있는지에 대한 기술적 가시성이 핵심 기준이 됨을 증명한다.
기업과 개발자들은 가상 비서나 고객 응답 챗봇 시스템을 설계할 때 인간다운 페르소나와 감정적 멘트를 기본값으로 설정하던 기존 관행을 재고해야 한다. 인공지능의 실수가 발생한 시점에는 감성적 미사여구보다 오작동을 유발한 내부 변수와 추론 점수를 가감 없이 공개하고 사용자가 인지적 통제력을 확보할 수 있도록 명확한 입력 변형 대안을 인터페이스에 배치하는 설계가 비즈니스 이탈 방지에 훨씬 효과적이다.
출처
Konopka, B., & Wiesche, M. (2026). Explainability in AI: Comparing human-like and system-like trust repair strategies. Information Systems Frontiers. https://doi.org/10.1007/s10796-026-10751-1