AI가 협상을 대신하는 시대, 성능보다 더 중요한 것은 '신뢰 설계'

-

 

기업 회의실에서 두 사람이 악수하며 협상을 진행하는 가운데, 노트북 위에 AI를 상징하는 디지털 뇌와 보안, 윤리, 문서 아이콘이 떠 있어 설명 가능한 AI와 인간의 협업을 표현한 이미지.
AI는 구매 협상의 효율성을 높이지만, 설명 가능한 AI(XAI), 인간의 최종 검토(Human-in-the-loop), 그리고 윤리적 거버넌스가 함께 갖춰질 때 신뢰할 수 있는 의사결정 도구가 될 수 있다.


AI 구매 협상은 왜 더 빨라졌는데 신뢰는 오히려 낮아질까? 설명 가능한 AI가 중요한 이유


기업들은 구매 협상에 인공지능(AI)을 빠르게 도입하고 있다. AI는 가격을 추천하고, 계약 문서를 작성하며, 공급업체 위험을 분석하는 등 협상 업무를 크게 줄여준다. 하지만 이번 연구는 AI를 많이 사용할수록 업무 효율은 높아졌지만, AI 자체를 신뢰하는 정도는 오히려 낮아질 수 있다는 흥미로운 결과를 제시했다.

연구진은 유럽(EU)과 동남아시아(ASEAN)의 기업을 대상으로 사례 연구와 설문조사를 함께 진행했다. 그 결과 AI에 대한 신뢰는 단순히 성능이 아니라 설명 가능성(Explainable AI), 윤리적 거버넌스, 사람의 최종 개입(Human-in-the-loop) 여부에 크게 좌우된다는 사실을 확인했다.


AI가 협상을 더 빠르게 진행하면서도 신뢰를 잃는 이유


구매 협상은 단순히 가격을 계산하는 과정이 아니다. 계약 조건, 공급망 위험, 법률 검토, 상대 기업과의 관계까지 함께 고려해야 하는 복잡한 의사결정이다.

AI는 방대한 데이터를 빠르게 분석해 적절한 가격 범위나 양보 전략을 제안할 수 있다. 실제 연구에서도 AI 활용 수준이 높을수록 협상 효율성은 크게 증가했다(β=0.58).

그러나 AI가 어떻게 이런 결론을 내렸는지 설명하지 못하거나 사람이 중간에 개입하기 어려운 환경에서는 사용자들이 AI를 덜 신뢰하는 경향이 나타났다. AI 활용과 AI 시스템 신뢰 사이에는 음의 관계(β=-0.41)가 확인됐다.

즉, 빠른 의사결정이 곧 신뢰를 의미하지는 않았다.

연구진이 찾은 가장 중요한 요소는 '설명 가능한 AI'


이번 연구에서 가장 큰 영향을 준 변수는 설명 가능성(XAI)이었다.

AI가 특정 가격을 추천한 이유나 어떤 데이터를 근거로 판단했는지를 이해할 수 있을수록 AI에 대한 신뢰가 크게 높아졌다(β=0.64).

흥미로운 점은 지역별 차이도 있었다.


  • 유럽에서는 설명 가능성이 신뢰 형성에 더욱 큰 영향을 미쳤다.
  • 동남아시아에서는 사람의 개입과 관계 유지가 상대적으로 더 중요하게 나타났다.


이는 규제 중심의 유럽과 관계 중심 문화가 강한 아시아의 차이를 보여주는 결과로 해석된다.


사람이 마지막 결정을 내릴 수 있어야 신뢰가 유지된다


많은 기업은 AI가 모든 협상을 자동으로 처리하는 미래를 기대한다.

하지만 이번 연구는 오히려 사람이 최종 결정을 내릴 수 있는 구조가 신뢰를 높인다는 결과를 제시했다.

연구진은 이를 Human-in-the-loop(HIL) 설계라고 설명한다.


  • AI가 협상안을 추천한다.
  • 담당자가 추천 이유를 확인한다.
  • 필요하면 수정하거나 거부한다.
  • 최종 계약은 사람이 승인한다.


이런 구조에서는 AI 신뢰도가 유의하게 증가했다(β=0.52).

반대로 사람이 거의 개입하지 않는 자동화 환경에서는 AI가 '블랙박스'처럼 인식되면서 신뢰가 감소했다.

연구는 어떻게 진행됐을까


이번 연구는 정성 연구와 정량 연구를 결합한 혼합 연구(Mixed Methods) 방식으로 수행됐다.

먼저 유럽과 동남아시아 6개 기관에서 구매 담당자, 법무 담당자, 디지털 전환 관리자 등 36명을 인터뷰해 AI 협상 과정에서 실제 어떤 문제가 발생하는지 분석했다.

이 결과를 바탕으로 AI 활용 경험이 있는 전문가 238명을 대상으로 설문조사를 실시했고, 구조방정식모형(SEM)을 이용해 변수 간 관계를 분석했다.

참가자는 제조업(40%), 의료(27%), 금융(21%), IT(12%) 분야에 종사했으며, 응답자의 54%는 유럽, 46%는 동남아시아 기업 소속이었다.

연구진은 AI 사용량, 설명 가능성, 윤리적 거버넌스, 사람의 개입 정도, 협상 효율성, AI 시스템 신뢰를 각각 측정해 서로 어떤 영향을 주는지 검증했다.

AI를 너무 많이 사용하면 오히려 역효과가 나타난다


이번 연구에서 또 하나 흥미로운 결과는 AI 사용량과 신뢰 사이가 직선 관계가 아니라는 점이다.

AI를 적절하게 사용하는 단계에서는 신뢰가 증가했다.

하지만 자동화 수준이 지나치게 높아지면 오히려 신뢰가 감소하는 역U자형(Inverse-U) 관계가 확인됐다.

연구진은 그 이유를 다음과 같이 설명한다.


  • 협상 과정이 비인간적으로 변한다.
  • 상대방과의 관계 신호가 줄어든다.
  • 의사결정을 설명하기 어려워진다.
  • 책임 소재가 불명확해진다.


결국 AI는 많이 사용하는 것이 중요한 것이 아니라 적절한 수준으로 설계하는 것이 더 중요했다.


기업이 앞으로 AI 협상을 설계할 때 달라질 점


이번 연구는 AI 성능 자체보다 AI를 어떻게 설계하느냐가 신뢰를 결정한다는 점을 보여준다.

기업이 앞으로 AI 구매 협상 시스템을 구축한다면 다음 요소를 함께 고려해야 한다.


  • AI 추천 근거를 쉽게 설명할 수 있을 것
  • 의사결정 기록을 감사할 수 있을 것
  • 책임과 승인 절차가 명확할 것
  • 사람이 언제든 최종 판단을 내릴 수 있을 것


이 네 가지 요소가 함께 갖춰질 때 AI는 단순한 자동화 도구를 넘어 실제 의사결정을 지원하는 신뢰 가능한 시스템이 될 가능성이 높아진다.

다만 연구진은 이번 연구가 AI 사용 경험이 있는 전문가 238명을 대상으로 한 비확률 표본이라는 점을 한계로 제시했다. 따라서 모든 산업과 국가에 동일한 결과를 일반화하기에는 추가 연구가 필요하다.


AI의 미래는 자동화보다 '신뢰 설계'에 달려 있다


많은 기업이 AI를 도입하면 생산성이 높아질 것이라고 기대한다. 이번 연구 역시 AI가 협상 효율을 높인다는 사실을 확인했다. 그러나 효율이 높아졌다고 해서 사람들이 AI를 자동으로 믿는 것은 아니었다.

AI가 어떤 이유로 결정을 내렸는지 설명할 수 있고, 사람이 최종 판단을 유지하며, 조직 차원의 책임 체계가 함께 마련될 때 비로소 신뢰가 형성됐다. 앞으로 기업용 AI 경쟁력은 더 강력한 알고리즘보다 얼마나 신뢰할 수 있도록 설계했는가에서 결정될 가능성이 크다.

출처

Mejri, R., & Skhiri, S. (2026). Trust by design in AI-augmented procurement systems: The roles of explainability, governance, and human oversight. Frontiers in Artificial Intelligence, 9, 1752349. https://doi.org/10.3389/frai.2026.1752349