설명 가능한 인공지능(XAI) 디자인 혁명! 금융 AI 결정이 이해되는 이유를 밝혀낸 연구

-

 

대시보드 형태의 데이터 시각화 화면 앞에서 로봇이 금융 데이터를 설명하고 있으며, 주변에 여러 전문가들이 태블릿과 문서를 들고 AI 분석 결과를 확인하는 모습을 표현한 일러스트.
설명 가능한 인공지능(XAI)이 금융 데이터 분석 결과를 시각적으로 설명하고, 사람들이 이를 이해하며 의사결정에 활용하는 과정을 개념적으로 표현한 이미지.


AI가 결정한 금융 결과… “왜 그런지” 설명할 수 있을까?


은행에서 대출을 신청했는데 거절되었다고 상상해 보자.


“AI가 판단했습니다.”라는 말만 들으면 어떤 기분이 들까?


대부분 사람들은 이렇게 묻는다.


“왜 거절됐나요?”


요즘 금융, 의료, 보험 같은 중요한 분야에서는 인공지능(AI)이 사람 대신 많은 결정을 내린다. 그런데 문제는 많은 AI 모델이 블랙박스라는 점이다. 즉 결정 과정이 보이지 않는다는 것이다.


그래서 등장한 개념이 바로 설명 가능한 인공지능, 즉 Explainable AI(XAI)이다.


XAI의 목표는 간단하다.

  • AI가 왜 그런 결정을 내렸는지 설명해 주기
  • 사람이 이해하고 검증할 수 있게 만들기
  • AI를 믿을 수 있게 하기

하지만 여기서 중요한 질문이 생긴다.


“설명이 있다고 해서 사람들이 정말 이해할까?”


최근 연구에서는 놀라운 사실이 밝혀졌다.
단순히 설명이 있는 것만으로는 충분하지 않았다.


설명을 어떻게 보여주느냐, 즉 디자인이 매우 중요했다.


이 흥미로운 연구는 금융 AI 시스템에서 사람들이 실제로 이해하기 쉬운 설명 방식이 무엇인지 분석했다.

AI 설명에도 ‘디자인’이 필요하다! 연구진이 실제 금융 회사에서 실험하다


연구진은 단순한 이론 연구가 아니라 실제 금융 환경을 기반으로 실험을 진행했다.


사용된 실제 사례는 두 가지였다.


1️⃣ 기업 대출 심사 시스템
2️⃣ 자동차 보험 사기 탐지 시스템


즉 AI가 다음과 같은 결정을 내리는 상황이다.

  • 이 기업에 대출을 해줄까?
  • 이 보험 청구는 사기일까?

이러한 결정은 돈과 직접 연결되는 중요한 판단이기 때문에 설명이 반드시 필요하다.

연구진은 AI 설명을 네 가지 방식으로 만들었다.

① Feature Importance

어떤 요소가 결정에 영향을 미쳤는지 보여준다.


예

  • 신용점수
  • 거래 기록
  • 소득 수준

② Counterfactual Explanation

“이 값이 조금 달랐다면 결과가 바뀌었을까?”를 보여준다.


예

  • 소득이 조금 높았다면 대출 승인

③ Similar Cases

비슷한 사례를 보여준다.


예

  • 비슷한 기업은 대출이 승인되었는가?

④ Rule-based Explanation

AI의 판단 규칙을 보여준다.


예

  • 신용점수 < 600 → 거절

연구팀은 무려 39개의 시각적 설명 디자인을 만들어 비교했다.

그리고 실제 금융 회사 직원들에게 보여주고 평가하게 했다.


참가자들은 다음 질문에 답했다.

  • 이해하기 쉬운가
  • 사용하기 편한가
  • 만족스러운가
  • 실제 업무에 도움이 되는가

놀라운 결과! 사람들이 좋아한 AI 설명은 “간단한 것”이었다


연구 결과는 예상과 조금 달랐다.

대부분의 사람들은 복잡한 설명보다 단순하고 직관적인 설명을 더 선호했다.

특히 중요하게 작용한 요소는 다음이었다.

1️⃣ 사용하기 쉬움

가장 강한 영향


즉
“이해하려고 노력하지 않아도 보자마자 이해되는 설명”

이 중요했다.

2️⃣ 간결함

보험 사기 판단에서는 특히 설명이 짧고 간단할수록 선호되었다.

연구에서는 Concise(간결성)가 가장 높은 상관관계를 보였다.

3️⃣ 사용자 만족도

금융 대출 시스템에서는
설명이 만족스러울수록 선호도가 높았다.


즉 설명이

  • 명확하고
  • 보기 좋고
  • 직관적일수록

사람들이 더 신뢰했다.

그런데 문제 발생… 전문가와 사용자 의견이 완전히 달랐다


연구에서 가장 흥미로운 결과는 이것이다.

일반 사용자와 전문가의 의견이 달랐다.

일반 사용자

원하는 설명

  • 짧다
  • 단순하다
  • 바로 이해된다

예
“대출 거절 이유:

  • 매출 감소
  • 신용점수 낮음”

전문가 (AI 개발자, 규제 담당자)

원하는 설명

  • 더 많은 정보
  • 전체 모델 구조
  • 완전한 규칙

예

  • 전체 의사결정 트리
  • 모든 변수 영향

즉


“이해하기 쉬움 vs 설명의 완전성”


이라는 딜레마가 나타난 것이다.

AI 설명 디자인의 핵심 원칙 6가지


연구팀은 실험 결과를 통해 중요한 디자인 원칙도 제시했다.

1️⃣ 색상은 매우 중요하다

사람들은

  • 빨강 → 위험
  • 초록 → 안전

으로 인식한다.

하지만 연구팀은 초록색 사용을 피했다.


왜냐하면
초록색은 “완전히 안전하다”라는 오해를 만들 수 있기 때문이다.


대신 파란색을 사용했다.

2️⃣ 정보는 최소한만 보여줘야 한다

모든 정보를 보여주면 오히려 이해하기 어려워진다.

그래서

  • 핵심 5개 변수
  • 핵심 규칙

정도만 보여주는 것이 효과적이었다.

3️⃣ 읽는 흐름이 중요하다

사람들은 보통

왼쪽 → 오른쪽
위 → 아래

순서로 읽는다.

그래서 설명 디자인도 이 흐름을 따라야 했다.

4️⃣ 숫자만 보여주면 안 된다

예를 들어

“위험 점수 72”

이렇게만 보여주면 이해하기 어렵다.

그래서 연구에서는

  • 비교 기준
  • 설명 문장

을 함께 보여줬다.

5️⃣ 인터랙션이 중요하다

사용자가

  • 클릭
  • 마우스 오버
  • 필터

등으로 정보를 탐색할 수 있게 하면 이해도가 높아졌다.

6️⃣ 하나의 설명 방식으로는 부족하다

연구 결론은 명확했다.


AI 설명은 상황에 따라 달라져야 한다.


예


대출 담당 직원 → 간단한 설명
AI 개발자 → 자세한 설명


즉

맞춤형 설명 시스템이 필요하다.

AI가 진짜 신뢰받으려면 “설명 디자인”이 필요하다


AI 기술은 빠르게 발전하고 있다.

하지만 AI가 아무리 똑똑해도 사람들이 이해하지 못하면 문제가 생긴다.

특히 다음 분야에서는 더욱 중요하다.

  • 금융
  • 의료
  • 법률
  • 보험

이번 연구는 중요한 메시지를 던진다.

AI를 설명하는 기술은 단순한 알고리즘 문제가 아니다.


디자인, 심리학, 사용자 경험이 함께 필요하다.


앞으로 AI 시스템은 단순히 “정답을 맞히는 것”이 아니라


사람이 이해할 수 있게 설명하는 능력


까지 갖춰야 할 것이다.


그리고 어쩌면 미래의 AI 개발자는
프로그래머만이 아니라

디자이너와 심리학자일지도 모른다.


AI의 시대는 이제 설명 가능한 AI의 시대로 넘어가고 있다.


출처
Maathuis, H., Stalenhoef, M., van Otterloo, S., Zwaal, R., van Montfort, K., & Sent, D. (2026). Designing effective explainable AI: a human-centered evaluation of explanation formats in financial decision-making. Frontiers in Artificial Intelligence, 9, 1668029. https://doi.org/10.3389/frai.2026.1668029