“책임 있는 AI, 말은 쉽지” — 금융업계가 직면한 현실적 장애물들

-

 



챗GPT, 생성형 AI, 그리고 금융업. 이 셋이 만난 지점은 화려한 미래를 약속하지만, 그 뒷면엔 꽤나 골치 아픈 현실이 놓여 있다.

AI는 이미 금융 산업의 곳곳에 스며들고 있다. 대출 심사, 사기 탐지, 투자 전략, 고객 응대 등 사람보다 빠르고 효율적인 의사결정을 가능하게 만든다. 더구나 챗GPT 같은 생성형 AI(GenAI)는 ‘사람처럼’ 말하고, 생각하고, 글을 써내려간다. 이쯤 되면, AI는 단순한 기술이 아니라 ‘금융의 두뇌’가 되어가고 있는 셈이다.

하지만 이 새로운 ‘두뇌’를 제대로 통제하지 못하면, 문제가 생긴다. 그리고 그 문제는 생각보다 복잡하고, 무엇보다 기술적인 것만은 아니다.


AI는 날고, 규범은 기어간다

최근 유럽 금융기관 종사자 15명을 인터뷰한 연구가 이 현실을 정면으로 조명했다. 제목도 도발적이다. “책임 있는 AI의 표면만 긁었다 (Scratching the Surface of Responsible AI)”. 이들은 공통적으로 이렇게 말한다. “AI를 책임감 있게 쓰는 게 말처럼 쉽지 않다.”

왜일까? AI 윤리나 책임 있는 AI(Responsible AI, 이하 RAI) 가이드라인은 수십 가지가 넘는다. 투명성, 공정성, 설명 가능성, 프라이버시 보호 등 원칙은 많지만, “그걸 일상 업무에 어떻게 적용해야 하는지”에 대한 구체적인 지침은 턱없이 부족하다.

결과적으로, 실무자들은 말한다. “이건 너무 추상적이고, 현실과 거리가 멀다.” 그저 지침서를 읽고 끝낼 수 있는 일이 아니라는 뜻이다.


기술이 문제가 아니다: 현실의 9가지 비기술적 장벽

이번 연구는 특히 ‘비기술적(non-technical)’ 장애물에 주목했다. 코딩이나 알고리즘 같은 기술적인 문제보다 조직, 문화, 인간적 요인이 훨씬 더 복잡하다는 것이다. 인터뷰를 통해 드러난 주요 장애물은 다음과 같다.

  1. 책임 불명확: AI가 오작동하면 누가 책임지는가? 개발자? 사용 부서? 경영진? 이 질문엔 대부분이 대답을 망설였다. 특히 GenAI는 입력-출력 과정을 설명하기 어렵기 때문에 “블랙박스 같다”는 반응이 많았다.

  2. 예기치 못한 결과 대응 미흡: AI가 예상치 못한 판단을 내릴 때, 조직이 이를 조기에 감지하고 대처할 시스템이 부족하다.

  3. 공정성과 포용의 모호함: ‘공정하다’는 기준이 각자 다르다. 일부에겐 그저 빠르게 결과를 내는 게 중요하고, 또 다른 이들에겐 소수자의 접근성과 언어 다양성이 핵심이다. 모두를 만족시키기는 어렵다.

  4. 기존 프로세스와 충돌: AI는 빠르고 유연하지만, 금융기관의 전통적인 시스템과 절차는 느리고 복잡하다. 둘 사이의 간극은 조직의 큰 부담이 된다.

  5. 이해관계자 조율: 기술 부서, 법무팀, 경영진, 사용자 간 우선순위가 다르다. 혁신을 추구하는 팀은 빠르게 도입하고 싶고, 보안팀은 위험을 우려해 속도를 늦추려 한다.

  6. 지속가능성 부족: AI 모델은 막대한 컴퓨팅 자원을 소모한다. 전력, 탄소 배출, 서버 중복 등 지속가능성 측면에서 성찰이 필요하다.

  7. 사람 문제: 직원들이 AI를 신뢰하지 않거나, 반대로 과신하는 문제가 발생한다. 조직 문화, 교육, 인식 개선이 중요하다는 의견이 다수였다.

  8. 예산과 자원 부족: AI 윤리를 관리하는 데 드는 시간과 비용은 결코 적지 않다. 특히 중소 금융기관은 이 부분에서 부담을 크게 느낀다.

  9. AI 공급업체 문제: 외부 솔루션 업체가 일방적으로 AI 기능을 업데이트하거나, 개인정보 처리 방식이 바뀌는 경우 내부 통제가 어려워진다.



GenAI는 '새로운 위험의 얼굴'

이번 연구에서 흥미로운 점은 전통적인 AI보다도 GenAI가 더 큰 위험으로 인식된다는 사실이다. 기존 AI는 예측·분류 중심이지만, GenAI는 ‘창작’이 가능하다. 즉, 과거의 데이터를 바탕으로 전혀 새로운 텍스트, 이미지, 영상 등을 생성한다. 그리고 그 과정이 어떻게 이루어졌는지 설명하기 어렵다.

예를 들어, 한 참여자는 이런 말을 했다. “GenAI는 아이디어를 ‘발명’하는데, 그게 맞는지 틀린지 우리가 판단하기 어렵다. 그래서 더 위험하다.”


그럼, 어떻게 해야 하나? 열쇠는 'CDR'에 있다

연구팀은 이 문제를 해결할 실마리로 ‘기업 디지털 책임(Corporate Digital Responsibility, CDR)’이라는 개념에 주목했다. CDR은 기술을 어떻게 개발하고, 데이터를 어떻게 수집·관리하며, 어떤 의사결정을 하고, 그 결과를 어떻게 감시하고 개선할지를 명시하는 ‘디지털 윤리 헌장’ 같은 것이다.

CDR의 핵심은 ‘사람 중심’이다. 기술이 아닌 조직 문화, 가치, 리더십, 그리고 실무자들의 공감대 형성이 중요하다는 철학이 깔려 있다. 말하자면, AI 윤리를 책상 위 선언문에 머무르게 하지 않고, 현장에서 살아 움직이게 만드는 ‘조율 도구’인 셈이다.


******


마무리: 기술은 빨라졌지만, 책임은 여전히 느리다

생성형 AI는 눈부시게 발전하고 있다. 하지만 “책임감 있게 쓸 준비는 됐는가?”라는 질문에는 많은 기업들이 머뭇거린다. 이번 연구가 던지는 핵심 메시지는 분명하다.

“기술이 문제가 아니다. 기술을 다루는 인간의 태도와 시스템이 문제다.”

RAI는 단순한 기술이 아니라, 문화이자 시스템이다. 그리고 그 문화는 한 번의 교육이나 규제로 만들어지지 않는다. 끊임없는 대화, 실험, 조정, 그리고 공감이 필요하다.

AI가 단지 빠른 비서가 아니라, 신뢰받는 동료가 되기 위해서 말이다.




출처:
Skouloudis, A., & Venkatraman, A. (2025). Scratching the Surface of Responsible AI in Financial Services: A Qualitative Study on Non-Technical Challenges and the Role of Corporate Digital Responsibility. AI, 6(8), 169. https://doi.org/10.3390/ai6080169