의사들이 AI를 믿지 못하는 진짜 이유
“AI가 그렇게 똑똑하다면,
도대체 왜 그런 판단을 했는지 말해줄 수는 없을까?”
이 질문은 지난 몇 년간 의료 현장에서 반복돼 왔다.
진단 정확도는 높아졌고,
논문 요약도 빠르며,
의무기록 작성도 척척 해낸다.
그런데도 의사들은 AI를 쉽게 믿지 않았다.
이유는 단순했다.
근거를 보여주지 않았기 때문이다.
AI가 낸 답은 맞아 보였지만, 아무도 책임질 수 없었다
의료 AI는 종종 이렇게 말했다.
“이 환자에게는 이 치료가 적절하다.”
하지만 그 다음 질문에 답하지 못했다.
“왜?”
“어디에 근거해서?”
“어떤 가이드라인을 봤나?”
의료는 추측이 아니라 증거로 움직이는 영역이다.
의사들은 항상 논문을 찾고,
진료지침을 확인하며,
자신의 판단을 기록으로 남긴다.
그런데 AI는 달랐다.
결론은 있었지만,
출처는 없었다.
이것이 의료 AI가 현장에 뿌리내리지 못한 결정적인 이유였다.
AI의 말도 논문처럼 검증할 수 있다면?
미국 신시내티대학교 연구팀은 이 지점에서 출발했다.
그들이 던진 질문은 명확했다.
AI가 낸 모든 판단에
출처를 달 수 있다면?
나중에 다시 검토할 수 있다면?
이 질문에 대한 답으로 제시된 것이
‘출처 검증 가능하고, 감사가 가능한 의료 AI 프레임워크’다
이 연구는 새로운 알고리즘을 만들지 않았다.
대신,
이미 존재하던 기술들을 하나의 책임지는 구조로 엮었다.
AI의 머릿속을 ‘블랙박스’에서 ‘유리 상자’로 바꾸다
연구진이 제안한 시스템은 세 단계로 움직인다.
첫째,
AI는 아무 정보나 보지 않는다.
의학 논문, 임상 가이드라인,
검증된 데이터베이스만 모아둔 정제된 지식 저장소만 사용한다.
둘째,
AI는 답을 만들 때 반드시 출처를 끌어온다.
“이 치료를 권한다”는 문장 옆에는
어느 논문의 몇 번째 권고인지가 함께 붙는다.
마치 의사가 차트를 작성하듯 말이다.
셋째,
이 모든 과정이 자동으로 기록된다.
어떤 질문이 들어왔고,
어떤 자료를 검색했고,
어떤 근거로 결론에 도달했는지.
나중에 문제가 생기면
처음부터 끝까지 다시 재생할 수 있다.
이것은 ‘똑똑한 AI’가 아니라 ‘책임지는 AI’다
이 시스템의 핵심은 성능이 아니다.
신뢰다.
의사는 AI를 대체자로 보지 않는다.
동료로 본다.
동료라면,
“왜 그렇게 판단했는지” 설명할 수 있어야 한다.
이 프레임워크는
AI에게 바로 그 역할을 맡긴다.
AI는 더 이상
“그냥 그렇게 계산됐다”라고 말하지 않는다.
대신 이렇게 말한다.
“이 판단은
2021년 발표된 임상 가이드라인과
해당 메타분석 결과에 근거했다.”
규제기관이 원하는 AI의 모습과도 정확히 맞아떨어진다
이 구조는
미국 FDA와 유럽연합이 요구하는 방향과도 일치한다.
앞으로 의료 AI는
고위험 기술로 분류된다.
즉,
설명 가능해야 하고
기록이 남아야 하며
사람이 언제든 개입할 수 있어야 한다.
이 연구는 말한다.
“그 조건을 처음부터 구조에 넣자.”
나중에 설명을 덧붙이는 것이 아니라,
처음부터 설명하도록 설계된 AI를 만들자는 것이다.
AI가 의료 현장에 남기 시작하는 순간
이 논문은 아직 시스템을 만들지 않았다.
하지만 방향은 분명하다.
의사들이 AI를 믿는 순간은
AI가 더 똑똑해질 때가 아니다.
AI가
근거를 내밀 수 있을 때,
기록을 남길 수 있을 때,
책임을 함께 질 수 있을 때다.
의료 AI의 미래는
속도가 아니라 투명성에 달려 있다.
그리고 그 첫 설계도가
이미 그려졌다.
출처
Alu, F. F., & Oluwadare, S. (2026). An auditable and source-verified framework for clinical AI decision support: Integrating retrieval-augmented generation with data provenance. Frontiers in Artificial Intelligence, 9, 1737532. https://doi.org/10.3389/frai.2026.1737532