AI 의료 진단, 한 번 검증으로는 부족하다… 의료 AI 시대에 필요한 '지속적 검증'이란

AI 기반 임상 의사결정지원시스템(AI-CDSS)은 한 번의 성능 검증으로 끝나지 않는다. 실제 의료 현장에서는 지속적인 성능 모니터링과 인간의 감독, 데이터 변화 대응을 통해 환자 안전과 신뢰성을 유지해야 한다.

의료 AI는 똑똑해질수록 더 자주 감시해야 한다는 새로운 원칙이 등장했다.

병원에서 사용하는 인공지능(AI)은 이제 단순한 보조 프로그램이 아니다. 환자의 패혈증 위험을 예측하고, CT나 MRI 영상을 분석하며, 치료 방향까지 제안하는 수준으로 발전하고 있다. 하지만 AI는 시간이 지나면서 성능이 변할 수 있다는 점이 기존 의료 소프트웨어와 가장 큰 차이점이다.

최근 Frontiers in Artificial Intelligence에 발표된 리뷰 논문은 이러한 문제를 해결하기 위해 기존의 '한 번 검증하고 끝나는 방식'에서 벗어나 지속적인 검증(Continuous Assurance) 체계가 필요하다고 제안했다. 연구진은 이를 위한 새로운 프레임워크인 STRAICS(Socio-Technical Resilience Assurance for Intelligent Clinical Systems)를 소개하며, 앞으로 의료 AI는 성능뿐 아니라 사람과 조직까지 함께 관리해야 한다고 주장했다.

시간이 지나면 의료 AI의 성능도 달라지는 이유

오랫동안 의료기기는 출시 전에 안전성을 검증하면 일정 기간 동일한 성능을 유지한다고 가정했다. 하지만 AI는 다르다.

병원 환경은 계속 변한다. 새로운 검사 장비가 도입되고, 치료 지침이 바뀌며, 환자의 특성도 달라진다. 이렇게 입력 데이터와 실제 의료 환경이 변하면 AI가 학습했던 환경과 현실이 달라지면서 예측 정확도가 떨어질 수 있다.

논문은 이러한 현상을 크게 두 가지로 설명한다.

• 데이터 드리프트(Data Drift) : 입력 데이터의 특성이 변하는 현상
• 개념 드리프트(Concept Drift) : 같은 검사 결과라도 질병과의 관계 자체가 달라지는 현상

이 때문에 출시 당시 정확했던 AI도 몇 달 후에는 예상보다 낮은 성능을 보일 수 있다. 기존의 일회성 인증만으로는 환자 안전을 보장하기 어려운 이유다.

연구진이 제시한 핵심은 '계속 감시하는 의료 AI'

이번 논문은 새로운 알고리즘을 개발한 연구가 아니라, 현재까지 발표된 의료 AI 감사(Audit)와 규제, 환자 안전 연구를 종합적으로 분석한 리뷰 논문이다.

연구진은 의료 AI 검증 체계가 다음과 같이 발전하고 있다고 정리했다.

• 1단계 : 출시 전 성능 검증(Static Validation)
• 2단계 : 일정 기간마다 사후 점검(Lifecycle Monitoring)
• 3단계 : 실시간 성능 감시(Continuous Assurance)
• 4단계 : 변화에 스스로 대응하는 회복력 중심 관리(Resilience Assurance)

논문의 핵심은 AI를 '제품'이 아니라 계속 관리해야 하는 '서비스'로 바라봐야 한다는 점이다. 실제 논문에서는 의료 AI 검증이 단순한 승인 절차를 넘어 운영 기간 전체에 걸쳐 이루어져야 한다고 설명한다.

왜 AI는 병원에서 시간이 지날수록 오류를 낼 수 있을까

AI는 새로운 환자를 계속 만나면서 처음 학습한 환경과 다른 데이터를 접한다.

예를 들어 새로운 혈액검사 장비가 도입되거나, 치료 지침이 변경되거나, 특정 감염병이 유행하거나, 환자의 평균 연령이 높아지는 것만으로도 입력 데이터의 특성이 달라질 수 있다. 이러한 변화는 AI 모델의 예측 성능을 조금씩 떨어뜨리는 원인이 된다.

연구진은 또 다른 위험 요소도 소개한다.

• 이전에 학습한 정보를 잊어버리는 Catastrophic Forgetting
• 기존 의료진의 판단을 반복적으로 강화하는 Feedback Loop Bias
• 의료진이 AI를 지나치게 신뢰하는 Automation Bias

이러한 문제는 단순히 정확도만 측정해서는 발견하기 어렵다. 따라서 AI가 실제 병원에서 어떤 환경에서 사용되고 있으며 의료진과 어떻게 상호작용하는지까지 함께 감시해야 한다고 논문은 강조한다.

STRAICS는 기술만이 아니라 병원 전체를 함께 본다

연구진이 제안한 STRAICS 프레임워크는 기존 감사 방식과 가장 큰 차이가 있다.

기존에는 'AI가 정확한가'를 평가하는 데 집중했다면, STRAICS는 기술과 사람, 조직, 규제 환경을 하나의 시스템으로 바라본다.

• 기술적 안정성 : 성능 저하 여부와 데이터 변화 대응 능력
• 임상 현장 통합 : 의료진 업무 흐름과 AI의 협업 수준
• 조직의 대응 능력 : 사고 발생 시 학습과 개선 체계
• 규제와 운영 : 지속적인 안전성과 규정 준수 여부

논문은 이러한 네 가지 요소가 지속적인 모니터링과 인간의 감독, 학습 피드백, 편향 감시를 통해 하나의 순환 구조를 이루어야 한다고 설명한다.

설명 가능한 AI에서 '추론 가능한 AI'로 방향이 바뀌고 있다

그동안 의료 AI 연구에서는 '왜 이런 결과를 내렸는가'를 설명하는 설명 가능성(Explainability) 확보가 중요한 과제로 여겨졌다. 대표적으로 SHAP이나 LIME 같은 기법은 AI가 어떤 변수에 얼마나 영향을 받았는지를 시각적으로 보여주는 데 활용됐다.

하지만 생성형 AI와 거대언어모델(LLM)이 의료 분야에 빠르게 적용되면서 이러한 방식만으로는 충분하지 않다는 지적이 늘어나고 있다. 의료 AI는 단순히 위험도를 계산하는 수준을 넘어 진단 후보를 제시하고, 치료 전략을 설명하며, 임상 기록까지 생성하기 시작했기 때문이다.

연구진은 앞으로는 단순히 결과를 설명하는 것이 아니라 AI가 어떤 논리와 판단 과정을 거쳐 결론에 도달했는지 확인할 수 있는 추론 추적(Reasoning Traceability)이 더욱 중요해질 것으로 전망했다.

즉, "결과를 설명하는 AI"에서 "생각하는 과정을 검증할 수 있는 AI"로 감사 체계가 발전해야 한다는 의미다. 이러한 접근은 의료진이 AI를 더 신뢰할 수 있도록 만들 뿐 아니라, 예상하지 못한 오류를 조기에 발견하는 데에도 중요한 역할을 할 것으로 기대된다.

의료진과 AI가 얼마나 잘 협력하는지도 중요한 평가 대상이다

논문은 의료 AI의 성능만 평가해서는 충분하지 않다고 강조한다. 아무리 정확도가 높은 AI라도 의료진이 이를 제대로 이해하지 못하거나 지나치게 의존하면 환자 안전에 새로운 위험이 생길 수 있기 때문이다.

예를 들어 AI가 잘못된 경고를 반복적으로 보내면 의료진은 중요한 경고까지 무시하게 되는 '경고 피로(Alert Fatigue)'를 경험할 수 있다. 반대로 AI의 판단을 무조건 신뢰하면 잘못된 예측도 그대로 받아들이는 자동화 편향이 발생할 수 있다.

연구진은 앞으로 의료 AI 감사에서 의료진이 AI의 권고를 얼마나 자주 수정하거나 무시하는지, 어떤 상황에서 의견 충돌이 발생하는지까지 중요한 평가 지표로 활용해야 한다고 제안했다. 이러한 정보는 AI 성능 저하나 데이터 변화가 시작되는 초기 신호가 될 수 있기 때문이다.

의료 AI 규제도 이미 '평생 관리' 방향으로 움직이고 있다

논문은 유럽연합(EU)의 AI Act와 미국 FDA의 최신 정책도 함께 분석했다. 국가별 세부 규정은 다르지만 공통적으로 의료 AI를 승인 이후에도 지속적으로 관리해야 한다는 방향으로 정책이 변화하고 있다는 점을 확인했다.

과거에는 제품을 승인하면 일정 기간 같은 성능을 유지한다고 가정했지만, AI는 병원 환경과 데이터가 계속 바뀌기 때문에 출시 이후에도 성능을 확인해야 한다. 따라서 실제 병원에서 예측 정확도를 지속적으로 모니터링하고, 문제가 발견되면 모델을 수정하거나 이전 버전으로 되돌릴 수 있는 관리 체계가 요구되고 있다.

연구진은 이러한 규제 변화가 앞으로 국제적인 표준으로 자리 잡을 가능성이 높다고 전망했다. 의료 AI의 안전성을 확보하기 위해서는 개발사뿐 아니라 병원과 규제기관이 함께 장기적인 관리 체계를 구축해야 한다는 의미다.

앞으로 의료 AI는 회복력이 경쟁력이 된다

이번 논문은 단순히 새로운 AI 기술을 소개하는 데 그치지 않는다. AI가 실제 의료 현장에서 오랫동안 안전하게 활용되기 위해 어떤 관리 체계가 필요한지를 종합적으로 제시했다는 점에서 의미가 크다.

연구진은 특히 AI가 예상하지 못한 환경 변화에서도 안정적으로 작동하고, 문제가 발생하면 빠르게 원인을 찾아 복구할 수 있는 '회복력(Resilience)'이 앞으로 의료 AI의 핵심 경쟁력이 될 것이라고 설명한다. 즉, 높은 정확도만큼이나 변화에 대응하는 능력이 중요해진다는 것이다.

의료 AI가 믿을 수 있으려면 '좋은 알고리즘'만으로는 부족하다

이번 논문은 새로운 AI 모델을 개발하거나 성능을 비교한 연구가 아니다. 대신 의료 AI가 실제 병원에서 안전하게 활용되기 위해 어떤 관리 체계가 필요한지를 다양한 연구와 규제 동향을 종합해 정리한 리뷰 논문이다.

AI는 시간이 지나면서 환자 특성이 변하고, 의료 환경이 달라지며, 진료 방식도 계속 변화한다. 따라서 출시 당시의 높은 정확도만으로는 장기간 안전성을 보장할 수 없다. 의료 AI 역시 사람처럼 지속적인 건강검진을 받는다는 개념이 앞으로는 필수적인 요소가 될 가능성이 크다.

특히 연구진이 제안한 STRAICS 프레임워크는 단순히 알고리즘의 성능을 확인하는 수준을 넘어 의료진과 AI의 협업, 조직의 대응 능력, 규제 준수, 편향 감시까지 하나의 시스템으로 관리해야 한다는 새로운 방향을 제시했다.

앞으로 의료 AI의 경쟁력은 단순히 얼마나 높은 정확도를 기록하느냐가 아니라, 변화하는 의료 환경 속에서도 얼마나 안정적으로 성능을 유지하고 문제가 발생했을 때 빠르게 대응할 수 있느냐에 달려 있을 가능성이 크다. 병원, 개발사, 규제기관, 의료진이 함께 지속적인 검증 체계를 구축할 때 비로소 AI는 신뢰할 수 있는 임상 파트너로 자리 잡을 수 있을 것이다.

출처

Al-Horani, R. A., & Tadesse, A. F. (2026). Continuous assurance for AI-driven clinical decision support systems. Frontiers in Artificial Intelligence, 9, 1870819. https://doi.org/10.3389/frai.2026.1870819