임상 AI는 정말 안전? 수학으로 증명하는 새로운 검증 기술의 등장

캘리포니아대학교 샌프란시스코(UCSF) 연구진이 발표한 이번 연구는 의료 인공지능의 안전성을 기존의 테스트 방식이 아닌 수학적 증명을 통해 확인할 수 있는 새로운 접근법을 제시했다. 연구진은 생성형 AI가 단순히 질문에 답하는 수준을 넘어 환자의 치료 과정을 장기간 관리하는 시대가 도래하면서, 기존 평가 방식만으로는 환자 안전을 충분히 보장하기 어렵다고 지적했다.

이를 해결하기 위해 연구진은 형식 검증(Formal Verification)이라는 컴퓨터 과학 분야의 검증 기법을 의료 AI에 적용했다. 또한 832개의 임상 규칙으로 구성된 새로운 공개 벤치마크인 CIV-Bench를 개발하여 기존의 무작위 테스트, 의료진 평가, 대규모 언어모델 심사와 비교 분석했다.

연구 결과는 단순히 어떤 AI가 더 높은 정확도를 보였는지를 비교하는 데 그치지 않았다. 오히려 의료 AI에서 가장 중요한 질문인 "절대로 틀려서는 안 되는 판단을 어떻게 보장할 것인가"에 대해 새로운 해답을 제시했다는 점에서 큰 의미를 갖는다.

의료 AI는 이제 여러 번의 진료를 기억해야 하는 시대가 됐다

기존 의료 AI는 하나의 질문에 답하는 방식으로 사용됐다. 예를 들어 특정 증상이 어떤 질환과 관련 있는지, 어떤 검사가 필요한지를 한 번의 대화 안에서 제시하는 역할이었다.

하지만 최근 등장하는 에이전트형 AI는 상황이 다르다. 환자의 여러 차례 진료 기록을 계속 이어받아 관리하며 다음 진료에도 이전 정보를 유지해야 한다.

예를 들어 첫 번째 진료에서 환자가 경제적 어려움을 호소했고, 두 번째 진료에서 특정 약물에 대한 거부 의사를 밝혔으며, 세 번째 진료에서 혈압이 높아졌다면 AI는 이 모든 정보를 동시에 기억해야 한다. 경제적 지원이 필요한 사실을 잊어서는 안 되고, 환자가 거부한 약을 다시 권해서도 안 되며, 고혈압 관리도 지속해야 한다.

이처럼 여러 차례 진료에 걸쳐 이어지는 안전 규칙은 기존 AI 평가 방식으로는 충분히 확인하기 어렵다. 대부분의 테스트는 일부 사례만 무작위로 검사하기 때문에 매우 드물게 발생하는 오류는 발견하지 못할 가능성이 있기 때문이다.

기존 AI 테스트는 왜 희귀한 오류를 놓치는가

현재 의료 AI의 안전성 평가는 대부분 샘플링 방식에 의존한다. 일정 수의 입력 데이터를 선택해 AI가 올바르게 동작하는지 확인하는 방법이다.

이 방식은 일반적인 오류를 발견하는 데는 효과적이다. 그러나 수천 번의 진료 중 단 한 번만 발생하는 매우 드문 상황은 테스트 과정에서 아예 등장하지 않을 수도 있다.

예를 들어 환자의 정신건강 위험 신호가 여러 차례 진료를 거치면서 점차 사라지거나, 치료 거부 의사가 어느 시점에서 조용히 삭제되는 경우처럼 복잡한 오류는 무작위 테스트만으로는 발견하기 어렵다.

연구진은 이러한 문제를 샘플링 기반 검증의 구조적인 한계라고 설명했다. 아무리 많은 사례를 검사하더라도 검사하지 않은 경우에는 오류가 존재할 가능성을 완전히 배제할 수 없기 때문이다.

형식 검증은 가능한 모든 경우를 동시에 검사한다

연구진이 제안한 형식 검증은 기존 테스트와 접근 방식이 완전히 다르다.

일반적인 테스트는 일부 사례를 직접 실행해 결과를 확인한다. 반면 형식 검증은 프로그램 안에 존재할 수 있는 모든 입력을 수학적으로 분석하여 안전 규칙이 절대로 깨지지 않는지를 증명한다.

쉽게 말하면 백만 개의 시험문제 가운데 천 문제만 풀어보는 것이 아니라 백만 문제 전체를 한 번에 분석하는 것과 비슷하다.

이를 위해 연구진은 SMT(Satisfiability Modulo Theories) Solver라는 논리 계산기를 활용했다. 이 계산기는 규칙이 항상 유지되는 경우에는 안전성을 증명하고, 규칙이 깨지는 경우에는 정확히 어떤 조건에서 오류가 발생하는지를 찾아낸다.

즉 "대부분 안전하다"가 아니라 "모든 경우에 안전하다" 또는 "이 입력에서는 반드시 문제가 발생한다"를 명확하게 제시하는 것이 형식 검증의 가장 큰 특징이다.

832개의 임상 규칙으로 실제 의료 환경을 재현했다

연구진은 새로운 공개 벤치마크인 CIV-Bench를 구축했다.

여기에는 총 832개의 임상 규칙이 포함됐다.

평가 대상은 응급 환자 분류, 약물 안전성, 검사 누락 여부, 감별진단뿐 아니라 정신건강 관리, 치료 선호도 유지, 사회적 지원 필요성, 약물 의존 치료의 지속성 등 의료 현장에서 매우 중요한 항목들로 구성됐다.

특히 기존 벤치마크에서는 거의 다루지 않았던 장기 진료 과정에서의 안전성까지 포함한 것이 특징이다.

832개의 규칙 가운데 612개에는 의도적으로 오류를 심어 놓았으며 나머지 220개는 정상적인 규칙으로 구성했다. 이를 통해 각 검증 방법이 실제 오류를 얼마나 정확하게 찾아내는지 객관적으로 비교할 수 있도록 설계했다.

형식 검증은 모든 오류를 찾아냈다

연구 결과 가운데 가장 눈에 띄는 부분은 형식 검증의 정확도였다. 연구진이 구축한 CIV-Bench 전체를 대상으로 평가한 결과, 형식 검증은 의도적으로 삽입한 612개의 오류를 모두 찾아냈다. 오류를 놓친 사례는 단 한 건도 없었으며, 정상 규칙을 잘못 오류로 판단하는 거짓 경고 역시 발생하지 않았다.

또한 검증 과정에서 "안전하다"고 잘못 판단한 사례도 없었다. 연구진은 이를 단순한 높은 정확도가 아니라 수학적으로 증명 가능한 안전성이라는 점에서 기존 평가 방식과 본질적으로 다르다고 설명했다.

검증 속도 역시 매우 빨랐다. 규칙 하나를 확인하는 데 평균 약 3밀리초 정도밖에 걸리지 않았다. 이는 매우 복잡한 임상 규칙이라도 짧은 시간 안에 검증이 가능하다는 의미다.

무작위 테스트는 장기 진료에서 발생하는 오류를 자주 놓쳤다

현재 의료 소프트웨어 품질 관리에서 널리 사용하는 무작위 테스트(Random Unit Testing)는 비교적 좋은 성능을 보였지만 중요한 한계를 드러냈다.

전체 오류 가운데 43건을 발견하지 못했으며, 대부분은 여러 차례 진료를 거쳐야 나타나는 장기 추적 오류였다.

예를 들어 환자의 사회적 지원 필요성이 어느 순간 기록에서 사라지거나, 치료 선호 정보가 시간이 지나면서 삭제되는 경우처럼 특정한 순서의 사건이 발생해야 나타나는 오류는 무작위 샘플링만으로는 거의 발견되지 않았다.

연구진은 이러한 결과가 샘플 수를 늘리면 일부 개선될 수는 있지만, 얼마나 많은 샘플이 필요한지는 사전에 알 수 없으며 희귀한 오류일수록 필요한 계산량이 기하급수적으로 증가한다고 설명했다.

의료 특화 AI도 장기적인 논리 추론에서는 한계를 드러냈다

이번 연구에서는 의료 분야에 특화된 공개 언어모델도 함께 평가했다.

예상대로 의료 지식 자체는 매우 우수했다. 단일 진료 상황에서는 대부분의 오류를 정확하게 찾아냈으며 일반 공개 모델보다도 높은 성능을 보였다.

그러나 여러 차례 진료가 이어지는 장기 시나리오에서는 상황이 완전히 달라졌다.

장기 추적 안전성 검출률은 약 17.7%까지 급격히 감소했고, 잘못된 안전 판정도 크게 증가했다.

이는 의료 지식을 많이 학습했다고 해서 여러 시점에 걸친 복잡한 논리 관계를 안정적으로 추론하는 능력이 자동으로 향상되는 것은 아니라는 사실을 보여준다.

실제 의료 진료지침에서도 형식 검증은 효과를 입증했다

연구진은 형식 검증이 실제 의료 환경에서도 활용 가능한지를 확인하기 위해 미국의 대표적인 임상 진료지침 세 가지를 검증했다.

검증 대상에는 미국소아과학회의 발열 영아 진료지침, 미국산부인과학회의 임신성 고혈압 치료지침, 미국심장협회의 급성 허혈성 뇌졸중 치료지침이 포함됐다.

연구진은 먼저 진료지침을 그대로 구현한 규칙을 검증했고, 이어 실제 개발 과정에서 발생할 수 있는 입력 오류를 일부러 삽입했다.

정상적으로 구현된 규칙은 모두 안전성이 증명됐다. 반면 조건 하나를 빠뜨리는 등의 작은 실수를 넣자 형식 검증은 즉시 오류를 발견하고 어떤 환자 조건에서 문제가 발생하는지를 구체적인 사례와 함께 제시했다.

이는 형식 검증이 단순한 연구용 기술이 아니라 실제 임상 규칙 검증에도 활용될 수 있음을 보여주는 중요한 결과다.

의료 AI의 안전성은 이제 ‘확률’이 아니라 ‘증명’의 문제로 바뀌고 있다

이번 연구는 생성형 AI가 의료 현장에서 뛰어난 성능을 보인다는 사실을 부정하지 않는다. 오히려 최신 언어모델은 상당히 높은 정확도로 임상 규칙의 오류를 찾아낼 수 있음을 보여주었다. 그러나 연구진이 강조한 핵심은 높은 정확도와 안전성 보장은 서로 다른 개념이라는 점이다.

생성형 AI는 아무리 성능이 뛰어나더라도 결국 학습된 확률을 기반으로 판단한다. 따라서 새로운 상황이나 매우 드문 사례에서는 언제든 예상하지 못한 오류가 발생할 가능성이 존재한다. 반면 형식 검증은 규칙 자체를 수학적으로 분석하기 때문에 검증이 완료된 규칙에서는 이러한 불확실성이 존재하지 않는다.

연구진은 앞으로 의료 AI 시스템이 하나의 거대한 모델에 모든 판단을 맡기는 방식보다 역할을 분리하는 구조가 더욱 현실적일 것으로 전망했다. 자연어 이해와 환자 상담은 생성형 AI가 담당하고, 환자의 안전과 직접 연결되는 핵심 의사결정은 형식 검증을 거친 규칙 계층이 담당하는 방식이다.

모든 의료 판단을 증명할 수 있는 것은 아니다

연구진 역시 형식 검증이 모든 문제를 해결하는 만능 기술이라고 주장하지는 않았다. 형식 검증이 가능한 대상은 명확하게 규칙으로 정의할 수 있는 의사결정에 한정된다.

예를 들어 특정 약물을 함께 처방해서는 안 된다는 금기 규칙이나 일정 수치 이상의 혈압에서는 반드시 응급 치료를 시작해야 한다는 규칙처럼 조건이 명확한 경우에는 형식 검증이 매우 효과적이다.

반면 환자의 감정을 이해하거나 자유로운 상담을 수행하거나 여러 가능성을 종합적으로 고려해야 하는 영역은 여전히 생성형 AI의 역할이 중요하다. 따라서 연구진은 모든 기능을 하나의 기술로 해결하기보다 각각의 장점을 결합하는 것이 현실적인 방향이라고 설명했다.

앞으로 의료 AI 개발 방식 자체가 달라질 가능성이 있다

이번 연구는 의료 AI의 평가 기준에도 중요한 변화를 제안한다. 지금까지는 얼마나 많은 문제를 맞히는지가 주요 평가 기준이었다면 앞으로는 어떤 판단을 수학적으로 증명할 수 있는지가 더욱 중요한 요소가 될 가능성이 크다.

특히 의료 AI가 진료 지원을 넘어 환자의 장기 치료를 관리하는 시대가 되면, 단순한 정확도보다 환자의 중요한 정보를 끝까지 유지하고 위험한 결정을 절대로 내리지 않는 안전성이 훨씬 중요한 평가 기준이 된다.

이번 연구에서 공개한 CIV-Bench 역시 이러한 새로운 평가 체계를 위한 첫 번째 공개 벤치마크라는 의미를 갖는다. 앞으로 다양한 의료 AI가 동일한 기준에서 안전성을 비교받을 수 있는 기반이 마련된 것이다.

우리에게 주는 의미는 AI를 더 신뢰하기 위한 새로운 방법을 제시했다는 점이다

최근 생성형 AI는 의료, 금융, 제조, 공공서비스 등 다양한 분야로 빠르게 확산되고 있다. 그러나 AI가 실제 사람의 생명이나 안전과 연결되는 순간에는 단순히 "정확도가 높다"는 설명만으로는 충분하지 않다.

이번 연구는 AI의 성능 경쟁에서 한 걸음 더 나아가 안전을 어떻게 증명할 것인가라는 새로운 질문을 던졌다. 특히 의료처럼 단 한 번의 실수가 심각한 결과를 초래할 수 있는 분야에서는 이러한 접근이 매우 중요해질 가능성이 크다.

우리나라에서도 의료 AI의 활용은 빠르게 증가하고 있으며, 진료 보조와 건강관리 서비스는 앞으로 더욱 확대될 것으로 예상된다. 이 과정에서 단순히 성능이 높은 AI를 도입하는 것보다 환자의 안전을 검증할 수 있는 체계를 함께 구축하는 것이 의료 현장의 신뢰를 높이는 핵심 요소가 될 수 있다.

형식 검증은 아직 모든 의료 판단을 대신할 수 있는 기술은 아니다. 그러나 적어도 절대로 틀려서는 안 되는 핵심 규칙만큼은 사람이 일일이 테스트하지 않아도 수학적으로 안전성을 확인할 수 있다는 가능성을 보여주었다는 점에서 앞으로 의료 AI 발전의 중요한 방향을 제시한 연구라고 평가할 수 있다.

출처

Basu, S., Sheth, P., Muralidharan, B., Morgan, J., & Batniji, R. (2026). Which Decisions Live in the Provable Layer? Formally Verified Safety Constraints for Agentic Clinical AI, with a Whole-Person Longitudinal Benchmark. AI, 7(7), 267. https://doi.org/10.3390/ai7070267

AI-World-Story