구급차 AI의 판단은 얼마나 믿을 수 있을까: 응급환자 기록 70만 건으로 살펴본 데이터 신뢰성

-
구급대원 두 명이 환자를 구급차에 싣고 있으며, 옆에는 인공지능을 상징하는 디지털 두뇌와 환자 기록 점검표, 심전도 그래프가 홀로그램 형태로 표시된 이미지.
응급의료 기록의 완전성을 평가하는 인공지능 기술은 스마트 구급차의 신뢰성을 높이기 위한 연구 분야다. 다만 기록의 완전성이 의료 AI 판단의 정확성을 보장하지는 않는다.



응급환자를 이송하는 구급차에서도 인공지능(AI)의 역할이 커지고 있다. 환자의 상태를 분석하고 응급도를 판단하는 데 AI를 활용하려는 시도가 이어지고 있기 때문이다. 그러나 AI가 아무리 정교하더라도 입력된 환자 기록이 불완전하다면 판단을 신뢰하기 어렵다.

2026년 미국 연구진은 이러한 문제에 주목했다. 응급의료 기록의 작성 완전성을 점수로 평가하고, AI가 불완전한 기록을 예측할 수 있는지 분석했다. 연구는 스마트 구급차 AI의 신뢰성을 높이기 위해 무엇을 먼저 확인해야 하는지 보여준다.


응급환자 기록의 완전성을 숫자로 평가하다

응급의료서비스(EMS)에서는 출동 요청부터 현장 처치, 환자 이송까지 다양한 정보를 기록한다. 하지만 모든 환자에게 동일한 기록 항목이 필요한 것은 아니다. 심정지가 발생하지 않은 환자에게 심폐소생술 관련 기록을 요구하는 것은 적절하지 않다.

연구진은 이러한 차이를 반영해 응급의료 기록 신뢰성 지수(EMS-RRI)를 개발했다. 출동 정보, 현장 상황, 응급 대응, 심정지, 처치 결과 등 5개 영역의 21개 항목을 대상으로 실제 기록이 필요한 항목 중 얼마나 작성됐는지 계산하는 방식이다.

예를 들어 기록이 필요한 11개 항목 가운데 9개가 작성됐다면 점수는 81.82점이다. 다만 이 점수는 기록의 완전성을 나타낼 뿐, 의학적 내용이 정확하다는 의미는 아니다.


미국 응급의료 기록 70만 건에서 가능성을 확인하다

연구진은 미국 국가응급의료정보시스템(NEMSIS)의 2024년 기록 20만 건과 2025년 기록 50만 건을 분석했다.

2024년 자료로 AI 모델을 개발하고, 학습에 사용하지 않은 2025년 자료로 예측 성능을 검증했다. 기록 완전성이 낮은 집단은 2024년 학습자료의 점수 분포를 기준으로 정의했다.

최종적으로 선택한 XGBoost 모델은 32개 변수를 이용했다. 2025년 자료에서 ROC-AUC는 0.8846으로 나타났다. 이는 완전성이 낮은 기록과 그렇지 않은 기록을 구별하는 능력을 나타내는 지표로, 1에 가까울수록 구별 능력이 높다.

하지만 낮은 완전성으로 분류된 기록의 23.14%를 놓쳤다. 놓친 기록 대부분은 판정 기준점에 가까웠으며, 지역에 따라서도 성능 차이가 나타났다.


기록 완전성이 높다고 AI 판단까지 정확한 것은 아니다

연구진은 EMS-RRI를 환자의 응급도 예측 모델에 추가하면 성능이 개선되는지도 확인했다.

2025년 자료에서 ROC-AUC는 0.9413에서 0.9430으로 소폭 상승했다. 반면 정밀도와 재현율을 종합한 F1 점수는 0.8057에서 0.8059로 변해 뚜렷한 개선을 확인하지 못했다.

더 중요한 결과도 있었다. 기본 기준으로 완전성이 낮다고 분류한 기록에서 응급도 예측 오류가 특별히 많이 발생하지 않았다. 기록의 완전성과 AI 판단의 정확성이 반드시 일치하지는 않는다는 뜻이다.


연구의 의미와 한계: 실제 의료현장 검증은 아직 남아 있다

이 연구의 강점은 기록마다 필요한 항목을 구분하고, 서로 다른 연도의 대규모 자료로 예측 성능을 평가했다는 점이다.

그러나 분석 대상은 미국의 기존 응급의료 기록이며, 실제 구급차에서 AI를 운용한 연구는 아니다. 평가 항목도 전체 환자 기록이 아닌 일부 영역에 한정됐다. 낮은 완전성을 구분하는 기준 역시 임상적으로 검증된 기준이 아니다.

따라서 연구 결과를 한국의 119구급대 기록 체계에 그대로 적용하거나 실제 환자 안전 개선 효과로 해석하기는 어렵다.


결론: 신뢰할 수 있는 의료 AI는 데이터 점검에서 시작된다

이번 연구는 의료 AI의 신뢰성이 알고리즘 성능만으로 결정되지 않는다는 사실을 일깨운다. AI에 입력되는 기록이 얼마나 충실한지 평가하는 과정도 중요하다.

다만 기록 완전성 점수만으로 의료 AI의 안전성을 보장할 수는 없다. 앞으로는 기록의 정확성까지 평가하고 실제 응급의료 현장에서 이러한 점검이 환자 진료와 AI 판단에 어떤 영향을 미치는지 검증해야 한다.

출처

Barua, S., & Mahmud, B. U. (2026). Applicability-aware reliability scoring and prediction of EMS patient-care records for trustworthy smart ambulance AI. AI, 7, Article 475.