생성형 AI 의료 가이드라인 작성 정확도, 617개 문헌 RAG 연구가 밝힌 한계
 |
생성형 AI는 방대한 의학 문헌을 빠르게 검색하고 임상 권고안 초안을 만들 수 있지만, 세부 권고의 누락과 근거 수준 평가에는 전문가의 검토가 필요하다. |
생성형 AI는 수백 편의 의학 논문을 읽고 임상 가이드라인을 만들 수 있을까. 2026년 발표된 연구에서 연구진은 617개 의학 문헌을 검색증강생성(RAG)에 연결해 AI가 임상 권고안을 다시 만들도록 한 뒤, 전문가가 작성한 Vía RICA 2026의 103개 권고와 비교했다. AI가 생성한 권고는 상당 부분 전문가 권고와 일치했지만, 세부 권고를 빠짐없이 재현하는 능력과 GRADE 근거 수준 판단에서는 뚜렷한 한계가 확인됐다.
생성형 AI로 임상 가이드라인을 만들었을 때 핵심 결과
연구진은 Vía RICA 전문가 패널이 실제 사용한 문헌 가운데 기존 가이드라인과 합의문 등을 제외한 617개 문서를 AI에 제공했다. Claude Sonnet 4.6이 17개 임상 분야별로 권고안을 생성했고, 이를 전문가가 작성한 103개 권고와 비교했다. 전체 micro F1은 평가 방법에 따라 0.613~0.689였으며, AI 권고의 정밀도는 0.721~0.805였지만 재현율은 0.534~0.602에 머물렀다. 즉 AI가 만들어낸 내용 중 전문가 권고와 맞는 비율은 비교적 높았지만, 전문가가 제시한 세부 항목을 빠짐없이 찾아내는 능력은 부족했다.
한눈에 보기
• 617개 의학 문헌을 RAG에 연결해 AI 임상 권고안을 생성했다.
• 전문가가 작성한 103개 권고와 비교한 micro F1은 0.613~0.689였다.
• AI는 관련 있는 권고를 생성하는 정밀도는 높았지만 세부 항목 누락이 많았다.
• 특히 GRADE 근거 수준과 권고 강도는 전문가 판단을 안정적으로 재현하지 못했다.
의료 AI가 의사시험을 잘 푸는 것과 가이드라인을 만드는 것은 다르다
의료 인공지능이 의학 시험 문제에서 높은 점수를 받는다고 해서 임상 가이드라인까지 잘 만들 수 있다는 뜻은 아니다. 시험에서는 주어진 보기 중 정답을 선택하면 되지만, 임상 가이드라인은 수백 편의 연구를 검토하고 서로 다른 근거를 종합한 뒤 환자 치료에 필요한 세부 행동 지침을 빠짐없이 만들어야 한다.
2026년 8월 24일 학술지 Machine Learning and Knowledge Extraction에 발표된 Andrea Moral, Antonio Arroyo, Juan Aparicio, Xavier Barber 연구팀의 연구는 생성형 AI가 전문가 가이드라인을 어느 정도 재현할 수 있는지 정량적으로 평가했다. 연구진은 스페인의 수술 후 회복 가이드라인인 Vía RICA 2026을 기준으로 삼았다. Vía RICA 2026은 17개 임상 영역에 걸쳐 103개의 권고를 포함하고 있다.
RAG란 무엇이며 의료 AI 가이드라인 연구에 왜 사용됐나
검색증강생성(Retrieval-Augmented Generation, RAG)이란 AI가 답을 만들기 전에 지정된 외부 자료에서 관련 정보를 검색하고, 검색된 내용을 근거로 답변을 생성하는 방식을 말한다. 의료 분야에서는 AI가 학습 데이터에만 의존해 근거 없는 내용을 만드는 문제를 줄이고, 답변이 어떤 문헌에서 나왔는지 추적하기 위해 RAG가 사용된다.
이번 연구의 출발점은 Vía RICA 전문가 패널이 사용한 714개 PDF 문헌이었다. 연구진은 기존 임상 가이드라인, 합의문, 기관 문서 등 97개를 제외하고 617개 문서를 AI가 검색할 수 있는 자료로 남겼다. 617개 문서는 3만6054개의 텍스트 조각으로 나뉘었고, 각 조각은 의미가 비슷한 문장을 찾을 수 있도록 벡터로 변환됐다.
Claude Sonnet 4.6은 각 임상 주제마다 관련성이 높은 문헌 조각을 검색한 뒤 임상 권고안을 작성했다. 기본 실험에서는 한 주제당 서로 다른 25개 문헌에서 자료를 가져왔다. 생성된 권고에는 권고 내용뿐 아니라 예상 GRADE 근거 수준과 권고 강도, 인용 문헌 정보가 포함됐다.
생성형 AI 임상 권고 정확도는 높았지만 완전성은 부족했다
AI가 만든 임상 권고는 얼마나 정확했을까. 연구진은 두 가지 방식으로 AI 권고와 전문가 권고를 비교했다. 첫 번째는 문장 임베딩의 코사인 유사도를 이용해 가장 비슷한 권고끼리 1대1로 연결하는 방식이었다. 두 번째는 Claude Haiku 4.5가 두 권고가 임상적으로 같은 행동을 지시하는지 평가하는 LLM-as-a-judge 방식이었다.
| 평가 방법 | 정밀도 | 재현율 | F1 |
|---|---|---|---|
| 1대1 문장 유사도 비교 | 0.805 | 0.602 | 0.689 |
| 임상 의미 기반 AI 판정 | 0.721 | 0.534 | 0.613 |
왜 생성형 AI 임상 가이드라인의 정확도와 완전성이 다르게 나타났을까. 정밀도는 AI가 만든 권고 가운데 전문가 권고와 대응되는 비율을 의미하고, 재현율은 전문가가 작성한 권고를 AI가 얼마나 빠짐없이 찾아냈는지를 나타낸다. 이번 연구에서 정밀도가 재현율보다 높았다는 것은 AI가 엉뚱한 내용을 대량 생성했다기보다 중요한 세부 권고를 여러 개 빠뜨렸다는 의미에 가깝다.
전문가 권고 31개를 생성형 AI는 5개로 압축했다
연구진이 발견한 가장 중요한 오류 패턴은 세분화 수준의 편향이었다. 사람 전문가가 만든 권고 수는 임상 영역에 따라 1개에서 31개까지 달랐지만, AI가 만든 권고는 17개 영역 가운데 15개에서 대부분 3~8개 사이에 머물렀다.
왜 AI는 큰 임상 주제에서 세부 권고를 빠뜨렸을까. AI는 여러 개의 구체적인 행동 지침을 하나의 넓은 권고로 합치는 경향을 보였다. 반대로 전문가 권고가 1~2개뿐인 작은 주제에서는 필요 이상으로 권고를 세분화해 여러 개를 생성했다. 연구진은 이를 생성형 AI가 실제 가이드라인의 세분화 정도를 따라가지 못하는 구조적 편향으로 해석했다.
가장 극단적인 사례는 수술 전후 복합 마취·진통 분야였다. 전문가 가이드라인에는 이 영역에 31개 권고가 있었지만 Claude Sonnet 4.6이 생성한 권고는 5개뿐이었다. 이 영역의 1대1 비교 재현율은 0.16, F1은 0.28에 불과했다. 반면 정밀도는 1.00이었다. AI가 만든 5개 권고는 모두 관련이 있었지만, 전문가가 구분한 세부 항목 대부분을 하나의 포괄적인 권고로 압축했다는 뜻이다.
검색 문헌을 8배 늘려도 의료 AI의 권고 누락은 사라지지 않았다
AI가 세부 권고를 놓친 원인이 단순히 검색 자료가 부족했기 때문인지 확인하기 위해 연구진은 한 임상 영역에 제공하는 문헌 수를 25개에서 50개, 100개, 200개로 늘렸다. 최대 8배 많은 근거를 넣은 실험이다.
검색량을 늘리자 일부 재현율은 향상됐다. 그러나 AI가 만드는 권고 개수 자체는 전문가 가이드라인의 규모에 비례해 증가하지 않았다. 가장 큰 복합 마취·진통 영역에서도 검색 문헌을 25개에서 200개로 늘렸지만 AI 권고는 5개에서 7개로 증가하는 데 그쳤다. 단순히 더 많은 논문을 AI의 문맥 창에 넣는 것만으로 임상 가이드라인의 세부 권고 누락 문제가 해결되지 않는다는 결과다.
RAG 의료 AI에서 중요한 것은 문헌 수보다 검색 단계의 완전성이었다
일부 누락은 생성 모델이 근거를 무시해서가 아니라 관련 문헌이 처음부터 검색되지 않았기 때문에 발생했다. 연구진이 분석한 신경근 차단 관련 사례에서 전문가 가이드라인은 네 개의 강한 권고를 포함하고 있었지만 AI는 이 네 항목을 모두 생성하지 못했다.
중요한 점은 전체 데이터베이스에는 신경근 차단과 관련된 텍스트 조각이 존재했다는 사실이다. 그러나 기본 RAG 검색에서 상위 25개 자료에 해당 근거가 포함되지 않았다. 생성형 AI 의료 가이드라인 시스템의 성능은 언어 모델 자체의 추론 능력뿐 아니라 어떤 근거가 검색 단계에서 선택되는지에도 크게 좌우된다는 의미다.
생성형 AI의 GRADE 근거 수준 평가는 전문가와 일치하지 않았다
GRADE(Grading of Recommendations Assessment, Development and Evaluation)란 임상 연구 근거의 확실성과 권고의 강도를 체계적으로 평가하는 방법이다. 의료 가이드라인에서는 어떤 치료를 권고하는지뿐 아니라 그 권고를 얼마나 확신할 수 있는지도 중요하기 때문에 GRADE 평가는 핵심 과정에 해당한다.
전문가와 AI의 내용이 대응된 62쌍을 비교했을 때 GRADE 근거 수준이 정확히 일치한 비율은 37.1%였다. quadratically weighted Cohen’s κ는 -0.098로 나타나 우연 이상의 일치가 확인되지 않았다. AI는 62쌍 가운데 27쌍인 43.5%에서 전문가보다 근거 수준을 낮게 평가했고, 같은 수준은 37.1%, 더 높게 평가한 경우는 19.4%였다.
권고 강도는 62쌍 가운데 41쌍인 66.1%에서 일치했지만 Cohen’s κ는 0.133에 그쳤다. 전문가가 강한 권고로 평가했지만 AI가 약한 권고로 낮춘 사례는 16건이었고, 반대 사례는 5건이었다. 연구진은 AI가 제한된 검색 문헌만 보는 상황에서 보수적으로 판단했을 가능성과, GRADE 자체가 개별 논문이 아니라 전체 근거의 일관성과 직접성을 평가해야 하는 작업이라는 구조적 한계를 함께 제시했다.
생성형 AI는 비슷한 의료 문장을 같은 임상 권고로 잘못 판단할 수 있다
의료 AI 평가에서 문장 임베딩 유사도만 믿어도 될까. 이번 연구는 그렇지 않을 가능성을 보여줬다. 같은 임상 영역의 문장은 비슷한 의학 용어를 반복해서 사용하기 때문에 실제 행동 지침이 달라도 수학적 문장 유사도가 높게 나타날 수 있다.
연구진은 이러한 문제 때문에 단순 코사인 유사도뿐 아니라 LLM-as-a-judge 평가를 함께 사용했다. Claude Haiku 4.5가 두 권고가 같은 임상 행동인지, 일부만 겹치는지, 다른 내용인지 판정하도록 했다. 자동 판정기는 69개 경계 사례에서 임상의 3명으로 구성된 패널과 비교됐으며 Fleiss’ κ는 0.538이었다. 완전한 전문가 대체 수준은 아니지만 단순 문장 유사도보다 임상 의미를 구분하기 위한 보조 수단으로 사용됐다.
기존 임상 가이드라인이 AI 학습 자료에 포함되면 정확도가 높게 측정되는 이유
연구 설계에서 특히 중요한 부분은 기존 가이드라인이나 합의문을 AI가 직접 읽지 못하게 하는 것이었다. 이미 작성된 권고 문장이 데이터에 포함되면 AI가 새로운 권고를 종합한 것이 아니라 기존 문장을 찾아서 다시 표현했을 가능성이 생기기 때문이다.
연구진은 초기 필터링을 통해 97개 문서를 제외했지만, 연구 수정 과정에서 전체 문서를 다시 점검한 결과 실제로 권고 문장을 포함한 문서 25개가 데이터에 남아 있었음을 발견했다. 이 25개를 제거해 592개 문헌으로 다시 평가하자 임상 의미 기반 micro F1은 0.602로 낮아졌다. 이 결과는 의료 AI 성능 평가에서 데이터 누출을 얼마나 엄격하게 통제해야 하는지를 보여준다.
이 연구가 생성형 AI 의료 가이드라인에 주는 실제 의미
이번 연구는 생성형 AI가 임상 가이드라인 개발에 아무 역할도 할 수 없다는 뜻이 아니다. 오히려 AI가 비교적 강점을 보이는 업무와 전문가가 직접 맡아야 하는 업무를 구분하는 근거를 제공한다.
생성형 AI는 수백 편의 문헌에서 관련 근거를 찾고, 반복되는 내용을 정리하고, 임상 권고의 초안을 만드는 작업을 빠르게 수행할 수 있다. 특히 주제가 명확하고 전문가 권고의 세분화 수준이 AI가 자연스럽게 생성하는 범위와 비슷한 영역에서는 높은 일치도가 나타났다.
반면 임상 가이드라인은 대부분 맞는 요약만으로 충분하지 않다. 환자 안전과 관련된 세부 권고 하나가 누락돼도 실제 진료에서는 문제가 될 수 있다. 따라서 생성형 AI를 의료 가이드라인에 활용하려면 최종 권고 생성 모델뿐 아니라 검색 누락을 확인하는 절차, 전체 근거를 평가하는 GRADE 전문가 검토, 권고의 세분화 수준을 점검하는 별도 품질 관리가 필요하다.
생성형 AI가 임상 가이드라인 전문가를 바로 대체하기 어려운 이유
이번 연구가 우리에게 주는 가장 중요한 의미는 생성형 AI의 성능을 단순히 ‘정확하다’ 또는 ‘부정확하다’로 나누기 어렵다는 점이다. AI는 관련 없는 권고를 무작정 만드는 것보다, 맞는 내용을 넓게 요약하면서 세부 사항을 놓치는 방식으로 실패할 수 있다.
의료 현장에서는 이런 누락이 특히 중요하다. 일반적인 설명에서는 핵심 내용을 요약하는 능력이 장점이지만, 임상 가이드라인에서는 반드시 별도로 적혀야 하는 용량, 대상 환자, 치료 시점, 금기 사항 같은 세부 조건이 사라질 수 있기 때문이다.
따라서 현재 생성형 AI의 현실적인 역할은 전문가 대신 최종 임상 가이드라인을 결정하는 시스템보다는 근거 검색, 자료 정리, 권고 초안 작성, 누락 후보 탐색을 돕는 보조 도구에 더 가깝다. 최종 권고의 완전성, GRADE 근거 수준, 권고 강도는 여전히 전문가 패널의 검토가 필요하다는 것이 이 연구의 핵심 메시지다.
생성형 AI 의료 가이드라인 연구 자주 묻는 질문
생성형 AI가 지금 임상 가이드라인을 혼자 작성할 수 있나
현재 단계에서는 어렵다. 이번 연구에서 AI는 전문가 권고와 대응되는 내용을 상당 부분 생성했지만, 전문가가 포함한 세부 권고 전체를 빠짐없이 재현하지 못했다. 특히 큰 임상 주제에서는 여러 개의 권고를 하나의 포괄적인 문장으로 합치는 경향이 나타났다.
RAG를 사용하면 의료 AI의 환각과 누락 문제가 모두 해결되나
아니다. RAG는 AI가 지정된 근거 문헌을 바탕으로 답하도록 만들어 근거 추적 가능성을 높일 수 있지만, 검색 단계에서 관련 문헌이 선택되지 않으면 중요한 권고가 누락될 수 있다. 이번 연구에서도 전체 데이터베이스에는 존재하는 근거가 상위 검색 결과에 들어오지 않아 전문가 권고가 빠진 사례가 확인됐다.
AI가 만든 GRADE 근거 수준을 그대로 사용할 수 있나
이번 연구 결과만 보면 어렵다. 전문가와 AI의 GRADE 근거 수준이 정확히 일치한 비율은 37.1%였으며, AI는 전문가보다 근거 수준과 권고 강도를 낮게 평가하는 경향을 보였다.
이 연구는 의료 AI가 60~70% 정확하다는 뜻인가
그렇게 해석하면 안 된다. 연구에서 보고된 F1은 AI 권고와 특정 전문가 가이드라인 사이의 내용 일치도와 커버리지를 측정한 값이다. 개별 의료 주장의 사실 정확도, 환각률, 환자 치료의 안전성을 직접 측정한 수치가 아니다.
출처
Moral, A., Arroyo, A., Aparicio, J., & Barber, X. (2026). Concordance between clinical practice recommendations generated by generative artificial intelligence and the Vía RICA 2026 enhanced recovery guideline: A proof-of-concept study using a closed evidence corpus. Machine Learning and Knowledge Extraction, 8, 256. https://doi.org/10.3390/make8090256.