인간 대신 AI가 심사위원을 고른다면?
연구비 지원 제안서 심사, 논문 리뷰, 학술 대회 발표 평가… 누군가는 늘 '심사위원' 역할을 맡는다. 하지만 이 심사위원은 누가, 어떻게 정할까? 전통적으로는 사람이 사람을 고르는 방식이었다. 전문가들이 "이 주제는 내가 잘 아는 분야니까 심사할 수 있어"라고 손을 들고, 관련성이나 관심도를 점수로 매기면 그걸 토대로 담당자가 적절히 배분했다.
문제는 바로 여기서 시작된다. "내가 이거 심사하고 싶다"는 말엔 때로는 편견, 때로는 이해관계, 그리고 때로는 게으름이 섞인다. 어떤 제안서는 애매하게 '관심 없음'으로 처리되고, 어떤 심사위원은 일을 너무 많이 떠안는다. 게다가 이런 수작업은 시간이 오래 걸리고, 대규모 심사에서는 점점 더 버거워진다.
그렇다면, 이 모든 배정을 AI가 자동으로 해준다면 어떨까?
---
제안서와 이력서를 비교해 '의미'를 찾는 AI
미국 러트거스대학교 연구진이 제안한 방식은 간단하면서도 획기적이다. 논문 제안서와 심사위원 이력서를 '읽고', 둘 사이의 '의미적 유사성'을 계산한 뒤, 최적의 심사위원을 자동으로 배정하는 시스템이다.
핵심은 '의미'다. 과거에는 단어의 겹침, 키워드 매칭 정도로만 문서 간 유사성을 따졌지만, 이번 연구에서는 최신 자연어 처리 기술을 활용해 문장의 맥락과 주제를 파악했다. 사용된 모델은 마이크로소프트가 개발한 MPNet 기반의 문장 임베딩 모델로, 단어 하나하나가 아닌 문장의 흐름과 전체 의미를 파악할 수 있다.
예를 들어, 한 제안서가 "수처리 공정에서 촉매 반응의 효율 개선"을 주제로 한다면, 이와 관련된 논문이나 연구 이력이 있는 심사위원의 CV를 AI가 자동으로 찾아낸다. 단순히 '촉매', '수처리'라는 키워드가 포함되었는지가 아니라, 문서 전체의 맥락이 유사한지를 보는 것이다.
---
최적화까지 곁들인 AI 심사 매칭
하지만 '누가 누구랑 비슷한가'만 따지는 것으로 끝나지 않는다. 심사 배정은 단순한 매칭 게임이 아니라, 조합 최적화 문제다. 심사위원당 몇 건을 맡길지, 한 제안서당 몇 명이 필요할지, 리드 리뷰어(요약 발표자), 서기 리뷰어(기록 담당) 같은 역할도 고려해야 한다.
이를 위해 연구진은 문서 간 의미 유사도를 숫자로 환산한 뒤, 정수선형계획(Integer Linear Programming)이라는 수학적 최적화 기법으로 배정을 계산했다. 목표는 간단하다: 유사도가 높은 사람에게 우선 배정하되, 모든 조건을 만족하는 조합을 찾는 것이다.
놀랍게도 이 방식은 실제 실험에서도 높은 정확도를 보였다. 철학과와 화학공학 분야 각각에서 20명의 연구자와 10편의 제안서를 테스트한 결과, 같은 분야의 문서 간 유사도는 평균 0.65\~0.89에 이르렀고, 전혀 다른 분야끼리는 -0.21까지 떨어졌다. 즉, AI는 제법 똑똑하게 같은 분야를 구분해냈다는 것이다.
---
구글 스칼라 vs. CV, 무엇이 더 유용했을까?
심사위원의 전문성을 판단하는 데 사용된 문서에는 두 가지 종류가 있었다. 하나는 구글 스칼라(Google Scholar) 프로필에서 추출한 논문 목록, 또 하나는 실제 이력서(CV)다. 결과적으로 두 문서 모두 유사도 분석에 큰 도움이 되었고, 둘 사이에는 큰 차이가 없었다. 다만 CV에는 미발표 연구, 강의 이력 등 다양한 정보가 포함되므로 유사도를 좀 더 세밀하게 구분할 수 있는 장점이 있었다.
---
전통을 넘어, 공정하고 효율적인 배정을 향해
이 시스템의 진짜 강점은 '공정성'이다. 사람이 주관적으로 평가하지 않아도 되고, 심사위원이 일부러 선호도를 조작할 여지도 없다. 예를 들어, 어떤 제안서를 '귀찮아서' 회피하거나, '친구의 제안서라서' 억지로 맡는 일이 줄어든다. AI는 그저 문서를 보고 의미를 파악하고, 공정하게 배정할 뿐이다.
또한 이 시스템은 대규모 평가에도 유용하다. 사람 손으로 수백 개의 제안서를 수십 명에게 적절히 나누는 일은 상상만 해도 머리가 아프지만, AI는 이를 빠르고 정확하게 해낼 수 있다. 실제로 연구진은 이 시스템을 스트림릿(Streamlit) 기반의 웹앱으로 구현해 누구나 사용 가능하게 만들었다.
---
인간의 역할은 어디까지일까?
물론 AI가 모든 걸 해결해줄 수는 없다. 제안서의 질을 평가하고, 창의성과 기여도를 판단하는 건 결국 사람의 몫이다. 하지만 어떤 사람이 어떤 제안서를 평가할지 정하는 일은, 이제 AI에게 맡겨도 되지 않을까?
심사에 들이는 시간과 노력을 줄이면서도 더 공정하고, 더 전문적인 배정을 원한다면, 이런 AI 기반 시스템이 답이 될지도 모른다. 심사 시스템에도 혁신이 필요하다면, 그 첫걸음은 '사람이 사람을 고르는' 오래된 방식에서 벗어나는 일일 것이다.
출처:
Ramachandran, R., Patil, U., Sundar, S., Shah, P., & Ramesh, P. (2025). *AI-Driven Panel Assignment Optimization via Document Similarity and Natural Language Processing*. AI, 6(8), 177.