AI 입시, 공정할까? 사람이 직접 편향 잡는 ‘대화형 AI’ 실험기
인공지능(AI)이 대입 입시에도 쓰인다고 하면 어떤가. 합격 여부를 기계가 판별한다니 공정하고 깔끔해 보인다. 그런데 여기엔 함정이 있다. AI가 사용하는 데이터 자체가 편향돼 있다면, 기계는 오히려 차별을 키우는 도구가 될 수 있기 때문이다.
미국의 한 연구팀이 이런 문제를 정면으로 다뤘다. 인디애나 대학교와 버틀러 대학교의 연구자들이 6년간의 실제 대학 입시 데이터를 분석해 AI가 어떻게 특정 집단에 불리한 결정을 내리는지 살펴보고, 이를 사람이 직접 ‘대화하듯’ 고칠 수 있는 방법을 제안했다. 대학 입시에 쓰이는 AI를 어떻게 더 신뢰할 수 있게 만들 수 있을까? 연구진의 실험을 따라가 봤다.
편향된 데이터, 편향된 AI
연구팀은 한 대도시 종합대학의 과학대학 입시 데이터를 가져왔다. 2017년부터 2023년까지의 지원자 정보에는 학생의 성별, 인종, 부모 학력, SAT/ACT 점수, 고교 성적 등이 담겨 있었다. 미국 대학들은 최근 몇 년 새 ‘시험 점수 선택 제출(테스트 옵셔널)’ 정책을 확대했다. 표면적으로는 표준화 시험이 소수자나 저소득층에 불리하다는 지적을 반영한 것이다.
그런데 시험 점수를 안 받으면 오히려 AI는 더 공정해질까? 연구진은 ‘성별’, ‘인종’, ‘1세대 대학생(부모가 대학을 나오지 않은 학생)’을 민감변수로 지정하고, AI가 이 변수들에 따라 어떻게 다른 결과를 내는지 살폈다.
결과는 예상보다 명확했다. 성별만 놓고 보면 AI의 예측은 큰 차이가 없었다. 하지만 인종과 1세대 대학생 여부에서는 문제가 드러났다. 같은 조건에서도 비백인 학생이나 1세대 대학생은 합격 가능성이 낮게 나왔다. AI는 기존 데이터를 그대로 학습해 버렸기 때문에, 이전에 있던 구조적 차별을 고스란히 되풀이한 셈이다.
단순한 ‘기준선 조정’으론 안 된다
연구진은 편향을 줄이기 위해 간단한 방법부터 시험했다. AI가 합격 여부를 판단할 때 쓰는 기준선(문턱값)을 조정해봤다. 예컨대 합격 가능성 50% 이상이면 합격, 미만이면 불합격으로 하던 것을 기준선을 조금 낮춰 보는 식이다. 하지만 문턱값만 조정해서는 특정 집단에서 발생하는 불공정성을 해결할 수 없었다. 민감 변수들이 서로 얽혀 있어 한쪽을 맞추면 다른 쪽에서 문제가 다시 나타났다.
결국 더 똑똑한 방법이 필요했다. 연구진은 ‘사람이 직접 개입하는 AI 수정법’을 고안했다. 이른바 ‘대화형 AI 편향 완화법’이다.
사람이 직접 조율하는 ‘대화형 AI’
핵심은 사람의 직관과 기계의 계산을 합친다는 점이다. 연구진은 AI 모델을 두 개로 나눴다. 첫 번째 AI는 기존 데이터로 학생의 합격 여부를 예측한다. 두 번째 AI는 첫 번째 AI가 만든 결과를 보고, 사용자가 원하는 ‘공정성 수준’에 맞춰 데이터를 어떻게 수정해야 할지 계산한다.
예컨대 학교 입학처 직원이 AI 결과를 보고 “이 모델은 비백인 학생에게 불리하다”라고 판단하면, 두 번째 AI는 데이터에서 어느 그룹을 얼마나 더 포함해야 할지 알려준다. 사람이 이걸 받아들여 다시 모델을 훈련시키면, 새로운 AI가 탄생한다. 이 과정을 반복해 사용자가 납득할 때까지 AI를 조율할 수 있다.
연구진은 실제로 이 방식을 여러 시나리오에 적용했다. 인종, 1세대 대학생 여부, 성별 각각에 대해 편향을 줄이고 모델의 예측력을 유지하는지 확인했다. 일부 민감 변수에선 여러 번의 조정 끝에 편향 차이를 5% 미만으로 줄이는 데 성공했다. 물론 완벽하다고 보긴 어렵다. 하지만 ‘사람이 AI의 결정을 어떻게 바꿀 수 있는지’를 구체적으로 보여줬다는 점에서 의미가 크다.
공정성은 결국 사람이 결정한다
이 연구는 단순히 기술적인 AI 조정법을 제안하는 데 그치지 않는다. 더 중요한 메시지는 ‘공정성은 주관적’이라는 점이다. AI가 만든 결과가 수치상으로 같아 보여도, 어떤 기준이 더 중요한지에 따라 판단은 달라질 수 있다. 누군가는 성별 불균형을 우선시할 수 있고, 다른 누군가는 인종이나 부모 학력을 더 큰 문제로 볼 수도 있다.
그래서 연구팀은 AI가 완전 자동으로 편향을 잡는 건 불가능하다고 본다. 대신 사람이 직접 개입해 원하는 수준의 공정성을 조율하는 방식을 권한다. 마치 AI와 대화하듯이.
물론 한계는 있다. 이번 연구는 한 학교의 데이터에만 적용됐다. 다른 학교나 전혀 다른 분야(예컨대 금융, 채용 등)에서는 어떤 결과가 나올지 아직 모른다. 실제 입학 사정관들이 이 시스템을 얼마나 쉽게 이해하고 쓸 수 있을지도 과제로 남았다.
AI 시대, 믿을 수 있는 도구로 만들려면
AI가 대학 입시에 쓰이는 날은 이미 현실이 됐다. 대학뿐 아니라 기업, 정부, 법원 등도 AI를 활용해 수많은 결정을 내린다. 하지만 AI는 사람이 만든 데이터로 학습한다. 그 데이터가 불완전하면 AI도 완전할 수 없다.
연구팀의 ‘대화형 AI 편향 완화법’은 하나의 출발점이다. 기계가 만들어낸 결과를 무조건 믿지 않고, 사람이 원하는 방향으로 다시 조율하는 것. AI를 믿을 수 있는 도구로 만들기 위해선, 결국 사람이 직접 그 과정을 들여다보고 고칠 수 있어야 한다. 공정성은 기술이 아니라 사람의 몫이다.
출처 논문
Van Busum, K.; Fang, S. Interactive Mitigation of Biases in Machine Learning Models for Undergraduate Student Admissions. AI 2025, 6, 152. https://doi.org/10.3390/ai6070152