텍스트 분류 AI, 더 많이 가르치는 것보다 ‘무엇을 가르칠지’가 중요하다

대량의 텍스트 데이터 가운데 AI가 분류하기 어려운 사례를 선별하고, 사람이 라벨을 붙인 뒤 다시 학습해 텍스트 분류 성능을 높이는 능동학습 과정을 표현한 이미지

능동학습은 모든 데이터에 라벨을 붙이는 대신, AI가 가장 불확실하게 판단하는 사례를 우선 선택해 사람에게 정답을 요청한다. 이렇게 선별된 데이터로 모델을 반복 학습하면 적은 라벨 데이터로도 텍스트 분류 효율과 정확도를 높일 수 있다.

데이터를 닥치는 대로 늘리는 대신 AI가 가장 헷갈리는 사례를 골라 배우게 하자, 적은 라벨 데이터로도 텍스트 분류 정확도가 높아졌다.

우리는 대개 많이 공부하면 더 잘하게 된다고 생각한다. 책을 많이 읽고, 문제를 많이 풀고, 더 많은 사례를 경험할수록 실력이 좋아진다는 믿음이다. 인공지능을 바라볼 때도 비슷하다. 데이터가 많으면 많을수록 더 똑똑한 AI가 만들어질 것처럼 느껴진다.

하지만 인간의 공부도 꼭 그렇지만은 않다. 이미 풀 줄 아는 문제를 백 번 반복하는 것보다 틀린 문제 하나를 붙잡고 “나는 왜 여기서 헷갈렸을까”를 생각하는 편이 더 도움이 될 때가 있다. 중요한 것은 경험의 양만이 아니라 어떤 경험을 선택하느냐다.

2026년 PLOS One에 발표된 연구는 바로 이 생각을 텍스트 분류 AI에 적용했다. 모든 문장에 사람이 정답을 붙이는 대신, AI가 가장 판단하기 어려워하는 데이터를 찾아 사람에게 물어보도록 했다. 그리고 SVM, 로지스틱 회귀, 나이브 베이즈, 랜덤 포레스트라는 서로 다른 네 가지 머신러닝 모델의 판단을 결합했다.

그 결과 의료 관련 데이터에서는 TF-IDF 기반 모델의 정확도가 기존 80%에서 89%로 높아졌다. SMS 스팸 데이터에서도 79%에서 87%로 상승했다. 이 연구가 던지는 메시지는 간단하다. AI를 잘 가르치는 방법은 언제나 더 많은 정답을 제공하는 데 있는 것이 아니다. 때로는 가장 배울 가치가 있는 질문을 찾아주는 것이 더 중요하다.

데이터는 넘쳐나는데 정답을 달아줄 사람은 부족하다

인터넷에는 매 순간 새로운 문장이 쌓인다. 상품평이 올라오고, 고객 상담 기록이 남고, 뉴스가 발행되고, 이메일과 문자메시지가 오간다. AI가 읽을 재료는 부족하지 않다.

문제는 이 문장들이 무엇을 의미하는지 알려주는 ‘정답표’다.

가령 기업에 고객 문의 100만 건이 있다고 해보자. 이것을 배송, 환불, 결제, 제품 불량 등으로 자동 분류하는 AI를 만들려면 먼저 상당수 문장을 사람이 읽고 분류해야 한다. 의료나 금융처럼 전문지식이 필요한 분야에서는 아무나 이 일을 할 수도 없다.

이것이 지도학습의 오래된 딜레마다. 데이터는 많지만 사람이 만든 정답은 비싸다.

연구진은 이 병목을 해결하기 위해 능동학습(active learning)을 사용했다. 핵심은 AI가 수동적인 학생으로 머물지 않는 것이다. 교사가 무작위로 문제를 던져주는 대신, AI가 자신에게 필요한 문제를 골라 질문한다.

논문 3쪽의 그림은 이 차이를 직관적으로 보여준다. 기존 머신러닝에서는 사람이 데이터를 골라 라벨을 붙인 뒤 모델을 학습시킨다. 능동학습에서는 그 사이에 ‘active learner’가 들어간다. 어떤 데이터를 사람에게 물어볼 것인지 AI가 먼저 선택하는 것이다.

사람의 공부로 비유하면 문제집을 처음부터 끝까지 푸는 학생과 자신의 오답노트를 중심으로 공부하는 학생의 차이에 가깝다.

AI에게도 “모르는 것을 아는 능력”이 도움이 됐다

능동학습에서 가장 중요한 질문은 무엇을 골라야 하느냐는 것이다.

이번 연구는 AI가 확신하지 못하는 사례를 우선 선택하는 불확실성 샘플링을 이용했다. 예를 들어 어떤 문장을 스팸이라고 판단할 확률이 99%라면 이미 모델이 상당히 잘 아는 사례다. 사람이 다시 정답을 알려줘도 새롭게 배울 내용이 많지 않을 가능성이 있다.

반대로 스팸일 확률 51%, 정상 문자일 확률 49%라고 판단했다면 이야기가 달라진다. 바로 모델의 판단 경계에 놓인 사례다. 사람이 이런 문장의 정답을 알려주면 AI는 자신이 어디에서 잘못 판단하는지를 더 효과적으로 수정할 수 있다.

왜 능동학습이 적은 데이터로도 효과를 낼 수 있을까. 이미 알고 있는 사례보다 현재 모델이 헷갈리는 사례에 데이터 라벨링 자원을 집중하기 때문이다. 이것이 능동학습이 텍스트 분류 비용을 줄일 수 있는 핵심 원리다.

우리는 흔히 지능을 ‘얼마나 많이 아느냐’로 평가한다. 그러나 학습이라는 관점에서 보면 그 못지않게 중요한 능력이 있다. 자신이 무엇을 모르는지 찾아내는 능력이다. 이번 연구에서 AI는 완전한 의미에서 자신의 무지를 이해한 것은 아니지만, 적어도 수학적으로 자신의 판단이 불확실한 지점을 찾아낼 수 있었다.

네 가지 머신러닝 모델의 판단을 모아 한 모델의 실수를 보완했다

연구진은 여기에 또 하나의 장치를 더했다.

하나의 머신러닝 알고리즘에 모든 판단을 맡기지 않고 SVM, 로지스틱 회귀, 나이브 베이즈, 랜덤 포레스트를 결합했다. 네 모델이 각각 텍스트를 분류한 뒤 다수결로 최종 결과를 정하는 방식이다.

사람도 비슷하다. 한 명의 전문가에게만 판단을 맡기는 것보다 서로 다른 관점에서 문제를 보는 여러 사람의 의견을 모으면 특정한 실수를 줄일 수 있다.

물론 다수결이 언제나 정답을 보장하지는 않는다. 네 사람이 모두 같은 편견을 가지고 있다면 함께 틀릴 수도 있다. 그러나 서로 작동 원리가 다른 알고리즘을 묶으면 한 모델의 약점을 다른 모델이 보완할 가능성이 생긴다.

연구진은 이 방식을 의료, 금융, SMS 스팸, 교재 판매 관련 텍스트라는 서로 다른 네 영역에서 시험했다. 데이터 규모도 의료개혁 관련 데이터 1,050건 이상, 금융 문장 870건 이상, SMS 5,000건 이상, 교재 관련 데이터 2,150건 이상으로 달랐다.

논문 6쪽의 순환 구조 그림은 능동학습 과정을 잘 보여준다. 아직 정답이 없는 데이터 가운데 질문할 사례를 고르고, 사람이 라벨을 붙이고, 학습 데이터를 갱신한 뒤 모델을 다시 훈련한다. 그리고 같은 과정을 반복한다. 한 번 가르치고 끝나는 것이 아니라 질문 → 답변 → 재학습의 순환을 만드는 셈이다.

의료 데이터에서 80%였던 텍스트 분류 정확도가 89%까지 올라갔다

이 아이디어가 실제 성능으로 이어졌는지가 가장 중요한 문제다.

논문에서 보고한 결과는 긍정적이었다. 의료개혁 데이터에 TF-IDF를 적용했을 때 기존 하이브리드 모델의 정확도는 80%였다. 능동학습을 결합하자 89%로 높아졌다.

정확도 하나만 좋아진 것도 아니었다. 정밀도는 78%에서 87%, 재현율은 77%에서 86%, F1 점수는 77%에서 86%로 상승했다.

SMS 스팸 데이터에서도 같은 방향의 결과가 나왔다. TF-IDF 기반 기존 모델의 정확도는 79%였지만 능동학습 모델에서는 87%가 됐다. 정밀도는 76%에서 85%, 재현율은 74%에서 84%, F1 점수는 75%에서 84%로 개선됐다.

여기서 재현율은 특히 중요하다. 실제 스팸 100건 가운데 AI가 몇 건을 제대로 찾아냈는지를 나타내는 지표이기 때문이다. 정상 메시지가 압도적으로 많다면 단순 정확도만 높고 실제 스팸은 제대로 잡지 못하는 모델이 만들어질 수도 있다.

따라서 이번 결과에서 주목할 부분은 단순히 ‘89%’라는 숫자가 아니다. 정확도뿐 아니라 정밀도, 재현율, F1 점수가 같은 방향으로 개선됐다는 점이다.

스팸과 사기처럼 드문 사례를 찾아낼 때도 ‘어려운 데이터’가 중요하다

현실의 데이터에는 또 다른 함정이 있다. 중요한 사건일수록 오히려 숫자가 적을 수 있다는 점이다.

정상 거래는 수백만 건인데 금융사기는 몇천 건일 수 있다. 정상 검사 결과가 대부분이고 특정 질환 사례는 소수일 수도 있다. 스팸 문자 역시 정상 문자보다 적다.

이런 데이터를 불균형 데이터라고 부른다.

예를 들어 정상 문자 9,000개와 스팸 1,000개가 있을 때 AI가 모든 문자를 정상이라고 답해도 정확도는 90%다. 숫자만 보면 훌륭하지만 스팸 탐지기로서는 아무 쓸모가 없다.

능동학습은 모델이 헷갈리는 사례를 적극적으로 찾아가면서 이런 문제를 완화할 가능성을 보였다. 경계선에 있는 사례 가운데 소수 범주의 중요한 데이터가 포함될 수 있기 때문이다. 연구에서도 SMS 스팸 데이터처럼 클래스 비율이 불균형한 조건에서 정밀도와 재현율이 함께 개선됐다.

이 부분은 현실적인 의미가 크다. 우리가 AI에게 찾아달라고 부탁하는 것은 종종 세상에 흔한 것이 아니라 드물기 때문에 발견하기 어려운 것이기 때문이다. 스팸 탐지뿐 아니라 금융사기 탐지, 이상 거래 분석, 의료 위험 신호 발견, 고객 불만 자동 분류와 같은 분야에도 같은 원리를 적용할 가능성이 있다.

좋은 결과만큼 중요한 것은 아직 시험하지 않은 실제 환경이다

다만 연구실에서 효과가 있었다는 사실과 실제 산업 현장에서 같은 효과가 난다는 것은 별개의 문제다.

이번 연구는 네 종류의 데이터셋에서 진행됐다. 현실에서는 수백만~수십억 건의 데이터가 들어올 수도 있고 여러 언어가 뒤섞일 수도 있다. 시간이 지나면서 단어의 의미나 데이터 분포 자체가 달라지는 경우도 있다.

더 중요한 문제가 있다. 능동학습은 AI가 어려운 사례를 사람에게 물어본다는 발상인데, 정작 그 사람이 틀릴 수도 있다.

의료 문서처럼 전문가끼리도 판단이 갈리는 데이터라면 ‘정답’ 자체가 하나로 명확하지 않을 수 있다. AI가 가장 어려운 사례만 계속 골라온다면 인간 라벨러에게 오히려 가장 판단하기 힘든 작업이 집중되는 역설도 생긴다.

따라서 데이터 라벨링 비용이 실제로 얼마나 줄어드는지는 단순히 라벨 개수만으로 결정되지 않는다. 라벨 하나를 만드는 데 걸리는 시간, 전문가 비용, 판단자 사이의 불일치까지 함께 측정해야 한다.

연구진 역시 향후 BERT와 RoBERTa 같은 문맥 기반 모델의 추가 활용, 더 정교한 앙상블 방법, 불확실성뿐 아니라 데이터의 다양성과 대표성을 함께 고려하는 선택 전략 등을 연구 과제로 제시했다.

이번 결과는 완성된 답이라기보다 다음 질문을 위한 근거에 가깝다.

AI 시대에 더 귀해지는 것은 정답의 수가 아니라 좋은 질문일지도 모른다

인공지능의 발전을 이야기할 때 우리는 거대한 숫자에 익숙해져 있다. 더 많은 매개변수, 더 많은 GPU, 더 많은 데이터가 기술 발전의 척도처럼 등장한다.

물론 규모는 중요하다. 하지만 현실의 모든 문제를 규모로 해결할 수는 없다.

병원의 전문의가 하루 종일 AI 학습용 문서에 라벨을 붙일 수도 없고, 작은 기업이 거대한 언어모델을 매번 학습시킬 수도 없다. 결국 한정된 사람의 시간과 계산 자원을 어디에 사용할 것인지 선택해야 한다.

이번 연구가 보여준 능동학습의 가치는 바로 그 선택에 있다. AI가 이미 잘 아는 사례를 계속 보여주는 대신 가장 혼란스러워하는 사례를 찾아낸다. 사람은 그곳에 자신의 지식과 시간을 집중한다. AI는 답을 받아 다시 학습하고, 이전에는 구분하지 못했던 경계를 조금씩 수정한다.

생각해 보면 인간의 배움도 크게 다르지 않다. 좋은 스승은 학생에게 답을 많이 말해주는 사람만은 아니다. 학생이 어디에서 막히는지를 발견하고, 바로 그 지점에서 생각하게 만드는 사람이다.

AI를 더 똑똑하게 만드는 방법 역시 결국 비슷한 방향으로 갈 수 있다. 더 많은 데이터를 주는 것만큼 중요한 것은 지금 이 AI가 무엇을 배워야 하는지 알아내는 일이다.

데이터가 넘쳐나는 시대에는 데이터 자체보다 선택이 희소해진다. 그리고 어쩌면 AI 학습의 효율을 결정하는 다음 경쟁은 ‘누가 더 많은 정답을 가지고 있는가’가 아니라 ‘누가 더 좋은 질문을 골라내는가’에서 벌어질지도 모른다.

이 글의 의의

이 글은 능동학습이 텍스트 분류 AI의 데이터 라벨링 비용을 어떻게 줄이는지를 의료·금융·SMS 스팸 데이터의 실제 연구 결과를 통해 설명한다.
특히 TF-IDF와 머신러닝 앙상블을 결합하면 제한된 라벨 데이터에서도 텍스트 분류 정확도와 F1 점수를 높일 수 있다는 점을 보여준다.
AI 학습 데이터가 부족하거나 전문가 라벨링 비용이 높은 의료, 금융, 고객 상담, 스팸 탐지 분야에서 능동학습을 활용할 근거를 제공한다.
또한 BERT 같은 대형 언어모델만이 정답은 아니며, 목적과 자원에 따라 전통적인 머신러닝과 TF-IDF도 효율적인 AI 텍스트 분류 방법이 될 수 있음을 보여준다.
결국 AI 성능을 높이는 핵심은 데이터를 무조건 많이 모으는 것이 아니라 정보 가치가 높은 데이터를 선택해 학습시키는 것이라는 점에 이 연구의 실용적 의미가 있다.

출처

Abdelwahab, A., & Salama, M. (2026). A novel hybrid model for identifying the most informative instances for improving text data classification. PLOS ONE, 21(8), e0355603. DOI: 10.1371/journal.pone.0355603.

AI-World-Story