NER 리뷰: 학습 방법부터 모델링 패러다임까지

-




도입: 개체명 인식의 중요성

명명된 개체 인식(Named Entity Recognition, NER)은 텍스트 속에서 사람, 장소, 조직 같은 고유한 개체를 식별해 내는 기술이다. 뉴스 기사 요약, 법률 문서 분석, 챗봇 질문 응답 등 다양한 분야에서 핵심 역할을 한다. 예를 들어 정치 기사에서 정치인 이름을 추출하거나, 소비자 리뷰에서 기업명을 찾아내면 여론 분석이나 고객 의견 파악에 큰 도움이 된다. 

NER 연구는 기존에 도메인·언어·작업별로 나뉘어 얕게 다뤄진 반면, 이번 리뷰 논문은 바텀업(bottom-up) 관점에서 학습 방법부터 모델링 패러다임, 실제 과제까지 깊이 있게 정리했다. 


본론: 학습 방법과 모델링 패러다임

  1. 다양한 학습 방법
    • 지도 학습(Supervised): 레이블된 데이터를 직접 활용. 대표적으로 BERT 같은 딥러닝 모델이 좋은 성능을 보인다. 
    • 준지도 학습(Semi-supervised): 소량의 레이블과 다량의 비레이블 데이터를 번갈아 사용해 학습 효율을 높인다.
    • 약지도 학습(Weakly-supervised): 사전 정의된 사전(예: 사전·지식 그래프)을 활용해 자동으로 라벨을 달지만, 잡음(noise)이 발생할 수 있다.
    • 비지도 학습(Unsupervised): 레이블 없이 데이터 패턴만 학습해 비용 부담은 줄지만 정확도와 해석 가능성에서 한계를 가진다.

  1. 다양한 모델링 패러다임
    • 시퀀스 라벨링(Sequence Labeling): 입력 문장 토큰별로 BIO 태깅을 수행. 빠르지만 중첩·연속 불연속 엔티티에는 취약하다.
    • 스팬 기반(Span-based): 가능한 토큰 구간(span)을 열거해 경계(start/end)를 예측. 중첩 엔티티 처리에 유리하지만 계산량이 많다.
    • 시퀀스→시퀀스(Seq2Seq): 인코더-디코더 구조로 엔티티 목록을 생성. 다양한 엔티티 구조를 다룰 수 있으나 학습·추론 비용이 높다.
    • 머신 리딩 컴프리헨션(MRC): “이 문장에서 ‘사람’ 엔티티는 어디인가?”와 같은 질문-응답 형태로 NER을 수행. Prior 정보를 질문으로 제공해 효율을 높일 수 있다.
    • 프롬프트 기반(Prompt-based): 언어 모델에게 템플릿 또는 소프트 프롬프트를 제공해 제로/소수 샷 NER을 가능케 한다.
    • 대형 언어 모델(LLM) & 그래프 신경망(GNN) & 텍스트 엔테일먼트(Text Entailment): 최근 연구에서는 GPT 계열 LLM, GNN으로 문맥 의존성 강화, 그리고 텍스트 함축 관계를 활용하는 방법도 등장했다. 

주요 실험 결과: 퀸즐랜드 선거 트윗 데이터셋

2024년 퀸즐랜드 선거 관련 1,321개의 트윗을 수집해 사람·위치·정치 이벤트·정당·정부 부처 등 엔티티를 라벨링했다.

  • 베이스라인 BERT: 10 에포크, 학습률 5×10⁻⁵, 배치 크기 8, Adam 옵티마이저 → 전체 마이크로 F1 83.0
  • GLiNER(Zaratiana et al. 2024): 4 에포크, 학습률 5×10⁻⁶, 배치 크기 8, AdamW → 전체 마이크로 F1 83.9
    GLiNER은 엔티티 타입을 엔티티-스팬 매칭 점수에 반영해 BERT를 소폭 상회했다. 

또한 파라미터 튜닝 실험에서, 학습 샘플 비율·배치 크기·학습률·에포크 수에 따라 검증 F1이 변화하는 양상을 확인했다. 


결론 및 향후 과제

기존 사전 학습(pre-trained) NER 모델은 새로운 엔티티에 대한 일반화와 문맥 중의 중의성 해소에 한계를 보였다. 이를 보완하기 위해 트윗의 감성 점수(sentiment score)와 엔티티 상태 변화를 모델링 하는 상태 공간 모델(state space model) 결합이 제안되었다. 앞으로는 이 아이디어를 구체화한 NER 프레임워크 개발이 기대된다.


출처논문:

Seow, W. L., Chaturvedi, I., Hogarth, A., Mao, R., & Cambria, E. (2025). A review of named entity recognition: from learning methods to modelling paradigms and tasks. Artificial Intelligence Review, 58, 315. https://doi.org/10.1007/s10462-025-11321-8