단어 사이 ‘관계’를 이해하는 새로운 AI 모델, RelBERT가 GPT-3를 이겼다고?

-

 

RelBERT의 개념을 상징적으로 표현함: 단어 쌍 사이의 관계를 신경망 구조로 이해하는 인공지능의 모습


우리는 매일 단어들을 사용해 소통한다. 그런데 '단어 사이의 관계'는 어떻게 이해할 수 있을까? 예를 들어, “왕:여왕 = 남자:여자”라는 식의 유추(analogy) 문제를 생각해 보자. 이런 문제를 잘 풀 수 있는 인공지능은 단어들 간의 미묘한 의미 차이를 얼마나 잘 이해하고 있는지를 보여주는 지표가 된다.

하지만 놀랍게도, 지금까지 가장 유명한 AI 모델들조차 이런 관계 이해에는 꽤 서툴렀다. 그 빈틈을 파고든 것이 이번에 소개할 RelBERT라는 새로운 모델이다. 영국 카디프 대학교 연구팀이 개발한 이 모델은 GPT-3보다 작지만, 단어 관계 이해 능력에선 더 뛰어나다는 평가를 받고 있다.


대형 언어 모델, 정말 똑똑할까?

GPT-3, ChatGPT, RoBERTa 같은 대형 언어 모델들은 방대한 양의 데이터를 학습해 사람처럼 텍스트를 생성하거나 요약하는 데 뛰어나다. 하지만 정작 '개념 간의 관계'를 이해하고 구별하는 데는 한계가 있다.

기존 방법들은 주로 "단어 A와 단어 B가 같이 쓰이는 문장을 모아, 이 둘의 관계를 유추"하거나, "두 단어의 벡터 차이를 계산"해 관계를 파악하려고 했다. 하지만 이런 방식은 너무 거칠다. 예컨대 ‘왕’과 ‘여왕’의 차이를 잘 잡더라도, ‘꽃’과 ‘데이지’ 같은 관계는 쉽게 놓친다.

또 다른 대안인 지식 그래프(Knowledge Graph)는 관계를 명시적으로 담지만, 그 구조가 너무 단순해서 '날씨:우산', '눈물:슬픔' 같은 미묘한 관계는 표현하기 어렵다.


RelBERT는 뭐가 다를까?

RelBERT는 로버타(RoBERTa)라는 언어 모델을 기반으로, 단어 쌍의 '관계 벡터'를 추출해 학습하는 새로운 접근법이다. 핵심 아이디어는 간단하다.

  1. 단어 쌍을 포함한 문장을 템플릿에 넣는다. 예: “나는 [단어1]과 [단어2] 사이의 관계를 드디어 알아냈다: [단어1]은 [단어2]의 <mask>이다.”
  2. 이 문장을 언어 모델에 입력해, <mask> 위치의 출력 벡터를 관계 벡터로 사용한다.
  3. 유사한 관계를 가진 단어 쌍은 벡터 공간에서 서로 가까워지도록, 그렇지 않은 쌍은 멀어지도록 학습시킨다.

놀랍게도 이 단순한 방식으로도 단어 쌍 간의 유사성, 방향성, 관계 종류까지 고차원적으로 학습할 수 있다.



적은 데이터로, 더 정밀한 이해를

RelBERT의 가장 큰 특징 중 하나는 소량의 학습 데이터만으로도 뛰어난 성능을 낸다는 점이다. 기존 GPT-3 모델은 1,750억 개의 파라미터를 가지고 있지만, RelBERT는 1억 4천만 개로 그보다 수백 배 작다. 그럼에도 불구하고 SAT 아날로지 벤치마크에서는 RelBERT가 73%의 정답률을 기록하며 GPT-3를 20%포인트 이상 앞섰다.

게다가 RelBERT는 학습에 사용하지 않은 관계 유형에 대해서도 놀랄 만큼 좋은 성능을 보여줬다. 이는 RelBERT가 단순히 예시만 외운 것이 아니라, 관계 자체의 본질을 모델 내부에 정교하게 내재화했음을 뜻한다.


어디에 쓸 수 있을까?

RelBERT는 단순히 '단어 유추 문제를 잘 푸는 모델'로 끝나지 않는다. 이 모델이 가진 ‘관계 벡터’는 다양한 분야에서 유용하게 활용될 수 있다.

  • 질문 응답 시스템에서 문맥 속 개념 간의 관계를 추론하거나,
  • 추천 시스템에서 사용자와 아이템 간의 연관성을 분석할 수 있고,
  • 지식 그래프 자동 확장, 비유적 표현 탐지, 웹 테이블 자동 완성 등에도 활용 가능하다.

특히, 기존 지식 그래프의 한계였던 "표현할 수 있는 관계 유형의 제약"을 극복할 수 있다는 점에서 주목받는다.


작고 효율적이면서도 강력한, '관계 전문가'

RelBERT는 대형 모델이 반드시 정답이 아니라는 점을 다시금 상기시킨다. 소형 모델 기반의 이 시스템은 "관계"라는 하나의 핵심 기능에 집중함으로써, 기존보다 훨씬 정밀하고 유연한 의미 추론이 가능함을 보여준다.

과연 미래의 GPT들은 이보다 더 정교한 관계 감각을 가질 수 있을까? 그 중심에 RelBERT가 서 있을지도 모른다.



출처 논문

Ushio, A., Camacho-Collados, J., & Schockaert, S. (2025). RelBERT: Embedding relations with language models. Artificial Intelligence, 347, 104359.