언어 계통이 다르면 AI의 감정 분석 성능도 달라지나? 36개 언어로 검증한 최신 LLM 비교 연구

 

GPT-4o부터 Claude 3.7 Sonnet까지, 다국어 감정 분석 성능을 언어 계통이라는 새로운 관점에서 분석한 연구

소셜미디어 감정 분석은 여론 분석, 시장 조사, 의료, 교육, 정치 분야에서 널리 활용된다. 하지만 지금까지는 "AI가 여러 언어를 얼마나 잘 이해하는가"에만 관심이 집중됐고, 왜 어떤 언어에서는 잘 작동하고 어떤 언어에서는 성능이 떨어지는지는 충분히 설명되지 않았다.

이번 연구는 GPT-4o, Gemini 2.0 Flash, Claude 3.7 Sonnet, DeepSeek-V3, Mistral Large를 대상으로 36개 언어에서 감정 분석 성능을 비교했다. 특히 언어를 개별적으로 평가하는 대신 같은 언어 계통(language family)끼리 묶어 분석했다는 점이 기존 연구와 가장 큰 차별점이다.

결과는 분명했다. 몇 개의 예시만 제공하는 Few-shot Prompting만으로 대부분 언어의 성능이 향상됐지만, 영어 중심으로 학습된 현재의 LLM은 여전히 저자원 언어에서는 큰 성능 격차를 보였다.

개별 언어보다 언어 계통을 살펴본 이유

기존 다국어 벤치마크는 영어, 프랑스어, 독일어처럼 언어 하나씩 결과를 비교하는 방식이 대부분이었다.

하지만 언어는 서로 독립적으로 존재하지 않는다.

예를 들어 스페인어·포르투갈어·이탈리아어는 로망스어군, 영어·독일어·스웨덴어는 게르만어군, 아랍어·암하라어는 아프로아시아어족처럼 공통 조상을 가진 언어들은 문법과 표현 방식에도 공통점이 존재한다.

연구진은 이런 계통학적 관계가 LLM 성능에도 영향을 미치는지를 확인하기 위해 36개 언어를 인도유럽어족, 아프로아시아어족, 니제르콩고어족, 튀르크어족, 오스트로네시아어족, 영어 크리올어 등으로 분류해 비교했다. 논문의 계통도(Figure 2)는 이러한 언어 계층 구조를 시각적으로 보여준다.

36개 언어, 3개의 데이터셋으로 성능을 검증했다

연구에는 총 36개 언어의 SNS 데이터가 사용됐다.

데이터는 크게 세 종류다.

• Tweet Sentiment Multilingual(TSM)
• Low & Medium Resource Social Media Sentiment(LMR-SMS)
• AfriSenti-SemEval

특히 AfriSenti는 아프리카 14개 언어, 11만 건 이상의 트윗을 포함하는 대규모 데이터셋으로, 지금까지 상대적으로 연구가 부족했던 저자원 언어 평가에 중요한 역할을 했다. 전체 실험은 긍정·부정·중립의 3개 클래스를 예측하는 감정 분류로 진행됐으며, 성능 평가는 F1 Score를 사용했다.

예시 몇 개만 보여줘도 대부분의 모델이 더 정확해졌다

이번 연구는 두 가지 프롬프트 방식을 비교했다.

• Zero-shot : 예시 없이 바로 분류
• Few-shot : 몇 개의 정답 예시를 먼저 제공한 뒤 분류

모든 모델은 동일한 프롬프트를 사용했고, 추가 학습(fine-tuning)은 전혀 수행하지 않았다. 오직 프롬프트만 달라졌다.

결과는 대부분 언어에서 Few-shot이 Zero-shot보다 높은 F1 점수를 기록했다.

특히 Mistral Large는 Zero-shot에서는 상대적으로 낮은 성능을 보였지만 Few-shot에서는 가장 큰 향상 폭을 보여 다른 상용 모델과 경쟁 가능한 수준까지 올라왔다. 반면 GPT-4o와 Claude는 처음부터 높은 성능을 유지하면서도 Few-shot에서도 안정적인 개선을 보였다.

고자원 언어에서는 최신 LLM이 기존 최고 성능을 넘어섰다

인도유럽어족에서는 상당히 인상적인 결과가 나타났다.

예를 들어,

• 이탈리아어에서는 Mistral Large가 F1 80.5를 기록해 기존 최고 성능(70.9)을 크게 넘어섰다.
• 포르투갈어에서는 Gemini가 F1 80.5를 달성하며 기존 최고 성능(76.0)을 상회했다.
• 스페인어 역시 GPT-4o가 기존 최고 성능보다 높은 결과를 보였다.
• 그리스어도 여러 모델이 기존 벤치마크를 초과했다.

이는 최신 범용 LLM이 특정 언어에서는 별도의 미세조정 없이도 기존 전용 모델에 근접하거나 이를 넘어설 수 있음을 보여준다.

왜 저자원 언어에서는 아직도 어려울까

반대로 저자원 언어에서는 상황이 달랐다.

오로모어(Oromo), 츠onga(Xitsonga), 아제르바이잔어, 트위(Twi) 등에서는 다른 언어에 비해 성능이 현저히 낮았다. 연구진은 그 원인을 다음과 같이 설명했다.

• 인터넷에 공개된 학습 데이터가 부족하다.
• 사전학습 데이터에서 차지하는 비중이 매우 작다.
• 표준화된 말뭉치와 언어 도구가 충분하지 않다.
• 다양한 표기법과 지역적 변형이 존재한다.

즉, 모델 자체의 추론 능력보다 학습 데이터의 불균형이 가장 큰 원인이라는 것이다.

앞으로의 다국어 AI는 '많은 언어'보다 '대표성 있는 언어'가 중요하다

이번 연구는 단순히 어느 모델이 가장 높은 점수를 얻었는지를 비교하는 데 그치지 않았다.

언어를 계통별로 분석하면 특정 언어군 전체에서 일관된 강점과 약점을 발견할 수 있다는 점을 보여줬다. 이는 앞으로 다국어 LLM을 개발할 때 영어와 몇몇 주요 언어만 늘리는 방식이 아니라, 언어 계통 전체의 다양성을 고려한 학습 데이터 구축이 필요하다는 의미다.

연구진은 특히 저자원 언어를 포함한 보다 포괄적인 평가 기준이 글로벌 AI의 공정성과 지속가능성 향상에 중요하다고 강조했다.

언어의 다양성을 이해하는 AI가 더 많은 사람을 이해하게 된다

생성형 AI는 이미 번역, 검색, 고객 상담, 여론 분석 등 다양한 분야에서 활용되고 있다. 그러나 특정 언어에서만 높은 성능을 보인다면 세계 인구 상당수는 이러한 기술의 혜택을 충분히 누리기 어렵다.

이번 연구는 최신 LLM이 고자원 언어에서는 매우 뛰어난 성능을 보이지만, 저자원 언어에서는 여전히 개선의 여지가 크다는 사실을 체계적으로 입증했다. 또한 언어를 하나씩 비교하는 기존 방식에서 벗어나 언어 계통이라는 새로운 분석 틀을 제시함으로써, 앞으로 다국어 AI 연구가 나아갈 방향을 제안했다.

AI가 진정으로 세계 모든 사용자를 이해하려면 더 많은 언어를 추가하는 것만으로는 부족하다. 다양한 언어 공동체가 고르게 반영된 데이터와 평가 체계를 갖추는 일이 다음 단계의 핵심 과제가 될 것이다.

출처

Kastrati, M., Manaf, A., Imran, A. S., Kastrati, Z., Daudpota, S. M., & Biba, M. (2026). Do language families matter? Evaluating LLMs for sentiment analysis through a hierarchical cross-lingual lens. Frontiers in Artificial Intelligence, 9, 1854873. https://doi.org/10.3389/frai.2026.1854873