언어 계통이 다르면 AI의 감정 분석 성능도 달라지나? 36개 언어로 검증한 최신 LLM 비교 연구
GPT-4o부터 Claude 3.7 Sonnet까지, 다국어 감정 분석 성능을 언어 계통이라는 새로운 관점에서 분석한 연구 소셜미디어 감정 분석은 여론 분석, 시장 조사, 의료, 교육, 정치 분야에서 널리 활용된다. 하지만 지금까지는 "AI가 여러 언어를 얼마나 잘 이해하는가"에만 관심이 집중됐고, 왜 어떤 언어에서는 잘 작동하고 어떤 언어에서는 성능이 떨어지는지 는 충분히 설명되지 않았다. 이번 연구는 GPT-4o, Gemini 2.0 Flash, Claude 3.7 Sonnet, DeepSeek-V3, Mistral Large를 대상으로 36개 언어에서 감정 분석 성능을 비교했다. 특히 언어를 개별적으로 평가하는 대신 같은 언어 계통(language family) 끼리 묶어 분석했다는 점이 기존 연구와 가장 큰 차별점이다. 결과는 분명했다. 몇 개의 예시만 제공하는 Few-shot Prompting 만으로 대부분 언어의 성능이 향상됐지만, 영어 중심으로 학습된 현재의 LLM은 여전히 저자원 언어에서는 큰 성능 격차를 보였다. 개별 언어보다 언어 계통을 살펴본 이유 기존 다국어 벤치마크는 영어, 프랑스어, 독일어처럼 언어 하나씩 결과를 비교하는 방식이 대부분이었다. 하지만 언어는 서로 독립적으로 존재하지 않는다. 예를 들어 스페인어·포르투갈어·이탈리아어는 로망스어군, 영어·독일어·스웨덴어는 게르만어군, 아랍어·암하라어는 아프로아시아어족처럼 공통 조상을 가진 언어들은 문법과 표현 방식에도 공통점이 존재한다. 연구진은 이런 계통학적 관계가 LLM 성능에도 영향을 미치는지를 확인하기 위해 36개 언어를 인도유럽어족, 아프로아시아어족, 니제르콩고어족, 튀르크어족, 오스트로네시아어족, 영어 크리올어 등으로 분류해 비교했다. 논문의 계통도(Figure 2)는 이러한 언어 계층 구조를 시각적으로 보여준다. 36개 언어, 3개의 데이터셋으로 성능을 검증했다 연구에는 총 36개 언...