AI는 언어가 바뀌어도 같은 판단을 할까? 영어·히브리어·러시아어로 실험한 결과

 

최신 연구는 대규모 언어모델이 인간보다 논리 문제는 잘 풀지만, 인지 편향은 언어에 따라 다르게 나타난다는 사실을 확인했다

대규모 언어모델(LLM)은 의료, 법률, 교육, 금융 등 다양한 분야에서 의사결정을 돕는 도구로 사용되고 있다. 많은 사람은 같은 질문을 어느 언어로 입력하든 AI가 비슷한 답을 내놓을 것이라고 생각한다.

그러나 2026년 발표된 연구는 이 가정이 항상 맞지 않다는 사실을 보여준다. 

이스라엘 연구진은 ChatGPT, Claude, Gemini를 대상으로 영어, 히브리어, 러시아어 환경에서 인지 편향이 어떻게 나타나는지 비교했다. 그 결과 AI는 논리 규칙을 적용하는 문제에서는 인간보다 훨씬 뛰어났지만, 직관에 의존하는 문제에서는 인간과 비슷한 실수를 반복했다. 특히 그 실수의 정도는 언어에 따라 크게 달라졌다.

연구진은 AI가 인간처럼 인지 편향을 보이는지 확인했다

인지 편향은 사람이 정보를 해석하거나 판단할 때 반복적으로 나타나는 사고 오류를 말한다.

대표적인 예가 가용성 휴리스틱이다. 사람은 실제 확률보다 쉽게 떠오르는 사례를 더 자주 발생한다고 판단하는 경향이 있다.

또 다른 예는 확증 편향이다. 이미 믿고 있는 생각을 뒷받침하는 정보만 찾고 반대 증거는 무시하는 현상이다.

연구진은 이런 현상이 인간만의 특징인지, 아니면 AI도 비슷한 패턴을 보이는지 확인하고자 했다.

영어·히브리어·러시아어를 동시에 비교한 이유

기존 연구 대부분은 영어 환경에서 ChatGPT 계열 모델만 분석했다.

이번 연구는 영어, 히브리어, 러시아어라는 서로 다른 언어 체계를 선택했다. 영어는 게르만어 계열, 러시아어는 슬라브어 계열, 히브리어는 셈어 계열에 속한다.

연구진은 언어 구조와 학습 데이터 규모 차이가 AI의 판단 방식에 영향을 줄 수 있다고 보았다. 실제로 영어 사용자는 약 15억 명, 러시아어 사용자는 약 2억 5천만 명, 히브리어 사용자는 약 900만 명 수준으로 디지털 데이터 규모에도 큰 차이가 존재한다.

2,028개의 답변을 분석한 결과 AI와 인간 사이에 ‘인지 격차’가 나타났다

연구에는 인간 참가자 169명과 AI 응답 1,521개가 포함됐다. 전체 분석 데이터는 2,028개였다.

연구진은 세 가지 문제를 사용했다.

첫 번째는 특정 글자가 단어 첫 글자에 더 많이 나타나는지, 세 번째 글자에 더 많이 나타나는지 묻는 문제였다.

두 번째는 “Yes”와 “No” 중 어떤 단어가 실제 언어에서 더 자주 사용되는지 추정하게 했다.

세 번째는 유명한 와슨 선택 과제(Wason Selection Task)를 변형한 논리 문제였다. 이는 확증 편향을 측정하기 위해 심리학에서 널리 사용되는 실험이다.

논리 규칙 문제에서는 AI가 인간을 압도했다

가장 눈에 띄는 결과는 확증 편향을 측정하는 논리 문제였다.

영어 환경에서 인간 정답률은 19%에 불과했다. 반면 ChatGPT는 84.9%, Claude는 98.3%, Gemini는 100%를 기록했다.

히브리어에서도 인간은 29.3%였지만 ChatGPT는 87.9%, Claude는 94.8%, Gemini는 100%였다.

러시아어에서는 Claude와 Gemini가 모두 100% 정답률을 보였다.

이는 규칙 기반 추론에서는 현재의 AI가 인간보다 훨씬 강력할 수 있음을 보여준다.

직관이 필요한 문제에서는 AI도 인간과 비슷한 실수를 했다

하지만 결과는 단순하지 않았다.

가용성 휴리스틱을 측정한 문제에서는 AI가 인간과 비슷한 편향을 보였다.

예를 들어 특정 단어의 빈도를 직관적으로 추정하는 문제에서 모델들은 언어에 따라 크게 다른 성적을 냈다.

어떤 언어에서는 거의 완벽한 정답률을 기록했지만, 다른 언어에서는 인간 수준까지 떨어졌다. 같은 모델이라도 언어가 바뀌면 성능이 크게 흔들렸다.

연구진은 이를 AI가 단순히 논리 엔진이 아니라 학습 데이터와 언어 구조의 영향을 받는 시스템이라는 증거로 해석했다.

같은 질문이라도 언어가 바뀌면 AI의 판단이 달라질 수 있다

이번 연구의 핵심 발견은 AI의 인지 편향이 단순한 기술적 결함이 아니라 언어 의존적 현상이라는 점이다.

많은 사용자는 AI가 언어를 번역해서 같은 의미를 이해한다고 생각한다. 그러나 연구 결과는 언어가 바뀌면 모델의 추론 과정과 오류 패턴도 달라질 수 있음을 시사한다.

특히 의료, 법률, 금융처럼 판단 오류가 큰 영향을 미치는 분야에서는 영어에서 검증된 AI가 다른 언어에서도 동일하게 작동한다고 가정해서는 안 된다는 의미다.

AI의 편향은 데이터 문제가 아니라 다국어 환경의 신뢰성 문제이기도 하다

이번 연구는 AI가 인간보다 뛰어난 논리 능력을 보여줄 수 있지만, 동시에 인간과 유사한 인지 편향도 재현할 수 있음을 보여준다.

더 중요한 사실은 그 편향이 언어마다 다르게 나타난다는 점이다.

따라서 앞으로 AI의 안전성과 신뢰성을 평가할 때는 단순히 모델 성능만 보는 것이 아니라, 각 언어 환경에서 어떤 판단 오류가 발생하는지도 함께 검증해야 한다. 다국어 시대의 AI 평가 기준은 이제 정확도뿐 아니라 언어별 편향 분석까지 포함해야 한다.

출처

Grander, K., Mosub, V., & Kordova, S. (2026). Cross-linguistic patterns of cognitive biases in large language models: A comparative study in English, Hebrew, and Russian. Frontiers in Artificial Intelligence, 9, 1808549. https://doi.org/10.3389/frai.2026.1808549