거대 언어 모델의 기하학적 맹점, 소재과학에서 드러난 GNN-LM 벽

거대 언어 모델(Large Language Models, LLMs)은 논문을 분석하고 복잡한 질문에 답하며 새로운 과학적 가설을 제안하는 수준까지 발전했다. 이러한 성과는 인공지능이 물리학과 화학, 소재과학에서도 기존의 전문 계산 모델을 대체할 수 있다는 기대를 키웠다. 그러나 과학적 현상을 설명하는 언어 능력과 실제 물리적 성질을 계산하는 능력은 반드시 일치하지 않는다.

2026년 국제학술지 네이처 컴퓨테이셔널 사이언스(Nature Computational Science)에 게재된 연구는 이러한 차이를 체계적으로 분석했다. 독일 예나 프리드리히 실러대학교와 미국 인텔 연구소 등의 연구진은 언어 모델이 원자의 종류는 비교적 잘 학습하지만, 원자 사이의 거리와 공간적 배열을 이해하는 데는 뚜렷한 한계가 있음을 확인했다. 특히 모델을 크게 만들거나 학습 데이터를 늘리는 방법만으로는 이러한 약점을 충분히 극복하지 못했다.

원자의 종류와 위치는 서로 다른 정보이다

물질의 성질은 어떤 원자로 구성되어 있는지뿐 아니라 그 원자들이 공간에 어떻게 배열되어 있는지에 따라 달라진다. 같은 화학 원소로 이루어진 물질이라도 결정 구조와 원자 사이의 거리가 다르면 강도, 안정성, 탄성 등의 특성이 달라질 수 있다. 소재과학에서 원자의 종류를 나타내는 범주형 정보와 위치를 나타내는 좌표 정보가 모두 중요한 이유이다.

언어 모델은 기본적으로 텍스트를 일정한 단위인 토큰(Token)으로 나누어 학습한다. 원소 이름이나 화학기호처럼 반복적으로 등장하는 정보는 비교적 쉽게 처리할 수 있다. 그러나 원자의 3차원 좌표를 숫자로 표현하면 문제가 복잡해진다. 좌표를 읽는 것과 좌표 사이의 거리, 방향, 상호작용을 계산하는 것은 전혀 다른 작업이기 때문이다.

좌표-범주 단절 현상이 드러낸 학습 능력의 차이

연구진은 이러한 차이를 확인하기 위해 실제 물리 법칙에서 영감을 얻은 가상의 에너지 함수를 설계했다. 이 함수에서는 원자의 종류가 에너지에 미치는 영향과 공간적 배치가 미치는 영향을 독립적으로 조절할 수 있다. 이를 통해 동일한 모델이 두 종류의 정보를 얼마나 효과적으로 학습하는지 비교했다.

실험 결과는 분명했다. 언어 모델은 원자의 종류와 개수에 따라 달라지는 에너지 패턴을 비교적 정확하게 학습했지만, 원자 사이의 거리와 배열이 중요한 과제에서는 예측 오차가 크게 증가했다. 연구진은 이러한 성능 차이를 좌표-범주 단절(Coordinate-Category Cliff, CC-cliff)이라고 명명했다.

더욱 흥미로운 사실은 언어 모델의 성능 변화가 엔그램(n-gram) 기반 통계 모델과 상당히 비슷했다는 점이다. 엔그램은 텍스트에서 연속적으로 등장하는 단어나 기호의 패턴을 분석하는 방식이다. 이는 해당 실험에서 언어 모델이 복잡한 공간적 관계를 계산하기보다 반복적으로 나타나는 문자와 기호의 통계적 규칙에 크게 의존했을 가능성을 보여준다. 다만 이러한 결과가 모든 언어 모델의 추론 능력이 단순한 엔그램 수준에 불과하다는 뜻은 아니다.

마트텍 실험에서 확인된 좌표 정보의 역설

연구진은 가상 데이터 실험을 실제 소재 연구로 확장하기 위해 마트텍(MatText)이라는 공개 벤치마킹 플랫폼을 구축했다. 이 플랫폼은 결정 구조를 아홉 가지 방식의 텍스트로 표현하고, 표현 방식과 학습 조건에 따라 물성 예측 결과가 어떻게 달라지는지 비교할 수 있도록 설계됐다.

평가 대상은 전단 탄성계수, 체적 탄성계수, 페로브스카이트 형성 에너지였다. 전단 탄성계수는 물질이 옆으로 미끄러지는 변형에 얼마나 저항하는지를 나타내며, 체적 탄성계수는 압력을 받았을 때 부피 변화에 저항하는 정도를 나타낸다. 형성 에너지는 물질의 생성과 안정성을 평가하는 데 중요한 물리량이다.

여기서 예상 밖의 결과가 나타났다. 원자의 좌표를 상세하게 제공하는 텍스트 표현이 반드시 더 좋은 예측으로 이어지지는 않았다. 오히려 원자 조성과 결합 관계를 간결하게 표현한 슬라이스(SLICES)가 상세한 결정 좌표를 포함하는 일부 표현보다 우수한 성능을 보였다. 국소적인 원자 환경을 요약한 표현도 여러 과제에서 좋은 결과를 나타냈다.

이는 정보가 많을수록 예측이 정확해진다는 일반적인 기대와 다른 결과이다. 중요한 것은 입력 정보의 양이 아니라 모델이 그 정보를 실제로 활용할 수 있는 구조를 갖추었는지 여부이다. 논문 제목인 '적은 것이 더 나을 수 있다'는 표현도 이러한 발견을 반영한다.

700억 매개변수와 200만 개 구조도 넘지 못한 한계

언어 모델의 성능을 높이는 대표적인 방법은 모델의 규모를 키우거나 학습 데이터를 늘리는 것이다. 연구진은 이를 검증하기 위해 최대 200만 개의 결정 구조를 이용한 학습 실험과 70억, 130억, 700억 매개변수 규모의 라마-2(Llama-2) 모델 비교를 수행했다. 전체 분석에는 2,000건이 넘는 언어 모델 학습 작업이 활용됐다.

데이터 규모를 늘렸을 때 예측 오차의 개선 폭은 전반적으로 제한적이었다. 모델 규모를 확대해도 전단 탄성계수와 체적 탄성계수 예측에서는 뚜렷한 성능 향상이 나타나지 않았다. 다만 형성 에너지 예측에서는 일부 표현 방식에서 상당한 개선이 관찰됐다. 따라서 대형화가 전혀 효과가 없었다기보다는, 개선 효과가 물성과 데이터 표현 방식에 따라 달랐다고 해석하는 것이 정확하다.

그래프 신경망과 언어 모델 사이의 성능 장벽

연구진은 기존 소재과학 예측 모델과의 비교에서 또 하나의 중요한 차이를 확인했다. 그래프 신경망(Graph Neural Networks, GNNs)은 원자를 그래프의 노드로, 원자 사이의 관계를 연결 정보로 표현한다. 이러한 구조는 원자 간 거리와 주변 환경을 학습하는 데 적합하다.

실제 소재 물성 벤치마크인 매트벤치(MatBench)를 이용한 비교에서도 그래프 신경망 기반 모델은 언어 모델 기반 접근법보다 전반적으로 낮은 예측 오차를 나타냈다. 연구진은 두 접근법 사이에 나타나는 뚜렷한 성능 격차를 'GNN-LM 벽(GNN-LM Wall)'이라고 표현했다.

이 장벽은 언어 모델이 영원히 극복할 수 없는 절대적인 한계를 의미하지 않는다. 현재 실험에서 평가한 텍스트 기반 접근법이 공간적 관계를 효과적으로 활용하지 못한다는 뜻이다. 특히 기하학적 관계를 학습하기 쉽도록 설계된 모델 구조, 즉 기하학적 귀납 편향이 과학적 예측에서 중요한 역할을 한다는 사실을 보여준다.

소재과학 인공지능의 발전 방향

이번 연구의 의미는 언어 모델의 활용 가능성을 부정하는 데 있지 않다. 오히려 어떤 문제에서 언어 모델이 유리하고, 어떤 문제에서 전문적인 과학 모델이 필요한지를 구별하는 기준을 제시했다는 데 있다. 원소 조성과 범주형 패턴이 중요한 과제에서는 언어 모델이 유용할 수 있지만, 정밀한 원자 간 거리와 공간적 상호작용이 핵심인 과제에서는 기하학적 정보를 직접 처리하는 모델이 더 적합할 수 있다.

물론 연구 범위에는 한계가 있다. 실제 물성 평가는 세 가지 특성과 제한된 데이터셋을 중심으로 진행됐으며, 텍스트와 좌표 임베딩을 결합한 멀티모달 모델은 검증하지 않았다. 700억 매개변수 모델도 전체 매개변수를 다시 학습하는 방식이 아니라 효율적인 미세조정 방식으로 평가했다. 따라서 모든 미래형 인공지능 구조에 동일한 결론을 적용할 수는 없다.

앞으로는 언어 모델의 과학 문헌 이해 능력과 그래프 신경망의 공간 구조 분석 능력을 결합하는 접근법이 중요한 연구 방향이 될 수 있다. 또한 좌표를 단순한 문자열이 아닌 연속적인 수치 표현으로 처리하는 새로운 학습 방법도 검증할 필요가 있다.

과학적 발견에 필요한 것은 더 큰 모델보다 적합한 모델이다

이번 연구는 인공지능의 규모가 곧 과학적 이해의 깊이를 보장하지 않는다는 사실을 보여준다. 수많은 논문을 읽고 화학 원소의 특성을 설명하는 모델이라도, 실제 원자들이 공간에서 어떻게 상호작용하는지를 정확하게 계산하지 못할 수 있다.

신소재 개발과 배터리 연구, 반도체 소재 설계에서 중요한 것은 단순히 가장 거대한 인공지능을 도입하는 일이 아니다. 예측하려는 물성이 어떤 정보에 의해 결정되는지 이해하고, 그 정보를 가장 효과적으로 학습할 수 있는 모델을 선택하는 일이다. 과학 인공지능의 미래는 하나의 만능 모델보다 서로 다른 강점을 지닌 모델들의 적절한 활용에 달려 있을 가능성이 크다.

출처

Alampara, N. et al. (2026). “Less can be more for predicting properties with large language models.” Nat. Comput. Sci. https://doi.org/10.1038/s43588-026-01045-2