복잡한 AI가 항상 더 정확한 것은 아니다…62년 식량 데이터가 보여준 예측의 조건

튀르키예의 1962~2023년 식량생산 데이터를 분석한 연구에서는 복잡한 머신러닝보다 베이지안 릿지 회귀가 더 안정적인 예측력을 보였다. 식량 생산 예측에서는 알고리즘의 복잡성보다 데이터의 규모와 구조에 적합한 모델을 선택하는 것이 중요하다는 점을 보여준다.

 

튀르키예의 1962~2023년 식량 데이터를 분석한 연구에서 복잡한 머신러닝보다 단순한 회귀모델이 더 안정적인 예측력을 보였다.

AI 모델은 복잡할수록 더 정확할 것이라는 기대가 있다. 더 많은 계산과 더 정교한 알고리즘이 데이터 속에 숨어 있는 패턴을 찾아낼 것이라는 생각이다.

그러나 데이터가 언제나 복잡한 답을 요구하는 것은 아니다. 때로는 수십 년 동안 쌓인 숫자가 화려한 알고리즘보다 단순한 모델에 더 분명하게 자신의 구조를 드러낸다.

튀르키예와 루마니아 연구진이 1962년부터 2023년까지 튀르키예의 식량생산 데이터를 분석해 7가지 예측 모델을 비교했다. 가장 높은 정확도를 기록한 것은 인공신경망이나 랜덤포레스트가 아니라 베이지안 릿지 회귀였다. 결정계수 R²는 0.968이었다. 다중선형회귀도 0.918을 기록한 반면 인공신경망은 0.731이었다.

이 결과가 던지는 메시지는 단순하다. 좋은 예측을 만드는 것은 가장 복잡한 알고리즘이 아니라 데이터의 성격에 맞는 알고리즘일 수 있다는 것이다.

한 나라의 식탁에는 수십 년의 경제와 농업이 겹쳐 있다

마트에 놓인 밀가루 한 봉지나 채소 한 단을 보면서 환율이나 도시화, 산업구조를 떠올리는 사람은 많지 않다. 하지만 국가 전체의 식량 생산을 바라보면 이들은 서로 떨어진 문제가 아니다.

식량 생산은 어느 한 해의 작황만으로 결정되지 않는다. 비료 사용량과 농지, 농업기술뿐 아니라 경제성장, 환율, 무역 구조, 농촌 인구의 변화가 오랜 시간 겹치면서 생산 체계를 바꾼다.

연구진이 분석한 식량생산지수(Food Production Index·FPI)는 특정 기준 기간과 비교해 한 국가의 식량 생산 수준이 어떻게 달라졌는지를 나타내는 지표다. 식량안보 가운데 ‘충분한 식량을 공급할 수 있는가’를 살펴보는 데 활용된다.

튀르키예는 지난 60여 년 동안 농업 중심 경제에서 산업과 서비스업의 비중이 커지는 구조적 변화를 경험했다. 농촌 인구가 줄고 생산 방식과 무역 구조가 달라지는 동안 식량 생산 역시 함께 변했다. 연구진은 이 긴 변화의 흐름을 머신러닝이 얼마나 정확하게 읽어낼 수 있는지 확인했다.

62년의 숫자에서 식량 생산을 설명할 변수를 추렸다

연구에는 세계은행의 1962~2023년 자료가 사용됐다.

연구진은 식량생산지수를 예측 대상으로 두고 비료 사용량, 농지와 경작지 비율, GDP, 물가상승률, 공식 환율, 무역 비중, 농촌 인구, 농업 부가가치, 식품 수출·수입 등 다양한 후보 변수를 검토했다.

여기서 중요한 것은 변수를 많이 넣는다고 반드시 예측력이 좋아지는 것은 아니라는 점이다.

경제성장과 무역 확대, 비료 사용 증가처럼 여러 변수가 오랜 기간 비슷한 방향으로 움직이면 사실상 같은 정보를 반복해서 모델에 전달할 수 있다. 이런 현상을 다중공선성이라고 한다. 어떤 변수가 실제로 중요한지 구분하기 어려워지고 예측값도 불안정해질 수 있다.

연구진은 상관관계와 VIF라는 통계 지표를 이용해 이런 중복을 점검했다. 초기 분석에서는 일부 변수의 VIF가 최대 1437.61까지 올라갔지만 중복성이 큰 변수들을 단계적으로 걸러낸 뒤 남은 변수들의 VIF는 모두 2 미만으로 낮아졌다.

최종적으로 베이지안 릿지 회귀와 다중선형회귀에는 현재 시점의 비료 사용량과 공식 환율이 예측 변수로 사용됐다. 두 모델에는 같은 변수를 적용해 성능을 직접 비교했다.

데이터 분석에서는 얼마나 많은 숫자를 모았는가만큼 어떤 숫자를 남겼는가가 중요하다는 사실을 보여주는 대목이다.

복잡한 머신러닝이 예상과 달리 뒤처졌다

연구진은 다중선형회귀, 베이지안 릿지 회귀, 서포트 벡터 회귀(SVR), 랜덤포레스트, 그래디언트 부스팅, 인공신경망(ANN), K-최근접 이웃(KNN) 등 7가지 방법을 비교했다.

시간의 흐름을 깨뜨리지 않도록 과거 약 70%를 학습 자료로, 이후 약 30%를 시험 자료로 나눴다.

결과는 뚜렷했다. 베이지안 릿지 회귀는 R² 0.968, RMSE 2.695, MAE 2.294로 가장 높은 예측 성능을 보였다. 다중선형회귀도 R² 0.918이었다.

인공신경망의 R²는 0.731이었다. 반면 SVR은 -9.624, 랜덤포레스트 -2.873, 그래디언트 부스팅 -2.658, KNN은 -3.075를 기록했다.

R²가 음수라는 것은 무엇을 의미할까. 해당 시험 자료에서는 복잡한 모델의 예측이 단순히 평균값을 답으로 내놓는 것보다도 좋지 않았다는 뜻이다.

논문의 실제값과 예측값 그래프에서도 차이가 나타난다. 베이지안 릿지와 다중선형회귀는 실제 식량생산지수의 장기 흐름에 비교적 가까이 붙어 있지만 인공신경망은 일부 구간에서 더 크게 벗어난다.

알고리즘의 이름이 복잡하다고 해서 데이터까지 그 복잡성을 필요로 하는 것은 아니었다.

60년은 인간에게 길지만 머신러닝에는 작은 데이터다

왜 이런 결과가 나왔을까.

1962년부터 2023년까지는 한 나라의 산업구조가 바뀌기에 충분히 긴 시간이다. 그러나 1년에 하나씩 기록된 데이터라면 머신러닝이 사용할 수 있는 관측치는 약 62개에 불과하다.

인간의 시간으로는 반세기가 넘지만 AI의 관점에서는 작은 데이터인 셈이다.

복잡한 모델은 많은 패턴을 학습할 수 있다는 장점이 있다. 문제는 학습할 자료가 부족할 때다. 실제 세계에서 반복되는 규칙과 우연히 나타난 흔적을 구별하지 못하고 모두 학습해버릴 수 있다.

이것이 과적합이다. 기출문제의 답을 외웠지만 처음 보는 문제에서는 성적이 떨어지는 것과 비슷하다.

베이지안 릿지 회귀는 이와 다른 전략을 취한다. 회귀계수가 지나치게 커지지 않도록 제어해 일부 데이터에 모델이 과도하게 끌려가는 것을 줄인다. 쉽게 말하면 자료가 충분하지 않을 때 지나치게 자신 있게 움직이지 않는 모델이다.

왜 단순한 모델의 식량생산지수 예측 정확도가 더 높았는지에 대한 핵심도 여기에 있다. 관측치가 적고 선택된 변수와 식량생산지수 사이의 관계가 상당 부분 선형적이었기 때문에 복잡한 비선형 모델보다 규제가 적용된 회귀모델이 새로운 데이터에서도 안정적인 성능을 냈다.

이번 연구에서 복잡성보다 절제가 더 좋은 예측 전략이 된 이유다.

미래를 한 해씩 열어보자 같은 결과가 나타났다

예측 모델의 진짜 시험은 이미 본 과거를 얼마나 잘 설명하는지가 아니다. 아직 보지 못한 다음 시간을 얼마나 잘 맞히는가에 있다.

연구진은 이를 확인하기 위해 워크포워드 검증을 실시했다. 과거 자료로 다음 시점을 예측하고, 실제 데이터가 확보되면 이를 학습 자료에 추가한 뒤 다시 다음 시점을 예측하는 방식이다. 현실에서 해마다 새로운 자료를 받아 미래를 전망하는 상황과 비슷하다.

이 검증에서도 베이지안 릿지 회귀는 R² 0.955로 가장 높은 성능을 유지했다. 다중선형회귀는 0.904, 그래디언트 부스팅 0.830, KNN 0.825, 인공신경망 0.802였다.

전통적인 시계열 예측법과 비교해도 베이지안 릿지 회귀의 R² 0.955는 ARIMA의 0.857과 Holt 지수평활법의 0.858보다 높았다.

다만 모든 평가 지표에서 압도적인 것은 아니었다. RMSE는 Holt 모델이 3.180으로 베이지안 릿지의 3.205보다 조금 낮았다.

따라서 이 연구를 ‘머신러닝이 전통적인 통계모델을 이겼다’고 단순화해서는 안 된다. 더 정확한 해석은 여러 설명변수를 이용하면서 과적합을 억제한 모델이 이 데이터의 구조에 가장 잘 맞았다는 것이다.

예측할 수 있다는 것과 원인을 안다는 것은 다르다

R² 0.968이라는 숫자는 상당히 높다. 그래서 자칫 식량 생산의 원인을 찾아냈다고 받아들이기 쉽다.

하지만 여기에는 중요한 경계선이 있다. 잘 예측한다는 것과 원인을 밝혔다는 것은 같은 말이 아니다.

이번 연구에 사용된 식량생산지수와 여러 경제·농업 지표는 시간에 따라 장기적으로 상승하거나 하락하는 추세를 갖고 있었다. 연구진은 인과관계를 규명하는 것이 아니라 예측하는 것이 목적이었기 때문에 이러한 장기 추세 정보를 그대로 활용했다.

따라서 이번 결과만으로 비료 사용량 증가가 식량생산지수를 직접 끌어올렸다거나 환율 변화가 생산량 변화를 일으켰다고 단정할 수 없다.

또 하나의 빈칸도 있다. 기후 변화, 강수량, 가뭄, 수자원, 토양 황폐화, 생물다양성, 탄소배출 같은 환경 변수는 장기간 일관된 자료를 확보하기 어렵다는 이유로 모델에 포함되지 않았다.

따라서 이 논문에서 말하는 지속가능한 식량 시스템은 환경적 지속가능성 전체를 측정했다기보다 국가 수준의 생산 능력과 경제적 회복력을 중심으로 바라본 부분적인 그림에 가깝다. 앞으로 기후와 수자원 등 환경 변수를 추가하고 다른 국가에서도 같은 결과가 나타나는지 검증할 필요가 있다.

좋은 예측은 더 큰 AI보다 데이터에 맞는 질문에서 시작된다

우리는 점점 더 많은 미래를 알고리즘으로 예측하려 한다.

농작물 생산량을 전망하고 전력 수요를 계산하며 경제와 기후의 변화를 모델링한다. 그러다 보면 계산이 복잡할수록 현실을 더 정확하게 이해할 수 있다는 생각에 빠지기 쉽다.

하지만 이번 연구가 보여준 것은 조금 다른 풍경이다.

62년이라는 긴 세월보다 중요한 것은 그 안에 실제 데이터가 몇 개 있는지였다. 수많은 변수를 넣는 것보다 서로 같은 이야기를 하는 변수를 가려내는 일이 중요했다. 그리고 가장 복잡한 모델을 선택하는 것보다 데이터가 가진 구조에 맞는 모델을 고르는 편이 더 정확했다.

이 원칙은 식량안보에도 현실적인 의미를 갖는다. 식량 생산을 안정적으로 예측할 수 있다면 농업 자원 배분과 원료 공급 계획을 세우고 생산 부족 위험을 조금 더 일찍 감지하는 데 활용할 수 있다. 수입과 수출, 식품 공급망을 장기적으로 설계하는 데도 하나의 판단 자료가 될 수 있다.

그러나 정확한 예측만으로 지속가능한 식량 시스템이 완성되는 것은 아니다. 생산량이 늘어도 물이 고갈되거나 토양이 훼손된다면 그 성장은 오래 지속되기 어렵다. 숫자가 미래를 잘 맞히더라도 그 숫자에 포함되지 않은 현실까지 설명해주는 것은 아니다.

그래서 이 연구가 남기는 메시지는 AI의 승패보다 넓다.

좋은 모델은 현실보다 복잡할 필요가 없다. 중요한 것은 얼마나 많은 계산을 했느냐가 아니라 어떤 데이터를 보고 있으며, 무엇을 예측하고 있고, 무엇을 아직 보지 못하고 있는지를 아는 것이다.

때로 더 나은 예측은 더 복잡하게 생각하는 데서 나오지 않는다.

필요한 만큼만 복잡해지는 것.

그것이 데이터가 허락하는 범위 안에서 미래를 읽는 가장 현실적인 태도일 수 있다.

출처

Balci Torun, F., Kayakuş, M., Kabas, O., Moiceanu, G., & Munteanu, M.-G. (2026). Food production index forecasting for sustainable food systems in Türkiye: A machine learning-based approach. Foods, 15, 2814. DOI: 10.3390/foods15162814.