환경과학 속 XAI와 신뢰의 딜레마
설명은 충분한데, 왜 믿을 수 없을까?
서론: AI와 환경과학의 만남, 그리고 '설명 가능한 AI(XAI)'의 필요성
기후변화, 생물 다양성 감소, 자연재해 등은 이제 단순한 환경 이슈를 넘어 인류 생존과 직결되는 문제다. 이런 복잡한 지구 시스템을 이해하고 대응하기 위해 최근 몇 년간 인공지능(AI), 특히 기계학습(ML)과 딥러닝(DL)이 활발히 활용되고 있다. 하지만 강력한 예측력을 자랑하는 이들 모델은 종종 "블랙박스"로 불리며, 내부 작동 원리를 이해하기 어렵다는 비판을 받는다. 이때 중요한 개념이 바로 '설명 가능한 인공지능(Explainable AI, XAI)'이다.
이 논문은 XAI가 환경 및 지구 시스템 과학에서 어떻게 활용되고 있는지를 종합적으로 분석한 최초의 리뷰 연구다. 특히 단순한 모델 해석을 넘어서, AI 결과에 대한 '신뢰(Trust)' 문제까지 다루며, 앞으로 이 분야가 나아가야 할 방향을 제시하고 있다.
본론
1. XAI란 무엇인가?
XAI는 기계학습 모델의 결정을 사람이 이해할 수 있도록 설명하는 기술이다. 크게 두 가지 유형으로 나뉜다. 첫째는 모델-내재적 해석(interpretable models), 즉 선형 회귀나 결정 트리처럼 구조 자체가 해석 가능한 모델이다. 둘째는 사후적 설명(post-hoc explanation)으로, 랜덤 포레스트나 신경망 같은 복잡한 모델의 결과를 나중에 해석하는 방법이다. SHAP, LIME, PDP 같은 방법이 대표적이다.
이 연구에 따르면 환경과학에서는 주로 후자의 XAI 방법들이 사용되고 있으며, 이들 중 SHAP(Shapley Additive exPlanations)가 가장 인기가 높다.
2. 환경과학에서 XAI는 어디에 쓰이나?
리뷰 대상이 된 575개의 논문 중 대부분은 생태계, 대기질, 수자원, 도시계획, 기후위험 관리 등 인간-환경 상호작용을 다루는 주제에서 XAI를 활용하고 있었다. 특히 공간 및 시계열 데이터에 대한 모델 해석이 핵심이었다.
흥미로운 점은 대부분의 연구가 XAI를 통해 '무엇이 중요한 변수인가?', '변수가 결과에 어떤 영향을 주는가?'를 밝히는 데 초점을 두고 있다는 점이다.
3. SHAP이 압도적으로 인기인 이유는?
SHAP은 지역적(local) 해석과 전역적(global) 해석 모두 가능하며, 다양한 시각화 도구가 있어 사용자 친화적이다. 예컨대, 한 변수의 변화가 전체 예측에 얼마나 영향을 주는지를 요약 플롯, 상관 플롯 등으로 한눈에 볼 수 있다.
하지만 이 논문은 SHAP의 과잉 의존에 대한 문제도 제기한다. 특히 환경과학에서는 공간적 자기상관이나 다중공선성 같은 특수한 데이터 특성이 많아, SHAP이 항상 적합한 도구가 아닐 수 있다.
4. 설명은 많은데, '신뢰'는 부족하다
놀랍게도 575개의 논문 중 실제로 '신뢰(Trust)'를 주요 연구 목표로 삼은 것은 단 7편(1.2%)뿐이었다. 이처럼 '설명'과 '신뢰' 사이의 관계를 과학적으로 검증한 연구는 매우 드문 실정이다.
이는 특히 환경과학 분야에서 심각한 문제다. 예측 결과는 중요하지만, 정책 결정자는 왜 그런 결과가 나왔는지, 그 결과를 믿어도 되는지에 대한 확신이 있어야 한다.
5. 왜 '사람 중심 XAI'가 필요한가?
논문은 'Human-Centered XAI' 개념을 강조한다. 이는 단순히 기술적 설명을 넘어서, 다양한 이해당사자(모델 개발자, 최종 사용자, 정책 결정자 등)의 관점과 요구를 고려해야 한다는 것이다.
이런 맞춤형 설명을 위해서는 사회과학 기반의 사용자 조사, 인터뷰, 선택 실험 등이 필요하다. 하지만 현재까지 환경과학에서 이런 연구는 거의 이루어지지 않고 있다.
결론: XAI, 단순 기술을 넘어서 신뢰받는 도구가 되기 위한 길
이 논문은 XAI가 환경과학에서 단순한 예측 도구를 넘어서, 지식 생성, 의사결정, 과학적 소통을 위한 중요한 역할을 한다는 점을 보여준다. 하지만 아직도 많은 도전과제가 남아 있다.
따라서 앞으로의 연구는 다음과 같은 방향으로 나아가야 한다:
- 다양한 XAI 방법의 비교와 평가
- 공간/시계열 데이터에 특화된 XAI 방법 개발
- 사용자 맞춤형 설명 포맷 개발
- 사회과학 기반의 '신뢰 형성' 연구와 설계
이러한 노력이 모이면, XAI는 단순한 기술을 넘어 사람이 신뢰하고 활용할 수 있는 도구로 거듭날 수 있을 것이다.
출처논문:
Schiller, J., Stiller, S., & Ryo, M. (2025). Artificial intelligence in environmental and Earth system sciences: explainability and trustworthiness. Artificial Intelligence Review, 58, 316. https://doi.org/10.1007/s10462-025-11165-2