수학 최적화가 여는 해석 가능한 인공지능의 세계
신경망, 이제 '왜' 그 답을 내놨는지도 설명한다
딥러닝은 무엇이든 예측할 수 있는 강력한 도구다. 하지만 언제나 따라붙는 한 마디가 있다.
“왜 그런 예측을 했는지는 알 수 없다.”
딥러닝, 특히 신경망 기반 회귀 모델은 종종 ‘블랙박스’라 불리며, 그 결과의 설명 가능성(Explainability)이 떨어진다는 비판을 받아왔다. 이런 한계를 해결하기 위해, 런던대학(UCL)과 킹스칼리지 런던(KCL) 연구진이 흥미로운 방법을 제안했다.
이들은 수학 최적화 기법, 특히 혼합정수선형계획(MILP)을 활용해, 신경망 내부에서 가장 중요한 입력 변수들만 골라내는 방법을 개발했다. 이름하여 TRUST다.
회귀 신경망의 약점: 복잡함과 불투명함
회귀(Regression)는 입력 변수로부터 연속적인 값을 예측하는 머신러닝의 대표 작업이다. 그런데 신경망 기반 회귀는 다음과 같은 문제를 안고 있다.
* 내부 구조가 복잡해 해석이 어렵고,
* 어떤 입력이 결과에 얼마나 영향을 줬는지 알 수 없으며,
* 설명 가능한 AI의 관점에서 보자면 '신뢰성'이 부족하다.
그렇다면, 중요한 입력만 남기고 나머지는 제거해버리면 어떨까? 단순해지면 이해도 쉬워진다. 하지만 어떤 변수를 남기고, 어떤 걸 버릴지를 결정하는 것이 문제다.
해답은 수학 최적화
연구진은 바로 이 문제를 수학 최적화 모델, 정확히는 MILP를 통해 해결했다.
핵심은 이렇다:
사전에 훈련된 신경망을 기반으로, 오차가 가장 적게 나는 변수 조합을 찾아내자.
단계는 다음과 같다.
1. 클러스터링(K-메도이드)으로 데이터를 대표하는 소수의 중심점만 남긴다.
2. MILP 모델을 구성해, 첫 번째 은닉층의 가중치를 조정하면서 ‘N개 변수만 선택’하도록 강제한다.
3. 선택된 변수들로 신경망을 다시 훈련하고, 성능을 측정한다.
4. 이 과정을 재귀적으로 반복하면서, 변수 중요도를 순서대로 확인한다.
이 방식은 단순히 좋은 예측 성능만이 아니라, 어떤 입력이 중요한지에 대한 직관적 설명도 함께 제공해준다.
기존 방법보다 더 뛰어난 성능
TRUST는 기존의 대표적인 변수 선택 방법들과 비교됐다. 예를 들면:
* 무작위 선택(Random)
* 가중치 기반 선택(Weight)
* 피어슨 상관계수 기반 선택(Pearson)
* SHAP 값 기반 선택(SHAP)
8개의 실제 회귀 데이터셋을 대상으로 비교한 결과,
TRUST는 거의 모든 조건에서 가장 낮은 예측 오차를 기록했다.
특히 변수 수가 줄어들수록 그 효과가 두드러졌다.
딥러닝 모델이 점점 블랙박스로 변할수록, 오히려 TRUST는 그 내부를 들여다볼 수 있는 렌즈 역할을 했다.
단순히 성능이 아닌 ‘설명력’까지 확보
TRUST의 가장 큰 장점은 ‘이해 가능성’이다.
모델이 어떤 예측을 했는지를 넘어, 왜 그런 예측을 했는지를 보여준다.
이 방식은 반복 제거 과정에서 각 변수가 몇 번 선택됐는지 기록한다.
선택 빈도가 높은 변수일수록 중요한 변수로 해석할 수 있고, 이는 전문가가 해석 가능한 정보로 연결된다.
예를 들어:
* 주택 가격 예측에서는 저소득층 비율(LSTAT)이 가장 중요한 변수로,
* 요트 수역 저항 예측에서는 프루드 수(Froude number)가 핵심 변수로 나타났다.
* 콘크리트 강도 예측에선 물 함량(Water Content)이 가장 중요했고,
* 확장 가능한 건물 냉난방 예측에서는 전체 높이(Overall Height)가 핵심이었다.
현실적인 한계와 향후 과제
물론 이 방법도 한계가 있다.
* MILP는 계산 비용이 높아, 변수 수가 많아지면 시간이 오래 걸린다.
* 사용자가 변수 수를 직접 정해야 하며, 이 숫자를 자동으로 결정하는 기준은 없다.
* CNN, RNN과 같은 복잡한 아키텍처에는 아직 적용이 어려울 수 있다.
하지만 연구진은 이 방식이 "실제 데이터를 해석 가능하게 다루는 데 있어 유효한 해법"임을 입증했다.
성능과 설명력의 균형, 그것이 이 연구가 진짜로 얻은 수확이다.
---
키워드:
#설명가능AI #피처선택 #혼합정수계획 #신경망해석 #수학최적화
출처 논문:
Liapis, G.I.; Tsoka, S.; Papageorgiou, L.G. *Optimisation-Based Feature Selection for Regression Neural Networks Towards Explainability*. Mach. Learn. Knowl. Extr. 2025, 7, 33.