AI를 믿으려면 먼저 검증 가능한 신뢰 인프라가 필요하다

새로운 연구는 AI 신뢰의 핵심이 기술이 아니라 기록·검증·감사 체계에 있다고 설명했다

AI가 점점 더 많은 판단을 대신하는 시대가 됐다. 병원에서는 진단을 돕고, 정부는 행정 업무에 활용하며, 기업은 채용과 대출 심사에도 AI를 사용하기 시작했다.

하지만 사람들은 여전히 같은 질문을 던진다.

“AI가 내린 판단을 왜 믿어야 할까?”

최근 국제 학술지 AI에 발표된 일본 군마대학교 연구진의 논문은 이 질문에 색다른 답을 제시했다. 연구진은 AI를 신뢰하기 위해서는 더 똑똑한 AI를 만드는 것만으로는 부족하다고 주장했다. 대신 AI가 어떤 규칙에 따라 판단했는지 검증하고, 그 기록을 남기고, 나중에 독립적으로 감사할 수 있는 신뢰 인프라가 필요하다고 설명했다.

이 논문의 핵심 메시지는 간단하다.

신뢰는 선언으로 생기는 것이 아니라 검증 가능한 구조에서 나온다.

코로나19 추적 앱은 기술적으로 성공했지만 사회적으로는 실패했다

연구진은 먼저 코로나19 시기의 접촉 추적 앱 사례를 분석했다.

일본의 COCOA, 독일의 Corona-Warn-App, 영국 NHS 앱 등은 블루투스 기술을 이용해 감염자와 접촉한 사람을 자동으로 알려주는 시스템이었다.

기술적으로는 상당히 정교했다. 개인정보를 최소한으로 수집했고 중앙 서버에 데이터를 저장하지 않는 방식도 도입됐다.

하지만 많은 나라에서 기대했던 수준의 효과는 나오지 않았다.

이유는 단순했다. 사람들이 앱을 설치하지 않았고, 설치해도 꾸준히 사용하지 않았으며, 확진 후에도 정보를 등록하지 않는 경우가 많았기 때문이다.

연구진은 이 현상을 중요한 교훈으로 해석했다. 기술적으로 훌륭한 시스템이라도 시민이 신뢰하지 않으면 사회적 측정 자체가 불가능하다는 것이다.

온도계는 온도를 측정하는 것을 거부하지 않는다. 하지만 사람은 자신의 정보가 어떻게 사용되는지 의심하면 협조하지 않는다.

즉 사회를 측정하는 기술은 물리량을 측정하는 기술과 본질적으로 다르다.

연구진은 140년 된 켈빈 원리를 AI 시대에 맞게 확장했다

논문은 영국 물리학자 윌리엄 톰슨의 유명한 원리에서 출발한다.

켈빈은 1883년 측정할 수 있어야 이해할 수 있고, 이해할 수 있어야 통제할 수 있다는 취지의 말을 남겼다.

이 원리는 현대 과학의 기본 철학이 됐다.

연구진은 여기에 두 단계를 추가했다.

기존 켈빈 원리는 측정 → 이해 → 통제다.

확장된 켈빈 원리는 신뢰 인프라 → 사회적 신뢰 → 사회적 측정 → 사회적 이해 → 사회적 통제다.

즉 AI 시대에는 측정 이전에 신뢰가 필요하고, 신뢰 이전에는 신뢰를 만들어내는 인프라가 필요하다는 주장이다.

연구진은 이를 Extended Kelvin Principle이라고 불렀다.

사람들은 AI 자체보다 AI를 운영하는 체계를 신뢰한다

논문은 사람들이 실제로 신뢰하는 대상이 AI 모델 자체가 아니라고 설명한다.

대부분의 사람은 거대한 언어모델 내부가 어떻게 작동하는지 이해하지 못한다.

중요한 것은 누가 AI를 운영하는지, 어떤 규칙을 적용하는지, 문제가 생기면 누가 책임지는지, 결과를 검증할 수 있는지, 기록이 남는지다.

즉 사람들은 알고리즘보다 제도를 신뢰한다.

독일의 코로나 앱 연구에서도 시민들은 앱 자체보다 정부, 개발자, 기관, 데이터 관리 체계를 종합적으로 평가해 신뢰 여부를 결정한 것으로 나타났다.

연구진은 이를 사회적 신뢰라고 설명한다.

현재 AI 규제는 가장 중요한 부분을 놓치고 있다

논문은 기존 AI 규제를 입력 규제, 내부 규제, 출력 규제로 구분했다.

입력 규제는 AI가 어떤 데이터를 수집할 수 있는지 규정한다. 대표적으로 개인정보보호법이나 GDPR이 있다.

내부 규제는 설명 가능한 AI, 모델 카드, 알고리즘 감사처럼 AI 내부를 들여다보려는 시도다.

출력 규제는 유해 콘텐츠 차단이나 안전 필터처럼 결과물을 관리하는 방식이다.

연구진은 세 접근법 모두 중요하지만 결정적인 문제가 있다고 지적한다.

AI가 최종적으로 사회에 영향을 미치는 것은 입력도 아니고 내부 구조도 아니다. 실제로 사람들에게 영향을 주는 것은 출력이다.

의료 진단 결과, 채용 추천, 대출 심사 결과, 정책 권고, 법률 조언, 행정 판단이 모두 여기에 해당한다.

따라서 AI 거버넌스의 핵심은 출력이 어떤 규칙에 따라 생성됐는지 검증할 수 있어야 한다는 것이다.

연구진은 AI 출력용 국제 표준 언어 GLO를 제안했다

논문은 GLO, 즉 Guide to the Expression of Legitimacy of Output를 제안했다.

쉽게 말하면 AI가 결과를 내놓을 때 함께 제출해야 하는 설명서다.

여기에는 출력 ID, 생성 시각, 운영 기관, 사용자 정보, 출력 종류, 위험 수준, 적용된 규칙, 합법성 신뢰도, 판단 근거, 결과 해시값이 포함된다.

특히 중요한 요소는 Legitimacy Confidence, 즉 L이라는 수치다.

이는 AI가 자신의 판단이 규칙에 얼마나 부합하는지를 0부터 1 사이 값으로 표현한 것이다.

1에 가까울수록 규칙을 충실히 따랐다는 의미다.

하지만 연구진은 숫자만 제시해서는 안 된다고 강조한다.

왜 그런 점수가 나왔는지 설명하는 Legitimacy Budget도 함께 제출해야 한다고 주장했다.

이는 과학 측정에서 오차 계산 근거를 함께 제시하는 방식과 비슷하다.

AI의 판단 기록을 블록체인처럼 저장하는 VRAIO 구조를 설계했다

논문의 가장 독창적인 부분은 VRAIO, 즉 Verifiable Record of AI Output라는 구조다.

VRAIO는 AI 출력 선언, 규칙 검증, 위변조 방지 기록, 독립 감사를 결합한다.

AI가 어떤 결과를 생성하면 먼저 기록 기관에 보고한다.

기록 기관은 해당 결과가 규칙에 맞는지 확인한다.

검증이 끝나면 기록을 위변조가 어려운 저장소에 남긴다.

이후 독립 감사 기관이 무작위로 결과를 검사한다.

만약 AI 운영자가 거짓 정보를 기록한 것이 발견되면 강력한 제재를 받는다.

연구진은 이 구조가 중요한 이유를 설명한다. 모든 출력을 실시간으로 감시하지 않아도 되기 때문이다.

대신 거짓말이 발각되면 손해가 너무 큰 환경을 만들면 거짓 기록 자체가 비합리적 선택이 된다는 것이다.

AI 판단의 진위를 다시 계산할 수 있는 검증 전용 AI도 제안했다

연구진은 Rule-Judgment AI라는 별도 시스템도 제안했다.

이 시스템은 AI가 제출한 근거를 이용해 같은 계산을 다시 수행한다.

결과가 동일하게 나오면 문제가 없다.

하지만 값이 다르면 허위 보고 가능성이 드러난다.

연구진은 이를 과학 실험의 재현성과 비교했다.

누군가 실험 결과를 발표했을 때 다른 연구자가 동일한 실험을 반복해 같은 결과를 얻어야 신뢰할 수 있는 것과 같은 원리다.

AI의 판단 역시 재계산 가능해야 한다는 것이다.

실종 아동 수색 사례는 왜 목적과 범위를 동시에 검증해야 하는지 보여준다

논문은 공공장소 감시 시스템을 예시로 들었다.

AI가 실종 아동을 찾는 상황을 가정했다.

이 경우 목적은 매우 정당하다. 아이를 보호하기 위한 것이다.

하지만 그렇다고 해서 모든 시민의 이동 경로를 무제한으로 추적할 수 있는 것은 아니다.

연구진은 여기서 목적의 정당성과 내용의 정당성을 구분했다.

목적의 정당성은 실종 신고가 실제로 접수됐는지, 법적 권한이 존재하는지를 따진다.

내용의 정당성은 아이를 찾는 데 필요한 범위까지만 조사했는지, 관계없는 사람의 정보를 과도하게 수집하지 않았는지를 따진다.

AI의 판단은 목적과 내용이 모두 정당해야만 허용될 수 있다는 설명이다.

신뢰는 AI 성능이 아니라 사회적 검증 체계에서 만들어진다

이 논문이 던지는 가장 중요한 메시지는 의외로 단순하다.

AI가 아무리 똑똑해져도 사람들은 자동으로 신뢰하지 않는다.

신뢰는 정확도에서만 나오지 않는다.

누가 운영하는지, 어떤 규칙을 따르는지, 기록이 남는지, 나중에 검증할 수 있는지가 함께 갖춰져야 한다.

연구진은 이를 측정 과학의 역사와 비교한다.

오늘날 사람들은 온도계 수치를 믿는다. 온도계가 완벽해서가 아니다.

국제 표준, 교정 체계, 감사 시스템, 검증 절차가 존재하기 때문이다.

AI 역시 같은 길을 걸어야 한다는 것이 이 연구의 결론이다.

미래의 AI 경쟁은 더 큰 모델을 만드는 경쟁만이 아닐 수 있다. 오히려 사회가 신뢰할 수 있는 검증 인프라를 누가 먼저 구축하느냐가 중요한 경쟁력이 될 가능성이 커지고 있다.

출처

Fujii, Y. (2026). No Trust Without Trust Infrastructure: The Extended Kelvin Principle and Its Application to AI Output Governance. AI, 7(6), 218. MDPI. https://doi.org/10.3390/ai7060218