자율주행차와 산업제어 시스템의 위험 인식 차이: 인간-인공지능 상호작용의 미래를 그리다
서론: 왜 위험 인식이 중요한가?
인공지능(AI)이 산업과 일상생활 전반으로 확장되면서, 시스템이 위험을 어떻게 "인지"하고 "대응"하느냐는 문제가 점점 더 중요해지고 있다. 전통적인 산업 제어 시스템(Process Control System, 이하 PCS)과 자율주행차(Autonomous Vehicles, 이하 AV)는 모두 복잡한 시스템이지만, 위험에 대응하는 방식은 확연히 다르다. 최근 논문에서는 이 두 시스템의 사고 사례 60건을 비교 분석해, 위험 인식 메커니즘과 인간-기계 상호작용의 문제점을 규명했다.
본론
위험의 본질: 내부 vs 외부
PCS는 주로 화학공장, 발전소 등에서 사용되며, 폐쇄적이고 구조화된 환경에서 작동한다. 이 시스템의 위험은 대부분 내부에서 발생한다. 예를 들어, 센서 오작동, 화학 반응의 이상 등이다. 이러한 위험은 규칙 기반(rule-based) 시스템으로 감지 가능하다.
반면, AV는 예측 불가능한 외부 세계를 상대해야 한다. 보행자, 다른 차량, 날씨 등 수많은 변수가 위험 요소로 작용한다. AV는 확률 기반(probabilistic) 센서 융합 기술로 환경을 해석하며, 위험을 인식하고 대응하려 한다. 하지만 이 과정에서 종종 "경계 상황(edge case)"에서 오작동하거나 판단 오류를 범한다.
인식 패러다임의 구조적 차이
PCS는 압력, 온도, 유량 등의 단일 센서를 기반으로, 명확한 경계값을 넘으면 경보를 울리거나 자동 정지하는 구조다. 이 방식은 해석이 명확하고 투명하지만, 예기치 못한 상황에는 유연하지 못하다.
반면 AV는 LiDAR, 레이더, 비전 카메라 등 다중 센서를 이용하며, 머신러닝 기반의 판단을 수행한다. 이로 인해 새로운 상황에 적응할 수 있는 반면, 해석 불가능성(black box) 문제가 생긴다. 즉, 시스템이 왜 그런 판단을 했는지 설명이 어렵다.
인간-기계 상호작용의 함정
놀라운 점은 두 시스템 모두에서 사고의 주된 원인은 기술 그 자체보다는 인간과의 상호작용 문제였다. 논문 분석에 따르면, PCS 사고의 76.7%, AV 사고의 96.7%가 인간 관련 오류에서 기인했다. 이에는 다음과 같은 유형이 포함된다:
- 자동화에 대한 과신: 사용자가 시스템을 너무 신뢰해 개입이 늦어짐
- 수동적 감시: 모니터링 피로로 인한 집중력 저하
- 모드 혼동: 시스템 상태를 잘못 이해해 잘못된 대응
PCS에서는 조작자가 적극적으로 개입하지만, 경보 피로(alarm fatigue)와 정보 과부하가 문제다. 반면 AV에서는 사용자가 거의 개입하지 않다가 갑작스러운 개입을 요구받는다. 이로 인해 즉각적인 반응이 어려워 사고로 이어진다.
서로에게 배울 점은?
PCS는 AV로부터 다중 센서 융합과 예측 기반 모델링을 배울 수 있다. 반면 AV는 PCS의 투명한 판단 로직과 명확한 경보 체계를 도입해 해석 가능성과 신뢰성을 높일 수 있다. 또한, 둘 모두 사용자 중심 인터페이스 설계, 명확한 경고 시스템, 역할 분담의 재정의가 필요하다.
개인적으로 흥미로웠던 점은, 이 연구가 기존 AI 기반 시스템의 한계를 인간과의 상호작용 측면에서 풀어낸 방식이다. 많은 기술 논문들이 기술 자체의 성능 개선에만 집중하는 반면, 이 논문은 인간의 인지 한계, 행동 패턴을 중심에 놓고 기술을 해석한다는 점에서 인상 깊었다.
또한 이 연구는 향후 AI가 PCS에 통합될 경우 어떤 문제가 생길 수 있는지를 예측한다. 이는 단순한 비교 연구를 넘어, 미래 산업안전 설계의 방향성을 제시하는 통찰로 평가할 수 있다.
결론: 인간 중심의 AI 시스템을 위하여
결국, 위험 인식에서 중요한 것은 기술이 얼마나 똑똑하냐가 아니라, 인간과 얼마나 잘 협력할 수 있느냐다. AV와 PCS 모두에서, 인간이 시스템을 완벽히 이해하지 못하거나, 시스템이 인간의 반응을 고려하지 않은 설계로 인해 사고가 발생했다. 따라서 다음과 같은 개선이 필요하다:
- 혼합형 위험 인식 체계: 규칙 기반과 확률 기반을 통합한 모델
- 투명한 인터페이스: 사용자가 시스템의 상태와 판단 근거를 이해할 수 있도록 설계
- 적극적 경보 시스템: 알림의 우선순위 설정과 사용자 행동 유도
- 훈련과 교육 강화: 시스템의 한계와 사용법에 대한 체계적 교육
AI가 더욱 고도화될수록, 인간은 그 내부 로직을 이해하기 어려워진다. 그렇기에 오히려 시스템은 인간의 행동 방식을 이해하고, 이에 맞춰 자신을 조정해야 한다. 이 연구는 그러한 방향 전환의 필요성을 강하게 시사한다.
출처 논문
Wen, H., Sajid, Z., & Arunthavanathan, R. (2025). Risk Perception in Complex Systems: A Comparative Analysis of Process Control and Autonomous Vehicle Failures. AI, 6(164). https://doi.org/10.3390/ai6080164