사람의 ‘예측’을 읽는 가상현실, 뇌가 먼저 움직이기 시작한다
공이 날아오기 전, 이미 뇌는 답을 알고 있다
테니스공이 날아오기 전,
사람의 눈은 이미 공이 나올 자리를 바라본다.
그리고 가상현실은 그 시선을 읽는다.
뇌가 무엇을 예상하는지,
기계가 먼저 알아차린 것이다.
영국 연구진이 개발한 새로운 가상현실 기술은
사람의 ‘주의(attention)’를 따라가는 수준을 넘어
사람의 예측(prediction) 자체를 계산해 환경을 바꾼다.
이 기술의 이름은
Prediction-based Attention Computing,
줄여서 PbAC다.
단순한 VR 게임 실험이었지만,
이 연구는 “기계가 인간의 뇌 상태를 실시간으로 읽고 반응하는 시대”의
시작을 알린다.
뇌는 세상을 ‘보는’ 것이 아니라 ‘맞히고’ 있었다
우리는 보통
눈으로 보고, 생각하고, 움직인다고 믿는다.
하지만 뇌과학은 오래전부터
다른 이야기를 해왔다.
뇌는 세상을 그대로 받아들이는 장치가 아니라
항상 “다음에 무엇이 올지”를 예측하는 기관이라는 것이다.
이를 예측 처리 이론이라 부른다.
뇌는 끊임없이 가설을 세운다.
“공은 아마 왼쪽에서 나올 거야.”
그리고 실제 결과가 다르면
그 차이만큼 놀라고, 배우고, 전략을 바꾼다.
이 ‘차이’를
과학자들은 예측 오류(prediction error)라고 부른다.
이번 연구의 핵심은 바로 이것이었다.
이 예측 오류를
가상현실 속에서 실시간으로 만들어낼 수 있을까?
가상 라켓볼 코트에서 벌어진 실험
연구진은 참가자들을
가상현실 라켓볼 코트에 세웠다.
정면 벽에는
공이 나올 수 있는 두 개의 구멍이 있었다.
참가자는 공이 튀어나오면
컨트롤러로 라켓을 휘둘러 맞혀야 했다.
중요한 건
공이 나오기 직전의 순간이었다.
VR 헤드셋에 달린 시선 추적 장치는
참가자의 눈이
왼쪽을 보고 있는지, 오른쪽을 보고 있는지를
0.05초 단위로 기록했다.
그 시선은
곧 참가자의 예측이었다.
“아, 이 사람은 지금
왼쪽에서 공이 나올 거라고 믿고 있구나.”
PbAC 시스템은
바로 그 생각을 읽었다.
그리고 결정을 내렸다.
예상대로 공을 보낼 것인가,
아니면
완전히 반대로 공을 던질 것인가.
일부러 ‘배신당하는’ 가상현실
실험에서 공은
대부분 참가자의 예측대로 나왔다.
하지만
20%의 순간에는 달랐다.
눈은 왼쪽을 보고 있었는데,
공은 오른쪽에서 튀어나왔다.
그 순간
참가자의 몸과 뇌는 혼란에 빠졌다.
라켓은 늦었고,
시선은 흔들렸으며,
눈동자는 순간적으로 커졌다.
이 동공 확장은
뇌가 “이건 예상 못 했다”고
크게 반응했다는 신호였다.
연구 결과는 분명했다.
PbAC 환경에서
사람들은 실제로 더 크게 놀랐다.
그리고 그 놀람은
기존의 확률 기반 실험보다
비슷하거나, 때로는 더 강했다.
기계가
사람의 예측을 ‘노려서’ 어겼기 때문이다.
뇌를 흉내 낸 컴퓨터, 사람처럼 학습했다
연구진은
단순히 행동만 본 것이 아니었다.
컴퓨터 모델을 사용해
참가자의 내부 상태를 계산했다.
“이 사람은
얼마나 빠르게 믿음을 바꾸는가?”
“예상과 현실이 어긋났을 때
얼마나 크게 충격을 받는가?”
그 결과
가장 인간의 행동을 잘 설명한 모델은
계층적 가우시안 필터(HGF)였다.
쉽게 말해,
사람은 단순히 틀리면 배우는 게 아니라
“세상이 얼마나 변덕스러운가”까지
함께 계산하고 있었다.
PbAC는
이 복잡한 뇌의 계산 흐름을
실험실이 아닌
실시간 가상현실에서 끌어냈다.
이 점이
이번 연구가 개념 증명을 넘어
기술적 전환점으로 평가받는 이유다.
치료, 교육, 훈련… 가상현실의 역할이 달라진다
이 기술이 의미하는 것은 크다.
앞으로의 가상현실은
단순한 시뮬레이션이 아닐 수 있다.
사용자가
지금 무엇을 기대하고 있는지,
얼마나 불안한지,
얼마나 놀라고 있는지를 읽고
그에 맞춰
환경을 조절하는 시스템이 될 수 있다.
자폐 스펙트럼 치료,
운동 학습과 재활,
파일럿이나 스포츠 선수 훈련까지.
“지금은 너무 쉽다.”
“지금은 너무 어렵다.”
이 판단을
사람 대신 뇌가 직접 말해주는 시대.
PbAC는
그 첫 문을 열은 것이다.
기술은 이제 ‘반응’이 아니라 ‘공감’을 배운다
이번 연구는
완성된 기술이 아니다.
아직은 단순한 공 하나,
단순한 예측만을 다뤘다.
하지만 방향은 분명하다.
기계는 이제
사람의 행동 뒤가 아니라
사람의 생각 앞에 서기 시작했다는 의미다.
무엇을 볼지,
무엇을 기대하는지,
무엇에 놀랄지를 먼저 읽는다.
가상현실은
점점 더 현실처럼 변하는 것이 아니라,
점점 더
뇌처럼 변하고 있는 중이다.
출처
Arthur, T., Borg, D., Wang, Y., Harris, D., Vine, S., Buckingham, G., Wilson, M., & Brosnan, M. (2026). Prediction-based attention computing: A proof of concept study. Virtual Reality. https://doi.org/10.1007/s10055-025-01307-w