가상현실 회의에서 말문이 막히는 이유와 해결책
인공지능과 센서 기술로 묻혀 있던 발언 의도를 찾아내어 회의 리더에게 전달하는 방법
최근 비대면 업무와 원격 협업이 늘어나면서 가상현실 환경을 활용한 가상현실 회의가 주목을 받고 있다. 그러나 많은 가상현실 회의 참가자들이 대면 회의보다 소통이 어렵다고 느낀다. 왜 가상현실 환경에서는 유독 의견을 내거나 대화에 참여하는 타이밍을 잡기 어려울까.
가장 큰 원인은 가상현실 공간 속 아바타가 인간의 미세한 얼굴 표정이나 몸짓, 시선 같은 비언어적 신호를 완벽하게 표현하지 못하기 때문이다.
이러한 소통의 한계를 극복하기 위해 규슈대학교 연구진은 센서 기술과 인공지능을 결합하여 참가자들의 숨겨진 발언 의도를 감지하고, 이를 리더에게 적절한 타이밍에 피드백으로 제공하는 시스템 구조를 연구했다.
연구진은 가상현실 회의 중 리더가 언제 피드백을 받기를 원하는지, 그리고 어떤 형태의 정보를 선호하는지를 생체 신호 분석과 행동 분석을 통해 과학적으로 규명했다.
이 글에서는 가상현실 회의에서 소통의 효율성을 높이기 위해 인공지능 감지 기술을 어떻게 리더의 관리 방식과 결합해야 하는지, 그리고 왜 생체 신호가 안정적인 순간에 피드백이 전달되어야 효과적인지 상세한 메커니즘을 설명한다.
가상현실 속 아바타가 말하고 싶은 아쉬움을 감추는 원인
대면 회의에서는 누군가 말을 하려 할 때 숨을 고르거나, 상체를 앞으로 숙이거나, 리더와 시선을 마주치는 등 무의식적인 행동을 보인다. 리더는 이러한 비언어적 단서를 보고 자연스럽게 발언권을 넘긴다. 반면 가상현실 회의에서는 기기의 화면 시야각이 제한되어 주변 상황을 한눈에 파악하기 어렵고, 아바타의 움직임이 단순하여 조용히 기회를 기다리는 참가자의 상태를 알아채기 힘들다.
일반적인 화상 회의나 가상현실 플랫폼에 있는 손들기 버튼 기능은 이 문제를 완벽히 해결하지 못한다.
손들기 기능은 참가자가 스스로 확신을 가지고 행동해야만 작동하기 때문이다. 자신감이 부족하거나 사회적 불안감을 느끼는 참여자는 말하고 싶은 내용이 있어도 선뜻 버튼을 누르지 못하고 주저하게 된다. 따라서 대화 구조를 수동적인 신호에만 의존하게 되면 특정 몇 명만 대화를 독점하는 불균형한 회의 흐름이 만들어지기 쉽다.
인공지능이 발견한 발언 의도를 리더에게 전달할 때 생기는 걸림돌
최근 기술의 발전으로 참가자의 시선이나 미세한 움직임을 기반으로 인공지능이 발언 의도를 감지하는 모델이 개발되었다. 인공지능이 숨은 소통 의지를 직접 읽어낼 수 있게 된 것이다. 하지만 이 정보를 회의를 이끄는 리더에게 무작정 화면에 보여주는 방식은 오히려 부작용을 낳을 수 있다.
인공지능의 감지 신호는 가시적인 행동이 아니라 사람의 내면적 상태를 나타내므로 리더가 직관적으로 해석하기 까다롭다.
만약 회의 중에 너무 잦은 빈도로 참가자들의 발언 확률이 화면에 깜빡거리며 나타난다면, 리더는 대화 내용을 파악하는 동시에 데이터까지 분석해야 하므로 극심한 인지적 과부하 상태에 빠지게 된다. 또한, 자신이 아직 말할 준비가 완전히 되지 않았는데 시스템이 강제로 발언 의도를 리더에게 노출하는 것에 대해 참가자들이 프라이버시 침해나 사회적 압박감을 느끼를 우려도 존재한다.
연구진은 왜 회의 리더의 심장 박동 변화를 추적했을까
규슈대학교 연구진은 이러한 정보 과부하와 타이밍 문제를 해결하기 위해, 회의를 진행하는 리더 본인의 신체 상태에 주목했다. 회의 도중 리더가 새로운 정보(피드백)를 수용할 수 있는 최적의 상태가 언제인지를 파악하고자 한 것이다. 이를 위해 대학원생 24명을 대상으로 4인 1조의 가상현실 생존 게임 토론 실험을 설계하고, 리더에게 심전도 측정이 가능한 가슴 스트랩형 심장 박동 센서를 착용시켰다.
연구진은 리더의 심박수와 심박 변이도를 실시간으로 수집했다. 심박 변이도는 심장 박동과 박동 사이의 시간 간격이 얼마나 미세하게 변하는지를 나타내는 지표로, 스트레스 수준이나 인지적 긴장도를 민감하게 반영한다.
실험이 끝난 후 리더들은 자신이 진행했던 회의 영상을 다시 보며 "이 순간에 인공지능의 발언 의도 알림을 받았다면 진행에 정말 도움이 되었을 것 같다"고 판단되는 지점을 정밀하게 기록했다. 이 주관적 기록과 센서로 측정된 생체 신호 데이터를 시계열로 일치시켜 최적의 타이밍 메커니즘을 분석했다.
리더는 스트레스가 정점일 때가 아니라 편안한 변화의 순간을 원했다
분석 결과는 통념과 조금 달랐다. 리더들이 피드백을 가장 절실히 원하고 수용하기 좋다고 느낀 시점은 스트레스 지수가 엄청나게 높은 위기 순간이 아니었다. 오히려 심박수가 안정적이고 심박 변이도가 높아 정서적으로 편안한 기저 상태를 유지하고 있으면서, 동시에 짧은 기간의 생체 신호 변동이 일어나는 순간이었다.
이러한 신체적 상태는 리더가 완벽하게 경직되어 있거나 반대로 통제 불능의 스트레스를 받는 상태가 아님을 뜻한다. 심리학적으로는 리더가 주변 상황을 차분히 관찰하면서 대화 흐름을 바꿀 준비를 하는 능동적 인지 조절 과정에 있음을 시사한다.
즉, 뇌가 주변 참여자들의 반응을 수용할 만한 정신적 여유 자원을 가지고 있는 상태일 때, 시스템이 제공하는 발언 의도 피드백을 가장 유용하게 받아들였다. 정보의 유용성은 리더가 정보를 받아들일 수 있는 신체적, 정신적 준비 상태와 직결되어 있었다.
리더가 직접 말을 많이 하고 있을 때 오히려 정보가 필요했던 이유
연구진은 비디오 녹화본을 바탕으로 대화 소통 구조를 여러 단계로 분류하여 행동 코딩 연구를 병행했다. 리더가 혼자 설명하는 단계, 리더와 멤버가 주고받는 단계, 리더는 가만히 있고 멤버들끼리 격렬하게 토론하는 단계 등으로 나누어 피드백 요청 시점과 비교했다.
일반적으로 리더는 자신이 침묵하며 관찰할 때 피드백을 원할 것이라 예상하기 쉽다. 그러나 실제 통계 데이터에서는 리더가 회의를 주도하며 설명을 이어가거나 질문을 던지는 리더 중심의 대화 제어 단계에서 피드백 요구가 가장 높게 나타났다.
리더는 자신이 발언을 이끌어 나가면서도 머릿속으로는 다음 발언자로 누구를 지목해야 회의가 끊기지 않고 부드럽게 이어질지 끊임없이 고민하기 때문이다. 대화를 매끄럽게 독려하기 위해 눈에 보이지 않는 멤버들의 발언 준비 상태를 수시로 확인하고 싶어 하는 심리가 반영된 결과이다.
정확한 확률 수치보다 얼마나 오래 기다렸는가에 대한 지속 시간이 중요했다
인공지능의 분석 결과를 어떤 디자인으로 보여주어야 리더가 쓰기 편할까. 연구진은 설문조사를 통해 세 가지 속성인 발언 의도의 발생 빈도, 실시간 확률, 그리고 지속 시간에 대한 리더들의 선호도를 조사했다.
그 결과 리더들은 매 순간 격렬하게 변하는 실시간 확률 그래프보다, 특정 참가자가 발언 의지를 품고 있는 상태가 얼마나 지속되었는지를 알려주는 지속 시간 기반의 지표를 가장 강력하게 선호했다. 인공지능이 순간적으로 오작동하여 발언 확률을 잘못 계산하더라도, 3분 정도의 누적된 시간 범위 안에서 지표를 정제하여 보여주면 일시적인 기계적 오류가 감쇄되는 효과가 있다. 리더 입장에서도 "A 참가자가 최근 몇 분 동안 계속 의견을 내려는 움직임을 보였다"는 형태의 축적된 정보가 회의의 템포를 조절하고 소외된 참여자를 챙기는 데 훨씬 실용적이고 직관적인 단서가 된다.
익명성 보장보다 발언자가 누구인지 확실히 아는 것을 선호했다
피드백의 공개 범위에 대해서도 흥미로운 결과가 도출되었다. 통상적으로 개인의 심리나 숨겨진 의도를 다룰 때는 익명성을 선호할 것이라 생각하기 쉽지만, 회의 리더들의 압도적인 다수는 실명이 연결된 비익명성 피드백을 요구했다.
누구의 발언 의도가 높은지 명확히 식별할 수 있어야만 리더가 해당 참가자의 이름을 부르며 자연스럽게 의견을 물어보는 타겟형 회의 촉진이 가능하기 때문이다.
다만, 이러한 실명 기반의 정보가 회의 공간에 있는 모든 사람에게 공개된다면 소극적인 참가자는 감시당한다는 느낌을 받거나 큰 부담을 느끼게 된다. 따라서 연구진은 발언 의도 감지 데이터를 전체 공개로 띄우는 대신, 오직 리더의 개인 화면이나 시야 주변부에만 비밀스럽게 표시되는 비대칭적 시각화 구조를 제안했다. 이 방식을 취하면 일반 참가자의 심리적 프라이버시를 보호하면서도 리더의 회의 운영 권한을 정교하게 보조할 수 있다.
상황에 맞추어 스스로 변하는 지능형 가상현실 피드백 시스템의 미래
연구 결과가 제시하는 최종 결론은 명확하다. 미래의 가상현실 협업 시스템은 인공지능이 데이터를 감지했다고 해서 화면에 무조건 정보를 뿌려주는 일방향적 방식을 벗어나야 한다. 리더의 생체 신호 수용성과 현재 회의의 소통 맥락이라는 두 가지 필터를 동시에 고려하는 맥락 인식형 적응형 인터페이스로 진화해야 한다.
예를 들어 리더가 한창 열정적으로 긴 발표를 수행 중일 때는 생체 신호가 수용 가능 상태이더라도 대화 흐름을 방해하지 않도록 발언 의도 표시를 화면 외곽에 아주 옅은 투명 막대 형태로 은은하게 노출한다.
반면 대화가 뚝 끊겨 모두가 침묵하거나 어색한 관찰 상태가 지속될 때는 시스템이 이를 감지하여 "B님이 방금 전부터 할 말이 있는 듯합니다"라는 메시지를 리더에게 조금 더 명확하고 직관적인 알림으로 띄워 대화를 재점화하는 촉매제로 활용한다.
생체 정보와 행동 데이터의 융합은 가상현실이라는 단절된 공간 속에서도 대면 회의 이상의 밀도 높은 연결과 포용적인 소통 환경을 만들어낼 핵심 열쇠가 될 것이다.