VR 퍼즐 게임, 손으로 할까 컨트롤러로 할까?

손 추적 vs 컨트롤러, 가상현실에서의 조작 방식에 따라 전략이 달라졌다

가상현실(VR)에서 손은 곧 무기다. 아니, 손 그 자체가 '조작 도구'다. 그런데 이 손, 진짜 손을 쓰는 게 더 나을까, 아니면 여전히 손에 쥔 컨트롤러가 강력할까?

런던 유니버시티 칼리지(UCL)의 연구진은 이 오래된 질문에 흥미로운 실험으로 답했다. 상용 VR 퍼즐 게임인 ‘Cubism’을 통해 사용자들이 실제 손(손 추적)과 컨트롤러 중 어떤 방식을 사용할 때 더 빠르고 효율적인 조작을 하는지를 비교한 것이다. 놀랍게도 단순한 성능 비교를 넘어, 사용자의 전략과 행동 방식 자체가 달라졌다는 사실이 드러났다.

실험은 게임처럼, 그러나 과학적으로

이번 실험은 실험실을 벗어났다. 연구진은 참가자 43명에게 메타 퀘스트 2 VR 기기를 대여해주고, 각자 집에서 한 시간은 손 추적으로, 또 한 시간은 컨트롤러로 퍼즐 게임을 하도록 지시했다. 그 후 기록된 데이터를 분석하고, 일부 사용자와 인터뷰도 진행했다.

퍼즐 게임 ‘Cubism’은 여러 조각을 3D 공간에서 조립해 하나의 구조물을 만드는 게임이다. 조작 방식은 단순하다. 조각을 집고 회전하고 끼우는 것. 하지만 문제는 정밀도와 속도다. 손 추적은 자연스러운 조작을 제공하지만, 인식 오류나 피로감이 생길 수 있다. 반면 컨트롤러는 빠르고 정확하지만, 현실감은 떨어진다.

그래서 연구진은 두 가지 가설을 세웠다.
1. 컨트롤러를 사용하면 퍼즐을 더 빨리 풀 것이다.
2. 컨트롤러를 사용하면 더 많은 조각을 단위 시간에 끼울 것이다.

속도는 비슷했지만, 방식은 달랐다

먼저 흥미로운 사실부터. 퍼즐을 푸는 데 걸리는 총 시간은 손 추적과 컨트롤러 간에 큰 차이가 없었다. 예상 밖의 결과였다.

하지만 두 번째 지표, 즉 ‘분당 조각 배치 수’에서는 명확한 차이가 났다. 컨트롤러 사용자들이 손 추적 사용자보다 훨씬 더 많은 조각을 짧은 시간에 끼웠다.

이 말은 무엇을 의미할까? 손 추적을 쓴 사람들은 ‘덜 움직이고 더 생각했다’는 뜻일 수 있다. 즉, 조작 방식이 문제 해결 전략 자체를 바꾸는 셈이다.

회전은 손, 속도는 컨트롤러?

참가자들의 후속 인터뷰도 흥미롭다. 총 12명이 인터뷰에 참여했는데, 이 중 8명은 손 추적이 더 편하다고 답했다. 특히 ‘조각을 회전시키는 작업’에서 손 추적이 더 자연스럽다고 평가했다.

“손으로 하니까 그냥 돌리면 되잖아요. 컨트롤러는 무언가 앞에 도구를 든 느낌이라 감이 덜 와요.”

반면 컨트롤러 선호자들은 “손 추적은 피곤하다”, “제대로 집히지 않는다”고 토로했다.

손이 보이면, 생각도 바뀐다?

이번 연구는 단순히 ‘무엇이 더 빠르냐’는 질문을 넘어선다. 사용자의 몸이 어떻게 표현되느냐가 인지에도 영향을 준다는 점에서, VR 연구의 중요한 화두인 ‘몰입감과 자기 소유감(embodiment)’과도 연결된다.

실제로 연구진은 손 추적의 투명한 손 모델이 퍼즐 회전 시 직관적인 움직임을 유도한다고 분석했다.

결론: 단순한 속도 게임이 아니다

이 연구는 단순히 손 추적이 느리다거나 컨트롤러가 낫다는 결론으로 끝나지 않는다. 사용자 행동 자체가 달라졌다는 사실이 핵심이다. 손 추적은 더 정교한 회전과 계획적인 접근을 유도했고, 컨트롤러는 빠른 실험과 반복을 가능케 했다.

이 차이는 단지 기술적 선택이 아닌, 사용자 경험 전체를 바꾸는 변수다.

📚 출처

Steed, A., & Lai, J. (2025). Comparison of hand tracking-based and controller-based interaction in a consumer virtual reality game. Virtual Reality, 29, 120. https://doi.org/10.1007/s10055-025-01190-5