머리에 쓴 안경 하나, 손끝 움직임까지 꿰뚫다…홀로렌즈2는 얼마나 정확할까?

가상과 현실의 경계가 사라지는 시대. 우리는 이제 안경 하나만 써도 허공에 떠 있는 버튼을 누르고, 실제 없는 물체를 만지고, 심지어 손가락 하나로 가상의 세상을 조작한다. 이 멋진 기술 뒤에는 반드시 따라붙는 질문이 있다. 얼마나 정확할까?

특히 수술실, 재활 치료실, 혹은 정밀 제조 라인에서는 1mm의 오차가 생명을 가르기도 한다. 그렇다면 세계적으로 가장 많이 쓰이는 상용 혼합현실(Mixed Reality) 기기 중 하나인 마이크로소프트 홀로렌즈2(HoloLens 2)는 과연 사람 손끝의 움직임을 얼마나 정확히 잡아낼까?

최근 발표된 한 연구는 바로 이 질문에 답을 주기 위해 진행됐다. 연구진은 ‘가상에서 내 손이 얼마나 현실과 같아질 수 있는가’를 실험실에서 철저히 검증했다.

MR 기술, 그리고 손의 의미

홀로렌즈2는 머리에 쓰는 안경 형태의 MR 디바이스다. 가상현실(VR)과 달리 사용자는 실제 현실을 보면서 그 위에 3D 가상 객체를 겹쳐본다. 손으로 허공의 버튼을 누르고, 가상의 모델을 돌려보며, 실시간으로 데이터를 볼 수 있다. 이때 핵심은 바로 ‘손’이다. 컨트롤러 없이 손으로만 모든 걸 할 수 있다는 점이 홀로렌즈2의 큰 장점이다.

하지만 이 편리함은 ‘정확성’을 담보하지 않으면 무용지물이 된다. 가상 버튼이 1cm만 빗나가도 수술 중 의사가 중요한 데이터를 잘못 눌러버릴 수 있다. 산업 현장에서도 작업자가 허공에서 조작한 로봇 팔이 오작동할 위험이 생긴다.

그래서 연구팀은 홀로렌즈2의 손 추적 시스템이 정말 쓸 만한 수준인지, 얼마나 정밀한지 모션캡처 장비를 기준으로 꼼꼼히 비교했다.

손끝 움직임, 세 가지 실험으로 판가름

연구진은 총 12명의 성인을 모집해 실험을 설계했다. 모든 참가자는 신경학적으로 건강하고 손에 큰 부상이 없는 사람들이다. 실험은 크게 세 단계로 나뉜다.

1️⃣ 공중에 무한대를 그려라

첫 번째 과제는 간단하다. 참가자는 홀로렌즈2를 쓰고 허공에 떠 있는 무한대(∞) 모양을 손가락으로 따라 그렸다. 손끝의 궤적이 얼마나 실제 움직임과 맞는지 모션캡처 시스템 바이콘(Vicon)으로 동시에 측정했다. 바이콘은 영화나 게임 개발 현장에서 배우의 모션을 3D로 캡처할 때 쓰는 고성능 장비다. 사실상 ‘골드 스탠다드’라 불린다.

2️⃣ 물건을 쥐어보라

두 번째는 실제 물체를 쥐는 실험이었다. 실험실 테이블 위에 원통, 구형 물체, 작은 큐브, 플러그 모양의 물건 등 다양한 크기와 형태의 물건이 놓였다. 참가자들은 이를 하나씩 집어 들고 손가락 관절이 어떻게 꺾이는지 데이터를 뽑았다. 손가락 관절의 굽힘 각도를 홀로렌즈2가 얼마나 정확히 인식하는지 알아본 것이다.

3️⃣ 핀치 테스트

마지막은 핀치 실험이다. 쉽게 말해 엄지와 검지로 물체를 양옆에서 살짝 집는 동작이다. 연구팀은 물체의 두께를 2cm부터 10cm까지 늘려가며 핀치 시 손끝 간격을 측정했다. 핀치 간격은 로봇이나 의수 개발, 재활치료에서 매우 중요한 변수다.

연구진의 꼼꼼한 비교법

모션캡처는 손가락 마디마다 작은 반사 마커를 붙여 위치를 실시간으로 추적한다. 반면 홀로렌즈2는 카메라와 센서로 손 모양을 실시간으로 인식한다. 두 시스템은 작동 원리가 다르다. 연구진은 홀로렌즈2의 좌표계를 바이콘과 맞추기 위해 Iterative Closest Point (ICP)라는 3D 데이터 정렬 기법을 활용했다. 두 데이터의 좌표를 최대한 겹치게 만든 뒤 차이를 계산한 것이다.

데이터는 노이즈를 줄이기 위해 6Hz 로우패스 필터로 정제했다. 손끝 위치, 관절 각도, 핀치 거리까지 하나하나 통계 분석을 돌려 정밀하게 비교했다.

결과는? “밀리미터 단위라면 꽤나 훌륭하다”

첫 번째 무한대 궤적 실험에서 손끝 오차는 평균 2~4mm였다. 바이콘과 거의 맞아떨어진 셈이다. 손가락이 조금만 움직여도 센서에 가려지거나 인식이 잘못될 수 있는데, 이 정도 오차라면 교육이나 일반 가상 시뮬레이션에선 충분히 실용적이다.

두 번째 관절 실험에선 평균 각도 오차가 약 5도였다. 대부분의 물체에서 큰 문제는 없었지만, 손가락이 겹치거나 엄지손가락이 깊게 꺾이는 동작에선 오차가 커졌다. 최대 20도 가까이 차이가 난 경우도 있었지만, 이는 특정 조건에서만 발생했다.

세 번째 핀치 테스트에선 물체가 두꺼울수록 정확도가 높아졌다. 얇은 물체는 손끝 인식이 조금 흔들렸지만, 두꺼운 물체에서는 손끝 간격이 거의 완벽하게 맞았다. 물체가 손가락을 넓게 벌리게 해 손 모양이 카메라에 잘 잡혔기 때문이다.

MR 기술은 어디까지 왔나

이번 연구는 단순히 홀로렌즈2의 성능을 입증한 것을 넘어, 혼합현실이 실제 산업과 의료 현장에 어떻게 적용될 수 있는지 보여준다. 무겁고 비싼 모션캡처 없이도 머리에 쓴 안경 하나로 손 움직임 데이터를 실시간으로 얻을 수 있다면? 재활치료는 더 개인화되고, 원격 수술 가이드가 더 정밀해질 수도 있다.

물론 한계는 있다. 연구팀은 “손이 겹치거나 작은 물체를 다룰 때는 여전히 한계가 있다”고 밝혔다. 완벽한 손 추적을 위해선 추가 센서나 더 정교한 알고리즘이 필요하다는 이야기다.

그럼에도 불구하고 이번 연구는 홀로렌즈2가 ‘가벼운 실험 장난감’이 아니라 실험실을 벗어나 실제 업무 현장에서 충분히 쓰일 수 있음을 보여준다.

가상은 더 현실로…

손끝 하나로 현실과 가상을 넘나드는 기술. 이제 남은 숙제는 이 기술을 얼마나 더 정교하고 저렴하게, 그리고 안전하게 사용할 수 있느냐다. 언젠가는 수술실에서 홀로렌즈2를 쓴 의사가 허공에 뜬 3D 영상을 보며 수술하고, 물리치료사가 환자의 손가락 각도를 집에서도 실시간으로 측정하는 날이 올지도 모른다.

아직은 오차가 존재한다. 하지만 이 작은 오차마저 조금씩 줄여나가면, 손끝에서 시작된 가상세계는 현실과 더 닮아갈 것이다.

출처 논문
Bertolasi, J.; Garcia-Hernandez, N.V.; Memeo, M.; Guarischi, M.; Gori, M. Evaluation of HoloLens 2 for Hand Tracking and Kinematic Features Assessment. Virtual Worlds 2025, 4, 31. https://doi.org/10.3390/virtualworlds4030031