웨어러블 센서는 어떻게 사람의 움직임을 읽는가, 94.6% 정확도 뒤에 숨은 해석의 기술

 

웨어러블 기기의 IMU 센서는 가속도와 회전 데이터를 수집한다. 머신러닝은 이 신호에 숨어 있는 움직임의 리듬과 패턴을 분석해 걷기, 앉기 등 사람의 행동을 구별할 수 있다.

센서를 더 많이 다는 것보다 중요한 것은 몸이 남긴 작은 신호에서 의미 있는 패턴을 찾아내는 일이었다.

아침에 일어나 스마트워치를 손목에 찬다. 엘리베이터 대신 계단을 내려가고, 지하철역까지 걷는다. 한동안 의자에 앉아 있다가 다시 일어나 움직인다. 우리에게는 별다를 것 없는 하루지만 손목이나 주머니 속 작은 센서의 관점에서 보면 이야기가 달라진다.

센서는 우리가 ‘걷는다’는 사실을 모른다. 계단을 오르고 있다는 것도, 의자에 앉았다는 것도 모른다. 센서가 아는 것은 몸이 어느 방향으로 얼마나 빠르게 움직였는지, 얼마나 기울어지고 회전했는지를 나타내는 숫자의 흐름뿐이다.

그런 숫자를 인간의 행동으로 번역하는 것이 인간 행동 인식(HAR) 기술이다. 미국 센트럴미시간대학교 Ashwin Sankaran 연구자는 웨어러블과 스마트폰의 관성측정장치(IMU)가 기록한 신호를 여러 방식으로 가공해 사람의 행동을 구별하는 시스템을 연구했다. 그 결과 UCI-HAR 데이터에서는 94.60%, PAMAP2에서는 93.83% 수준의 분류 정확도가 보고됐다.

흥미로운 부분은 단순히 더 복잡한 인공지능을 사용해서 얻은 결과가 아니라는 점이다. 연구의 핵심은 AI에게 무엇을 학습시킬 것인가에 있었다. 센서 신호의 잡음을 걷어내고 움직임을 시간, 리듬, 에너지, 방향이라는 여러 관점으로 다시 표현하자 평범해 보였던 숫자 속에서 행동의 특징이 드러났다.

기계에게 ‘걷는다’는 것은 무엇일까

사람은 멀리서 누군가의 뒷모습만 보아도 그가 걷는지 뛰는지 대체로 알아차린다. 몸 전체를 세밀하게 관찰할 필요도 없다. 팔이 흔들리는 속도와 발걸음의 간격, 몸의 위아래 움직임 같은 몇 가지 단서만으로 충분하다. 그러나 기계에는 이런 직관이 없다.

가속도계가 기록하는 것은 x·y·z 방향의 가속도이고, 자이로스코프가 기록하는 것은 회전 운동이다. 이 장치들을 묶은 IMU는 몸의 이동과 회전을 지속적으로 숫자로 기록한다.

카메라를 이용한 행동 인식과 비교하면 장점이 분명하다. 어두운 방에서도 작동하고 다른 사람이 앞을 가려도 몸에 부착된 센서는 계속 움직임을 측정할 수 있다. 스마트폰이나 스마트워치처럼 이미 사람들이 사용하는 기기에 넣기도 쉽다. 그래서 인간 행동 인식은 운동 분석뿐 아니라 재활, 낙상 감지, 고령자 돌봄과 같은 스마트 헬스케어 분야에서 관심을 받아왔다.

그러나 작은 센서가 보내오는 숫자는 생각만큼 깨끗하지 않다. 기기는 흔들리고 측정값에는 잡음이 섞인다. 같은 계단을 올라가도 사람마다 보폭과 속도가 다르다. 스마트폰을 착용한 위치가 조금만 달라져도 신호가 변한다.

더 어려운 문제도 있다. 앉아 있는 사람과 서 있는 사람은 모두 거의 움직이지 않는다. 평지를 걷는 동작과 계단을 오르는 동작에는 비슷한 보행 리듬이 존재한다. 사람의 눈에는 명백히 다른 행동이 센서에는 서로 닮은 숫자로 보일 수 있는 것이다.

39명의 움직임에서 행동의 문법을 찾았다

연구진은 새로운 사람들을 모집하는 대신 인간 행동 인식 연구에서 널리 사용되는 UCI-HAR와 PAMAP2라는 두 공개 데이터셋을 분석했다.

UCI-HAR에는 19~48세 30명이 허리에 스마트폰을 착용하고 행동한 기록이 들어 있다. 스마트폰의 관성 센서는 초당 50번 신호를 측정했다. 연구 대상은 걷기, 계단 오르기, 계단 내려가기, 앉기, 서기, 눕기 등 6가지 일상 행동이었다.

PAMAP2는 조금 다르다. 9명의 참가자가 다양한 신체 활동을 수행했고 손목과 가슴, 발목 등에 가속도계와 자이로스코프, 자기장 센서 등이 부착됐다. 원래 데이터에는 18가지 활동이 포함돼 있으며 이번 분석에서는 12가지 동적 활동이 사용됐다. :contentReference[oaicite:0]{index=0}

숫자로만 보면 30명과 9명이다. 하지만 센서는 매 순간 새로운 값을 기록한다. 한 사람이 걷는 몇 초 동안에도 몸의 움직임은 수많은 데이터 포인트로 변환된다. 연구자가 해야 할 일은 그 긴 숫자의 행렬에서 ‘이 부분은 걷기의 흔적이고, 저 부분은 앉기의 흔적’이라고 구분할 수 있는 문법을 찾아내는 것이다.

잡음을 지우자 몸이 남긴 리듬이 모습을 드러냈다

연구의 전체 처리 과정은 비교적 명확하다. 활동 신호를 받아 잡음을 제거하고, 일정한 구간으로 나눈 뒤 움직임의 특징을 추출한다. 이어 정보의 차원을 줄이고 머신러닝 모델이 최종 행동을 판별한다.

연구진은 먼저 중앙값 필터 등을 이용해 센서 신호에 섞인 불규칙한 잡음을 줄였다. 그러나 깨끗한 신호를 얻는 것만으로는 충분하지 않았다.

그래서 하나의 움직임을 여러 관점에서 바라봤다. 평균·최댓값·최솟값·표준편차처럼 신호의 전체 모습을 나타내는 통계 특징을 계산하고, 움직임에 얼마나 많은 에너지가 들어 있는지 살폈다. 센서 신호 사이의 관계도 분석했다. 여기에 반복되는 움직임의 속성을 알아낼 수 있는 주파수 정보와 몸의 방향·각도를 나타내는 기하학적 특징까지 더했다.

논문은 이 과정을 intra-modal feature translation이라고 표현한다. 서로 다른 센서를 계속 추가하는 대신 하나의 관성 센서 신호를 여러 종류의 특징으로 ‘번역’한다는 의미다.

음악을 떠올리면 이해하기 쉽다. 같은 음악도 음량만 측정할 수도 있고 박자를 분석할 수도 있으며 음의 높낮이나 반복되는 패턴을 살펴볼 수도 있다. 하나의 음악이지만 무엇을 측정하느냐에 따라 전혀 다른 정보가 나온다. 사람의 움직임도 마찬가지다.

걷기의 정체는 속도가 아니라 반복되는 리듬에 가깝다

연구 결과 가운데 특히 눈길을 끄는 것은 어떤 특징이 행동 판별에 많이 기여했는지를 분석한 부분이다. 주파수 영역 특징의 중요도가 32%로 가장 높았다. 통계 특징은 24%, 에너지와 엔트로피는 18%, 센서 간 상관관계는 14%, 움직임의 각도 같은 기하학적 특징은 12%를 차지했다.

왜 주파수가 중요했을까. 사람이 걸으면 몸은 단순히 앞으로 이동하지 않는다. 발을 내디딜 때마다 몸이 위아래로 움직이고 일정한 간격으로 충격이 발생한다. 계단을 오를 때도 또 다른 반복 패턴이 생긴다.

따라서 웨어러블 센서가 걷기와 계단 오르기를 구분하려면 ‘얼마나 빠르게 움직였는가’만 보는 것보다 어떤 움직임이 얼마나 규칙적으로 반복됐는가를 분석하는 것이 중요하다. 반대로 앉기와 서기처럼 움직임 자체가 작은 행동에서는 평균이나 표준편차 같은 통계 정보가 더 유용했다.

사람에게 걸음걸이가 있듯 기계가 바라보는 행동에도 일종의 지문이 존재하는 셈이다. 그 지문은 눈에 보이는 모습이 아니라 시간에 따라 반복되는 숫자의 리듬 속에 숨어 있었다.

복잡한 AI보다 먼저 필요한 것은 좋은 특징이다

특징을 많이 만든다고 해서 모든 정보를 그대로 유지하는 것이 항상 유리한 것은 아니다. 특징이 늘어날수록 서로 겹치는 정보까지 증가하면 머신러닝 모델의 계산 부담이 커지고 오히려 분류를 방해할 수 있다.

연구진은 PCA, 즉 주성분 분석을 이용해 중복되는 정보를 압축했다. PCA는 수많은 변수 가운데 데이터의 중요한 차이를 설명하는 핵심 축을 찾아내는 방법이다. 논문에 제시된 PCA 결과에서는 서기나 눕기 같은 행동이 일정한 군집을 형성하는 한편, 걷기와 계단 이동처럼 동작 특성이 비슷한 행동은 상대적으로 가까이 자리하는 모습을 확인할 수 있다.

이렇게 가공된 데이터를 로지스틱 회귀, k-최근접 이웃(k-NN), 의사결정나무, 다층 퍼셉트론(MLP), CatBoost 등 다섯 가지 머신러닝 모델에 적용했다.

그 결과 비교적 단순한 로지스틱 회귀도 UCI-HAR 데이터에서 94.60%, PAMAP2에서 93.83%의 행동 인식 정확도를 보였다. 전체적으로 로지스틱 회귀와 MLP, CatBoost가 k-NN이나 의사결정나무보다 좋은 성능을 나타냈다.

이 결과는 인간 행동 인식 AI에서 모델을 무조건 복잡하게 만드는 것보다 데이터를 어떻게 표현하는지가 중요할 수 있음을 보여준다. AI의 성능은 얼마나 복잡하게 생각하느냐뿐 아니라 무엇을 보도록 가르쳤느냐에도 달려 있다.

기계도 앉은 사람과 서 있는 사람 앞에서는 망설인다

물론 94%가 넘는 정확도가 모든 행동을 완벽하게 구별했다는 뜻은 아니다. 특히 앉기와 서기처럼 움직임이 작은 행동에서 오류가 나타났다.

k-NN 모델에서는 UCI-HAR의 앉기 샘플 가운데 18%가 다른 행동으로 잘못 분류됐고, 서기 샘플에서도 약 7%의 오분류가 나타났다. 사람에게는 앉기와 서기가 분명히 다른 자세지만 허리에 위치한 관성 센서의 입장에서는 두 행동 모두 움직임이 거의 없다는 공통점이 있다.

걷기와 계단 오르내리기 사이에서도 혼동이 나타났다. 세 행동 모두 두 발을 번갈아 움직이는 주기적인 보행 패턴을 공유하기 때문이다.

여기에는 웨어러블 인간 행동 인식 기술의 근본적인 한계가 숨어 있다. 센서는 사람이 소파에 앉았는지 의자에 앉았는지 직접 볼 수 없다. 계단 앞에 있는지 평지를 걷는지도 확인하지 못한다. 몸에서 발생하는 움직임만 측정하기 때문에 서로 다른 행동이 비슷한 운동 신호를 만들면 IMU 센서만으로 완벽하게 구별하기 어렵다.

‘94.6% 정확도’와 현실 세계 사이에는 아직 거리가 있다

이 연구의 숫자를 해석할 때 가장 주의해야 할 부분도 여기에 있다. 94.6%라는 정확도는 스마트워치를 착용한 사람이 실제 생활 어디에서든 움직이면 94.6% 확률로 행동을 맞힌다는 의미가 아니다. 정해진 공개 데이터셋과 연구 조건에서 얻은 분류 성능이다.

UCI-HAR 참가자는 30명이고 PAMAP2는 9명이다. 실제 사회에는 훨씬 다양한 연령과 체형, 보행 습관이 존재한다. 특히 고령자나 보행 장애가 있는 사람의 움직임은 건강한 성인의 데이터와 다르게 나타날 가능성이 있다.

센서 위치도 중요한 변수다. 스마트폰을 허리에 고정했을 때 얻은 데이터와 바지 주머니나 가방 속에서 움직이는 스마트폰의 신호가 동일하다고 보기 어렵다.

IMU 센서에는 또 다른 한계가 있다. 몸의 움직임은 감지할 수 있지만 주변 환경이나 물체와의 상호작용까지 직접 파악하기는 어렵다. 따라서 웨어러블 센서를 고령자 낙상 감지, 환자 모니터링, 재활 치료와 같은 실제 스마트 헬스케어 분야에 활용하려면 더 많은 사람을 대상으로 한 현실 환경의 검증이 필요하다.

특히 의료 분야에서는 전체 정확도 하나만으로 기술을 평가하기 어렵다. 실제 낙상을 정상 행동으로 판단해 놓치는 사례가 얼마나 발생하는지처럼 어떤 오류가 발생하는가가 더 중요한 문제가 될 수 있다.

손목 위 작은 센서가 하루를 이해하게 되는 과정

우리는 하루 동안 수없이 자세를 바꾼다. 침대에서 일어나고, 걷고, 계단을 오르고, 의자에 앉는다. 우리에게 너무 자연스러워 의식조차 하지 않는 행동들이다. 그러나 손목이나 스마트폰 속 작은 센서에는 그 모든 순간이 숫자로 기록된다.

이번 연구는 그 숫자에 의미를 부여하는 한 가지 방법을 보여준다. 잡음을 줄이고, 움직임의 크기를 살피고, 반복되는 리듬을 찾아내고, 방향을 계산한다. 그리고 필요 없는 정보를 덜어낸 뒤 기계에게 다시 묻는다. ‘이 숫자는 어떤 행동에서 나온 것인가.’

그 과정을 거치자 머신러닝은 공개 벤치마크 데이터에서 94%가 넘는 수준으로 여러 행동을 구별할 수 있었다.

앞으로 웨어러블 건강 기술의 발전은 센서를 얼마나 많이 넣느냐만으로 결정되지 않을 가능성이 크다. 이미 스마트폰과 스마트워치에는 많은 움직임 정보가 쌓이고 있기 때문이다. 더 중요한 질문은 그 데이터에서 무엇을 읽어낼 것인가다.

고령자의 평소 걸음 리듬이 달라지는 순간, 재활 환자의 움직임이 조금씩 회복되는 과정, 운동 자세가 평소와 달라지는 변화를 센서가 읽어낼 수 있다면 웨어러블 기기는 단순한 걸음 수 측정기를 넘어설 수 있다.

다만 그 미래로 가기 위해서는 실험 환경에서 얻은 높은 정확도를 실제 생활의 복잡함 속에서도 재현해야 한다. 결국 작은 센서가 인간을 이해하게 만드는 것은 더 많은 숫자가 아니다. 몸이 남긴 숫자 속에서 의미 있는 리듬을 찾아내는 해석의 기술이다.

이 글의 의의

이 연구는 웨어러블 센서와 머신러닝을 이용한 인간 행동 인식에서 센서 데이터 전처리와 특징 추출이 정확도 향상의 핵심 요소가 될 수 있음을 보여준다.
IMU 센서의 가속도와 회전 데이터를 주파수·통계·에너지·방향 특징으로 분석하면 걷기, 앉기, 계단 오르기 같은 일상 행동을 높은 정확도로 구분할 수 있다.
특히 최대 94.6%의 행동 인식 정확도는 스마트워치와 웨어러블 기기를 활용한 고령자 돌봄, 낙상 감지, 재활 모니터링 기술의 가능성을 보여준다.
동시에 연구실 데이터의 높은 정확도가 실제 생활환경의 성능을 보장하지 않는다는 점에서 다양한 연령과 실제 사용 환경을 대상으로 한 추가 검증이 필요하다.
결국 웨어러블 헬스케어의 경쟁력은 센서를 더 많이 탑재하는 것보다 몸의 움직임 데이터를 얼마나 정확하게 해석하고 건강 정보로 변환하는가에 달려 있다는 점에서 이 연구의 의미를 찾을 수 있다.

출처

Sankaran, A. (2026). Intra-modal feature translation for robust kinematic modeling in wearable health applications. Journal of Artificial Intelligence, 8, 403–424. DOI: 10.32604/jai.2026.080854. :contentReference[oaicite:1]{index=1}