AI 피드백으로 사람처럼 움직이는 AI를 만든다… 텍스트-모션 생성 정확도를 높인 MoDiPO 연구

인간의 선호를 직접 수집하지 않고도 AI가 더 자연스러운 동작을 생성하는 새로운 정렬(alignment) 기술이 제안됐다.

최근 이탈리아 사피엔차 로마대학교(Sapienza University of Rome) 연구진은 텍스트를 입력하면 사람의 움직임을 생성하는 AI 모델의 품질을 크게 향상시키는 새로운 정렬 기법인 MoDiPO(Motion Diffusion Direct Preference Optimization)를 발표했다. 연구는 Frontiers in Computer Science에 게재됐으며, 사람의 평가를 대규모로 수집하지 않고도 AI가 스스로 생성 결과를 평가해 더 자연스러운 동작을 학습하는 방법을 제시했다.

최근 생성형 AI는 이미지와 영상뿐 아니라 사람의 움직임까지 생성할 수 있는 수준에 도달했다. 하지만 같은 문장을 입력하더라도 생성 결과가 크게 달라질 수 있으며, 일부 결과는 실제 사람이 움직이는 것처럼 보이지 않거나 입력한 문장을 제대로 반영하지 못하는 문제가 있었다.

이번 연구는 바로 이러한 문제를 해결하기 위해 수행됐다. 연구진은 사람 대신 AI가 생성된 움직임을 평가하도록 만들어 비용은 크게 줄이면서도 생성 품질은 높일 수 있는 새로운 학습 방법을 제안했다.

같은 문장에서도 이상한 움직임이 생성되는 이유

텍스트 기반 사람 움직임 생성(Text-to-Motion)은 자연어 문장을 입력하면 그에 맞는 사람의 동작을 만들어내는 기술이다.

예를 들어 "계단을 내려간다", "공을 찬다", "양손을 머리 위로 올린다"와 같은 문장을 입력하면 AI가 관절 위치를 시간에 따라 예측해 하나의 동작 시퀀스를 생성한다.

최근에는 Diffusion Model이 가장 뛰어난 성능을 보이고 있다.

확산모델은 하나의 문장에서도 다양한 결과를 만들 수 있다는 장점이 있다.

그러나 다양성이 지나치게 커지면 다음과 같은 문제가 발생한다.

팔이 비정상적으로 꺾인다.
발이 바닥을 미끄러진다.
입력 문장과 다른 동작이 생성된다.
사람이라 보기 어려운 자세가 나타난다.

기존 연구는 이러한 결과를 충분히 제어하지 못했다.

사람의 평가 대신 AI가 생성 결과를 채점했다

최근 대규모 언어모델은 RLHF(Reinforcement Learning from Human Feedback)처럼 사람의 선호 데이터를 이용해 성능을 향상시키는 방법을 많이 사용한다.

하지만 사람이 수십만 개의 결과를 직접 비교하는 일은 시간과 비용이 매우 많이 든다.

연구진은 이를 해결하기 위해 AI 자체가 평가자가 되는 방식을 선택했다.

먼저 기존 Text-to-Motion 모델(MLD와 MDM)을 이용해 하나의 문장에서 8개의 서로 다른 움직임을 생성했다.

그 다음 움직임 검색(Retrieval) 모델이 각 결과를 평가했다.

평가 방식은 매우 단순하다.

문장 의미와 생성된 움직임을 동일한 특징 공간(Embedding Space)에 표현한 뒤 코사인 유사도를 계산한다.

문장과 가장 가까운 움직임은 높은 점수를 받고, 의미가 멀수록 낮은 점수를 받는다.

이렇게 생성된 순위가 바로 AI의 선호 데이터가 된다.

연구진은 이 데이터셋을 Pick-a-Move(PaM)라고 이름 붙였다. HumanML3D와 KIT-ML 데이터셋을 기반으로 수십만 개의 움직임을 생성해 선호 순위를 자동으로 구축했다. HumanML3D 부분에는 약 36만 5천 개 이상의 움직임, KIT-ML 부분에는 약 7만 4천 개 이상의 움직임이 포함됐다.

AI가 선호하는 움직임만 더 많이 학습하도록 만들었다

MoDiPO의 핵심은 Direct Preference Optimization(DPO)이다.

DPO는 "더 좋은 결과"와 "덜 좋은 결과"를 비교하면서 모델을 업데이트하는 방법이다.

기존 강화학습 기반 RLHF와 달리 별도의 보상 모델을 학습하거나 복잡한 정책 최적화를 수행하지 않아도 된다.

이번 연구에서는 AI가 선정한 우수한 움직임(Winner)과 품질이 낮은 움직임(Loser)을 동시에 학습에 사용했다.

좋은 움직임은 더 자주 생성하도록 만들고, 나쁜 움직임은 생성될 확률을 줄이는 방식이다.

또한 일정 비율에서는 실제 정답 모션(Ground Truth)을 Winner로 함께 사용해 과적합을 줄이고 더욱 안정적으로 학습하도록 설계했다.

사람의 평가와 AI의 평가가 얼마나 비슷했을까

AI가 사람을 대신 평가할 수 있는지가 이번 연구의 핵심이었다.

연구진은 이를 검증하기 위해 실제 사용자 평가를 진행했다.

100개의 움직임 쌍을 준비한 뒤 10명의 평가자가 더 자연스럽고 문장에 잘 맞는 움직임을 선택하도록 했다.

그 결과 AI 평가와 사람 평가의 일치도를 나타내는 Cohen's Kappa는 TMR 평가기 0.65, Guo 평가기 0.61을 기록했다.

일반적으로 0.6 이상이면 상당한 수준(Substantial Agreement)의 일치도로 해석된다. 즉 AI가 사람의 선호를 꽤 정확하게 대신할 수 있음을 보여준 것이다.

최대 39%까지 생성 품질이 향상됐다

연구진은 HumanML3D와 KIT-ML 데이터셋에서 성능을 평가했다.

대표적인 생성 품질 지표인 FID(Fréchet Inception Distance)에서 가장 큰 개선이 나타났다.

HumanML3D에서는 최대 약 39% 개선
대부분의 실험에서 9~15% 수준의 지속적인 향상
여러 조건에서 통계적으로 매우 높은 유의성(p<0.001) 확인

중요한 점은 다양성(Multi-Modality)을 거의 유지하면서 품질만 높였다는 것이다.

생성형 AI에서는 품질을 높이면 다양한 결과가 사라지는 모드 붕괴(Mode Collapse)가 자주 발생한다.

하지만 MoDiPO는 다양한 움직임을 계속 생성하면서도 현실성은 높이는 데 성공했다.

여러 번 생성해도 품질 편차가 크게 줄었다

생성형 AI는 같은 문장을 여러 번 입력하면 결과가 달라진다.

연구진은 문장 하나당 8개의 움직임을 생성해 가장 좋은 결과와 가장 나쁜 결과를 비교했다.

기존 모델은 최고 품질과 최저 품질 사이 차이가 매우 컸다.

반면 MoDiPO는 이 차이를 크게 줄였다.

HumanML3D에서는 최고와 최저 결과 사이의 FID 격차가 약 15% 감소했고, KIT-ML에서는 약 96% 감소했다.

이는 생성 결과의 안정성이 크게 향상됐다는 의미다. 사용자는 여러 번 다시 생성하지 않아도 좋은 결과를 얻을 가능성이 높아진다.

실제 사람들도 MoDiPO가 만든 움직임을 더 선호했다

수치가 좋아졌다고 해서 사람이 반드시 더 자연스럽다고 느끼는 것은 아니다.

연구진은 이를 확인하기 위해 17명의 평가자에게 총 751회의 비교 평가를 진행했다.

MoDiPO 선택 : 53.6%
기존 모델 선택 : 15.5%
두 결과가 비슷함 : 30.9%

즉 기존 모델보다 약 3배 이상 더 자주 선택됐다.

평가자들은 특히 움직임의 자연스러움, 발 미끄러짐 감소, 문장과의 일치성, 동작의 부드러움에서 개선을 확인했다.

AI 기반 선호 학습은 다양한 생성형 AI로 확장될 가능성이 있다

이번 연구의 의미는 단순히 사람의 움직임 생성 품질을 높였다는 데 그치지 않는다.

기존의 선호 기반 학습은 대규모 사람 평가 데이터가 반드시 필요했다. 그러나 사람이 모든 생성 결과를 직접 비교하는 방식은 비용과 시간이 많이 들고, 데이터 규모를 키우기도 어렵다.

MoDiPO는 이러한 한계를 AI 기반 평가로 해결했다. AI가 생성 결과를 자동으로 순위화하고, 그 순위를 바탕으로 모델을 다시 학습시키는 구조는 이미지 생성, 영상 생성, 3D 애니메이션, 디지털 휴먼, 게임 캐릭터 제작 등 다양한 생성형 AI 분야에도 적용될 가능성이 있다.

또한 이 방법은 기존 확산모델 위에 추가적인 정렬 단계만 적용하면 되므로, 새로운 생성 모델을 처음부터 다시 학습하지 않아도 된다는 장점이 있다. 연구진은 MoDiPO가 잠재공간 기반 모델과 일반 확산모델 모두에서 효과를 보였으며, 향후 다양한 백본 모델과도 결합할 수 있는 범용적인 접근법이라고 설명했다.

실제 서비스 적용을 위해서는 더 다양한 환경에서의 검증이 필요하다

이번 연구는 유의미한 성과를 보였지만 몇 가지 한계도 존재한다.

우선 AI 평가가 사람의 선호와 높은 수준으로 일치했지만 완전히 동일한 것은 아니다. 사람은 움직임의 미세한 자연스러움이나 맥락을 종합적으로 판단하는 반면, AI 평가는 텍스트와 움직임의 의미적 유사성을 중심으로 이뤄진다. 따라서 특정 상황에서는 사람과 다른 판단을 내릴 가능성이 있다.

또한 연구는 HumanML3D와 KIT-ML이라는 대표적인 공개 데이터셋에서 검증됐기 때문에, 스포츠 동작이나 군무처럼 복잡한 장면, 여러 사람이 동시에 등장하는 환경에서도 같은 효과를 보이는지는 추가 연구가 필요하다.

그럼에도 사람의 피드백을 대규모로 수집하지 않고도 생성형 AI를 효과적으로 개선할 수 있다는 점은 앞으로 AI 정렬 기술의 중요한 방향을 제시한 연구로 평가할 수 있다.

출처

Pappa, M., Collorone, L., Ficarra, G., Spinelli, I., & Galasso, F. (2026). MoDiPO: Text-to-motion alignment via AI-feedback-driven direct preference optimization. Frontiers in Computer Science, 8, 1707808. https://doi.org/10.3389/fcomp.2026.1707808