가정용 로봇, 이제 '명확한 지시' 없이도 움직인다? – 부분 관찰 환경을 위한 TAMP 프레임워크의 혁신
서론: 인간다운 로봇을 위한 마지막 퍼즐
인공지능과 로봇공학의 비약적인 발전에도 불구하고, 가정 환경에서의 로봇 활용은 여전히 한계에 부딪히고 있다. 그 이유 중 하나는 바로 ‘완전한 정보’가 없을 때 로봇이 무엇을 해야 할지 모른다는 점이다. 예를 들어 “책상을 정리해줘”라는 요청은 인간에게는 너무나 명확하지만, 로봇에게는 수많은 불확실성과 의문을 던진다. 무엇을 치워야 할까? 어디로 옮겨야 할까? 장애물은 없을까?
이러한 문제를 해결하기 위해 최근 Ma et al. (2025)은 부분적으로 관찰 가능한 가정 환경에서의 로봇 작업 및 이동 계획(Task and Motion Planning, 이하 TAMP)을 위한 혁신적인 프레임워크를 제안했다. 이 프레임워크는 명확하지 않은 목표 상태, 복잡한 장애물 구조, 인간의 간섭 등 현실적인 가정 환경 조건을 고려하여, 로봇이 보다 자율적이고 지능적으로 행동할 수 있도록 설계되었다.
1. 왜 기존 방식으로는 안 되는가?
지금까지 대부분의 TAMP 연구는 완전히 관찰 가능한 환경을 가정해왔다. 즉, 모든 객체의 위치와 속성이 사전에 주어지고, 명확한 목표 상태가 설정되어야만 로봇이 작업을 수행할 수 있었다. 하지만 현실의 가정은 다르다. 물건은 어지럽혀져 있고, 일부는 가려져 있으며, 인간은 “책상 정리해줘” 같은 모호한 명령만 내린다.
이에 대해 필자는 이렇게 표현하고 싶다. “기존 TAMP는 잘 정돈된 연극 무대에서만 연기할 줄 알지만, 실제 가정은 리허설 없는 생방송이다.” 이런 현실 속에서 로봇이 제대로 작동하려면 완전히 새로운 방식의 계획 시스템이 필요하다.
2. 이 연구의 핵심 전략은?
연구팀은 다음 세 가지 질문을 중심으로 문제를 재구성하고, 이에 대한 해답을 제시한다.
- Q1: 로봇은 어떻게 명확하지 않은 인간의 지시로부터 필요한 작업 대상 객체들을 파악할 수 있을까?
- Q2: 로봇은 어느 시점에 '탐색(explore)'할 것이며, 어느 시점에는 '실행(execute)'할 것인가?
- Q3: 장애물처럼 쌓여 있는 무관한 객체들은 어떻게 효과적으로 처리할 수 있을까?
① Task-level Backward Search (TBS)
인간의 모호한 목표(Gv)를 바탕으로, 로봇이 어떤 객체들이 실제로 작업에 필요(Orel)한지를 '거꾸로 추적'하며 찾아내는 방식이다. 이는 기존의 명시적 명령에만 의존하는 접근과 차별화된다.
② Subtask Manager
로봇이 지금 해야 할 것이 탐색인지, 실행인지 판단하는 두뇌 역할을 한다. 이를 통해 로봇은 효율적인 순서를 계획할 수 있고, 인간의 간섭에도 유연하게 대처할 수 있다.
③ Object Manipulation Constraint Graph (OMCG)
객체들 간의 '물리적 방해 관계'를 그래프로 모델링하여, 어떤 순서로 물체를 치워야 충돌 없이 작업이 가능한지를 분석한다.
3. 실험: 혼란스러운 주방에서도 살아남은 로봇
연구팀은 가상 환경(Pybullet)과 실제 로봇 환경 모두에서 다양한 실험을 수행했다. ‘Deliver’, ‘Cook-one’, ‘Combine’ 등 실제 가정에서 유사하게 일어날 수 있는 작업들을 테스트했고, 그 결과는 인상적이다.
기존 학습 기반 또는 LLM 기반 접근은 모호한 지시에 대한 해석은 잘하지만, 물리적 제약이 많은 상황에서는 성능이 급격히 저하되었다. 반면 본 프레임워크는 고난도 작업에서도 높은 성공률과 빠른 처리 시간을 동시에 달성했다.
4. 비판적 고찰과 향후 적용 가능성
이 연구의 가장 큰 의의는 로봇이 인간처럼 불완전한 정보를 바탕으로도 합리적인 결정을 내릴 수 있게 했다는 점이다. 특히 TBS는 기존의 상향식(bottom-up) 인식 기반 접근과 달리, 목적 중심의 하향식(top-down) 탐색 전략으로 로봇의 사고 수준을 한 단계 끌어올렸다고 평가된다.
다만 이 프레임워크는 PDDLStream에 의존하기 때문에, 여전히 도메인과 스트림 파일을 수작업으로 구성해야 한다는 한계가 존재한다. 향후에는 LLM 기반 자동 추론과 통합하여, 완전한 '범용' TAMP 시스템으로 발전할 수 있을 것이다.
결론: 진정한 스마트홈을 향하여
이 연구는 로봇이 가정 환경에서 진정한 조력자가 되기 위해 어떤 요소들이 필요한지를 보여준다. 단순히 센서와 알고리즘의 문제가 아니라, '불완전한 세계에서 합리적으로 사고하는 능력'이 핵심이라는 점을 일깨워준다.
향후 이 프레임워크가 고령자 케어, 스마트 주방, 무인 점포 정리 등 다양한 현실 문제에 적용된다면, 우리는 진정한 의미의 '일상 속 로봇'을 경험하게 될 것이다.
출처논문
Ma, Y., Yuan, Y., Wu, S., & Yuan, H. (2025). A Task and Motion Planning Framework for Partially Observable Household Manipulation Scenes. *Advanced Intelligent Systems*, 2400897. https://doi.org/10.1002/aisy.202400897