GPS가 끊겨도 길을 잃지 않는 농업 로봇, 카메라가 대신 운전하는 새로운 기술
사과나무에 가려 GPS가 사라져도 로봇은 멈추지 않았다. AI가 길을 보고 스스로 주행을 이어가는 방법을 소개한다.
과수원에서 일하는 농업 로봇은 대부분 RTK GPS라는 매우 정확한 위치 측정 기술을 이용한다. 일반 내비게이션보다 훨씬 정밀해 몇 센티미터 오차만으로도 사과나무 사이를 안전하게 지나갈 수 있다.
하지만 과수원에서는 한 가지 문제가 있다. 나뭇잎과 가지가 하늘을 가리면 위성 신호가 약해지고, RTK가 몇 초 동안 끊기는 일이 자주 발생한다. 사람이라면 눈으로 길을 보며 계속 걸어갈 수 있지만, 로봇은 길을 잃거나 멈추는 경우가 많다.
최근 발표된 연구는 바로 이 문제를 해결했다. GPS가 잠시 사라지면 카메라가 대신 길을 보고 운전하도록 만드는 새로운 시각 기반 내비게이션 기술을 제안했다.
과수원에서는 왜 GPS가 자주 끊길까?
자동차는 넓은 도로를 달리기 때문에 GPS 신호가 비교적 안정적이다.
반면 과수원은 상황이 다르다.
- 사과나무가 빽빽하게 심어져 있다.
- 잎과 가지가 하늘을 가린다.
- 나무 그림자 때문에 카메라 영상도 복잡하다.
- 길 양쪽에는 풀과 흙이 섞여 있다.
이런 환경에서는 위성 신호가 잠깐 사라지는 일이 흔하다.
연구진은 이러한 상황을 Short-term RTK Failure라고 정의했다. 즉, RTK가 몇 초 정도만 끊기는 상황이다.
문제는 바로 이 짧은 시간이다. 몇 초만 방향을 잘못 잡아도 로봇은 나무에 가까워지거나 작업 경로를 벗어날 수 있다.
연구진은 사람처럼 생각하는 방법을 선택했다
사람은 산책하다가 휴대폰 GPS가 꺼져도 크게 당황하지 않는다. 눈으로 길을 보기 때문이다.
연구진도 같은 아이디어를 적용했다. 평소에는 RTK가 운전을 담당하고, RTK가 잠시 사라지는 순간에는 카메라가 길을 찾아 대신 운전한다. RTK 신호가 다시 들어오면 다시 GPS가 주행을 맡는다.
평소 RTK GPS │ ▼ 정확한 위치 확인 │ RTK 신호 끊김 │ 카메라가 길 인식 │ 길 가운데 계산 │ 안전하게 계속 주행 │ RTK 복구 │ 다시 GPS 사용
즉, GPS를 완전히 없애는 것이 아니라 잠시 쉬는 동안 카메라가 대신 운전하는 구조가 이번 연구의 핵심이다.
AI는 보이는 길만 찾지 않고 가려진 길도 예상했다
기존의 AI는 눈앞에 보이는 길만 찾는다. 하지만 과수원에서는 잎이 길을 가리는 경우가 많다.
길 ██████ 🍃🍃🍃🍃 ██████
사람은 잎 뒤에도 길이 이어져 있다고 쉽게 예상한다. 하지만 일반 AI는 길이 끊긴 것으로 판단하기 쉽다.
이번 연구에서는 AI가 보이지 않는 길까지 자연스럽게 이어서 예측하도록 만들었다.
이를 위해 연구진은 길을 두 종류로 구분해 학습시켰다.
- 실제로 보이는 길
- 나뭇잎 뒤에 숨어 있지만 이어질 것으로 예상되는 길
두 정보를 함께 학습한 결과 훨씬 자연스럽고 끊김 없는 도로를 인식할 수 있었다.
AI가 길에만 집중하도록 특별한 기능도 추가했다
과수원 바닥은 생각보다 복잡하다. 풀과 흙, 돌, 그림자가 뒤섞여 있어 AI가 길을 잘못 인식하기 쉽다.
이를 해결하기 위해 연구진은 SE(Squeeze-and-Excitation) Attention이라는 기능을 추가했다.
쉽게 말하면 "풀은 덜 보고 길은 더 자세히 봐"라고 알려주는 기능이다. 사람도 친구를 찾을 때 주변 풍경보다 친구 얼굴에 집중하는 것과 같은 원리다.
울퉁불퉁한 길을 반듯하게 정리한 이유
AI가 길을 찾더라도 가장자리는 들쭉날쭉하다. 그대로 사용하면 가운데 선을 정확하게 계산하기 어렵다.
########### ######## ########## #######
연구진은 도로의 모양을 매끈하게 다듬은 뒤 길의 중심선을 계산했다. 사람도 지도에서 도로를 반듯하게 그려 보는 것과 비슷한 과정이다.
로봇은 길의 가운데 선을 따라 움직였다
＼ ／ ＼ ／ ＼ ／ │ │ │
연구진은 길의 중심선을 만든 뒤 현재 로봇이 바라보는 방향과 계속 비교했다.
조금만 틀어졌다면 그대로 주행하고, 많이 벗어났을 때만 방향을 수정했다. 덕분에 작은 흔들림 때문에 계속 핸들을 좌우로 움직이는 현상을 줄일 수 있었다.
실험 결과는 얼마나 좋았을까?
| 모델 | Precision |
|---|---|
| YOLOv8x-seg | 90.03% |
| YOLOv9e-seg | 89.70% |
| YOLOv10x-seg | 90.76% |
| 기본 YOLOv11 | 91.24% |
| 개선된 YOLOv11-VF | 92.31% |
새로운 모델은 모든 정확도 지표에서 가장 좋은 성능을 기록했다. 또한 초당 약 52.8장의 영상을 처리해 실제 농업 로봇에서도 사용할 수 있는 수준의 속도를 유지했다.
사람이 그린 길과 AI가 찾은 길은 거의 같았다
연구진은 AI가 찾은 길을 사람이 직접 표시한 길과 비교했다.
그 결과 LS/IoU 평균은 0.95였다. 쉽게 말하면 AI가 찾은 길과 사람이 생각한 길이 거의 일치했다는 의미다.
또한 로봇이 바라보는 방향과 길의 중심선 차이는 대부분 1~3도 정도였다. 연구진은 3도 이하에서는 굳이 방향을 수정하지 않도록 설정해 불필요한 조향을 줄였다.
이 기술은 앞으로 어디에 활용될까?
이번 연구는 사과 과수원뿐 아니라 다양한 농업 환경에 활용될 가능성이 있다.
- 사과 과수원
- 배 과수원
- 복숭아 농장
- 감귤 농장
- 자율주행 농기계
- 제초 로봇
- 운반 로봇
특히 GPS를 완전히 대체하는 것이 아니라 GPS와 카메라를 서로 보완하는 방식이라는 점이 실제 농업 현장에서 활용하기에 현실적인 접근으로 평가된다.
GPS와 카메라가 서로 도와야 농업 로봇은 더 안전하게 움직인다
이번 연구는 "더 좋은 AI를 만들었다"는 것보다 GPS가 잠시 끊겨도 작업을 멈추지 않는 농업 로봇을 만들었다는 데 더 큰 의미가 있다.
사람이 길을 걸을 때 눈과 감각을 함께 사용하는 것처럼 앞으로의 농업 로봇도 GPS와 카메라를 함께 활용하는 방향으로 발전할 가능성이 크다. 이번 연구는 그 가능성을 실제 실험으로 보여준 사례라고 할 수 있다.
출처
Wang, Y., Jia, W., Ou, M., Dong, X., Dai, S., Zhang, R., Wang, Y., & Zhu, W. (2026). Vision takeover navigation for orchard robots under short-term RTK failures using structured road representation and joint direction–position constraints. AI, 7, 241. https://doi.org/10.3390/ai7070241