✈️ 하늘에서 본 땅, AI가 구분해냈다

“저게 논밭인지 숲인지 어떻게 구분하지?”
하늘에서 땅을 내려다보면, 멀리선 나무와 밭, 초지와 도로가 얽히고설켜 하나의 거대한 패턴처럼 보인다. 위성사진, 드론 영상 등 항공 이미지는 도시계획부터 농업 관리까지 수많은 분야에 쓰인다. 문제는 ‘어디가 어디인지’ 정확히 구분해내는 일이 쉽지 않다는 것. 수백, 수천 장의 사진을 사람이 하나하나 손으로 분류한다면? 상상만 해도 머리가 지끈하다.

그래서 AI가 나섰다. 최근 이탈리아 피사의 기계지능연구소 연구팀은 땅을 구분해내는 데 딥러닝을 어떻게 쓰면 좋을지 비교 실험을 벌였다. 지금까지 자율주행차나 의료 영상에서 활약하던 딥러닝 네트워크들을 땅 위로 불러온 것이다. 이름하여 ‘딥러닝 기반 지형 분류 비교 분석 실험’이다.

📸 잘나가는 15개 모델, 농지 위에서 붙었다

연구팀은 유명한 딥러닝 세그멘테이션(분할) 모델 15개를 불러 모았다. DeeplabV3+, PSPNet, FCN 같은 이름만 들어도 AI 분야에서 쟁쟁한 모델들이다. 원래는 자동차가 도로 위 사물을 구분하거나, 의사가 MRI 사진에서 종양을 찾을 때 쓰이던 네트워크다.

하지만 농지 위에서는 이야기가 달라진다. 논밭은 들쭉날쭉한 모양에, 나무는 계절마다 색이 바뀌고, 물은 반짝여서 경계가 흐릿하다. 한마디로 자율주행 도로보다 ‘복잡한 패턴’이 가득하다. 연구팀은 공공 데이터셋 ‘LandCover.ai’를 사용해 숲, 논밭, 도로, 건물, 물 등 다섯 가지 클래스를 구분하는 실험을 설계했다.

원본 항공 사진은 해상도가 9천 픽셀 넘는 대형 이미지였다. 이를 512×512 크기로 잘라 1만 장 넘는 샘플을 만들고, AI가 잘 배울 수 있도록 데이터 불균형을 조정했다. 그리고 250,000번의 학습 반복으로 모델들을 훈련시켰다.

⚙️ 정확도는 99%, 하지만 성적표엔 함정이 있다

실험 결과는 놀라웠다. 일부 모델의 픽셀 단위 정확도가 무려 99%에 달했다. 평균 F1-스코어는 72.94%, IoU(겹침 정도)는 71.5%였다. 즉 AI가 공중에서 본 땅의 패턴을 꽤 그럴듯하게 잘라낸 셈이다.

하지만 여기엔 함정이 있었다. 데이터에서 숲과 배경(잡지형)이 너무 많다 보니, 전체 정확도만 보면 과대평가되기 쉽다. 그래서 연구팀은 ‘소수 클래스’를 얼마나 잘 잡아내는지, 특히 물과 도로 같은 구역에서 성능을 따로 봤다. 이때는 IoU와 리콜(Recall)이 더 중요한데, 몇몇 모델은 물과 도로에서 여전히 오차가 컸다.

🔍 성적만 보면 모르던 진짜 차이, ‘아웃라이어’를 잡아라

연구팀은 한발 더 들어갔다. ‘겹침 정도(IoU)’가 낮은, 즉 예측이 많이 틀린 영역(아웃라이어)을 따로 모아봤다. 그리고 왜 AI가 실수했는지 색깔로 표시해 비교했다.

결과가 흥미로웠다. 어떤 오류는 AI가 못 맞힌 게 맞았지만, 일부는 원래 사람이 만든 정답 라벨이 틀린 경우였다. 또 일부는 나무 그림자가 논밭과 섞여 모호한 경우처럼 애매한 것도 있었다. 이런 과정을 거치자 PSPNet, FCN, ICNet 같은 모델이 ‘틀린 예측이 적고’ ‘오차가 이해 가능한 수준’이라는 사실이 드러났다.

즉 성적표 숫자만 봐선 안 보이는, AI의 진짜 실력을 가려낸 셈이다.

🌾 농지부터 도시까지… 땅 위 패턴 읽는 AI

이 연구의 의미는 단순하다. 딥러닝 세그멘테이션 기술은 이제 논밭, 숲, 하천 같은 복잡한 지형도 꽤 잘 읽어낼 수 있다는 점이다. 게다가 여러 모델의 성능과 오류 유형까지 비교했기 때문에, 앞으로 농업용 드론, 도시계획, 환경 감시 등 더 넓은 분야로 응용이 가능하다.

물론 한계는 있다. 이번 실험은 컨볼루션 기반(CNN) 모델만 썼다. 최근 뜨는 트랜스포머 기반 AI를 포함하면 결과는 달라질 수도 있다. 연구팀은 다음 단계로 Copernicus 같은 위성 이미지, 계절별 데이터까지 넣어 더 큰 규모의 실험을 준비 중이다.

하늘에서 본 땅의 비밀을 더 잘 읽어내는 법. 그 답을 찾는 건, 이제 사람만의 몫이 아니다.

출처 논문
Formichini, M.; Avizzano, C.A. A Comparative Analysis of Deep Learning-Based Segmentation Techniques for Terrain Classification in Aerial Imagery. AI 2025, 6, 145. https://doi.org/10.3390/ai6070145