도시를 3D로 재현하는 기술, 어디까지 왔나?

스마트시티, 자율주행, 디지털 트윈. 요즘 도시를 미래형으로 바꾸는 여러 프로젝트에 빠지지 않고 등장하는 기술이 있다. 바로 '이미지 기반 3D 재구성'이다. 말 그대로 사진을 기반으로 실제 도시를 입체적으로 복원하는 기술이다. 과거에는 레이저 기반 센서(LiDAR)나 특수 장비가 주로 쓰였지만, 이제는 일상적인 카메라로 찍은 이미지들만으로도 고정밀 3D 도시 모델을 만들 수 있는 시대가 열렸다. 최근 공개된 리뷰 논문에서는 이 분야의 최신 기술 동향과 한계, 그리고 미래 방향성을 정리해 눈길을 끈다.

건물 벽면부터 도시 전체까지

논문은 이미지 기반의 3D 재구성 기술을 크게 세 가지로 구분했다. 첫째는 건물의 외벽(facade), 둘째는 여러 건물이 모인 구역(district), 셋째는 도시 전체(cityscape) 단위의 재구성이다. 범위가 커질수록 데이터도 복잡해지고 계산량도 급증한다. 이 때문에 연구자들은 각 범위별로 특화된 방법을 고안해왔다.



건물 외벽 재구성은 비교적 오래된 기술이다. 여러 각도에서 찍은 사진을 정렬하고 겹치는 부분을 찾아내 입체적으로 복원하는 '사진측량(photogrammetry)' 방식이 대표적이다. 최근에는 여기에 딥러닝을 접목한 하이브리드 방식도 등장했다. 예컨대 단 하나의 RGB 이미지로 건물의 깊이를 예측하거나, GAN(생성적 적대 신경망)을 활용해 창문이나 문 같은 세부 구조를 자동으로 인식하는 식이다. 심지어 최근에는 신경 렌더링(neural rendering)이라 불리는 기법으로 조명 변화까지 반영한 고정밀 모델이 가능해지고 있다.



그보다 넓은 구역, 즉 도심의 여러 블록을 아우르는 '디스트릭트' 재구성은 조금 더 복잡하다. 이때는 건물의 위치와 형태만이 아니라, 의미 있는 레이블(도로, 나무, 차량 등)을 함께 붙이는 '의미 기반(semantic)' 기술이 중요해진다. 신경망을 활용해 여러 이미지를 통해 얻은 정보를 종합적으로 분석하고, 이를 바탕으로 거리 단위의 3D 지도를 만들어낸다. 때로는 GAN을 활용해 누락된 정보를 보완하거나, 다양한 수학 모델을 결합해 정확도를 높이기도 한다.



마지막으로, 도시 전체를 대상으로 한 '시티스케이프' 재구성은 가장 야심찬 영역이다. 인공위성 사진부터 드론, 자동차에 부착된 카메라까지 다양한 소스에서 수집된 방대한 데이터를 처리해야 한다. 최근에는 NeRF(신경 복사장) 기반의 기술들이 주목받고 있다. NeRF는 장면의 복잡한 조명과 구조를 신경망으로 학습해, 새로운 시점에서도 사실적인 이미지를 생성할 수 있도록 한다. 이를 도시 단위로 확장한 'Block-NeRF'는 샌프란시스코 전체를 3D로 구현하는 데 성공했다. 이는 곧, 가상현실 속에서 도시를 실제처럼 '산책'할 수 있는 가능성을 보여준다.

도전 과제도 여전하다

기술이 빠르게 진보하고 있지만, 해결해야 할 과제도 많다. 첫째, 현실에서 촬영된 이미지 데이터는 조도, 날씨, 장애물 등 다양한 변수에 취약하다. 특히 건물 외벽에 그림자가 지거나, 나무에 가려지는 경우엔 정확한 복원이 어렵다. 둘째, 연산 자원이 많이 든다는 점도 문제다. 딥러닝이나 신경 렌더링 기반 기법은 고성능 GPU 없이는 실시간 구현이 어렵다. 셋째, 대부분의 연구가 제한된 공개 데이터셋에 의존하고 있어 실제 도시 환경에 얼마나 적용 가능한지는 여전히 의문이다.



그럼에도 불구하고 이 기술은 도시의 '디지털 복제'를 가능하게 만드는 핵심 열쇠로 평가받는다. 향후 자율주행 자동차는 이 3D 지도를 바탕으로 도로 상황을 인식하고, 도시계획자는 다양한 시나리오를 시뮬레이션해 최적의 개발 방향을 찾을 수 있다. 또, 관광객은 VR로 도시를 먼저 체험하고, 건축가는 기존 건물과 어울리는 설계를 도출하는 데 활용할 수도 있다.



연구진은 앞으로 더 다양한 환경에서 검증된 데이터셋 구축, 계산 효율화, 그리고 기존 전통 기법과의 융합을 통해 기술의 실용성을 높여야 한다고 강조한다. 도시를 스캔하고, 디지털로 옮겨오고, 새로운 가치를 입히는 이 '디지털 재건축'의 여정은 이제 막 시작됐을 뿐이다.

출처 논문

Akhavi Zadegan A, Vivet D and Hadachi A (2025) Challenges and advancements in image-based 3D reconstruction of large-scale urban environments: a review of deep learning and classical methods. Front. Comput. Sci. 7:1467103.