Transformer 기반 YOLO가 도로 균열을 더 정확하게 찾는 방업

얇은 균열과 포트홀까지 동시에 인식하는 새로운 도로 손상 탐지 AI가 등장했다

도로 균열과 포트홀은 교통 안전과 직접 연결되는 문제다. 하지만 실제 도로를 사람이 일일이 점검하는 방식은 시간이 오래 걸리고 비용도 크다. 특히 야간이나 비 오는 날처럼 시야가 좋지 않은 환경에서는 작은 균열을 놓치기 쉽다.

최근에는 카메라와 AI를 이용해 도로 상태를 자동으로 분석하는 기술이 빠르게 발전하고 있다. 하지만 기존 AI 모델은 얇고 긴 균열을 제대로 인식하지 못하거나, 그림자와 차선 자국을 균열로 잘못 판단하는 문제가 있었다.

카자흐스탄과 말레이시아 연구진은 이런 한계를 해결하기 위해 Transformer 기반 멀티스케일 YOLO 모델을 개발했다. 이 모델은 단순히 균열 위치만 찾는 것이 아니라, 균열 경계까지 세밀하게 분할할 수 있도록 설계됐다. 연구 결과 해당 모델은 mAP 92.8%, mIoU 89.6%, 실시간 처리 속도인 38FPS를 기록했다.

기존 도로 균열 탐지 AI는 얇은 균열을 자주 놓친다

기존 도로 손상 탐지 시스템 대부분은 CNN 기반 객체 탐지 모델을 사용했다. 대표적으로 YOLO 계열 모델이 널리 사용됐다. 이런 모델은 빠른 속도가 장점이지만 실제 도로 환경에서는 몇 가지 문제가 반복적으로 나타났다.

가장 큰 문제는 얇고 긴 균열이다. 도로 균열은 머리카락처럼 가늘게 이어지는 경우가 많다. 그런데 일반 CNN 구조는 가까운 영역만 집중적으로 분석하기 때문에, 떨어진 균열 조각을 하나의 손상 구조로 이해하지 못하는 경우가 많다.

예를 들어 긴 균열이 중간 그림자 때문에 끊겨 보이면 기존 모델은 서로 다른 손상으로 인식하거나 일부만 탐지하는 경우가 있었다.

또 다른 문제는 도로 위의 시각적 노이즈다.

실제 도로에는 다음 같은 요소가 계속 등장한다.

차선 표시
맨홀 주변 자국
젖은 노면 반사
그림자
타이어 흔적
패치 보수 흔적

이런 요소들은 균열과 매우 비슷한 형태를 만들기 때문에 AI가 잘못 인식하기 쉽다.

연구진은 이런 문제를 해결하기 위해 단순 CNN 구조 대신 Transformer 기반 문맥 이해 구조를 도입했다.

Transformer는 떨어진 균열 조각도 하나의 구조로 이해한다

이번 연구의 핵심은 Transformer Context Refinement 모듈이다.

Transformer는 원래 자연어 처리에서 문장 전체 관계를 이해하기 위해 개발된 기술이다. 최근에는 이미지 분석에서도 사용되기 시작했다.

기존 CNN은 주변 픽셀만 본다. 반면 Transformer는 이미지 전체 관계를 동시에 분석할 수 있다.

연구진은 이를 도로 손상 분석에 적용했다.

예를 들어 균열 일부가 그림자에 가려져 있더라도 Transformer는 주변 패턴과 방향성을 함께 분석해 하나의 균열 구조로 연결한다.

논문에서는 이를 cross-scale attention 구조로 설명했다. 서로 다른 크기의 특징 맵을 동시에 비교하면서 작은 균열과 큰 포트홀 정보를 함께 학습하는 방식이다.

이 과정 덕분에 모델은 다음 상황에서도 안정적인 성능을 유지했다.

야간 도로
비 오는 환경
그림자 영역
차선과 균열이 겹치는 구간
균열 일부가 지워진 도로

AI는 도로 손상 경계선까지 정밀하게 분리한다

기존 도로 탐지 모델 대부분은 “여기에 균열이 있다” 정도만 표시했다.

하지만 실제 도로 유지보수에서는 균열의 정확한 길이와 경계가 매우 중요하다. 균열 크기에 따라 보수 우선순위와 비용이 달라지기 때문이다.

연구진은 이를 위해 boundary-aware segmentation 구조를 추가했다.

이 구조는 단순한 픽셀 분할이 아니라 균열의 경계선을 별도로 학습한다.

쉽게 말하면 AI가 다음 두 가지를 동시에 배우는 것이다.

어디에 손상이 있는가
손상의 정확한 외곽선은 어디인가

논문에서는 edge supervision을 추가해 균열 경계를 더 선명하게 만들었다고 설명한다. 실제 결과에서도 기존 모델보다 균열 윤곽이 훨씬 자연스럽고 날카롭게 유지됐다.

특히 얇은 선 형태 균열에서 성능 차이가 크게 나타났다.

연구진은 실제 도로 환경 데이터를 직접 수집한다

이번 연구는 단순 공개 데이터셋 실험에만 의존하지 않았다.

연구진은 카자흐스탄 알마티 지역 도로에서 직접 차량 카메라 영상을 수집했다. 여기에 국제 공개 데이터셋인 RDD2022도 함께 사용했다.

전체 데이터셋에는 총 19,440개 손상 객체가 포함됐다.

데이터에는 다음 종류가 포함됐다.

선형 균열
격자 균열
포트홀
맨홀
패치 보수 흔적
차선 손상
얼룩
그림자

흥미로운 점은 연구진이 일부러 그림자와 차선 자국도 별도 클래스로 학습시켰다는 점이다.

이는 실제 환경에서 AI가 가장 많이 헷갈리는 요소이기 때문이다.

즉 “균열처럼 보이지만 실제 균열이 아닌 것”까지 함께 학습시켜 오탐지를 줄이려 한 것이다.

새로운 구조는 기존 YOLO보다 더 높은 정확도를 보인다

연구진은 제안 모델을 다음 모델들과 비교했다.

YOLOv5
YOLOv8
Faster R-CNN
Mask R-CNN
U-Net
DeepLabV3+

결과는 비교적 뚜렷했다.

제안 모델은 다음 성능을 기록했다.

mAP: 92.8%
Precision: 94.1%
Recall: 93.5%
mIoU: 89.6%
FPS: 38

특히 segmentation 성능인 mIoU가 크게 향상됐다.

이는 단순 탐지가 아니라 균열 구조 자체를 더 정밀하게 이해했다는 의미에 가깝다.

또한 연구진은 여러 모듈을 하나씩 제거하는 ablation study도 진행했다.

그 결과 다음 요소들이 각각 성능 향상에 기여하는 것으로 나타났다.

멀티스케일 정렬
Transformer attention
ROI 기반 재분류
Boundary-aware segmentation

특히 Transformer 기반 문맥 분석이 추가된 이후 작은 균열 탐지 정확도가 크게 증가했다.

다른 국가 도로에서도 성능 저하가 크지 않았다

AI 모델은 학습한 환경이 바뀌면 성능이 크게 떨어지는 경우가 많다.

예를 들어 일본 도로에서 학습한 AI는 중앙아시아 도로에서 잘 작동하지 않을 수 있다.

연구진은 이를 검증하기 위해 cross-dataset evaluation도 진행했다.

RDD2022로 학습 → 카자흐스탄 도로 테스트
카자흐스탄 데이터로 학습 → RDD2022 테스트

이 실험에서도 성능 저하는 비교적 제한적이었다.

연구진은 Transformer 기반 문맥 분석 구조가 도로 재질·조명·노면 차이를 더 잘 일반화했다고 설명했다.

이는 실제 글로벌 도로 유지보수 시스템에 중요한 부분이다.

실시간 도로 유지보수 시스템에 가까워지고 있다

이번 연구는 단순히 정확도만 높인 것이 아니다.

실시간 처리 속도인 38FPS를 유지하면서 탐지와 세그멘테이션을 동시에 수행했다는 점이 중요하다.

이는 향후 다음 시스템에 직접 연결될 가능성을 보여준다.

자율주행 차량 도로 상태 분석
스마트시티 유지보수
도로 순찰 차량 자동 점검
실시간 포트홀 경고 시스템
도로 보수 우선순위 자동화

특히 앞으로는 드론·차량·CCTV와 연결된 대규모 자동 도로 점검 시스템이 빠르게 확대될 가능성이 크다.

이번 연구는 그 방향에서 정확도와 실시간성을 동시에 확보하려는 시도에 가까운 연구라고 볼 수 있다.

Transformer 기반 문맥 이해는 도로 손상 분석의 방향을 바꾸고 있다

이번 연구는 단순히 새로운 YOLO 변형 모델을 제안한 수준이 아니다.

핵심은 AI가 이제 도로 균열을 단순 선 형태가 아니라 맥락을 가진 구조로 이해하기 시작했다는 점이다.

기존 CNN 기반 모델은 작은 패턴을 찾는 데 강했다. 반면 Transformer는 도로 전체 흐름 속에서 손상의 연결성과 구조를 함께 이해한다.

그 결과 그림자·노면 반사·차선 같은 복잡한 환경에서도 더 안정적인 판단이 가능해졌다.

앞으로 도로 유지보수 AI는 단순 탐지를 넘어, 손상 진행 정도와 보수 우선순위까지 자동으로 판단하는 방향으로 발전할 가능성이 크다.

출처

Kulambayev, B., Olzhayev, O., & Suliman, A. (2026). A multi-scale transformer-enhanced YOLO framework for unified road damage detection and boundary-aware segmentation. Frontiers in Artificial Intelligence, 9, 1834179. https://doi.org/10.3389/frai.2026.1834179