YOLO·DETR 객체 탐지 비교: CNN·Transformer·NMS-free 기술과 35개 모델 성능 분석
 |
|
2016년부터 2026년까지 발전한 단일 단계 객체 탐지 기술을 분석한 최신 리뷰가 YOLO26, DETR, RT-DETR 등 35개 대표 모델을 비교했다. 핵심 흐름은 단순한 YOLO 대 Transformer 경쟁이 아니라 anchor-free, NMS-free, CNN–Transformer 하이브리드 구조로의 이동이다.
YOLO·DETR 객체 탐지 연구 핵심 결과 한눈에 보기
연구진은 약 180편의 후보 논문을 검토한 뒤 35개 객체 탐지 모델을 정량 비교 대상으로 선정했다. 최근 객체 탐지 모델은 앵커를 사용하지 않는 anchor-free 구조와 중복 박스를 제거하는 후처리를 줄이는 NMS-free 구조로 이동하고 있으며, CNN과 Transformer의 장점을 결합하는 하이브리드 설계가 빠르게 늘고 있다.
YOLOv12-M은 약 20.2M 파라미터로 MS COCO AP 52.5%를, YOLOv13-M은 비슷한 모델 규모에서 AP 52.9%를 보고했다. 다만 논문마다 입력 해상도와 GPU, 학습 기간, 추론 조건이 달라 AP와 FPS 수치만으로 모델 순위를 단정해서는 안 된다.
객체 탐지 AI란 무엇이며 단일 단계 탐지기가 빠른 이유
객체 탐지(object detection)란 이미지나 영상에서 어떤 물체가 있는지 분류하고, 그 물체가 어디에 있는지 경계 상자로 표시하는 기술을 말한다. 자율주행차의 보행자 인식, 드론의 차량 탐지, 공장의 불량품 검사, 농업 자동화와 로봇 비전 등에 널리 사용된다.
단일 단계 객체 탐지(single-stage object detection)란 후보 영역을 먼저 만든 뒤 다시 분류하는 별도 단계를 거치지 않고, 한 번의 네트워크 처리 과정에서 물체의 위치와 종류를 직접 예측하는 방식을 말한다. YOLO, SSD, RetinaNet, FCOS와 DETR 계열이 대표적이며, 실시간 처리가 필요한 환경에서 중요한 기술로 자리 잡았다.
닝보테크대학교(NingboTech University)와 저장대학교(Zhejiang University) 등이 참여한 Malik Haris 연구팀은 2016년부터 2026년까지 발표된 단일 단계 객체 탐지 연구를 종합적으로 분석했다. 해당 논문은 2026년 8월 Artificial Intelligence Review에 게재 승인됐다.
YOLO와 DETR의 차이는 CNN과 Transformer만으로 설명되지 않는다
YOLO와 DETR의 가장 큰 차이는 단순히 CNN과 Transformer를 사용한다는 점에만 있지 않다. 연구진은 현대 객체 탐지 모델을 세 가지 설계 축으로 비교했다. 첫 번째는 CNN과 Transformer 중 어떤 구조를 중심으로 사용하는가, 두 번째는 미리 정한 기준 상자인 앵커(anchor)를 사용하는가, 세 번째는 NMS(Non-Maximum Suppression)라는 중복 제거 후처리가 필요한가이다.
예측 방식도 다르다. YOLO, SSD, RetinaNet, FCOS는 이미지의 많은 위치에서 동시에 후보 상자를 만드는 dense prediction 방식을 사용한다. 반면 DETR 계열은 수백 개 정도의 학습 가능한 object query를 이용해 필요한 물체를 선택적으로 찾는 sparse query-based prediction 방식을 사용한다.
| 비교 항목 | 기존 객체 탐지 방식 | 최근 객체 탐지 기술 흐름 |
|---|---|---|
| 위치 예측 | Anchor-based | Anchor-free 확대 |
| 중복 박스 제거 | NMS 사용 | NMS-free 등장 |
| 예측 밀도 | Dense prediction | Sparse query 방식과 병존 |
| 신경망 구조 | CNN 중심 | CNN–Transformer 융합 |
NMS-free 객체 탐지는 왜 등장했고 실제로 더 빠른가
NMS(Non-Maximum Suppression)란 하나의 물체에 여러 개의 탐지 상자가 겹쳐 생성됐을 때 중복된 상자를 제거하는 후처리 기술이다. 전통적인 YOLO와 SSD 같은 dense detector에서는 같은 물체를 여러 위치에서 예측할 수 있기 때문에 NMS가 중요한 역할을 해왔다.
DETR은 Hungarian matching이라는 일대일 대응 학습을 이용해 NMS 없이 최종 탐지 결과를 출력했다. YOLOv10 역시 학습 단계에서는 일대다 예측을 활용하면서 실제 추론 단계에서는 일대일 예측을 사용하는 consistent dual assignment 구조를 도입해 NMS-free 탐지를 구현했다.
왜 NMS-free 구조가 주목받는가. 가장 큰 이유는 객체 탐지 파이프라인을 단순화하고 모델을 처음부터 끝까지 하나의 학습 과정으로 연결하기 쉽기 때문이다. 그러나 NMS를 제거했다고 해서 항상 추론 속도가 크게 증가하는 것은 아니다.
리뷰 논문은 YOLOv10에서 보고된 일부 속도 향상이 NMS 제거 자체뿐 아니라 추론 엔진과 구현 최적화에서 나올 가능성을 지적한다. RT-DETR처럼 NMS를 사용하지 않는 모델도 최종 객체 후보를 고르는 top-k 선택 과정을 거친다. 따라서 NMS-free와 완전한 중복 없는 탐지는 같은 의미가 아니다.
DETR의 500 epoch 학습 문제를 Deformable DETR이 줄인 방법
초기 DETR은 객체 탐지를 직접적인 집합 예측 문제로 바꾸면서 기존 앵커와 NMS를 제거했다. 하지만 MS COCO에서 약 500 epoch의 긴 학습이 필요했고, 작은 물체를 찾는 성능도 상대적으로 낮다는 한계가 있었다.
Deformable DETR은 모든 이미지 위치에 attention을 계산하는 대신 각 query가 소수의 중요한 위치만 선택해 정보를 읽도록 만들었다. 한 query가 참고하는 위치를 약 4개 수준으로 줄이면서 연산량을 낮췄고, 원래 DETR이 약 500 epoch를 필요로 했던 학습 과정을 약 50 epoch 수준까지 단축했다.
이후 DAB-DETR은 객체 위치 정보를 query 자체에 포함했고, DN-DETR은 정답 위치에 노이즈를 추가한 학습 신호를 사용해 초기 학습을 안정화했다. DINO는 Deformable DETR, DAB-DETR, DN-DETR의 핵심 아이디어를 결합해 정확도를 높이는 방향으로 발전했다.
YOLO와 Transformer가 경쟁보다 하이브리드 구조로 합쳐지는 이유
최근 객체 탐지 기술에서 가장 중요한 변화는 CNN과 Transformer 사이의 경계가 약해지고 있다는 점이다. CNN은 이미지의 국소적인 모양과 패턴을 빠르게 처리하는 데 강하고, Transformer는 멀리 떨어진 영역 사이의 관계와 전체적인 맥락을 파악하는 데 유리하다.
RT-DETR은 Transformer 기반 탐지기이지만 여러 해상도의 특징을 결합하는 과정에 CNN 연산을 적극적으로 사용한다. DEYO는 YOLO 방식의 CNN backbone과 neck에서 특징을 추출한 뒤 Transformer decoder를 연결한다. 반대로 최근 YOLO 계열은 CNN만 고집하지 않고 self-attention을 적극적으로 받아들이고 있다.
YOLOv11은 C2PSA라는 partial self-attention 구조를 도입했고, YOLOv12는 Area Attention을 핵심 요소로 사용했다. YOLOv13 역시 여러 해상도의 특징 사이에서 복잡한 관계를 학습하기 위한 HyperACE 구조를 도입했다. 객체 탐지 기술의 경쟁 축이 CNN 대 Transformer에서 두 구조를 얼마나 효율적으로 결합하는가로 이동하고 있다는 의미다.
YOLOv12·YOLOv13 성능이 보여주는 객체 탐지 모델 크기와 정확도의 변화
최근 객체 탐지 모델의 성능 향상은 단순히 파라미터 수를 늘리는 방식만으로 설명되지 않는다. 리뷰 논문이 정리한 기존 발표 결과에서 YOLOv12-M은 약 20.2M 파라미터로 MS COCO AP 52.5%를 기록했고, YOLOv13-M은 비슷한 모델 규모에서 AP 52.9%를 보고했다.
반면 YOLOR-E6는 약 115.8M 파라미터와 1280픽셀 입력 조건에서 AP 55.7%를 기록했다. 절대 AP만 보면 더 큰 모델이 높은 값을 기록할 수 있지만, 필요한 파라미터와 계산량까지 함께 고려하면 작은 모델의 효율이 크게 개선됐다는 점을 확인할 수 있다.
객체 탐지 모델을 선택할 때 AP만 비교해서는 안 되는 이유도 여기에 있다. 비슷한 정확도를 얻는 데 필요한 파라미터 수, GFLOPs, 입력 해상도, 실제 지연시간과 메모리 사용량을 함께 비교해야 실사용 환경에서 효율적인 모델을 찾을 수 있다.
작은 물체 탐지가 어려운 이유와 YOLO·DETR의 성능 격차 변화
작은 물체 탐지는 객체 탐지 AI의 대표적인 난제로 꼽힌다. MS COCO에서는 면적이 32×32픽셀보다 작은 물체를 small object로 구분한다. 작은 물체는 이미지 안에 포함된 시각적 정보 자체가 적고, 신경망을 여러 단계 통과하면서 특징 지도의 해상도가 낮아지면 중요한 정보가 쉽게 사라진다.
사람이나 차량이 빽빽하게 겹쳐 있는 장면에서는 문제를 더 어렵게 만든다. 여러 탐지 상자가 서로 겹치면서 NMS 과정에서 실제 물체까지 제거될 수 있고, 학습 단계에서 어떤 위치를 정답으로 지정할지 결정하는 label assignment에서도 오류가 발생하기 쉽다.
리뷰 논문이 취합한 결과에서는 RT-DETRv2-L, D-FINE-L, DEIM-L 같은 Transformer 계열과 YOLOv12-M, YOLOv13-M, YOLO26-M 같은 YOLO 계열이 작은 물체 AP인 APS에서 비슷한 수준으로 접근하는 흐름을 보였다. 작은 물체 탐지가 특정 구조만의 강점이라는 기존 구분이 점차 약해지고 있다는 뜻이다.
가장 빠른 YOLO와 DETR 모델을 FPS만으로 비교하면 안 되는 이유
이번 리뷰는 약 180편의 후보 연구를 검토하고 약 60편을 본문에서 다뤘으며, 그중 35개 대표 탐지기를 정량 비교 대상으로 선정했다. 검색 기간은 2015년 6월부터 2026년 5월까지이며 IEEE Xplore, ACM Digital Library, SpringerLink, ScienceDirect, Web of Science, Scopus, arXiv와 Google Scholar 등이 포함됐다.
하지만 35개 모델을 동일한 컴퓨터와 동일한 설정에서 다시 학습하고 측정한 통합 벤치마크는 아니다. 각 원 논문이 공개한 AP, FPS, 파라미터 수, GFLOPs 등의 결과를 모아 비교한 문헌 기반 분석이다.
왜 객체 탐지 모델의 FPS를 그대로 비교하면 안 되는가. GPU 종류, 입력 이미지 크기, FP16 또는 FP32 같은 연산 정밀도, batch size, TensorRT 사용 여부, NMS 시간을 포함하는지 여부가 연구마다 다르기 때문이다.
특히 일부 연구가 edge deployment를 강조하면서도 실제 FPS는 스마트폰이나 NVIDIA Jetson 같은 엣지 하드웨어가 아니라 V100, A100, T4 등 고성능 GPU에서 측정한다는 점도 주의해야 한다. 실제 제품에 적용할 모델을 고르려면 같은 하드웨어에서 지연시간과 메모리 사용량을 다시 측정해야 한다.
YOLO와 DETR 객체 탐지 비교에서 자주 묻는 질문
YOLO와 DETR 중 어떤 객체 탐지 모델이 더 좋은가
한쪽이 모든 상황에서 더 좋다고 말하기 어렵다. YOLO 계열은 빠른 dense prediction과 배포 편의성이 강점이고, DETR 계열은 일대일 matching과 query 기반 예측으로 NMS 없는 end-to-end 탐지를 구현한다. 최근에는 두 방식의 장점을 결합한 하이브리드 모델이 늘고 있다.
Anchor-free 객체 탐지는 anchor-based 방식보다 더 빠른가
반드시 그렇지는 않다. 앵커는 대부분 추론 전에 미리 계산할 수 있기 때문에 anchor 자체가 주요 속도 병목은 아니다. Anchor-free 구조의 중요한 장점은 앵커 크기와 종횡비, IoU 기준 같은 수동 설정을 줄여 설계와 학습 과정을 단순화할 수 있다는 점이다.
NMS-free 객체 탐지 모델은 항상 더 빠른가
항상 그렇지는 않다. NMS를 제거하면 후처리 과정은 단순해지지만 전체 추론 시간에서 NMS가 차지하는 비중은 하드웨어와 구현 방식에 따라 달라진다. NMS-free 모델도 top-k 선택이나 query filtering 같은 다른 후보 선택 과정이 필요할 수 있다.
스마트폰과 엣지 기기에서는 YOLO와 DETR 중 무엇이 유리한가
현재 초경량 영역에서는 YOLO와 EfficientDet 같은 CNN 계열의 선택지가 상대적으로 많다. 경량 DETR도 빠르게 발전하고 있지만 실제 스마트폰, Jetson, 모바일 NPU에서의 속도와 전력 소비를 동일한 조건으로 검증한 연구는 아직 충분하지 않다.
객체 탐지 AI의 다음 경쟁은 CNN 대 Transformer가 아니라 효율성이다
이번 리뷰가 보여주는 객체 탐지 AI의 변화는 특정 YOLO 버전이 DETR보다 높은 AP를 기록했다는 단순한 순위 경쟁이 아니다. CNN은 빠른 지역 특징 추출에 강하고 Transformer는 이미지 전체의 관계를 이해하는 데 강하며, 최신 모델은 두 능력을 하나의 구조 안에서 결합하고 있다.
실제 객체 탐지 모델을 선택할 때는 사용 환경이 가장 중요하다. 자율주행에서는 낮은 지연시간과 악천후에서의 안정성이 중요하고, 드론에서는 작은 물체를 놓치지 않는 능력이 중요하다. 스마트폰과 엣지 기기에서는 파라미터 수보다 실제 메모리 점유율과 전력 소비가 더 중요한 조건이 될 수 있다.
연구진이 제안한 방향도 같은 문제를 향한다. 입력 해상도와 GPU, 연산 정밀도, NMS 포함 여부를 명확히 공개하고 여러 차례 추론한 평균 지연시간과 편차를 함께 제시해야 모델 간 비교의 신뢰도를 높일 수 있다.
객체 탐지 기술의 다음 경쟁은 단순히 모델을 더 크게 만드는 데 있지 않다. 더 적은 계산과 메모리로 필요한 물체를 얼마나 정확하고 안정적으로 찾아낼 수 있는지가 YOLO, DETR, CNN–Transformer 하이브리드 모델의 핵심 경쟁력이 되고 있다.
출처
Haris, M., Zhang, G., Li, L., Mastoi, M. S., Hussain, J., & Li, Z. (2026). Single-stage object detection in the deep learning era: A critical survey of CNN-, transformer-, and hybrid architectures. Artificial Intelligence Review. https://doi.org/10.1007/s10462-026-11672-w.