번호판이 안 보이면 끝일까? ‘차의 얼굴’로 추적하는 시대가 왔다

-

 





교차로 CCTV 화면을 떠올려 보자. 차는 쌩쌩 지나가고, 비가 오거나 햇빛이 강하면 반사 때문에 화면이 번쩍인다. 결정적으로 번호판이 가려지거나, 흙탕물이 튀거나, 아예 위조돼 있으면? 우리가 흔히 믿는 “번호판 인식”은 그 순간 힘이 빠진다. 그렇다고 수사를 멈출 순 없다. 그래서 연구자들이 꺼낸 대안이 있다. 번호판 대신 “차 자체의 생김새와 색”을 단서로 삼는 방법이다.


루마니아 연구팀은 실제 도로 환경에서 차종(제조사·모델)과 차색을 함께 맞히는 자동 인식 시스템을 만들었다. 핵심 메시지는 단순하다. “번호판이 흔들릴 때, 차의 겉모습이 백업 카드가 된다.” 그리고 그 백업 카드를 꽤 높은 정확도로 꺼내 들었다.

카메라는 차를 ‘잘라내고’, AI는 중요한 부위만 ‘골라 본다’

이 시스템은 크게 두 단계로 움직인다. 연구팀이 논문 속 그림(특히 8쪽의 파이프라인 도식)으로 보여준 흐름을, 사람 말로 풀면 이렇다.

1) 먼저 “저기 차 있다!”를 찾아낸다

교차로 영상에서 차를 찾아 박스로 둘러치는 역할을 한다. 여기서는 YOLOv8이라는 물체 탐지 모델을 사용했다. 요점은 “차만 뽑아내서 다음 단계로 넘긴다”다. 배경(도로, 건물, 사람)이 섞이면 뒤 단계가 헷갈리기 때문이다.

2) 그다음 “차의 어느 부분을 볼지”를 결정한다

여기가 이 연구의 재미있는 지점이다. 사람은 차를 알아볼 때 본능적으로 특정 부위를 본다. 헤드라이트 모양, 그릴, 범퍼 라인 같은 ‘얼굴’ 말이다. 반대로 색을 보려면 바퀴나 유리보다는 도어·지붕·후드처럼 ‘도장면’을 본다.


연구팀은 이를 AI에 강제로 가르쳤다. 딥러닝 분할(세그멘테이션) 모델(DeepLabv3)을 써서 차를 부위별로 나눈 다음, 목적에 맞는 부위만 남기고 나머지는 버렸다.

  • 색 인식(VCR): 바퀴, 유리, 번호판 같은 “색을 헷갈리게 만드는 부위”를 빼고 도장면 중심으로 본다.
  • 차종 인식(VMMR): 가장 특징이 강한 전면부를 집중적으로 잘라 본다(헤드라이트부터 범퍼 아래까지).

이렇게 하면 “AI가 괜히 배경색(하늘·나무·광고판)을 차색으로 착각하는 사고”를 줄일 수 있다. 사람으로 치면, “문제지에서 필요한 문장에 형광펜을 쳐 주는” 느낌이다.


유럽 교차로에서 직접 모아 만든 데이터, 그래서 ‘현장감’이 세다

연구팀은 웹에서 예쁜 홍보 사진만 긁어오지 않았다. 실제 교차로 카메라 두 곳에서 영상을 모아, 지나가는 차량을 직접 라벨링했다. 계절도 두 시즌으로 나눠 햇빛·그늘·노면 상태(비·안개 느낌)를 일부러 섞었다. 차는 시속 15~70km로 움직이는 상황까지 포함했다. “실전용”을 지향한 셈이다.

  • 색 데이터셋: 8가지 색(은색, 흰색, 검정, 파랑, 빨강, 회색, 노랑, 초록). 처음엔 색 분포가 치우쳐서(초록 같은 희귀색이 적어서) 문제였고, 이후 2343장으로 재구성해 균형을 조금 더 맞췄다.
  • 차종 데이터셋: 1955장, 24개 클래스(제조사-모델-세대 조합). 2000~2024년 사이 세대까지 나눠서 “같은 모델의 다른 얼굴”도 구분하게 했다. 예를 들면 같은 파사트라도 연식대가 다르면 전면 인상이 달라지니까 그 차이를 학습시키는 구조다.

성적표 공개: 차종 94.89%, 색 94.17%… “두 번째 후보까지 보면 98%대”

이제 가장 궁금한 숫자다.

차종(제조사·모델) 맞히기: 전체 정확도 94.89%

차의 전면부에서 뽑은 특징을 HOG라는 방법으로 정리하고, SVM이라는 분류기로 최종 판단했다. 요즘은 뭐든 딥러닝으로 끝내는 흐름이 강하지만, 연구팀은 일부러 “가볍고 빠른 조합”을 택했다. 데이터가 아주 크지 않을 때, 잘 튜닝된 전통 기법이 의외로 강할 때가 있다. 결과도 그 편이었다. 몇몇 클래스는 100점에 가까운 성능이 나왔고, 반대로 표본이 적거나 전면 디자인이 비슷한 차종에서는 놓치는 경우가 있었다.

차색 맞히기: Top-1 94.17%, Top-2 98.41%

색 인식은 딥러닝 모델 5개를 비교했다(EfficientNetV2, MobileNetV3, ResNet50, ViT-B16, ConvNeXt). 여기서 흥미로운 포인트는 “1등 답만 맞히기(Top-1)”도 높지만, “2등 후보까지 허용(Top-2)”하면 거의 99%에 가깝게 올라간다는 점이다.


현장에서는 회색과 검정이 조명에 따라 뒤바뀌고, 은색과 흰색이 햇빛에서 섞여 보인다. 이럴 때 “가장 유력한 색 2개를 같이 제시”하면 수사나 관제에서 실용성이 확 올라간다. 연구팀도 이런 운영 관점의 장점을 강조했다.

‘번호판이 전부’였던 감시가, ‘차의 특징 조합’으로 똑똑해진다

이 연구의 의미는 단순히 정확도 숫자만이 아니다. 현장형 파이프라인이라는 점이 크다.

  1. 번호판이 안 보이는 순간에도 추적의 끈을 놓지 않는다.
  2. 색과 차종이라는 두 가지 단서를 함께 제시해 사람의 판단을 돕는다.
  3. 지역(유럽 도로)에 맞는 데이터로 “그 동네에서 잘 맞는 모델”을 만들었다.

물론 한계도 있다. 야간 데이터는 아직 없고(주간만 사용), 희귀색(예: 초록)은 표본이 적을수록 약해진다. 연구팀도 앞으로 야간·폭우·더 다양한 차종으로 확장하겠다고 밝혔다. 하지만 방향은 분명하다. “차를 알아보는 일”을 번호판 한 장에만 걸지 않고, 겉모습의 여러 단서로 분산시키는 것. 이게 바로 실전에서 강한 시스템이 되는 길이다.


출처

Istrate, A., Boboc, M.-G., Hritcu, D.-T., Rastoceanu, F., Grozea, C., & Enache, M. (2025). Automatic vehicle recognition: A practical approach with VMMR and VCR. AI, 6, 329. https://doi.org/10.3390/ai6120329