생성형 AI가 경찰 용의자 사진 식별의 공정성을 높이는 방법, 최신 연구가 보여준 가능성
경찰 사진 식별 절차에서 AI가 만든 가상 얼굴은 얼마나 도움이 될 수 있을까
최근 독일 호흐슐레 다름슈타트(Hochschule Darmstadt) 바이오메트릭스 및 보안연구그룹 연구진은 생성형 AI를 활용해 경찰의 사진 식별(photo lineup)에 사용할 가상 인물(filler)을 생성하는 새로운 방법을 제안했다. 연구 결과는 2026년 Frontiers in Artificial Intelligence에 게재됐으며, 실제 사람을 대신하는 AI 생성 얼굴이 용의자 식별 절차의 공정성을 높일 가능성을 제시했다.
범죄 수사에서 목격자의 진술은 매우 중요한 증거다. 하지만 수많은 재심 사건에서 확인됐듯이, 잘못된 목격자 식별은 억울한 사람을 범인으로 만드는 대표적인 원인 가운데 하나였다. 연구진은 이러한 문제를 줄이기 위해 생성형 AI를 활용해 용의자와 적절히 닮았지만 동일인은 아닌 가상의 얼굴을 만들어 사진 식별 절차에 활용할 수 있는지를 검증했다.
사진 식별 절차에서 필러의 역할은 공정성을 결정한다
사진 식별(Photo Lineup)은 목격자에게 여러 명의 얼굴 사진을 제시한 뒤 범인을 찾도록 하는 수사 절차다. 이때 실제 용의자 외에 함께 제시되는 사람들을 필러(filler)라고 부른다.
좋은 필러는 두 가지 조건을 만족해야 한다. 첫째, 용의자와 연령, 성별, 인종 같은 인구학적 특성은 비슷해야 한다. 둘째, 동일인으로 착각할 정도로 닮아서는 안 된다.
필러가 너무 다르면 용의자가 눈에 띄어 목격자가 쉽게 선택하게 된다. 반대로 너무 비슷하면 실제 용의자를 구분하기 어려워진다. 결국 공정한 사진 식별은 적절한 수준의 유사성을 가진 필러를 확보하는 것이 핵심이다.
그러나 현실에서는 적절한 필러를 찾는 일이 쉽지 않다. 특히 특정 인종이나 연령대처럼 데이터베이스에 등록된 인물이 적은 경우에는 적합한 후보를 확보하기 어려운 문제가 있다.
생성형 AI는 얼굴 전체가 아니라 신원을 결정하는 특징만 조절했다
연구진은 유명한 얼굴 생성 모델인 StyleGAN2를 활용했다. 하지만 얼굴 전체를 새롭게 생성한 것이 아니라 용의자의 얼굴을 AI의 잠재공간(latent space)으로 변환한 뒤 일부 정보만 조절하는 방식을 선택했다.
연구진은 얼굴을 구성하는 수많은 정보 가운데 신원을 결정하는 특징만 적절히 변경하도록 설계했다.
이를 위해 얼굴을 잠재벡터(latent vector)로 변환한 후 중간 계층(layer 4~7)에만 무작위 노이즈를 주입했다. 이후 어떤 계층이 사람의 신원 구분에 더 큰 영향을 주는지 분석한 뒤 계층마다 서로 다른 가중치를 적용했다.
즉, 나이, 성별, 인종, 조명, 배경, 이미지 품질 등은 최대한 유지하면서 얼굴형, 눈, 코, 입, 전체적인 인상 등 신원을 구분하는 요소만 자연스럽게 변화시키도록 설계한 것이다. 연구진은 이러한 접근법을 가중치 기반 층별 노이즈 주입(weighted layer-wise noise injection)이라고 설명했다.
얼굴 품질과 닮은 정도를 동시에 최적화했다
생성형 AI는 얼굴을 다양하게 만들 수 있지만 너무 많은 변형을 주면 얼굴이 부자연스러워질 수 있다.
이를 확인하기 위해 연구진은 약 1,000장의 얼굴을 이용해 2만4천900개 이상의 가상 필러를 생성했다.
이후 원래 용의자와 얼마나 닮았는지(코사인 유사도)와 생성된 얼굴의 품질(UQS, Unified Quality Score)을 동시에 분석했다.
분석 결과 노이즈를 너무 많이 주면 얼굴은 충분히 달라졌지만 이미지 품질이 급격히 떨어졌다. 반대로 적절한 수준의 노이즈를 사용하면 자연스러운 얼굴을 유지하면서도 용의자와 적절한 차이를 만드는 것이 가능했다.
이는 생성형 AI를 실제 수사 현장에 적용하려면 얼굴의 유사성뿐 아니라 이미지 품질도 함께 고려해야 함을 보여준다.
인종 정보 보존 성능은 기존 방법보다 크게 개선됐다
연구진은 기존 연구와 비교해 생성된 얼굴이 용의자의 인구학적 특징을 얼마나 잘 유지하는지도 평가했다.
전체 인종 보존율은 기존 연구의 49.4%에서 이번 연구에서는 89.4%로 크게 향상됐다. 특히 아시아계 보존율은 29.1%에서 53.0%로, 흑인 보존율은 17.6%에서 78.9%로 크게 증가했다.
연령 역시 평균 오차(MAE)가 8.5세에서 7.2세로 줄어들었으며, 성별 보존율은 기존 연구와 비슷한 수준을 유지했다.
다만 연구진은 아시아인과 흑인의 경우 여전히 백인보다 보존 성능이 낮은 경향이 남아 있으며, 이는 생성모델 학습 데이터의 편향 때문일 가능성이 있다고 설명했다.
450명이 참여한 실험에서 공정한 사진 식별 가능성을 확인했다
실제 수사에서 활용 가능성을 확인하기 위해 연구진은 총 452명을 대상으로 대규모 인지 실험을 수행했다. 참가자는 바이오메트릭 전문가 44명과 일반 참가자 408명으로 구성됐다.
참가자들은 먼저 용의자의 얼굴을 본 뒤 AI가 만든 필러만 포함된 8인 사진 식별 절차를 수행했다.
실험 결과 전문가는 평균 68.6%, 일반 참가자는 평균 70.1%의 용의자 식별률을 보였다.
이 수치가 의미 있는 이유는 지나치게 높지도, 지나치게 낮지도 않았기 때문이다. 만약 식별률이 거의 100%라면 용의자가 너무 눈에 띄는 사진 배열이라는 의미가 된다. 반대로 무작위 선택 수준인 12.5%에 가까우면 필러가 지나치게 비슷해 용의자를 구분하기 어렵다는 뜻이다.
이번 연구에서는 두 극단 사이의 적절한 수준을 유지해 비교적 공정한 사진 배열이 가능함을 보여줬다.
사람의 얼굴 인식 특성은 여전히 고려해야 할 요소였다
흥미로운 점은 참가자의 인종에 따라 식별 성능이 조금씩 달라졌다는 것이다. 이는 심리학에서 잘 알려진 Other-Race Effect와 관련이 있다.
사람은 자신의 인종 얼굴을 다른 인종 얼굴보다 더 쉽게 구분하는 경향이 있다. 이번 연구에서도 같은 인종끼리의 식별에서는 약간 높은 정확도를 보였고, 서로 다른 인종에서는 일부 정확도가 감소하는 경향이 확인됐다.
연구진은 생성형 AI가 이러한 인간의 인지 특성까지 해결하는 것은 아니며, 실제 수사에서는 목격자의 배경도 함께 고려해야 한다고 설명했다.
생성형 AI는 수사관을 대체하는 기술이 아니라 지원하는 도구다
이번 연구는 생성형 AI가 경찰 수사를 자동화하는 기술을 제안한 것이 아니다. 연구진은 AI가 생성한 필러는 반드시 수사관이 직접 검토하고 선택해야 한다고 강조했다.
노이즈를 지나치게 크게 적용하면 얼굴이 부자연스럽게 변할 수 있으며, AI가 만든 얼굴이라고 해서 모두 적합한 것은 아니다. 따라서 생성형 AI는 적절한 후보를 빠르게 만들어주는 지원 도구이며, 최종 판단은 사람의 몫이라는 점을 분명히 했다.
공정한 형사사법 절차를 위한 새로운 활용 가능성을 제시했다
이번 연구는 생성형 AI가 단순히 사실적인 얼굴을 생성하는 수준을 넘어 형사사법 절차의 공정성을 높이는 데 활용될 수 있음을 보여줬다. 특히 적절한 필러를 확보하기 어려운 상황에서 AI는 개인정보를 보호하면서도 다양한 후보를 신속하게 생성할 수 있다는 장점이 있다.
물론 실제 경찰 수사에 적용하기 위해서는 국가별 법률과 증거능력, 윤리 기준, 생성모델의 편향 문제 등을 추가로 검증해야 한다. 그럼에도 이번 연구는 생성형 AI가 법과 수사 분야에서 어떻게 활용될 수 있는지를 보여주는 중요한 사례다. 앞으로 더 다양한 인종과 연령, 실제 수사 환경을 반영한 후속 연구가 이루어진다면 AI 기반 사진 식별 기술은 보다 신뢰할 수 있는 수사 지원 도구로 발전할 가능성이 있다.
출처
Dörsch, A., Nichols, R., Busch, C., & Rathgeb, C. (2026). Towards synthetic fillers for fair photo lineups: Application of generative AI in criminal law proceedings. Frontiers in Artificial Intelligence, 9, 1834376. https://doi.org/10.3389/frai.2026.1834376