AI로 분실문을 찾는다

인공지능으로 분실문을 찾는 방법에 제기 되었다

잃어버린 물건, 인공지능이 찾아준다 – 텍스트와 이미지 동시에 보는 ‘똑똑한’ 습득물 시스템

학교, 공항, 카페, 버스... 우리는 살아가며 자주 뭔가를 놓친다. 가방, 지갑, 노트북, 심지어는 아이의 장난감까지. 그런데 생각해보자. “혹시 제 가방 못 보셨나요?”라는 전단지나 게시판 글로 과연 잃어버린 물건을 다시 찾을 수 있을까?

스리랑카의 한 연구팀은 이 오래된 문제를 새로운 방식으로 풀었다. 바로 딥러닝을 이용해 ‘습득물 매칭 시스템’을 고도화한 것이다. 텍스트 설명과 사진, 여기에 장소와 시간 정보까지 종합적으로 분석해 “이 물건, 주인을 찾았어요!”라고 말해주는 똑똑한 인공지능 시스템이 탄생한 것이다.

---

 단순한 검색 시대는 끝났다

전통적인 분실물 시스템은 보통 이렇게 작동한다. “검정 백팩을 잃어버렸어요”라고 작성하면, 데이터베이스에 있는 글들을 키워드 중심으로 검색한다. 간단하고 빠르지만, 사람마다 표현이 다르니 정확도가 떨어진다.

예를 들어 누군가는 “검은색 가방”, 다른 누군가는 “블랙 백팩”이라고 쓴다. 같은 말이지만, 키워드는 다르다. 또 이미지 비교도 문제다. 사진이 있어도 각도가 다르거나 조명이 이상하면 딱 맞게 비교하기 어렵다.

여기서 이 연구는 새로운 시도를 한다. 단어의 의미를 이해하고(텍스트), 이미지의 특성을 파악하고(사진), 시간과 장소까지 고려해 결과를 추천하는 방식이다. “이 모든 걸 한 번에 분석한다고?” 놀라울 수밖에 없다.

---

 인공지능 3총사가 출동했다: 텍스트, 이미지, 그리고 ‘융합’

이 시스템은 총 3개의 인공지능 모델로 구성되어 있다.

1. SBERT (Sentence-BERT): 문장을 ‘이해’하는 AI다. “검정색 백팩”이든 “블랙 가방”이든, 의미적으로 같은 걸로 인식할 수 있다. 다국어(영어+싱할라어)도 지원하도록 특별히 학습시켰다.

2. 시암 네트워크(Siamese Network): 이미지 간 유사성을 판단하는 AI다. 같은 가방이라도 각도나 배경이 달라질 수 있기에, 다양한 조건에서 비교할 수 있게 만들었다.

3. 융합 모델 (Fusion Model): 위 두 개의 결과에 장소와 시간 정보를 더해, ‘진짜로 같은 물건인지’를 최종 판단한다. 최근 시간과 가까운 위치를 우선 고려하는 건 당연한 일이다.

즉, 시스템은 이런 식이다:

“이 가방 사진 + 이 설명 + 이 장소/시간 → 혹시 이거랑 비슷하지 않을까?”라고 계산해서, 가장 유사한 결과를 제시해준다.

---

 데이터도 직접 만들었다! 텍스트 2,600쌍 + 사진 848장

이 연구팀은 데이터를 그냥 인터넷에서 수집하지 않았다. SBERT를 학습시키기 위해 총 2,600쌍의 가방 설명을 만들어냈다. 영어와 싱할라어 두 가지 언어로, 실제처럼 다양하게 조합된 문장들이었다. 예를 들어 “대학교 정문에서 잃어버린, 금색 체인이 달린 검정 가죽 핸드백” 같은 구체적인 문장들이다.

이미지도 무려 848장의 가방 사진을 직접 촬영하거나 수집해 사용했다. 가방 종류는 백팩, 숄더백, 캐리어 등 다양했고, 조명과 배경, 각도도 다르게 해서 AI가 더 잘 학습할 수 있게 했다.

---

 정확도는? 텍스트 96%, 이미지 75%, 융합 모델은 무려 87%

* SBERT 모델은 약 96.25% 정확도를 기록했다. 문장 간 의미 유사성을 아주 잘 파악했다는 얘기다.

* 이미지 모델(시암 네트워크)은 75% 정확도로, 시각적 특징을 꽤 잘 잡아냈다.

* 마지막으로 이 둘을 통합한 융합 모델은 무려 87%의 정확도, 0.98의 F1 Score를 달성했다.

사람이 ‘눈대중’으로 찾는 것보다 훨씬 높은 정확도다. 게다가 사용자는 웹 애플리케이션을 통해 직접 입력하고, 결과를 확인하며 피드백까지 남길 수 있다. 이 피드백은 또 다른 학습자료가 된다.

---

 단순히 물건을 찾는 것 그 이상

이 연구는 단순히 분실물을 찾는 기술을 넘어서, ‘사람과 사람 사이 연결의 문제’를 기술로 풀어낸 사례다. 가방을 잃어버린 사람과, 그것을 주운 사람이 서로 만날 수 있도록 연결해주는 중개자 역할을 AI가 해주는 것이다.

특히 기존의 단점이던 “언어 차이”나 “이미지 불일치”, “시간·장소 누락” 같은 요소를 고려한 점이 인상적이다. 앞으로는 GPS 정보를 더 정밀하게 활용하거나, 다른 언어권으로 확장하면 훨씬 더 글로벌한 서비스로 발전할 수 있다.

---

 결론: “당신의 잃어버린 것을, AI가 기억하고 있다”

지금까지의 시스템이 “찾아보세요”였다면, 이 연구는 “이게 아닐까요?”라고 먼저 다가가는 방식이다. 바로 **‘능동형’ AI 매칭 시스템**인 셈이다.

우리가 바쁜 일상 속에서 물건 하나 잃어버리는 건 흔한 일이지만, 그것을 다시 찾는 과정은 결코 쉽지 않다. 그 과정에 AI가 개입한다면? 더 많은 분실물이 주인을 찾고, 더 많은 이들이 웃을 수 있을 것이다.

---

출처 논문

B.M.P. Dhanawardhana, et al. *Enhancing Lost and Found Systems with Multi-Modal Deep Learning: Integrating SBERT and Siamese Networks for Improved Semantic Matching.* Advances in Artificial Intelligence and Machine Learning. 2025; 5(2):3736-3754.