쓰레기통 앞에서 망설이지 않는 AI, EcoSortBin이 보여준 ‘덜 배우는 기술’

EcoSortBin은 카메라로 폐기물을 인식하고 AI와 센서 정보를 결합해 적절한 수거함으로 분류하는 시스템이다. 연구진은 범용 시각 지식을 보존하면서 일부 신경망만 선택적으로 학습해 기존 폐기물의 인식 정확도와 새로운 물체에 대한 일반화 능력 사이의 균형을 시도했다.

새로운 포장재가 계속 등장하는 현실에서, AI가 이미 배운 지식을 잃지 않으면서 새로운 것을 알아보게 만드는 방법

쓰레기통 앞에서 잠깐 손이 멈출 때가 있다. 다 마신 음료병 하나를 들고도 플라스틱인지 일반 쓰레기인지, 라벨은 떼야 하는지, 뚜껑은 어디에 넣어야 하는지 판단이 애매하다. 사람도 그런데 기계라고 사정이 크게 다르지는 않다.

AI에게 수천 장의 페트병 사진을 보여주면 페트병을 꽤 잘 알아본다. 캔과 종이, 비닐봉지도 마찬가지다. 문제는 어느 날 처음 보는 포장재가 쓰레기통 위에 놓였을 때다. 기존의 폐기물 분류 AI는 대개 자신이 배운 정답 목록 안에서 답을 골라야 한다. 세상에는 새로운 물건이 계속 나오는데 AI의 세계는 학습이 끝난 날 멈춰 있는 셈이다.

2026년 학술지 AI에 발표된 EcoSortBin 연구는 바로 이 간극을 다룬다. 연구진은 AI 전체를 캠퍼스 쓰레기에 맞게 뜯어고치는 대신, 이미 가지고 있던 일반적인 시각 지식을 최대한 보존하면서 필요한 부분만 선택적으로 학습시켰다. 그 결과 학습한 7종의 폐기물에서는 73.5%의 top-1 정확도를 확보하면서 다른 환경과 새로운 물체를 인식하는 능력도 일부 유지했다. 더구나 이 시스템은 거대한 GPU 서버가 아니라 라즈베리파이 4에서 작동하도록 설계됐다.

세상은 계속 변하는데 AI의 정답지는 일곱 칸뿐이었다

대학 캠퍼스의 쓰레기통을 떠올려 보자. 어제까지 없던 음료가 편의점 진열대에 등장하고, 같은 음료도 병 모양과 라벨이 바뀐다. 배달 음식이 유행하면 새로운 용기가 쌓이고 계절이 바뀌면 소비되는 제품도 달라진다.

이런 변화는 사람에게는 사소해 보이지만 기존 AI에는 꽤 어려운 문제다.

전통적인 이미지 분류 AI는 대체로 정해진 범주를 배운다. 플라스틱병, 유리병, 알루미늄 캔 등 일곱 종류를 가르치면 들어온 물체를 그 일곱 개 가운데 하나로 판단한다. 문제는 여덟 번째 물체가 등장했을 때다.

모르는 것을 “모른다”고 말하는 대신 자신이 알고 있는 것 가운데 가장 비슷한 답을 내놓을 수 있다.

폐기물 분류에서는 이런 오류가 더 골치 아프다. 분류 AI의 목적은 사진 속 물체 이름을 맞히는 데 그치지 않는다. 실제 물건을 어느 통으로 보낼 것인지 결정해야 하기 때문이다. 잘못된 한 번의 판단이 재활용품 오염으로 이어진다.

EcoSortBin 연구진이 주목한 것도 이 문제였다. 논문은 캠퍼스 재활용 폐기물의 오염률이 40~70%에 이를 수 있다는 기존 연구를 배경으로 제시한다. 애매한 분리배출 표시와 현장에서 즉시 알려주는 피드백의 부족 등이 원인으로 지목돼 왔다.

그래서 연구진은 단순히 “더 정확한 쓰레기 AI”가 아니라 세상이 바뀌어도 어느 정도 따라갈 수 있는 쓰레기 AI를 만들고자 했다.

1,330장의 사진을 열심히 학습시켰더니 오히려 세상을 보는 눈이 좁아졌다

연구진은 TrashNet, Drinking Waste Classification, TACO라는 공개 데이터에서 출발했다. 원본은 모두 10,100장이었다.

여기에서 플라스틱병, 유리병, 알루미늄 캔, 과자 포장지, 종이 쓰레기, 골판지 상자, 비닐봉지 등 7종에 해당하는 이미지를 골라 품질을 확인하고 클래스 간 숫자를 조정했다. 최종 데이터는 1,330장이었다.

728장은 AI 학습에, 126장은 학습 과정의 검증에, 98장은 최종 테스트에 사용됐다. 여기에 촬영 환경과 데이터 출처가 다른 378장의 이미지를 별도로 두었다. AI가 익숙한 시험지가 아니라 다른 환경에서도 같은 물체를 알아보는지를 확인하기 위해서였다. 물체의 윤곽 정보는 Segment Anything Model(SAM)을 이용해 만들었다.

처음 결과는 좋아 보였다.

YOLOE-26s를 캠퍼스 쓰레기에 맞게 전체 미세조정한 WasteYOLOE26-S는 98장 테스트에서 top-1 정확도 74%, mAP50 0.5438을 기록했다.

그런데 다른 환경에서 시험하자 이상한 일이 나타났다.

연구진이 사용한 CDGR이라는 지표가 사전학습 상태의 6.055에서 전체 미세조정 후 0.0055까지 추락했다. CDGR은 간단히 말해 익숙한 환경에서 보여준 탐지 능력을 다른 환경에서 얼마나 유지하는지를 비교하는 값이다.

AI는 쓰레기를 더 열심히 공부했는데 오히려 낯선 쓰레기를 보는 능력은 크게 약해졌다.

우리의 공부 경험과도 조금 닮아 있다. 예상 문제의 답을 반복해서 외우면 그 시험에서는 점수가 올라갈 수 있다. 하지만 숫자와 표현이 조금만 달라진 문제가 나오면 손이 멈춘다. 문제의 원리를 배운 것이 아니라 특정한 정답의 모양에 익숙해졌기 때문이다.

AI에서도 비슷한 일이 벌어졌다.

왜 더 많이 학습한 AI가 처음 보는 물건에는 더 약해졌을까

EcoSortBin의 기반에는 이미지와 언어를 서로 연결하는 기술이 들어 있다.

AI는 단순히 사진만 보는 것이 아니라 사진에서 얻은 특징을 “plastic bottle” 같은 언어 표현과 연결한다. 덕분에 학습할 때 정확히 보지 못한 범주라도 언어와 이미지 사이의 관계를 이용해 찾아볼 가능성이 생긴다. 이를 오픈 보캐뷸러리 탐지라고 한다.

그런데 전체 미세조정을 하면 이미지에서 특징을 뽑아내는 신경망까지 7종의 캠퍼스 쓰레기에 맞춰 변한다.

처음에는 수많은 사물의 형태와 의미를 알고 있던 AI의 눈이 점점 시험에 나올 일곱 가지 쓰레기에 특화되는 것이다.

논문에서는 이를 시각 특징이 원래의 CLIP 표현 공간에서 벗어나는 현상으로 설명한다. 쉽게 말하면 범용적으로 세상을 바라보던 좌표계가 일곱 종류의 쓰레기를 구분하기 위한 좌표계로 바뀐 것이다.

정확도를 올리는 과정에서 일반화 능력을 잃은 것이다.

연구진은 여기서 중요한 질문을 던졌다.

AI를 더 많이 학습시키는 대신, 꼭 필요한 부분만 조금 바꾸면 어떨까.

1,179만 개짜리 모델에서 단 16,384개만 움직여봤다

여기서 등장하는 것이 RLPA(RepRTA-Compatible LoRA Prompt Adapters)다.

이름은 어렵지만 아이디어는 단순하다.

AI의 눈을 다시 교육하지 않는다. 대신 그 눈과 비교하는 단어의 표현을 조금 다듬는다.

연구진은 7개 폐기물 범주에 대해 재질, 상태, 브랜드, 카메라 시점 등을 반영한 634개의 텍스트 표현을 만들었다. 예를 들어 단순히 ‘병’이라는 표현 하나만 사용하는 대신 찌그러진 상태나 위에서 내려다본 모습처럼 현실에서 달라질 수 있는 조건을 언어 표현에 반영했다.

그리고 MobileCLIP이 만든 텍스트 표현을 수정하는 작은 어댑터만 학습시켰다.

학습되는 매개변수는 16,384개였다. 전체 미세조정에 비하면 약 0.14% 수준이다. 게다가 학습이 끝나면 이 작은 보정값을 기존 모델에 합칠 수 있어 실제 쓰레기통에서 AI를 실행할 때 추가 계산도 필요하지 않았다.

결과는 흥미로웠다.

CDGR이 3.451까지 되살아났다.

AI가 가지고 있던 넓은 세계관을 상당 부분 보존하는 데 성공한 셈이다.

하지만 이번에는 반대쪽 문제가 생겼다. 익숙한 7개 종류의 top-1 정확도가 15%에 그쳤다.

세상을 넓게 보는 능력은 되찾았지만 정작 눈앞의 페트병을 제대로 분류하지 못한다면 스마트 쓰레기통으로 사용하기 어렵다.

연구진에게 필요한 것은 정확도와 일반화 중 하나를 선택하는 일이 아니었다.

두 능력 사이에서 쓸 만한 지점을 찾는 일이었다.

AI의 ‘눈’은 얼리고 그 뒤의 연결부만 다시 학습시켰다

연구진은 결국 신경망을 세 부분으로 나눠 생각했다.

앞부분인 백본(backbone)은 이미지에서 기본적인 모양과 특징을 찾아낸다. 사람에 비유하면 세상을 바라보며 선과 형태, 질감 등을 인식하는 눈에 가깝다.

중간의 넥(neck)은 여러 크기에서 얻은 시각 정보를 모아 결합한다.

마지막 헤드(head)는 이렇게 만들어진 특징을 이용해 어떤 물체인지 판단한다.

연구진은 백본을 아예 얼렸다. 학습 과정에서도 바뀌지 못하도록 한 것이다. 대신 중간의 넥과 마지막 헤드를 캠퍼스 폐기물에 맞게 조정했다.

이것이 RLPA + NeckFT다.

결과는 두 극단의 중간에서 상당히 실용적인 지점을 만들었다.

top-1 정확도는 73.5%였다. 전체를 미세조정했을 때의 74%와 불과 0.5%포인트 차이다. mAP50도 0.538이었다.

동시에 CDGR은 0.2435였다. RLPA만 적용했을 때의 3.451에는 미치지 못하지만 전체 미세조정 모델의 0.0055와 비교하면 다른 환경에 대한 능력을 훨씬 많이 남겼다.

왜 이런 결과가 나왔을까.

핵심은 무엇을 새로 배워야 하고 무엇을 잊지 말아야 하는지를 구분한 데 있다.

AI가 오랜 사전학습을 통해 얻은 범용적인 시각 지식은 보호했다. 대신 실제 캠퍼스에서 보이는 쓰레기의 크기와 형태를 조합하고 판단하는 부분만 적응시켰다.

때로 학습에서 중요한 것은 얼마나 많이 바꾸느냐가 아니다.

무엇을 바꾸지 않을 것인지 결정하는 일이 더 중요할 수 있다.

처음 보는 28종의 쓰레기는 AI가 외운 정답이 아니었다

연구진은 한 걸음 더 나아갔다.

학습에 사용하지 않은 새로운 범주를 대상으로 별도의 시험을 진행했다. 총 28종, 840장의 이미지였다.

RLPA만 적용한 모델의 탐지율은 12.0%였지만 RLPA + NeckFT에서는 69.6%로 높아졌다. 특히 병이나 단지처럼 용기의 형태가 뚜렷한 새로운 범주에서 비교적 일관된 제로샷 인식이 나타났다.

이 대목은 동시에 이 연구의 가능성과 한계를 보여준다.

AI가 새로운 물체의 이름을 마법처럼 알아낸 것은 아니다. 전에 배운 시각적 개념과 새로운 물체 사이에 공통점이 있을수록 알아보기 쉬웠다.

사람도 비슷하다.

처음 보는 외국 음료수병을 발견해도 우리는 그것을 한 번도 본 적이 없다는 이유만으로 정체를 완전히 알 수 없다고 생각하지 않는다. 길쭉한 몸체, 뚜껑, 투명한 재질 같은 특징을 보고 “병 종류일 것”이라고 추론한다.

EcoSortBin에서 나타난 제로샷 능력 역시 이런 방향에 가깝다.

따라서 69.6%라는 숫자를 “새로운 쓰레기의 69.6%를 정확하게 분류했다”라고 단순 해석해서는 안 된다. 논문은 새로운 범주에서 탐지가 발생한 비율을 보고한 것이며, 일반화도 특히 용기 형태의 물체에 집중됐다.

모양이 크게 다른 새로운 포장재에서도 같은 수준의 성능이 나온다고 단정할 근거는 아직 없다.

쓰레기통은 AI 하나만 믿지 않았다

현실에서는 AI가 틀릴 수 있다는 사실도 시스템 설계에 포함해야 한다.

EcoSortBin이 흥미로운 또 하나의 이유다.

논문 7쪽의 의사결정 흐름도를 보면 카메라 AI 하나에 모든 판단을 맡기지 않는다. 시각 모델의 신뢰도가 0.60 이상이면 결과를 받아들이지만, 0.35~0.60이면 무게 센서를 함께 이용한다. 금속 센서가 물체를 감지하면 시각적 판단과 관계없이 알루미늄 캔 경로를 우선한다. 신뢰도가 0.35보다 낮고 금속도 아니라면 무리하게 답을 내리지 않고 일반 쓰레기로 보내면서 해당 사례를 기록한다.

여기에는 꽤 현실적인 철학이 숨어 있다.

좋은 자동화 시스템은 AI가 언제나 옳다고 가정해서 만들어지는 것이 아니다. AI가 틀릴 때 무엇이 그 판단을 보완할 것인가까지 설계해야 한다.

카메라는 물체의 모습을 보고, 저울은 무게를 느끼며, 금속 센서는 재질에 대한 별도의 증거를 제공한다. 서로 다른 감각이 하나의 결정을 보완하는 셈이다.

사람이 눈으로 보고 손으로 들어보고 재질을 만져본 뒤 쓰레기통을 선택하는 것과 묘하게 닮았다.

41.8MB 안에 들어간 AI는 약 1.1초 동안 생각했다

이 모든 기술이 데이터센터의 GPU에서만 돌아간다면 스마트 쓰레기통이라는 목적에는 맞지 않는다.

그래서 연구진은 최종 모델을 라즈베리파이 4에 올렸다.

ONNX FP32 모델의 크기는 41.8MB였다. 라즈베리파이 4의 Cortex-A72 CPU에서 한 프레임을 처리하는 데 약 1113ms가 걸렸다. 초당 약 0.90장의 이미지에 해당한다. 계속 영상을 분석하는 고속 시스템에는 느리지만 사람이 물건 하나를 올려놓을 때마다 촬영하는 쓰레기통에는 사용할 수 있는 수준이다.

RFID 인증부터 카메라 촬영, AI 판단, 센서 확인, 쓰레기통 게이트 작동과 사용자 피드백까지 한 번의 처리 과정은 정상적으로 준비된 상태에서 약 2~3초였다. 논문 5쪽의 시스템 구성도는 라즈베리파이 4를 중심으로 카메라와 무게·재질 센서, RFID, Arduino Nano, 클라우드 시스템이 연결되는 구조를 보여준다.

연구진은 모델을 앞으로 더 작게 만들 가능성도 시험했다.

INT8 양자화는 AI가 사용하는 숫자의 정밀도를 낮춰 모델을 가볍고 빠르게 만드는 방법이다. 하지만 이 모델은 두 범주의 점수가 매우 근접할 수 있기 때문에 작은 반올림 오차만으로도 1등과 2등이 뒤바뀔 위험이 있다.

연구진은 200개 테스트 이미지에서 이를 모의실험했고, 판단 순서가 얼마나 보존됐는지를 나타내는 Kendall's τ가 1.00을 기록했다. 시험 범위에서는 순위 뒤집힘이 관찰되지 않았다는 의미다.

다만 중요한 단서가 있다.

실제로 라즈베리파이에 배포한 모델은 INT8이 아니라 41.8MB의 FP32 모델이다. 논문 작성 당시 사용한 도구가 ARM64 환경에서 원하는 INT8 NCNN 내보내기를 지원하지 않았기 때문이다. 약 11.8MB로 예상되는 진짜 INT8 모델의 속도와 정확도는 앞으로 직접 검증해야 한다.

우리가 버리는 물건보다 더 빨리 변하는 세상을 AI가 따라가려면

EcoSortBin을 단순히 ‘AI 스마트 쓰레기통’이라고 부르면 이 논문의 중요한 부분을 놓치게 된다.

연구가 던지는 질문은 더 넓다.

우리는 AI에게 새로운 것을 가르칠 때 흔히 더 많은 데이터를 주고 더 많은 부분을 학습시키면 좋아질 것이라고 생각한다. 하지만 이번 실험에서는 정반대의 현상이 나타났다. 모델 전체를 캠퍼스 쓰레기에 맞춰 열심히 학습시키자 익숙한 일곱 종류에서는 74%의 정확도를 얻었지만 다른 환경을 바라보는 능력이 크게 무너졌다.

반대로 거의 아무것도 바꾸지 않으면 범용성은 살아남았지만 현장에서 필요한 정확도를 얻지 못했다.

결국 가장 나은 절충점은 가운데 있었다.

이미 알고 있는 것을 함부로 지우지 않고, 새로운 환경에 적응하는 데 필요한 부분만 바꾸는 방식이다.

이 원리는 쓰레기통에만 적용되는 이야기가 아니다. 공장에서 처음 보는 불량품을 찾아야 하는 AI, 새로운 상품이 계속 등장하는 무인매장, 농작물의 새로운 병충해를 발견해야 하는 카메라, 제한된 컴퓨터로 작동하는 로봇에도 비슷한 문제가 존재한다.

물론 EcoSortBin이 그 문제를 해결했다고 말하기에는 이르다. 73.5%의 정확도는 완전 자동화에 충분하다고 단정하기 어렵고, 새로운 범주에 대한 일반화도 특정한 용기 형태에서 강하게 나타났다. 여러 나라의 포장재와 조명, 오염된 쓰레기, 찌그러지거나 일부만 보이는 물체, 복수의 쓰레기가 동시에 놓이는 실제 환경에서도 검증해야 한다.

그럼에도 이 연구에서 오래 남는 문장은 숫자가 아닐지도 모른다.

우리는 학습을 흔히 무언가를 더 많이 기억하는 과정이라고 생각한다. 그러나 이미 많은 것을 알고 있는 AI에게 새로운 세상을 가르칠 때는 다른 문제가 생긴다.

새로운 것을 배우면서 무엇을 잊지 않게 할 것인가.

계속 새로운 포장지가 생겨나는 쓰레기통 앞에서 EcoSortBin이 던지는 질문은 의외로 인간의 배움과도 닮아 있다. 잘 배우는 능력만큼이나, 이미 알고 있는 세계를 지키면서 새로운 경험을 받아들이는 능력이 중요하다는 것이다.

출처

Balasundaram, M., & Perumal, S. (2026). EcoSortBin: Accuracy–Generalisation Trade-Offs in Open-Vocabulary Campus Waste Detection on Raspberry Pi 4. AI, 7, 305. DOI: 10.3390/ai7080305.