AI 이미지에서 사람 한 명만 지우는 기술, 이제 마스크를 직접 그리지 않아도 된다

AI가 사진 속 여러 사람을 구분해 원하는 대상만 선택하고, 객체가 있던 자리를 주변 배경과 자연스럽게 이어 붙이는 과정을 시각화했다.

사진 속 사람을 지우는 AI 기능은 이미 여러 이미지 편집 프로그램에서 제공되고 있다. 하지만 여러 사람이 함께 있는 사진에서 원하는 사람 한 명만 정확하게 지우는 일은 여전히 번거롭다. 기존 도구에서는 사용자가 브러시로 사람의 윤곽을 직접 칠하거나 삭제할 영역을 세밀하게 표시해야 하는 경우가 많기 때문이다.

경북대학교와 부경대학교, 캐나다 퀸스대학교 연구진은 이런 불편을 줄이기 위해 마스크를 직접 그리지 않고도 원하는 객체만 선택해 제거하는 AI 이미지 편집 프레임워크를 제안했다. 연구 결과는 2026년 학술지 AI에 발표됐다. 핵심은 새로운 거대 생성 모델을 학습시키는 것이 아니라, 객체 탐지와 이미지 분할, 배경 복원 모델을 연결해 사용자가 선택한 대상만 지우도록 만드는 데 있다. 

이 연구가 다룬 문제는 단순한 배경 지우기와 다르다. 사진 속에 같은 종류의 객체가 여러 개 있을 때, 예를 들어 사람 다섯 명 가운데 한 명만 골라 지우면서 나머지 사람과 배경은 그대로 유지해야 한다. 연구진은 이를 ‘마스크 없는 선택적 객체 제거’로 정의했다.

왜 기존 AI 지우개는 원하는 사람만 지우기 어려울까

사진 편집에서 마스크는 AI가 수정해야 할 영역을 알려주는 흑백 형태의 지도다. 지울 부분은 흰색, 유지할 부분은 검은색으로 표시하는 방식이 일반적이다. 이미지 복원 모델은 이 마스크를 입력받아 흰색 영역을 주변 배경과 어울리게 채운다.

문제는 대부분의 이미지 복원 모델이 어떤 객체를 지워야 하는지 스스로 결정하지 못한다는 점이다. 모델은 이미 주어진 마스크를 채우는 역할만 한다. 따라서 사용자가 사람의 팔, 다리, 머리카락, 그림자까지 직접 칠해야 한다. 마스크가 너무 작으면 신체 일부나 윤곽이 남고, 너무 크면 주변 배경이나 옆 사람까지 바뀔 수 있다.

특히 비슷한 객체가 여러 개 있는 장면에서는 문제가 더 커진다. 한 번의 클릭으로 분할 영역을 만드는 기술도 있지만, 클릭 위치에 따라 옆 사람이나 주변 물체가 함께 선택될 수 있다. 이번 연구는 이미지 복원 성능뿐 아니라 사용자가 의도한 대상을 정확하게 선택하는 과정 자체를 연구 대상으로 삼았다.

사용자는 객체 번호나 점 하나만 지정한다

연구진이 제안한 방식에서는 AI가 먼저 사진 속 객체 후보를 찾아 각각 번호를 붙인다. 사용자는 화면에 표시된 번호 가운데 지우고 싶은 대상의 번호를 선택한다. 자동 탐지가 정확하지 않을 때는 사각형이나 점으로 대상을 지정할 수도 있다.

예를 들어 사진 속 네 사람에게 0번부터 3번까지 번호가 붙었다면 사용자는 2번을 선택하는 것만으로 삭제를 요청할 수 있다. 여러 객체를 지우고 싶다면 여러 번호를 함께 고른다. 시스템은 선택된 객체의 마스크만 결합한 뒤 해당 부분을 복원 모델에 전달한다.

논문 12쪽의 사례 그림에서는 여러 얼룩말을 각각 번호로 구분한 뒤 한 마리만 지우거나, 두 마리를 함께 지우거나, 모든 얼룩말을 제거하는 과정이 제시됐다. 사용자는 직접 윤곽선을 칠하지 않고 번호만 선택한다. 마스크 생성과 배경 복원, 최종 합성은 자동으로 수행된다.

YOLO가 찾고 SAM이 윤곽을 그린다

전체 과정은 역할이 다른 AI 모델을 순서대로 연결하는 방식으로 구성됐다. 먼저 YOLO가 이미지에서 사람이나 동물 같은 객체 후보를 찾는다. YOLO는 한 번의 분석으로 객체의 종류와 위치를 빠르게 추정하는 객체 탐지 모델이다.

그다음 SAM 또는 MobileSAM이 선택된 객체의 픽셀 단위 윤곽을 만든다. SAM은 ‘무엇이든 분할하는 모델’이라는 이름처럼 점이나 사각형을 입력받아 객체의 형태를 세밀하게 구분한다. MobileSAM은 같은 기능을 더 적은 연산량으로 수행하도록 가볍게 만든 모델이다.

마스크가 만들어지면 경계의 작은 구멍을 메우고 삭제 영역을 조금 확장한다. 이 확장 과정은 사람의 외곽선이나 그림자, 흐릿한 경계가 남는 것을 줄이기 위한 처리다. 이후 SDXL 또는 LaMa가 객체가 있던 자리를 주변 배경에 맞게 채운다.

논문 5쪽의 구조도는 두 파이프라인이 객체 탐지, 사용자 선택, 마스크 생성, 마스크 보정, 이미지 복원, 색상 교정, 최종 합성이라는 공통 단계를 거친다는 점을 보여준다. 차이는 마지막 배경 복원 단계에서 어떤 모델을 사용하는지에 있다.

자연스러운 YSS와 빠르고 확실한 YML

연구진은 한 가지 방식만 제안하지 않고 성격이 다른 두 파이프라인을 만들었다. 첫 번째는 YOLO, SAM, SDXL을 결합한 YSS다. 두 번째는 YOLO 또는 MobileSAM과 LaMa를 결합한 YML이다.

YSS는 생성형 확산 모델인 SDXL을 이용한다. 확산 모델은 주변 장면의 의미와 구조를 참고해 새로운 배경을 만들어낼 수 있다. 복잡한 도로나 실내 공간처럼 단순한 무늬 복사만으로 채우기 어려운 장면에서 자연스러운 결과를 만들 가능성이 크다.

반면 생성형 모델은 연산량이 많고 처리 시간이 길다. 지운 공간에 새로운 형태를 적극적으로 생성하기 때문에 사람과 비슷한 윤곽이나 물체처럼 보이는 흔적이 다시 나타날 가능성도 있다. 자연스러움과 완전한 제거가 항상 같은 방향으로 움직이지 않는다는 뜻이다.

YML은 Big-LaMa를 이용해 선택된 객체 주변의 작은 영역만 복원한다. 전체 이미지를 다시 생성하지 않고 필요한 부분만 처리하기 때문에 속도가 빠르다. 생성형 확산 모델보다 의미적으로 복잡한 배경을 상상해 내는 능력은 제한적이지만, 지워야 할 대상을 안정적으로 없애는 데 강점을 보였다.

따라서 두 방식은 단순히 우수한 모델과 부족한 모델로 나뉘지 않는다. 자연스러운 배경 복원이 가장 중요할 때는 YSS가 유리하고, 처리 속도와 제거 신뢰성이 중요할 때는 YML이 더 적합하다는 것이 연구진의 해석이다.

사람 120장을 대상으로 기존 방식과 비교했다

연구진은 GQA-Inpaint 벤치마크에서 사람 객체가 포함된 이미지 120장을 골라 성능을 평가했다. 각 이미지에는 제거해야 할 사람과 그 사람이 사라진 기준 이미지가 포함돼 있어, AI가 목표를 제대로 선택하고 배경을 얼마나 잘 복원했는지 비교할 수 있다.

실험은 두 조건으로 나뉘었다. 첫 번째 실험에서는 모든 방법에 정답 마스크를 제공했다. 이 조건은 어떤 대상을 지울지 이미 정확하게 알려준 상태이므로 순수한 배경 복원 품질을 비교하는 데 가깝다.

두 번째 실험에서는 마스크를 제공하지 않았다. 사용자는 번호나 점만으로 대상을 지정했다. 이 조건이 논문이 제안한 기술의 실제 사용 방식과 가장 가깝다. 연구진은 Inpaint-Anything과 두 파이프라인을 비교했다.

목표 객체 선택 정확도는 0.327에서 0.626으로 높아졌다

마스크를 제공하지 않은 실험에서 가장 중요한 지표는 Selection-IoU다. 이 수치는 시스템이 실제로 선택한 영역과 정답 객체 영역이 얼마나 겹치는지를 나타낸다. 1에 가까울수록 사용자가 지목한 객체를 정확하게 골랐다는 뜻이다.

Inpaint-Anything의 Selection-IoU는 0.327이었다. YSS는 0.542, YML은 0.626을 기록했다. 특히 YML은 기존 비교 방법보다 목표 객체의 영역을 훨씬 정확하게 선택했다.

다만 이 수치를 단순히 ‘정확도가 두 배가 됐다’고 표현하는 것은 주의해야 한다. IoU는 정답률의 백분율이 아니라 두 영역의 겹침 정도를 나타내는 지표다. 수치가 0.327에서 0.626으로 크게 높아졌다는 점은 분명하지만, 모든 사진에서 완벽하게 대상을 선택했다는 뜻은 아니다.

YML은 지운 사람이 다시 검출될 가능성을 크게 낮췄다

연구진은 객체 제거 성공 여부를 평가하기 위해 잔여 객체 점수도 사용했다. 이미지를 복원한 뒤 다시 사람 탐지기를 실행해, 지운 위치에서 사람이 얼마나 높은 신뢰도로 재검출되는지를 측정한 값이다. 낮을수록 사람이 더 깨끗하게 제거됐다고 해석한다.

마스크가 없는 실험에서 Inpaint-Anything의 잔여 객체 점수는 0.646이었다. YSS는 0.491, YML은 0.228을 기록했다. YML 결과에서는 지운 위치에 사람이 남아 있다고 탐지될 가능성이 크게 줄었다.

YSS는 배경의 자연스러움을 평가하는 CLIP-IQA에서 0.521로 가장 높은 값을 얻었다. 반면 YML은 0.492, Inpaint-Anything은 0.494였다. 이 결과는 YSS가 시각적으로 자연스러운 복원에 강하고, YML은 객체를 확실하게 지우는 데 강하다는 연구진의 설명과 맞아떨어진다.

그러나 잔여 객체 점수는 사람이 직접 평가한 제거 성공률이 아니라 YOLO 탐지기를 이용해 연구진이 정의한 지표다. 탐지기가 놓친다고 해서 흔적이 전혀 없다는 뜻은 아니며, 반대로 사람처럼 보이는 배경 무늬가 있으면 점수가 높아질 수도 있다. 결과를 해석할 때 지표의 성격을 함께 봐야 한다.

GPU에서는 YML이 약 1.3초, YSS는 약 29.6초가 걸렸다

실행 속도에서는 두 방식의 차이가 매우 컸다. 마스크 없이 대상을 선택하는 실험에서 YML은 GPU 한 장당 평균 1.31초가 걸렸다. YSS는 29.60초가 필요했다. YML이 약 22배 빠른 셈이다.

이 차이는 YML이 선택된 객체 주변의 작은 영역만 LaMa로 처리하는 반면, YSS는 확산 모델을 이용해 여러 단계에 걸쳐 이미지를 생성하기 때문에 발생한다. YML의 약 1초대 처리 시간은 대화형 사진 편집에 가까운 수준이지만, YSS의 약 30초는 결과 품질을 우선하는 오프라인 편집에 더 가깝다.

CPU 실험에서는 YML이 이미지 한 장당 약 47.36초, LaMa 기반 Inpaint-Anything이 약 46.46초를 기록했다. 확산 모델을 사용하는 PowerPaint는 약 1506.81초가 걸렸다. 연구진은 이를 근거로 YML이 CPU 중심 환경에서 더 현실적인 선택이라고 설명했다.

다만 연구진은 실제 스마트폰에서 성능을 측정하지 않았다. MobileSAM을 사용하고 계산량을 줄였다는 사실만으로 곧바로 모바일 앱에서 1초 안에 실행된다고 해석해서는 안 된다. 모바일 칩의 연산 성능과 메모리, 모델 최적화 여부를 확인하는 별도의 실험이 필요하다.

삭제 영역을 조금 넓히는 처리가 제거 성공에 중요했다

논문은 마스크 후처리 단계 가운데 어떤 요소가 실제 성능에 영향을 주는지도 분석했다. 작은 구멍을 메우는 닫힘 연산, 삭제 영역을 넓히는 팽창, 경계를 부드럽게 만드는 페더링, 주변 색상에 맞추는 색상 교정을 각각 제거해 성능을 비교했다.

가장 큰 영향을 준 요소는 마스크 팽창이었다. YML에서 팽창을 제거하자 잔여 객체 점수가 0.228에서 0.443으로 높아졌다. 마스크가 객체의 실제 경계보다 조금 작으면 옷 가장자리, 그림자, 흐릿한 윤곽이 남을 수 있기 때문이다.

반면 마스크를 넓히면 원본 이미지에서 더 많은 픽셀이 바뀐다. 실제로 팽창을 제거했을 때 전체 이미지의 구조 유사도는 일부 높아졌다. 원본을 최대한 유지하는 것과 객체 흔적을 확실하게 제거하는 것 사이에 균형이 필요하다는 의미다.

사진 편집과 개인정보 보호에 활용할 수 있을까

이 기술은 여행 사진의 행인을 지우거나 콘텐츠 제작 중 방해가 되는 사물을 없애는 용도로 활용할 수 있다. 여러 사람 가운데 특정 인물만 제거할 수 있다는 점에서 사진 공개 전 배경 인물을 삭제하는 개인정보 보호 도구로도 응용할 가능성이 있다.

지금 당장 상용 서비스에 그대로 적용할 수 있는 완성된 제품으로 보기는 어렵다. 이번 연구는 공개된 사전학습 모델을 조합한 실험적 프레임워크이며, 실제 서비스에서 필요한 사용자 인터페이스, 실패 감지, 모바일 최적화, 보안 처리까지 검증한 것은 아니다.

또한 이미지에서 사람을 제거하는 기술은 개인정보 보호에 유용할 수 있지만 사진의 기록성을 바꾸는 편집 도구이기도 하다. 보도 사진이나 증거 이미지처럼 사실성이 중요한 영역에서는 편집 사실을 표시하고 원본을 보존하는 운영 원칙이 필요하다. 이 문제는 논문이 직접 검증한 기술 성능과는 별도의 사회적 과제다.

사람 120장에 집중된 평가는 일반화의 한계를 남긴다

이 연구의 가장 큰 한계는 평가 범위다. 정량 실험은 GQA-Inpaint에서 뽑은 사람 객체 120장에 집중됐다. 논문 그림에는 얼룩말 제거 사례도 포함됐지만, 자동차·가구·동물·작은 물체 등 다양한 범주를 같은 규모로 시험한 것은 아니다.

배경의 난이도도 더 폭넓게 검증할 필요가 있다. 제거 대상 뒤에 단순한 벽이 있는 경우와 복잡한 글자, 얼굴, 격자 구조가 있는 경우는 복원 난도가 다르다. 가려져 있던 배경을 원본 이미지에서 알 수 없는 상황에서는 AI가 그럴듯한 내용을 생성할 뿐, 실제로 존재했던 배경을 복원한다고 보장할 수 없다.

정지 이미지에서 좋은 결과가 나왔다고 해서 영상에서도 그대로 작동하는 것은 아니다. 영상에서는 프레임마다 배경의 모양과 밝기가 달라지면 지운 영역이 깜박이거나 흔들려 보일 수 있다. 연구진은 향후 SAM 2, 광학 흐름, 시간적 마스크 전파 기술을 결합해 영상의 일관성을 높이는 방향을 제안했다.

새로운 모델보다 ‘어떤 객체를 지울지’ 결정하는 구조가 핵심이다

이 논문이 새롭게 보탠 부분은 객체 탐지, 분할, 이미지 복원 모델 각각의 성능을 높인 것이 아니다. YOLO와 SAM, SDXL, LaMa는 이미 공개된 사전학습 모델이며 연구진은 별도의 추가 학습이나 미세조정을 하지 않았다.

핵심 기여는 여러 객체 후보에 번호를 붙이고 사용자가 지정한 객체의 마스크만 생성해 복원 단계로 넘기는 선택 구조다. 기존 이미지 복원 연구가 정확한 마스크가 이미 주어진 상황을 중심으로 평가했다면, 이 연구는 그보다 앞선 단계인 ‘어떤 객체를 지울 것인가’를 시스템 내부에 포함했다.

결과는 하나의 모델이 모든 조건에서 가장 뛰어나지 않다는 점도 보여준다. YSS는 생성형 복원 덕분에 배경이 더 자연스럽게 보였지만 느리고 객체 흔적이 다시 나타날 가능성이 컸다. YML은 시각적 자연스러움에서 항상 최고는 아니었지만 훨씬 빠르고 제거 신뢰성이 높았다.

따라서 이 연구를 ‘AI가 사진 속 사람을 완벽하게 지운다’고 요약해서는 안 된다. 더 정확한 설명은 사용자가 직접 마스크를 칠하지 않아도 여러 객체 중 원하는 대상을 비교적 정확하게 선택하고 제거할 수 있는 통합 방식을 제안했으며, 속도와 자연스러움 사이의 서로 다른 선택지를 실험으로 보여줬다는 것이다.

논문 출처

Park, S., Gong, M.-G., Park, S.-J., Yun, S., Kim, I.-M., Kim, J., & Kang, J.-M. (2026). Maskless selective object removal via a dual-pipeline framework with SAM–SDXL and LaMa. AI, 7, 284. https://doi.org/10.3390/ai7080284