손상된 고화질 이미지, 복원은 이제 ‘확률’로 한다

사진 한 장이 완성되기까지 수많은 픽셀이 쌓인다. 하지만 오래된 사진이든, 결측 데이터가 발생한 의료영상이든, 한 번 손상된 이미지를 다시 되살리는 일은 결코 쉽지 않다. 특히 고해상도 이미지라면 더 그렇다.

지금까지는 딥러닝, 그중에서도 GAN(생성적 적대 신경망)이 이미지 복원(Inpainting)의 왕좌를 차지해 왔다. 하지만 GAN도 한계가 있었다. 손상 영역이 클수록 복원이 흐릿해지거나 구조가 일그러지기 일쑤였다. 매번 데이터를 다시 학습해야 하는 번거로움도 있었다.

이런 문제를 해결하겠다며 인도 SRM 공대 연구팀이 꺼낸 해답은 의외였다. ‘확률’이다. 이미지 복원을 고전적인 ‘역문제(inverse problem)’로 보고, 픽셀 하나하나가 어떤 값을 가질지 확률적으로 계산하는 새로운 프레임워크를 제시한 것이다.

GAN의 한계를 넘는 ‘확률 프레임워크’

이번 연구의 핵심은 StyleGAN3라는 강력한 생성 모델 위에 확률 모델을 얹었다는 점이다. 구체적으로는 이미지의 결측 부분을 단 하나의 값으로 예측하는 대신, 여러 가능한 후보를 동시에 고려해 가장 가능성이 높은 조합을 찾아낸다.

이를 위해 연구팀은 코사인 유사도, 평균값, 픽셀 강도 등 세 가지 조건을 이용해 ‘의미 있는 사전 정보(prior)’를 만들었다. 그다음 이를 기반으로 베이즈 추론(Bayes-by-Backprop)을 적용해, 손상 영역을 채울 최적의 픽셀 조합을 찾아낸다.

결과는 놀라웠다. 얼굴 데이터셋(FFHQ), 자연 이미지(DIV2K), 뇌 MRI 데이터까지 총 7만여 장의 이미지를 실험했는데, 기존 최첨단 GAN보다 더 선명하고 구조가 덜 왜곡된 결과를 만들어냈다. 특히 결측 영역이 50%를 넘는 대규모 마스크에서도 깨끗한 복원이 가능했다.

‘복원은 한 번으로 끝나지 않는다’

연구팀이 주목한 건 GAN의 고질적인 문제인 ‘평균화(Averaging Effect)’였다. GAN은 다양한 복원 후보 중 평균적인 해답만 찾다 보니, 결과물이 흐릿해지기 쉽다. 연구팀은 확률 분포를 여러 번 샘플링해 이 문제를 돌파했다. 덕분에 같은 손상 이미지라도 샘플링할 때마다 미묘하게 다른, 하지만 모두 현실감 있는 복원 결과를 만들어낼 수 있다.

또한, 이 방식은 의료 영상에도 강점을 보였다. 뇌 MRI 데이터처럼 복잡한 패턴이 많은 이미지에서도 구조 왜곡 없이 중요한 세부를 복원할 수 있었기 때문이다.

‘확률’로 복원하는 시대 올까

이번 연구는 아직 GAN에 전적으로 의존한다. 하지만 연구팀은 앞으로 디퓨전 모델 같은 최신 생성 모델과 결합해 성능을 더 높일 계획이다. 다만 확률 추론을 반복 수행해야 해서 복원 속도가 다소 느리다는 점은 숙제로 남았다.

연구팀은 이 방법을 공개된 이미지뿐 아니라 실시간 스트리밍 영상 복원, 위성 이미지 복구 등으로 확장할 수 있다고 본다. 딥러닝만으로는 해결 못하던 문제를, 확률과 결합해 풀어낸 이 시도는 앞으로 이미지 복원 분야에 새로운 흐름을 불러올지 모른다.

출처 논문
Sumathi G and Uma Devi M (2025). High-resolution image inpainting using a probabilistic framework for diverse images with large arbitrary masks. Frontiers in Artificial Intelligence. https://doi.org/10.3389/frai.2025.1614608