컴퓨터 비전의 눈을 바꾸는 공식 등장…서브픽셀 정렬, 해법은 '이미지 기반 보간

 

                                      픽셀의 경계를 넘는 인공지능의 눈

 

픽셀보다 정밀하게 본다

컴퓨터가 사진 속에서 무언가를 찾을 때, 어떤 일이 벌어질까?

두 이미지 사이의 미세한 차이를 알아내는 ‘패치 기반 정합(patch-based matching)’은 컴퓨터 비전의 핵심 기술이다. 예를 들어, 좌우 눈으로 본 장면을 비교해 깊이를 계산하거나, 연속된 프레임 간의 움직임을 측정할 때도 이 기술이 쓰인다.

하지만 여기엔 치명적인 한계가 있었다. 바로 ‘서브픽셀 정밀도’, 즉 한 픽셀보다 더 미세한 위치 차이를 잡아내는 일이다. 사람 눈에는 보이지 않지만, 정밀한 3D 재구성이나 로봇의 정확한 위치 파악에는 꼭 필요한 수준이다.

최근, EPFL(스위스 연방 공과대학)과 호주 연구진이 복잡한 보간 없이도 고차원 정렬을 정확히 수행할 수 있는 수학적 해법들을 발표해 눈길을 끌었다.

---

 픽셀보다 더 미세하게: 왜 서브픽셀이 중요한가

기존의 매칭 알고리즘은 보통 한 픽셀 단위로 대응점을 찾는다. 하지만 현실 세계는 그렇게 단순하지 않다. 예를 들어 드론이 비행 중 풍경을 스캔할 때, 두 이미지 사이의 실제 차이는 ‘절반 픽셀’일 수도 있다.

이를 정확히 측정하려면, 픽셀 사이의 값을 추정해야 한다. 이 과정을 보간(interpolation)이라고 한다. 지금까지는 ‘비용(cost) 볼륨’을 보간해 정렬하는 방식이 주로 쓰였다. 픽셀 단위로 계산한 점수들을 연결해 곡선을 그리는 식이다.

하지만 이 방식은 큰 문제를 안고 있었다. 바로 픽셀 락킹 효과(pixel locking effect)다. 서브픽셀 위치가 0.25나 0.75일 때보다 0.5일 때 예측이 더 잘 되는 편향이 생기는 것이다. 이 때문에 정렬 결과에 물결 모양의 왜곡이 발생하기도 했다.

---

 해결책은 ‘이미지 자체’를 보간하는 것

이번 논문이 제시한 핵심 아이디어는 간단하다.

이미지에서 추출한 ‘특징(feature)’을 직접 보간하자.

이렇게 하면, 정렬의 기준이 되는 비교 함수 자체를 더 정확하게 계산할 수 있다. 특히 이미지의 특징은 비용 곡선보다 더 천천히, 매끄럽게 변하므로 보간에 더 적합하다는 것이 연구팀의 설명이다.

놀랍게도, 이 방식은 수학적으로 닫힌 해(closed-form) — 즉 공식 형태로 해답을 계산할 수 있다는 점에서도 강점이 있다.

---

 새로운 공식, 1차원부터 고차원까지 커버

이 논문에서 제시된 공식들은 단순히 기존 방법을 바꾸는 수준을 넘는다.

1. 1차원 정렬 (예: 정렬된 스테레오 매칭)에는

    기존에는 불가능했던 SAD(Sum of Absolute Differences) 함수에도 적용 가능한 공식이 제시됐다.

    L1 norm 기반으로 비선형적이어서 다루기 까다로웠던 문제를 가중 중간값(median)으로 해결했다.

2. 2차원 이상 정렬 (예: 옵티컬 플로우)에는

    NCC(정규화 상관관계), SSD(제곱 오차합) 기반의 보간을 예쁜 수식으로 일반화했다.

    ‘베리센트릭 보간’이라는 방식을 통해 고차원에서도 닫힌 해를 계산 가능하게 만들었다.

이 과정은 텐서 연산 기반으로 설계되어, 딥러닝 프레임워크에도 쉽게 적용할 수 있다.

---

 실험으로 증명된 정확도 향상

연구진은 중간버리 스테레오 데이터셋을 활용해 다양한 실험을 진행했다.

결과는 명확했다.

 이미지 기반 보간은 기존 비용 기반 보간보다 높은 정밀도를 보였다.

 특히 ZNCC(제로 평균 정규화 상관관계) 기반 보간은 모든 상황에서 가장 뛰어난 결과를 냈다.

 픽셀 락킹 효과도 최소화되었다. 3D 재구성 이미지에서, 기존 방법에서는 보였던 물결 같은 왜곡이 사라졌다!

---

 어디에 쓸 수 있을까?

이 연구는 단순한 수학적 성취를 넘어 다양한 현실 문제에 적용될 수 있다.

 SLAM(동시 위치추정 및 맵핑)에서 로봇의 위치 추정 정확도 향상

 AR/VR에서 시차 기반 깊이 추정의 왜곡 제거

 위성영상 분석 및 지형 모델링에서 더 정밀한 위치 정합

 딥러닝 기반 옵티컬 플로우의 성능 개선

특히, 기존 파라볼라 기반 보간과 달리 편향 없이 일관된 정렬 결과를 제공한다는 점에서 미래형 비전 알고리즘의 기반이 될 수 있다.

---

 결론: 알고리즘이 ‘보는 방식’이 달라진다

이제 컴퓨터 비전은 ‘얼마나 잘 보는가’에서 ‘얼마나 정밀하게 보는가’로 나아가고 있다.

이번 연구는 마치 안개 속에서 선명한 경계를 찾아내듯, 픽셀 사이를 정밀하게 읽는 눈을 만들어냈다.

이제껏 경험한 적 없는 정밀도, 왜곡 없는 정렬, 수학적으로 증명된 해법.

서브픽셀 정렬의 새로운 기준이 될 이 공식들은, 컴퓨터가 세계를 보는 방식 자체를 바꾸고 있다.

---

출처 논문

Jospin, L. V., Laga, H., Boussaid, F., & Bennamoun, M. (2025). Generalized Closed-Form Formulae for Feature-Based Subpixel Alignment in Patch-Based Matching. International Journal of Computer Vision.