딥러닝과 그래프의 결합, LFGSC 모델 탄생
“이미지 데이터도 그래프로 배워요!” –
사진 한 장이 말하는 건 많다. 그런데 말이 안 통하면 어떡할까?
우리는 수많은 이미지와 데이터를 다룬다. 하지만 그 안에 담긴 의미를 컴퓨터가 이해하는 건 여전히 쉽지 않다. 특히 하나의 사물이나 사람을 다양한 시점에서 본 ‘멀티뷰(multi-view) 이미지 데이터’는 더욱 까다롭다. 이런 데이터를 효과적으로 분류하고 학습하기 위해, 연구자들은 ‘그래프 기반 반지도 학습(semi-supervised learning)’에 주목해왔다. 하지만 이미지 데이터는 그래프 구조가 명확하지 않아 그간 큰 난관이었다.
이제, 이 문제에 한 줄기 빛이 생겼다. 중국 저장대와 프랑스 바스크 대학, 레바논 바할벡대의 공동 연구팀이 발표한 논문에서는, 이미지처럼 그래프 구조가 뚜렷하지 않은 데이터도 그래프 방식으로 잘 학습할 수 있도록 돕는 새로운 딥러닝 모델 ‘LFGSC’를 소개했다.
그래프도 만들고, 특성도 줄이고, 학습도 정확하게
연구팀은 ‘LFGSC(Linear Projection Fused Graph-based Semi-supervised Classification)’라는 이름의 새 모델을 제안했다. 간단히 말해, 이 모델은 멀티뷰 데이터를 낮은 차원으로 바꾸고, 각 시점의 데이터를 그래프로 만든 뒤, 이 그래프들을 잘 융합해 최종 분류 작업까지 수행하는 똑똑한 알고리즘이다.
어떻게 작동할까?
- 그래프 없는 데이터도 그래프처럼 바꾼다
원래 이미지 데이터에는 사람 사이의 관계처럼 연결이 없다. 그래서 연구팀은 각 시점의 데이터를 바탕으로 그래프를 새로 만든다. 이때 단순한 거리 기반(KNN) 방식이 아니라, 학습 자체에서 그래프와 특성 표현을 동시에 최적화하는 방식을 택했다. - 가장 중요한 시점을 똑똑하게 골라낸다
모든 시점의 데이터가 다 같은 가치는 아니다. 예를 들어, 옆에서 본 얼굴보다 정면 얼굴이 더 구분에 유리할 수 있다. LFGSC는 데이터의 ‘부드러움(smoothness)’ 정도를 따져, 어떤 시점이 더 중요한지를 자동으로 판단하고 가중치를 조정한다. - 한 번에 끝낸다! GCN 한 번이면 충분하다
일반적으로 멀티뷰 학습은 시점별로 따로따로 학습한 후 결과를 모은다. 하지만 LFGSC는 모든 시점의 데이터를 통합한 후, 단 한 번의 그래프 신경망(GCN)만으로 학습을 끝낸다. 덕분에 계산량은 줄고 정확도는 올라간다.
비교 실험에서도 두각… 7개 이미지 데이터셋에서 6개 1등!
연구팀은 ORL, ALOI, Youtube, MNIST 등 7개의 유명 멀티뷰 이미지 데이터셋을 이용해 성능을 검증했다. 그 결과는 놀라웠다. LFGSC는 7개 중 6개 데이터셋에서 기존 모델들을 압도하고 가장 높은 정확도를 기록했다.
특히 다양한 시점의 얼굴 사진으로 구성된 ORL 데이터셋에서는 무려 97.10%의 정확도를, 물체 이미지가 포함된 ALOI에서는 99.19%의 정확도를 보였다. 경쟁 모델인 JCD, IMvGCN, AMSSL 등을 모두 능가했다.
왜 잘 될까? – 분석해보니 다 이유가 있었다
- 그래프 구조 분석 결과, LFGSC가 만든 그래프는 같은 분류 안에서는 연결이 강하고, 다른 분류 간에는 약하게 만들어지는 특징을 보였다. 마치 친구들끼리만 가까이 있는 사회관계도처럼 말이다.
- 시각화 분석(t-SNE)에서는 LFGSC가 분류한 데이터들이 뚜렷한 클러스터(무리)를 형성했고, 기존 방법보다 훨씬 부드럽고 깔끔하게 구분된다는 것도 확인됐다.
- 손실 함수 실험(Abalation Study)에서는, 이 모델이 단순히 분류 정확도만 올리는 게 아니라, 내부적으로 의미 있는 학습(예: 비슷한 클래스끼리 더 가깝게 만드는 학습)을 하고 있다는 것도 증명됐다.
그래프가 없는 데이터에도 그래프를! – 앞으로가 기대되는 기술
이 연구의 진짜 의미는 여기 있다. 그래프가 없어도, 그래프처럼 학습할 수 있다는 점이다. 기존의 그래프 기반 딥러닝 기술은 ‘소셜 네트워크’처럼 연결 구조가 명확한 데이터에만 잘 작동했다. 하지만 이제는 이미지, 음성, 바이오 등 비정형 데이터도 그래프처럼 다룰 수 있는 가능성이 열린 것이다.
앞으로 이 기술은 의료 영상 분석, 자율주행, 감정 인식, 추천 시스템 등 다양한 분야로 확장될 수 있을 것으로 보인다. 연구팀 역시 “차후에는 자기지도 학습(self-learning)을 결합해, 더 적은 데이터로도 더 정확한 분류를 하겠다”고 밝혔다.
출처
Bi, J., Dornaika, F., & Charafeddine, J. (2025). Linear projection fused graph-based semi-supervised learning on multi-view data. Artificial Intelligence Review, 58, 309. https://doi.org/10.1007/s10462-025-11313-8