뇌파 시각 디코딩 정확도 97.83%의 비밀: 웨이블릿 변환이 뇌 연결성 분석을 앞섰다

 

뇌파의 복잡한 연결망보다 순간적인 주파수 에너지 변화를 세밀하게 분해하는 웨이블릿 변환이 시각 자극 분류의 새로운 가능성을 보여준다.

사람이 숫자 ‘0’을 바라볼 때와 아무것도 없는 빈 화면을 바라볼 때, 뇌에서는 서로 다른 전기적 흔적이 생긴다. 두피에 부착한 전극은 이 미세한 변화를 뇌파, 즉 EEG 신호로 기록한다. 그러나 수많은 주파수와 잡음이 뒤섞인 파형만 보고 사람이 무엇을 보고 있는지 알아내는 일은 쉽지 않다.

그동안 연구자들은 뇌의 여러 영역이 서로 어떻게 정보를 주고받는지에 주목했다. 두 전극 사이의 신호가 얼마나 함께 움직이는지를 측정하는 코히어런스, 한 신호가 다른 신호의 변화를 예측하는지를 분석하는 그랜저 인과성 등이 대표적인 방법이다. 시각 정보가 뇌의 여러 영역을 거쳐 처리되는 만큼, 뇌 영역 사이의 연결 관계를 해독하면 사람이 무엇을 보고 있는지 알아낼 수 있으리라는 생각이었다.

그러나 2026년 학술지 AI에 발표된 연구는 다른 가능성을 보여주었다. 복잡한 뇌 연결망을 추적하는 것보다 각 전극에서 순간적으로 변하는 주파수 에너지를 세밀하게 분해하는 방법이 특정 시각 자극을 구분하는 데 더 효과적일 수 있다는 결과였다.

세 종류의 뇌파 데이터로 비교한 시각 자극 분류

연구진은 세 종류의 공개 EEG 데이터세트를 사용했다. 첫 번째 MindBigData MNIST 데이터는 한 사람이 숫자와 빈 화면을 바라볼 때 14채널 장비로 기록한 뇌파였다. 연구진은 이 가운데 숫자 ‘0’과 빈 화면을 구분하는 이진 분류 과제를 만들었다. 각 범주에서는 150개의 시행 데이터를 사용했다.

두 번째 MindBigData MNIST-8B 데이터도 숫자 ‘0’과 빈 화면을 구분하는 과제였다. 원래 128채널로 측정된 데이터였지만 연구진은 첫 번째 데이터와 조건을 맞추기 위해 14개 채널만 골라 분석했다. 첫 번째 데이터의 숫자 모양이 언제나 같았던 것과 달리, 이 데이터에는 손으로 쓴 다양한 형태의 숫자가 포함돼 있었다.

세 번째 MSS 데이터에는 32명이 자연 이미지를 바라볼 때 기록한 뇌파가 들어 있었다. 연구진은 자동차와 사람 이미지를 볼 때의 뇌파를 구분했다. 원래 122개 채널 가운데 계산량을 줄이기 위해 14개 채널을 무작위로 선택했다. 이 데이터에서는 같은 측정 세션 안에서 분류하는 조건, 다른 세션으로 확장하는 조건, 새로운 사람에게 적용하는 조건을 각각 시험했다.

뇌파를 해석한 여덟 가지 방법과 두 개의 딥러닝 모델

연구진은 뇌파 특징을 추출하는 여러 방법을 동일한 조건에서 비교했다. 코히어런스, 그랜저 인과성, 방향성 전달함수, 부분 방향성 코히어런스, 전달 엔트로피와 같은 연결성 분석법이 포함됐다. 여기에 이산 웨이블릿 변환(DWT), 경험적 웨이블릿 변환(EWT), 웨이블릿 산란 변환(WST)을 더했다.

웨이블릿 변환은 복잡한 뇌파를 시간과 주파수의 작은 조각으로 나누어 살펴보는 방법이다. 음악 전체를 한꺼번에 듣는 대신 어느 순간에 어떤 음역이 강해졌는지를 분석하는 것과 비슷하다. 특히 경험적 웨이블릿 변환은 사람이 주파수 구간을 미리 고정하지 않고, 실제 신호의 스펙트럼 구조에 맞춰 주파수 대역을 적응적으로 나눈다.

추출한 특징은 EEGNet과 EEG Conformer에 입력했다. EEGNet은 뇌파 분석에 맞게 설계된 비교적 간결한 합성곱 신경망이고, EEG Conformer는 합성곱 구조와 트랜스포머를 결합해 신호의 국소적 특징과 장거리 관계를 함께 학습하는 모델이다.

숫자 ‘0’과 빈 화면을 97.83% 정확도로 구분하다

첫 번째 MindBigData MNIST 실험에서 가장 높은 정확도는 EWT와 EEGNet을 결합했을 때 나온 97.83%였다. EWT와 EEG Conformer의 조합도 97.67%를 기록했다. DWT는 EEGNet에서 97.17%, WST는 93.83%의 정확도를 보였다.

이에 비해 뇌 영역 사이의 관계를 이용한 연결성 분석법은 68.67%에서 91.67% 사이에 머물렀다. 연결성 계열 가운데 가장 높은 결과는 코히어런스와 EEGNet을 결합한 91.67%였다. 특정 시각 자극의 존재 여부를 구분하는 과제에서는 전극 사이의 복잡한 관계보다 각 전극에서 나타나는 국소적인 주파수 에너지 변화가 더 직접적인 단서가 됐다는 뜻이다.

다만 97.83%라는 숫자를 ‘사람의 머릿속 이미지를 거의 완벽하게 읽었다’는 의미로 받아들여서는 안 된다. 이 결과는 한 사람이 동일한 모양의 숫자 ‘0’과 빈 화면을 바라본 제한적인 조건에서 얻은 이진 분류 정확도이다. 숫자 10개를 모두 구분하거나 사람이 상상한 이미지를 복원한 결과가 아니다.

EWT가 언제나 최고였던 것은 아니다

두 번째 MNIST-8B 데이터에서는 결과가 달라졌다. 이 데이터에서 가장 높은 정확도는 WST와 EEGNet을 결합한 93.67%였다. EWT와 EEGNet의 정확도는 86.00%에 그쳤다. 데이터가 달라지자 가장 효과적인 웨이블릿 방법도 달라진 것이다.

연구진은 이러한 차이가 측정 장비와 시각 자극의 다양성에서 비롯됐을 가능성을 제시했다. 첫 번째 데이터에서는 항상 같은 형태의 숫자가 제시됐지만, MNIST-8B에는 모양이 서로 다른 손글씨 숫자가 포함됐다됐다. 또한 128채널 장비로 측정한 데이터 가운데 14개 채널만 골라 사용한 점도 결과에 영향을 줬을 수 있다.

따라서 이 연구가 보여준 결론은 ‘EWT가 모든 EEG 데이터에서 최고의 방법이다’가 아니다. 보다 정확한 해석은 웨이블릿 기반의 시간·주파수 표현이 지속적인 시각 자극을 분류하는 강력한 기준선이 될 수 있지만, 최적의 방법은 데이터와 장비, 자극의 특성에 따라 달라진다는 것이다.

자동차와 사람을 보는 뇌파는 얼마나 구분할 수 있었나

자연 이미지 실험은 숫자와 빈 화면을 구분하는 것보다 훨씬 어려웠다. 자동차와 사람 이미지는 배경, 색상, 구도와 형태가 제각각이다. 같은 자동차 사진끼리도 시각적 차이가 크고, 사람 사진 역시 자세와 주변 환경에 따라 뇌의 반응이 달라질 수 있다.

같은 측정 세션 안에서 훈련하고 평가했을 때, EWT와 EEG Conformer를 결합한 최고 정확도는 77.10%였다. 다른 세션으로 확장한 조건에서는 EWT와 EEG Conformer가 70.00%를 기록했다. 단순한 숫자 자극에서는 높은 성능을 보였던 웨이블릿 특징도 의미가 복잡한 자연 이미지 앞에서는 정확도가 크게 낮아졌다.

새로운 사람에게 적용하자 드러난 EEG 개인차의 벽

가장 큰 문제는 한 사람의 뇌파에서 학습한 모델을 다른 사람에게 적용하는 교차 피험자 일반화였다. 이 조건에서 얻은 최고 정확도는 68.25%였다. 흥미롭게도 이 수치는 웨이블릿 특징이 아니라 필터링과 잡음 제거를 거친 원시 EEG 신호를 EEG Conformer에 입력했을 때 나왔다.

사람마다 뇌의 해부학적 구조, 두개골의 두께, 전극이 닿는 위치와 시각 정보를 처리하는 방식이 다르다. 같은 사진을 보더라도 측정되는 뇌파의 분포는 조금씩 달라진다. EWT와 WST 같은 특징 추출법만으로는 이러한 개인차를 충분히 제거하지 못했다.

실제 생활에서 사용하는 뇌-컴퓨터 인터페이스라면 처음 장치를 착용한 사람에게도 안정적으로 작동해야 한다. 그러나 현재의 성능은 높은 정확도를 얻기 위해 사용자별 학습과 보정이 여전히 필요하다는 사실을 보여준다. 앞으로는 서로 다른 사람의 신호 분포를 맞추는 도메인 적응, 전이학습, 대조학습과 소량의 개인별 데이터로 모델을 미세조정하는 기술이 중요해질 것으로 보인다.

잡음을 많이 제거한다고 정확도가 높아지는 것은 아니다

이번 연구에서 예상 밖의 결과가 하나 더 나왔다. 대역통과 필터와 ATAR 잡음 제거를 추가하자 일부 MindBigData 실험의 정확도가 오히려 낮아졌다. 첫 번째 데이터에서 EWT와 EEGNet의 정확도는 단순 정규화 조건의 97.83%에서 강한 전처리를 적용한 뒤 95.00%로 떨어졌다.

눈 깜박임이나 근육 움직임 같은 잡음을 제거하는 과정에서 분류에 유용한 신경 신호까지 함께 사라졌을 가능성이 있다. 특히 ATAR의 웨이블릿 기반 임계값 처리는 순간적으로 나타나는 고주파 성분을 부드럽게 만들 수 있다. 깨끗해 보이는 신호가 반드시 인공지능에게 더 많은 정보를 제공하는 것은 아니라는 의미이다.

뇌파 시각 디코딩 연구가 남긴 진짜 의미

이 연구는 뇌의 생각을 읽거나 머릿속 이미지를 복원한 연구가 아니다. 서로 다른 시각 자극을 볼 때 나타나는 EEG 신호를 이진 분류하고, 어떤 특징 표현이 가장 효과적인지를 체계적으로 비교한 연구이다.

그럼에도 연구가 지닌 의미는 작지 않다. 복잡한 뇌 영역 간 연결성만을 추적하지 않아도, 각 채널의 주파수 에너지가 시간에 따라 어떻게 변하는지를 정교하게 분석하면 특정 시각 자극을 효과적으로 구분할 수 있다는 사실을 보여줬기 때문이다.

동시에 97.83%라는 인상적인 정확도 뒤에는 단일 피험자, 동일한 숫자 자극, 숫자와 빈 화면을 구분하는 단순한 과제라는 조건이 존재한다. 자연 이미지와 새로운 사용자로 범위를 넓히자 정확도는 70% 안팎으로 떨어졌다. 웨이블릿 변환은 뇌파 시각 디코딩의 유력한 도구이지만, 사람의 시각 경험을 자유롭게 읽어내는 만능 열쇠는 아직 아니다.

연구 핵심 요약

경험적 웨이블릿 변환과 EEGNet의 조합은 한 피험자의 숫자 ‘0’과 빈 화면 분류에서 97.83%의 최고 정확도를 기록했다. 연결성 분석법의 최고 정확도는 91.67%로 웨이블릿 계열보다 낮았다. 그러나 다른 숫자 데이터에서는 WST가 93.67%로 EWT보다 우수했고, 자연 이미지의 세션 내 분류 정확도는 77.10%에 머물렀다. 새로운 사람에게 적용한 최고 정확도는 68.25%였으며, 웨이블릿 특징이 교차 피험자 문제를 해결하지는 못했다. 이 연구는 웨이블릿 기반 스펙트럼 분석이 강력한 EEG 시각 디코딩 기준선이 될 수 있지만, 그 효과는 데이터와 실험 조건에 따라 달라진다는 사실을 보여준다.

출처

저자: Cesar Agustin Corona-Patricio, Carolina Reta, Jose Antonio Cantoral-Ceballos
논문 제목: Systematic Comparison of Electroencephalography Feature Domains for Visual Stimuli Decoding with EEGNet and EEG Conformer
학술지: AI, 2026, 7, 323
발행일: 2026년 8월 20일
DOI: https://doi.org/10.3390/ai7080323