입 밖으로 내지 않은 내 생각, 인공지능이 읽어낸다? ‘상상 속의 말’ 해독 기술의 경이로운 진화!
텔레파시가 현실이 되는 세상이 오고 있다면 믿겠는가? 상상만으로도 컴퓨터와 대화를 나누고, 목소리를 잃은 사람들이 다시 세상과 소통하는 꿈같은 이야기가 지금 우리 뇌 안에서 펼쳐지고 있다.
최근 발표된 연구는 인간이 머릿속으로 떠올리는 ‘상상 속의 말(Imagined Speech)’을 뇌파(EEG)를 통해 해독하는 기술이 어디까지 왔는지, 그리고 우리가 해결해야 할 숙제는 무엇인지를 생생하게 보여준다.
마음의 소리를 포착하는 뇌파의 마법, 왜 지금 이 연구에 주목해야 할까?
우리는 평소 겉으로 말을 내뱉지 않아도 끊임없이 머릿속으로 생각한다. 이를 ‘침묵의 언어 사고’라고 부른다. 사고나 질병으로 몸이 마비되어 말을 할 수 없는 사람들에게 이 내면의 목소리를 밖으로 꺼내주는 기술은 그야말로 생명줄과 같다.
뇌파(EEG)는 수술 없이 머리에 전극을 붙이는 것만으로 뇌의 전기 신호를 읽어낼 수 있어 안전하고 빠르다는 장점이 있다. 하지만 뇌파는 잡음이 많고 신호가 복잡해 해독하기가 무척 까다롭다.
이번 연구는 지난 10년 동안 이 어려운 문제를 풀기 위해 인류가 어떤 노력을 기울여왔는지, 언어학부터 신경과학, 인공지능 기술까지 총동원된 최신 성적표를 공개했다.
뇌는 어떻게 말할 준비를 할까? 감각과 운동의 오케스트라가 시작된다
연구 결과에 따르면, 우리가 말을 상상할 때 뇌는 단순히 언어 영역만 사용하는 것이 아니다. 놀랍게도 혀나 입술을 움직이는 것과 관련된 ‘감각-운동 피질’이 아주 활발하게 움직인다. 실제로 소리를 내지 않아도 뇌는 마치 말을 하려는 것처럼 근육에 보낼 신호를 미리 시뮬레이션하고 있는 셈이다.
이 발견은 매우 중요하다. 인공지능이 단어의 의미 자체를 찾는 것보다, 뇌가 단어를 발음하려고 준비하는 ‘운동 신호’를 포착할 때 해독 정확도가 훨씬 높았기 때문이다. 즉, 마음을 읽는 열쇠는 뇌의 운동 계획 속에 숨어 있었다.
또한, 연구진은 인공지능이 뇌파를 분석할 때 어떤 정보를 활용해야 가장 똑똑해지는지도 밝혀냈다.
단순히 시간에 따른 변화(시간적 특징)나 뇌파의 높낮이(주파수 특징)를 따로 보는 것보다, 이 두 가지를 결합한 ‘시공간-주파수 복합 데이터’를 학습시켰을 때 가장 뛰어난 성능을 보였다. 특히 딥러닝 기술이 도입되면서 과거 60%대에 머물던 정확도는 이제 특정 조건에서 90%를 훌쩍 넘기기도 한다.
[표 1] 상상 속의 말 해독 연구의 언어적 특성 및 정확도 요약
| 언어 | 분석 단위 | 주요 특징 | 최고 정확도 |
|---|---|---|---|
| 한국어 | 음소(Phonemes) | /a/, /e/, /i/ 등 기본 모음 위주 | 88.84% |
| 영어 | 단어/음소 | Yes, No, Up, Down 등 명령형 위주 | 98.00% |
| 스페인어 | 단어 | 방향 지시 및 선택 단어 | 95.39% |
모두에게 통하는 ‘범용 통역기’는 가능할까? 우리가 넘어야 할 거대한 벽
물론 장밋빛 미래만 있는 것은 아니다. 이 연구가 꼬집은 가장 큰 난관은 바로 ‘개인차’다. 인공지능이 A라는 사람의 뇌파를 완벽하게 공부했어도, B라는 사람의 뇌파를 만나면 갈팡질팡한다. 사람마다 단어를 떠올릴 때의 경험과 감정, 심지어 뇌의 물리적 구조가 다르기 때문이다. 똑같은 ‘사과’를 생각해도 누구는 그 맛을, 누구는 빨간 색깔을, 누구는 사과를 깎던 엄마의 모습을 함께 떠올린다. 이 ‘의미적 노이즈’가 인공지능을 혼란스럽게 만든다.
또한, 단어 전체를 해독하는 것보다 ‘ㄱ, ㄴ, ㄷ’ 같은 음소 단위로 쪼개서 해독하는 것이 훨씬 효율적이라는 사실도 드러났다. 수만 개의 단어를 일일이 학습시키는 것은 불가능에 가깝지만, 몇십 개의 음소만 마스터하면 어떤 문장이든 조립할 수 있기 때문이다. 마치 레고 블록으로 성을 쌓는 것과 같은 원리다.
잃어버린 목소리를 찾아주는 미래, 이제 시작이다!
결론적으로, 이번 연구는 상상 속의 말을 해독하는 기술이 단순한 실험실 수준을 넘어 실용화의 문턱에 바짝 다가섰음을 보여준다. 앞으로는 단순히 높은 정확도 점수를 따는 경쟁보다는, 어린아이부터 어르신까지, 그리고 다양한 언어를 사용하는 모든 사람이 자신의 맞춤형 ‘생각 탐지기’를 가질 수 있도록 만드는 것이 핵심이다.
이 기술이 완성되면 우리는 더 이상 키보드를 두드리거나 화면을 터치할 필요가 없을지도 모른다. 그저 생각하는 것만으로 전등을 켜고, 친구에게 메시지를 보내며, 마음속 깊은 진심을 전할 수 있게 될 것이다. 인공지능과 뇌과학의 만남이 만들어낼 이 따뜻한 혁신이 목소리가 필요한 모든 이들에게 가장 아름다운 선물이 되기를 기대해본다.
출처: Estrella-Ibarra, L. F., García-Noguez, L. R., Pedraza-Ortega, J. C., Ramos-Arreguín, J. M., & Tovar-Arriaga, S. (2026). Lost in Thought: An End-to-End Systematic Review on Imagined Speech Decoding Through Electroencephalographic Readings. AI, 7(1), 75.