음악의 리듬이 어긋날 때 뇌는 어떻게 반응할까

뇌파와 인공지능으로 확인한 음악의 숨은 문법

우리는 음악을 들으면서 다음 박자가 언제 나올지, 곡이 어디에서 끝날지 자연스럽게 예상한다. 음악 이론을 의식적으로 떠올리지 않아도 리듬이 갑자기 어긋나면 무언가 이상하다는 느낌을 받는다. 이러한 반응은 단순히 소리의 변화에 놀라는 현상일까, 아니면 뇌가 음악의 구조적 규칙을 이해하고 있기 때문일까? 2026년 10월 국제학술지 《AI》에 발표된 연구는 뇌파 측정과 딥러닝 분석을 결합해 이 문제를 조사했다. 연구 결과, 사람의 뇌는 리듬의 규칙에 직접 주의를 기울이지 않는 상황에서도 음악의 구조적 불규칙성을 처리할 수 있는 것으로 나타났다.

음악에도 문법이 존재한다

언어가 단어를 일정한 규칙에 따라 배열하듯 음악도 음과 리듬을 구조적으로 조직한다. 이를 음악적 구문 또는 음악 문법이라고 한다. 특히 리듬 구문(rhythmic syntax)은 강박과 약박의 배치, 음의 길이, 악구의 구분 등을 통해 음악의 시간적 구조를 형성한다. 이러한 규칙 덕분에 청취자는 음악의 흐름을 예측하고 자연스러운 종결감을 경험한다.

서양 조성음악에서는 악구가 강박에서 끝날 때 안정적인 마무리 느낌이 형성되는 경우가 많다. 반대로 예상과 달리 약박에서 음이 시작되거나 강박을 가로질러 이어지면 긴장감이 생길 수 있다. 이러한 리듬의 어긋남을 당김음(syncopation)이라고 한다. 연구진은 당김음이 음악의 중간에 나타날 때와 마지막 종결 부분에 나타날 때 뇌가 서로 다르게 반응하는지에 주목했다.

전문 음악가 28명의 뇌파를 측정한 실험

중국 난징항공항천대학교 등을 중심으로 구성된 연구진은 평균 15년 동안 정규 음악교육을 받은 음악가 28명을 모집했다. 참가자의 전공은 피아노, 바이올린, 비올라, 첼로, 튜바 등이었다. 연구진은 2/4박자로 구성된 8마디 길이의 리듬을 제작하고, 마지막 음이 정상적인 강박에서 시작되는 경우와 당김음으로 처리되는 경우를 비교했다.

각 리듬의 길이는 9.6초였으며, 음높이를 달리한 48개의 기본 자극에 음높이 변화가 포함된 12개의 자극을 추가했다. 전체 60개 자극은 두 차례 제시됐다. 실험에서는 리듬 구조를 직접 판단하도록 요구하지 않았다. 대신 참가자들에게 다른 음보다 반음 높은 소리가 포함되어 있는지만 구별하도록 했다. 음악을 주의 깊게 듣게 하면서도 리듬 문법에 대한 관심은 다른 곳으로 돌리기 위한 설계였다.

연구진은 64채널 뇌파검사(EEG)를 이용해 음악의 마지막 부분에서 발생하는 뇌의 전기적 반응을 기록했다. 참가자들의 음높이 판별 정확도는 평균 98.87%로 나타났다. 이는 실험 중 음악에 충분히 주의를 기울였음을 보여준다.

초기 뇌 반응에서는 자동적인 문법 오류 감지가 확인되지 않았다

연구진은 먼저 자극 이후 100~150밀리초에 나타나는 초기 뇌 반응을 분석했다. 불규칙한 리듬은 규칙적인 리듬보다 전두부와 중앙부에서 더 큰 음전위 반응을 일으켰으며, 전체적인 차이는 통계적으로 유의했다(p=0.020).

그러나 이러한 반응을 음악 문법의 자동적인 오류 감지를 나타내는 초기 우측 전두부 음전위(ERAN)로 해석하기는 어려웠다. 음악 중간에 나타난 당김음이 마지막 부분의 당김음보다 오히려 더 강한 초기 반응을 유발했기 때문이다. 연구진은 초기 반응이 음악 문법의 위반 자체보다는 소리의 물리적 변화나 청각적 주의와 관련되었을 가능성을 제시했다.

이 결과는 리듬 문법을 의식적으로 판단하지 않을 때 초기의 자동적인 문법 오류 감지 기능이 약해질 수 있음을 시사한다. 다만 초기 뇌 반응이 전혀 없었다는 뜻은 아니다. 반응 자체는 관찰됐지만, 그것이 문법 위반을 자동으로 감지한 증거라고 볼 수 없다는 의미이다.

300~500밀리초 후 나타난 음악 구조의 재분석

더욱 중요한 결과는 후기 뇌 반응에서 나타났다. 불규칙한 리듬이 제시된 후 300~500밀리초 구간에서 규칙적인 리듬보다 더 큰 양전위 반응이 관찰됐다(p=0.021). 연구진은 이를 음악의 구조적 정보를 다시 분석하고 통합하는 과정과 관련된 P600 반응으로 해석했다.

P600은 언어의 문장 구조를 처리하는 연구에서도 널리 알려진 뇌파 성분이다. 문장의 문법적 연결이 예상과 달라지면 뇌가 구조를 다시 검토하는 과정에서 나타날 수 있다. 이번 연구에서는 음악에서도 이와 유사한 후기 반응이 확인됐다. 이는 언어와 음악의 구조적 정보 처리에 일부 공통적인 신경인지 자원이 관여할 가능성을 뒷받침한다.

특히 참가자들이 리듬의 규칙성을 판단하도록 지시받지 않았다는 점이 중요하다. 뇌는 음높이를 구별하는 과제를 수행하면서도 예상과 다른 음악적 종결 구조에 반응했다. 연구진은 이를 리듬 문법의 암묵적 처리에 관한 신경생리학적 증거로 평가했다. 여기서 암묵적 처리란 음악의 규칙을 명시적으로 판단하지 않는 상황에서도 관련 정보가 처리된다는 의미이다.

인공지능이 뇌파에서 리듬의 차이를 구별했다

연구진은 기존 뇌파 분석에 더해 뇌파 신호 처리에 특화된 딥러닝 모델 이이지노트(EEGNet)를 적용했다. 이 모델은 여러 전극에서 수집된 뇌파의 시간적·공간적 특징을 학습해 규칙적인 리듬과 불규칙한 리듬을 분류하도록 설계됐다.

참가자 단위로 구분한 10겹 교차검증 결과, 평균 분류 정확도는 73.45%였으며 표준편차는 2.36%포인트였다. 이는 무작위로 두 조건을 구별할 때 기대되는 50%보다 통계적으로 유의하게 높은 수준이었다(p<0.001). 또한 학습된 뇌파 특징을 시각화하자 두 리듬 조건이 원래 데이터보다 뚜렷하게 구분되는 양상이 나타났다.

이 결과는 뇌파에 리듬의 규칙성과 관련된 구별 가능한 정보가 포함되어 있음을 보여준다. 다만 인공지능이 사람의 음악적 감정이나 생각을 읽었다는 의미는 아니다. 또한 EEGNet의 분류 성능이 특정 뇌파 성분의 기능을 독립적으로 입증한 것도 아니다. 딥러닝 분석은 기존 뇌파 연구 결과를 보완하는 역할을 했다.

음악을 이해하는 뇌의 두 가지 처리 단계

이번 연구의 핵심은 음악의 리듬 구조를 처리하는 초기 단계와 후기 단계가 주의집중의 영향을 서로 다르게 받을 수 있다는 사실이다. 리듬 문법에서 주의가 벗어나면 초기의 자동적인 오류 감지는 뚜렷하게 나타나지 않았지만, 후기의 구조적 재분석 반응은 유지됐다.

그러나 참가자가 모두 전문적인 음악교육을 받은 28명의 음악가였다는 점은 연구의 한계이다. 음악을 배우지 않은 일반 청취자에게도 같은 반응이 나타나는지는 확인되지 않았다. 실험 자극도 2/4박자의 제한된 리듬에 국한됐다. 따라서 다양한 음악 장르와 박자, 음악교육 수준을 대상으로 한 추가 연구가 필요하다.

그럼에도 이번 연구는 음악 감상이 단순히 소리를 듣는 행위가 아니라 시간적 규칙을 예측하고 예상과 다른 구조를 처리하는 복잡한 신경 활동이라는 점을 보여준다. 특히 리듬에 직접 주의를 기울이지 않아도 뇌가 음악의 종결 구조에 반응한다는 발견은 음악 인지와 뇌의 예측 처리 과정을 이해하는 데 중요한 단서를 제공한다.

출처

Sun, L. 외, “Neural Evidence for Implicit Processing of Rhythmic Syntax at Musical Cadences”, AI, 2026, 7, 441. DOI: 10.3390/ai7110441.