뇌파로 AI 드러머와 즉흥 연주?

서론: 인간과 AI, 즉흥 연주로 소통할 수 있을까?

즉흥 연주는 단순히 악기를 잘 다루는 능력을 넘어서, 연주자 간의 섬세한 소통과 신뢰를 기반으로 한다. 타이밍, 리듬, 감정의 흐름—all of these—즉흥 연주에서는 순식간에 일어나며, 때로는 눈빛 하나, 몸짓 하나로도 완벽한 하모니가 만들어진다. 그렇다면 이러한 섬세한 인간의 소통을 AI도 이해하고 반응할 수 있을까? 더 나아가, 인간의 뇌파를 읽어 AI가 리듬을 조율한다면 어떨까?

이러한 상상력을 현실로 끌어낸 연구가 있다. 바로 2025년 8월 "Frontiers in Computer Science"에 발표된 논문, *"BrAIn Jam: neural signal-informed adaptive system for drumming collaboration with an AI-driven virtual musician"*이다. 이 연구는 인간 드러머의 뇌 신호(fNIRS)를 실시간으로 분석해 AI 드러머가 음악적 반응을 조율하는 획기적인 시스템을 제안한다.

BrAIn Jam 시스템이란?

BrAIn Jam은 뇌파 기반 신호인 fNIRS(functional near-infrared spectroscopy)를 통해 인간 드러머의 리듬 예측성(rhythmic predictability)을 파악하고, 이에 따라 AI 드러머가 실시간으로 리듬을 조율하는 시스템이다. 핵심 기술은 다음과 같다:

fNIRS 신호 수집: 드러머의 전두엽 및 측두두정 영역에서 산소화 혈류량 변화를 측정
머신러닝 기반 분석: 수집된 신호를 실시간으로 분류하여 현재 리듬의 예측 가능성 판단
AI 드러머 반응 조율: 판단된 결과에 따라 AI 드러머가 간결하거나 예측 가능한 리듬으로 전환해 협업의 싱크를 맞춘다

흥미로운 점은 이 시스템이 단순한 기술적 장치를 넘어서, 음악적 신뢰와 소통이라는 감성적 요소를 실시간으로 반영하고자 한다는 점이다.

연구 배경: 왜 뇌파인가?

기존의 AI 음악 협업 시스템은 보통 MIDI, 오디오 신호, 비디오 분석, 제스처 인식 등 외부 정보에 의존해왔다. 하지만 이러한 방법은 음악가의 내면적 감정 상태나 인지적 부담, 리듬 인식 상태를 포착하기 어렵다. 이 연구팀은 이를 보완하기 위해 신경 과학적 접근, 특히 fNIRS 기술을 도입했다.

fNIRS는 뇌의 혈류량 변화를 통해 특정 영역의 활성도를 비침습적으로 파악할 수 있다. 특히 음악 인지와 즉흥 연주에서 중요한 역할을 하는 전전두엽, 측두두정 접합부(TPJ) 등의 영역을 타겟팅할 수 있어, AI 협업 시스템의 핵심 지표로 활용될 수 있다.

리듬 예측성(Rhythmic Predictability)이라는 개념

연구진은 AI 드러머가 인간 연주자의 감정 상태에 효과적으로 반응하기 위해, "리듬 예측성"이라는 정량적 지표를 도입했다. 이는 즉흥 연주 중 드러머가 인지하는 리듬의 일관성과 예측 가능성을 뇌파 신호로 측정한 것이다.

이 개념은 기존의 음악 인지 신경 과학 및 사회적 신뢰 연구에서 영감을 받았다. 즉, 인간이 상대 연주자(AI 포함)의 리듬을 얼마나 신뢰하고 예측 가능한가에 따라 협업의 질이 달라진다는 것이다.

예를 들어, AI 드러머의 리듬이 너무 산만하거나 비일관적이라면 인간 연주자는 이를 신뢰하지 못하고, 음악적 몰입이 깨질 수 있다. 반면, 적절한 예측성과 일관성을 가진 리듬은 연주자에게 안도감을 주고 몰입을 유도한다.

실험 방법과 결과: BrAIn Jam의 실제 효과는?

연구는 두 단계로 진행되었다:

1단계: 신경 반응 학습 모델 구축

참가자는 무작위, 음악적 리듬, 메트로놈 리듬 세 가지 조건에서 드럼을 연주
각 조건에서의 뇌 활성 데이터를 수집(fNIRS)
SVM, CNN+LSTM, Random Forest 등 다양한 모델을 비교
결과: Random Forest 모델이 가장 높은 정확도와 재현율을 보여 최종 시스템에 적용

2단계: 실시간 협업 실험

AI 드러머는 드러머의 실시간 뇌 신호에 따라 리듬을 조율(조건1)
비교군은 리듬을 지속적으로 무작위로 바꾸는 시스템(조건2)
결과: 사용자들은 조건1에서 더 나은 동기화 경험과 몰입감을 보고함. 단, 일부는 AI 리듬 변화의 빈도가 너무 잦아 일관성 결여를 지적

독창적 통찰: 뇌-음악-신뢰의 삼각 관계

이 연구는 단순히 새로운 기술을 도입한 것에 그치지 않는다. 뇌 신호를 기반으로 인간과 AI 사이의 음악적 신뢰를 형성하고자 한다는 점에서 근본적인 질문을 던진다:

인간은 AI와 음악적으로 교감할 수 있는가?
그 교감의 핵심은 신뢰인가, 예측성인가, 혹은 감정인가?

개인적으로 이 연구에서 가장 인상 깊었던 부분은 리듬 예측성이라는 정량 지표를 뇌파 기반으로 추출한 것이다. 이는 음악뿐만 아니라 교육, 스포츠, 팀워크 기반 협업 시스템 등 다양한 분야에서 적용 가능성을 보여준다. 예컨대, 수업 중 학생의 뇌파를 분석해 난이도나 진행 속도를 조절하는 교육 시스템을 상상해볼 수 있다.

결론: BrAIn Jam이 여는 미래

BrAIn Jam은 AI-인간 협업의 새로운 장을 열었다. 특히 감정적, 신경학적 신호를 기반으로 한 실시간 반응 시스템은 예술적 AI의 진화를 예고한다. 아직 기술적 한계와 개인별 반응 차이 등 해결 과제도 존재하지만, 이 연구는 인간의 뇌와 AI가 예술적 소통을 나눌 수 있는 가능성을 분명히 보여준다.

앞으로 BrAIn Jam의 기술이 확장된다면, 연주뿐 아니라 다양한 창작 영역에서 AI와 인간의 협업이 더 정교하고 감성적으로 진화할 것이다. 어쩌면 머지않아, 우리 뇌의 신호만으로 AI와 완벽한 즉흥 연주를 펼치는 시대가 올지도 모른다.

출처논문

Hopkins, T., Sun, R., Chuan Weng, S. C., Ma, S. Y., Crum, J., Hirshfield, L., & Do, E. L. (2025). *BrAIn Jam: neural signal-informed adaptive system for drumming collaboration with an AI-driven virtual musician*. *Frontiers in Computer Science*, 7, 1570249. https://doi.org/10.3389/fcomp.2025.1570249

AI-World-Story

BrAIn Jam 시스템이 여는 새로운 음악의 세계