혼합 현실 음악 시각화 개발 및 평가: 실시간 음악 정보 검색을 기반으로 한 라이브 공연

원제: Development and evaluation of a mixed reality music visualization for a live performance based on music information retrieval

저널: Frontiers in Virtual Reality

출판일: 2025년 3월 19일

저자: Matthias Erdmann, Markus von Berg, Jochen Steffens

소속: Hochschule Düsseldorf, Technische Universität Berlin

---

1. 연구 개요

이 연구는 혼합 현실(MR) 기술을 활용한 음악 시각화를 개발하고, 이를 라이브 공연에서 활용했을 때 청중의 미적 경험에 미치는 영향을 평가하는 것을 목표로 한다. 연구에서는 실시간 오디오 분석과 감각 간 상관성(crossmodal correspondences)을 디자인 지침으로 사용하여 시각화를 개발하였다. 이를 평가하기 위해 동일한 시각적 요소를 포함하되 색상과 움직임이 무작위로 변경되는 기준 시각화와 비교 실험을 진행하였다.

주요 연구 질문:

- 실시간 오디오 분석을 적용한 음악 시각화가 무작위 시각화보다 음악과의 일관성이 높은가?

- 실시간 오디오 분석을 통해 감성적 음악 속성과 일치하는 색상을 선택하는 방식이 무작위 색상 할당보다 선호되는가?

- 실시간 오디오 분석을 활용한 시각화가 미적 경험을 증진시키는가?

- 개인의 음악성 및 미적 감수성이 미적 경험에 영향을 미치는가?

---

2. 연구 방법

2.1 실험 디자인

총 62명의 참가자가 개별적으로 연구에 참여하였으며, 두 가지 조건(실시간 오디오 분석을 통한 시각화(MIR-V)와 무작위 시각화(Rand-V))을 모두 경험하였다. 각 참가자는 동일한 곡을 두 번 감상했으며, 각각 다른 시각화 조건이 적용되었다.

기술적 구현:

- 실시간 오디오 분석: Essentia 소프트웨어를 활용하여 오디오에서 저수준(low-level) 및 고수준(high-level) 특징을 추출

- 음악 구성: 기타 연주자가 루핑(looping) 기법을 사용하여 다양한 악기 그룹을 시뮬레이션함

- 시각적 요소: Unity 기반의 MR 애플리케이션에서 구현, 오디오 피처에 따라 색상, 위치, 크기 등이 실시간으로 변화

2.2 평가 방법

- Aesthetic Emotions Scale (AESTHEMOS): 미적 경험을 측정하기 위한 설문지

- Audiovisual Congruence 평가: 시각 요소가 음악과 얼마나 조화를 이루는지 평가

- Goldsmiths Musical Sophistication Index (Gold-MSI): 참가자의 음악적 능력 평가

- Aesthetic Responsiveness Assessment (AeR): 개인의 미적 감수성 평가

- 개방형 인터뷰: 전반적인 공연 경험에 대한 질적 피드백 수집

---

3. 연구 결과

3.1 시각화의 음악 일관성 평가

- 실시간 오디오 분석을 기반으로 한 시각화(MIR-V)가 무작위 시각화(Rand-V)보다 음악과의 동기화 및 색상 일치성에서 높은 평가를 받음

- 감성적 속성을 반영한 색상 선택이 무작위 색상 할당보다 더 긍정적으로 평가됨

3.2 미적 경험 평가

- MIR-V가 Rand-V보다 "전형적인 미적 감정(prototypical aesthetic emotions)" 및 "활력(animation)" 요소에서 높은 평가를 받음

- 지적 호기심, 부정적 감정, 향수적 요소에서는 두 조건 간 유의미한 차이가 나타나지 않음

3.3 개인 특성과 미적 경험의 관계

- 개인의 음악성(Gold-MSI)은 미적 경험과 유의미한 관계를 보이지 않음

- 미적 감수성(AeR)의 일부 요인은 미적 경험과 긍정적인 상관관계를 보임 (예: 미적 감수성이 높은 사람이 시각화에 대한 관심이 높음)

3.4 개방형 인터뷰 분석

- 대다수 참가자가 MR 기술을 활용한 공연에 긍정적인 반응을 보였음

- 실시간 시각화가 음악적 요소를 이해하는 데 도움이 된다고 응답함

- 그러나 공연자의 존재감이 시각적 요소에 의해 가려졌다는 지적도 일부 있었음

- 향후 MR 콘서트의 가능성에 대해 높은 관심을 표명하였으나, HMD(헤드 마운트 디스플레이)의 무게와 해상도 문제 등이 해결되어야 한다는 의견이 나옴

---

4. 결론 및 향후 연구 방향

본 연구는 MR을 활용한 음악 시각화가 미적 경험을 향상시킬 수 있음을 시사하며, 실시간 오디오 분석을 활용한 시각화가 무작위 시각화보다 더 높은 일관성을 제공한다는 점을 확인하였다. 다만, 모든 참가자가 높은 수준의 미적 감정을 경험한 것은 아니며, 개인 차이가 존재하였다. 향후 연구에서는 더 다양한 음악 장르와 공연 형식을 실험하고, 다중 사용자 환경에서의 MR 시각화 효과를 탐구할 필요가 있다.

---

#음악_시각화 #혼합_현실 #실시간_오디오_분석 #음악정보검색 #미적_경험