메타버스 구현을 위한 공간 음향(Spatial Audio)

Question

메타버스 구현을 위한 공간 음향(Spatial Audio) 기술이 HRTF 알고리즘으로 방향감을 선사하는 광학 원리는 무엇인가요?

Answer 1

안녕하세요. 박재화 전문가입니다.

HRTF는 광학 원리가 아니라 사람의 머리, 귀, 귓바퀴가 소리를 변화시키는 음향학적 특성을 이용하는 기술입니다.

소리가 오른쪽에서 오면 오른쪽 귀에는 조금 더 빨리, 크게 도달하고 왼쪽 귀에는 머리를 돌아가면서 약간 늦고 약하게 도달하게 됩니다. 이를 야쪽 귀의 도착시간 차이와 음압 차이라고 하는데, 뇌는 이 정보를 이용해서 좌우 방향을 판단하는 것입니다. 또 귓바퀴 모양은 소리가 위쪽, 아래쪽, 앞쪽, 뒤쪽에서 올 때 주파수 성분을 서로 다르게 바꿔 높이와 앞뒤 방향 판단에 도움을 줍니다.

HRTF 알고리즘은 이런 사람의 방향별 음향 변화를 데이터화해서 원래 소리에 적용하고, 이어폰이나 헤드폰을 재생합니다. 그래서 실제 스피커가 뒤에 없어도 뇌는 소리가 특정 방향과 거리에서 오는 것처럼 느끼게 되는 것입니다.

Answer 2

안녕하세요. 최정훈 전문가입니다.

메타버스에서 공간 음향을 만드는 HRTF기술은 빛이 아닌 소리의 파동 원리를 이용합니다. 하지만, visual 영역의 빛처럼 물리적인 전달 과정에서 고유한 변화를 겪게 돼요. 소리가 양쪽 귀에 도달할 때 발생하는 미세한 시간 차이랑 음량의 차이를 계산을 해서 사용자가 소리의 위치를 감각적으로 인지하게 만듭니다. 여기에 귀바퀴와 두상의 복합적인 형상에 의해서 주파수 변형이 일어나는 음향학적 현상을 수학적 함수로 알고리즘화했죠. 덕분에 가상 공간에서도 마치 실제 현장에서 소리를 직접 듣는 듯한 입체적인 방향감과 뛰어난 몰입감을 경험할 수 있는것입니다.

Answer 3

안녕하세요. 김재훈 전문가입니다.

공간 음향과 HRTF는 시각을 다루는 광학 원리가 아닌 파동 및 음향학 원리에 기반하며 음파가 청각 기관에 도달할 때 발생하는 두 이간 시간차 양이 음압차 그리고 귓바퀴 등의 미세 구조에 따른 주파수 회절과 반사 패턴을 계산해 반구형 3차원 공간감을 선사합니다. 이는 마치 빛의 왜곡이나 굴절을 이용하는 광학 기술처럼 sound scene의 물리적 음장변화를 수학적 필터 함수로 정교하게 디지털 모사하는 방식입니다. 결국 메타버스 내에서 유저가 고개를 돌릴 때마다 양쪽 귀에 도달하는 소리의 시간 세기 주파수 음색 변조를 실시간 계산함으로써 착시 현상과 유사한 청각적 착각을 유발해 물리적 공간감을 완성하는 겁니다