AI로 가수 목소리를 학습하는 게 어떤 원리인가요?

Question

요즘 AI로 기존에 유명하고 익숙한 가수들의 목소리를 추출해서 다른 가수의 노래를 cover 한다든지 새로운 곡을 작곡한다든지 하는 게 많은데 어떤 원리로 이게 가능한 건지 궁금해요

Answer 1

안녕하세요. 강경원 전문가입니다.

이것은 단순히 음성을 녹음해서 이어 붙이는 것이 아니라, AI가 그 가수의 목소리 특징 자체를 학습하기 때문입니다.

쉽게 설명하면 과정은 다음과 같습니다.

목소리의 특징을 학습합니다. AI에게 특정 가수의 노래 수백 개에서 수천 개를 들려주면 음색, 발음 습관, 비브라토, 호흡, 성대의 떨림, 고음과 저음에서의 소리 변화 등을 숫자로 분석합니다. 마치 "이 사람의 목소리 DNA"를 만드는 것과 비슷합니다.

노래와 목소리를 분리합니다. AI는 음악에서 반주와 보컬을 분리하고, 보컬에서는 음정과 리듬, 가사와 목소리의 특징을 따로 분석합니다. 그래서 원래 노래의 멜로디는 유지하면서 목소리만 바꾸는 것이 가능합니다.

새로운 목소리로 다시 생성합니다. 예를 들어 A가수의 목소리를 학습한 AI에게 B가수의 노래를 입력하면, AI는 "이 멜로디와 가사를 A가수가 불렀다면 어떻게 들릴까?"를 계산해 새로운 음성을 만들어 냅니다. 실제 A가수가 부른 것이 아니라 AI가 새롭게 합성한 음성입니다.

더 놀라운 점은 AI가 단순히 음색만 흉내 내는 것이 아니라는 것입니다.

숨 쉬는 위치

강세를 주는 습관

감정을 표현하는 방식

발음의 미세한 버릇

이런 것까지 함께 학습하기 때문에 사람 귀에는 진짜처럼 들립니다.

음악을 전공하는 입장에서 보면, 이것은 악보를 연주하는 연주자를 바꾸는 것과 비슷합니다. 같은 악보라도 임윤찬이 치는 피아노와 다른 피아니스트가 치는 느낌이 다르듯, AI는 그 '연주 스타일'까지 흉내 내려고 하는 것입니다.

다만 아직은 한계도 있습니다.

처음 듣는 새로운 창법이나 특수한 발성은 어색할 수 있습니다.

오페라처럼 매우 복잡한 성악 발성은 아직 완벽하게 재현하기 어렵습니다.

감정 표현은 상당히 발전했지만, 실제 가수가 공연장에서 순간적으로 만들어 내는 미묘한 표현까지 완벽히 따라 하지는 못합니다.

최근에는 한 단계 더 발전해서, 노래를 입력하지 않아도 "이 가수 스타일의 신곡을 만들어 줘"라고 하면 작곡, 가사, 반주, 목소리까지 모두 AI가 생성하는 기술도 등장했습니다. 그래서 앞으로는 '누가 실제로 불렀는지'와 'AI가 만든 목소리인지'를 구분하는 것이 점점 더 어려워질 것으로 예상됩니다.