RVC를 활용한 AI 보이스 변환

1. 서론

최근 AI 커버 영상이나 더빙 콘텐츠를 보면, 자연스럽게 감정이 실린 목소리가 다른 스타일(남↔여, 어른↔아이)로 바뀌는 걸 볼 수 있어요

그런데 이게 단순한 TTS(문자→음성)가 아니라 ‘내가 직접 말한 녹음’의 감정과 템포를 살린 채, 음색만 바꾸는 것이라는 사실!

이번 포스팅에서는 제가 직접 녹음한 대사를 다른 목소리로 변환하기 위해 AI 음성 변환 툴 RVC를 활용한 과정을 보여드릴게요

 

2. 왜 TTS가 아닌 RVC인가?

TTS는 텍스트만 주면 AI가 알아서 읽어줘요 하지만 감정, 속도, 멈칫, 강조 등을 내가 직접 통제하긴 어렵죠.

반면 RVC는 내가 녹음한 감정과 템포를 그대로 유지하면서, 목소리만 다른 사람처럼 바꿔주는 방식이에요. 결과적으로 “내가 연기한 것 같은 AI 성우”가 만들어지는 거죠

 

3. 설치 방법

1. Hugging에서 RVC-beta.7z 다운로드

https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main

2. 압축 해제 후 go-web 클릭

3. 기다리면 프로그램 실행이 됩니다

 

4. 한글화 방법

1. Github에서 한글화 파일 다운

https://gist.github.com/ouor/91fa2e633220b5b8f7203aacd7857dd2/

2. 압축 해제 후 한글 ko_KR파일 복사

3. 아까 설치한 RVC-beta 폴더에서 i18n폴더에 붙여넣기

4. go-web 클릭하면 한글화 완료

 

5. 녹음과 보이스 모델 다운

본인이 직접 목소리를 학습시켜서 목소리를 변조 할 수 있지만, 이번 시간에는 누군가 만들어 놓은 목소리 학습파일을 다운받아서 할게요

1. 녹음한 내 음성을 준비

-이때 녹음본은 배경음 없는 WAV파일을 사용합니다

2. 보이스 모델 다운

-다른 사람들이 학습시킨 보이스 모델을 다운합니다. 저는 디스코드 채널에서 다운받았어요

-https://discord.com/invite/aihub

3. 원하는 보이스 모델 업로드

-보이스 모델을 다운하면 pth파일과 index파일이 있습니다(index는 없을 수도 있음)

-pth파일은 RVC-beta 폴더에서 weights폴더에 붙여넣고 index는 logs폴더에 붙여 넣습니다

 

6. WebUI에서 목소리 적용 시키는 법

1. 폴더에 넣으면 ‘음색 목록과 인덱스 경로를 새로고침합니다’를 누르고 음색 추론에 내가 다운받은 pth파일을 클릭합니다

2. ‘인덱스 경로를 자동으로 감지하고 드롭다운에서 선택하세요’에서 index파일을 선택합니다

3. ‘처리할 오디오 파일의 경로를 입력하세요’에서 녹음본 파일의 경로를 입력합니다

4. ‘음높이 추출 알고리즘’에서 ‘rmvp’를 선택합니다

5. 검색 특성 비율을 높이면 pth파일에 가까워집니다. 그 대신 외국어 모델을 사용할 경우 발음이 뭉게지는 경향이 있습니다.

6. 변환할 피치를 선택합니다, 본인의 목소리가 남자인데 여자 목소리로 변환하고 싶으면 +12, 본인의 목소리가 여자인데 남자로 변환하고 싶으면 –12를 합니다

6. ‘음성을 변환합니다’ 버튼을 누릅니다

7. 변환 후 다운합니다

 

7. 결과

https://youtu.be/1MKSg4yB9uw

 

변환된 음성을 들어보면 내 억양, 내 감정, 내 템포 그대로입니다. 성별, 연령, 심지어 애니메이션 캐릭터 같은 느낌도 낼 수 있습니다. 이 툴을 사용하면 오디오북이나 게임 대사 더빙, 유튜브 영상 등에 실제 적용이 충분히 가능할 정도네요

 

8. 마치며

AI 더빙은 이제 기계가 읽는 로봇톤을 벗어나, 사람이 직접 연기한 감정선을 유지하면서도 다양한 캐릭터 보이스를 입히는 단계까지 왔습니다. RVC는 그 중에서도 ‘내 감정에 맞춰 목소리를 바꾸고 싶은’ 사람에게 가장 유연하고 실용적인 도구입니다.

지금 당장 간단한 한 문장을 녹음해서, 당신이 좋아하는 캐릭터의 목소리로 바꿔보시는걸 추천드립니다.

 

 

출처

https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main

https://gist.github.com/ouor/91fa2e633220b5b8f7203aacd7857dd2/

https://discord.com/invite/aihub