RVC ボイスチェンジャーでGoogle Colabを使って自分で学習モデルを作成する方法！

話題の高性能なAIボイスチェンジャー RVC で自分で任意の声を学習して使う方法ににいてまとめています。

Google Colabを使うことで自分のPCに複雑な環境構築を行うことなく、誰でも簡単にRVCの学習モデルの作成ができます。 また、学習にはGPUやハイスペックなPCが通常は必要ですが、Google Colabなら無料の範囲で十分利用することができます。

対象読者

• RVCで自分の声など、任意の声からボイスチェンジャーを作りたい方
• 自分のPCでのGPUを使った環境構築が難しい方

目次

• RVC ボイスチェンジャーでGoogle Colabを使って自分で学習モデルを作成する方法！
  • 目次
  • RVCって何？
  • Google Colabを使って自分の声（任意の声）のRVCモデルを作る
  • 事前準備
  • 学習元の声（音声データの準備)
  • Google ColaboratoryのNotebookを用意
  • WebUIを開く
    • コードの実行
    • ランタイムのリスタート
    • google driveのマウント
    • プログラムを起動して Web UI を開く
  • RVCのモデルを学習を学習する
  • 作ったモデルを試す
  • 作ったモデルを保存する
  • VC Client を使ってリアルタイムボイスチェンジを試す
    • インストールと実行
    • モデルのアップロードと利用
      • モデルのアップロード
    • VC ClientでRVCモデルを利用する
  • まとめ

RVCって何？

RVCはRetrieval-based-Voice-Conversionの略です。

どんな事ができるのかというと、いわゆるボイスチェンジャーの機能になります。

従来のボイスチェンジャーというと声にフィルターやエフェクトを掛けて声を変換するという感じで、 別の人の声に成り代わるみたいなことはむずかしく、コナンに出てくる蝶ネクタイ型変声期のように誰の声にでもなれるみたいなことはできませんでした。

しかし、RVCはこれが実現できてしまいます。

またRVCの優れている点はリアルタイム性も挙げられると思います。 非常に軽く、変換には1秒もかかりません、高性能なGPUを積んだ環境では0.2秒くらいの遅延で変換が可能なため、会話なども普通にできます。

変換に関しては例を見たほうがわかりやすいと思います。

つくよみちゃんの声から私の声のRVCモデルを使った変換例

・変換前のつくよみちゃんの声

・変換後の声（つくよみちゃん => 私の声)

つくよみちゃんの声は下記を利用させていただきました ■つくよみちゃんコーパス（CV.夢前黎）

完全に別人の声になっていますが、違和感なく変換できているのがわかるかと思います。

男性の声から私の声のRVCモデルを使った変換例

・変換前の男性の声

・変換後の声（男性の声 => 私の声)

変換前音声データははJVS corpusを利用させていただきました Shinnosuke Takamichi (高道 慎之介) - jvs_corpus

Google Colabを使って自分の声（任意の声）のRVCモデルを作る

Google Colaboratory を使うことで、 自分のPCにPythonのインストールなど複雑な環境構築をすることなく、

また高性能なGPUを持っていなくとも、簡単に機械学習が行なえます。

RVCのモデルであれば無料の範囲でも十分利用できます。

Google Colaboratory は Googleのアカウントさえ持っていれば簡単に利用できます。

事前準備

Google Colaboratory を使ってRVCのモデルを学習ための準備として下記が必要になります。

• Googleアカウントの取得
• 学習元の声（音声データの準備)

Googleアカウントの取得に関しては、すでに持っている人が多いと思うのと、取り方も色々情報が出回ってると思うので詳細は割愛します。 Googleのトップページログインからアカウントを取得してください。

学習元の声（音声データの準備)

RVCのモデル作成には、元となる声の音声データが必要です。 10分以上のノイズの少ない音声が必要になります。

音声の内容自体は割と何でもいいようです、私はVtuber活動をやっているのでそういう方は普段の雑談の配信などを使ったり、普段の会話を録音しておくなどで利用する方もいるようです。

ただそういうデータは必ずしも声だけのデータにならならず、ノイズが入ることもあると思うので（お茶飲んだ音、コップおいた音、生活音..etc) 、 品質の良いモデルを作りたいのであればそれ用に録音したほうが良いかと思います。

私は、今回はたまたま机の上にあった本を30分ほど音読して録音しました。

音声形式は mp3 でも wav でも色々な形式に対応しています。

内部的にはffmpegを利用しているそうなので、そちらに対応しているフォーマットであれば何でも大丈夫ですが、 最終的にはwavで利用されるので最初からwavにしておけばトラブルは起きづらいと思うので、私の場合はwavを用意しました。

音声のカットや、無言、無音部分のカットなどは、RVC学習時に自動でやってくれていそうなので、自分でやる必要はありません。

RVC出始めの頃は自分で発話ごとに区切って、無音部分は削除が必要といった情報をTwitterやいろんな記事で見かけましたが、公式に下記記述があるため今は不要かと思われます。

入力した音声はまず、一定期間(max_sil_kept=5秒?)より長く無音が続く部分を検知して音声を分割します。無音で音声を分割した後は、0.3秒のoverlapを含む4秒ごとに音声を分割します。4秒以内に区切られた音声は、音量の正規化を行った後wavファイルを/logs/実験名/0_gt_wavsに、そこから16kのサンプリングレートに変換して/logs/実験名/1_16k_wavsにwavファイルで保存します。

参照: https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/blob/2280f3e392771c1002020c3dd26a4cae7ce1e049/docs/training_tips_ja.md#%E9%9F%B3%E5%A3%B0%E3%81%AE%E5%88%86%E5%89%B2

また、音声データは複数のデータになっても構いません。特定のディレクトリ以下に複数の音声ファイルがあれば全て読み取ってくれます。

作成した音声データを入れたディレクトリはGoogle Colabから使えるようにGoogle Driveに格納しておいてください。

まとめると次の様なデータが必要になります。

• トータル10分以上のノイズの少ない音声データ
• ファイル形式は mp3, wav 等 一般的な音声ファイル形式ならほとんど利用可能
• 音声のカットや、無言、無音部分のカットなどは不要
• 音声データは複数のファイルになっていてもOK
• 音声データは１つのディレクトリに入れておく
• 音声データはGoogle Colabから利用できるようにGoogle Driveに格納しておく

Google ColaboratoryのNotebookを用意

それでは実際にモデルを作っていきます。

Google Colaboratory の NoteBook を作成したのでこちらを使ってもらって構いません。

https://colab.research.google.com/drive/1_193AbviTHAM95Nh7x2bROJxQ03tUiPU

私が使っていた時点ではv2に対応しているNotebookがなかったので自分で作成したのですが、現在は公式の方でもNoteBookが用意されているのでそちらを使っても大丈夫かと思います。

内容的にはほとんど一緒なので、どちらを使っても構わないと思います。

今回は上記のNoteBookを使って進めます。

NoteBookは自分のドライブにコピーしてから使ってください

「ファイル」=>「ドライブにコピー」

WebUIを開く

コードの実行

基本的には上から順番にコードを実行して行ってください。

環境構築、 必要なパッケージインストール、 git clone と順番にコードを実行していきます。

ランタイムのリスタート

Pythonの依存関係インストールのところだけ注意が必要で、コード実行後に次のようなWarningが出てきますので Runtime の再起動をしてください。

WARNING: The following packages were previously imported in this runtime: PIL,numpy You must restart the runtime in order to use newly installed versions.

「RESTART RUNTIME」 というボタンが出ていると思うのでこちらをクリックすれば大丈夫です

google driveのマウント

「google driveのマウント」の部分ではクリックすると

このノートブックに Google ドライブのファイルへのアクセスを許可しますか？

というメッセージが表示されますが、こちらは「Google ドライブに接続」に接続してください。

これで google colaboratory から google driveのファイルを参照できるようになります。

プログラムを起動して Web UI を開く

「launch webui」のコードを実行すると、次のようなリンクが表示されますので、クリックするとWebUIが立ち上がります。

Running on public URL: https://xxxxxxxxxxxxx.gradio.live

クリックして立ち上がったページは次のようになります。

これ以降学習などは、このWebUI上の操作から行います。

RVCのモデルを学習を学習する

WebUIからTrainのタブをクリックしてください。

編集の必要があるポイントだけ今回は説明いたします。

③のフォルダはGoogle Drive上の学習元のモデルのパスを指定してください。

パスはcolab側のディレクトリツリーからパスをコピーできます。

今回私の環境では /content/drive/MyDrive/AI/RVC/dataset/naginagisaという風にしています。

設定が完了したら ⑤の「One-click training」をクリックてモデルの作成をします。 このあと特に操作をする必要はありませんが、時間がかかります。20epochで20分くらいかかりました。

学習中のログなどは、colab側の方にログも出ますので、そちらで進捗や何をやっているのか、確認もできます。

学習にはかなり時間がかかるので、webui上で動いているように見えなくても、colab側のログを見ることで動いていることを確認できます。

完了したらモデルが出力されています。 作成させたモデルを使って、RVCを試してみましょう。

生成されたファイルで必要なファイルは、下記の②ファイルになります。

/content/Retrieval-based-Voice-Conversion-WebUI/weights/nagisa_sample.pth

/content/Retrieval-based-Voice-Conversion-WebUI/logs/nagisa_sample/added_****.index

作ったモデルを試す

「Model Inference」タブをクリックしてください。こちらの画面から作成したモデルは試すことができます。

Google driveに相手ある任意の音声データを使って、先ほど作成したモデルで変換してみる例をここでは紹介します。

試してみて作ったモデルの学習が足りないなと感じたりした場合は、再度trainのタブに戻って学習し直したりすることができます。

学習が足りなければepoch数を増やして調整したりすることになります。

作ったモデルを保存する

作ったモデルはこのままGoogle Colaboratory を閉じてしまったりすると、消えてしまいますので、

Google Driveに保存しておきましょう。

Colaboratoryの画面側に戻って、 必要な情報を入れて「モデルをDriveにコピー」のコードを実行すればOKです。

Google Colaboratoryは並列実行はできないようので、webuiのコードを実行中の場合は一度停止してからコピーのコードを実行してください。

コピーが完了すると、 Google DriveからDSTPATHに指定したディレクトリが作成されており、中には次のようなファイルがコピーされて格納されます。

この中で RVC の Client ソフトで必要になるファイルは、下記2ファイルです。

• モデル名_エポック数.pth 例) nagisa_sample_1300.pth
• added_*****.index 例) added_IVF1607_Flat_nprobe_1_nagisa_sample_v2.index

クライアントによっては、 total_fea.npy も必要になるソフトもあるかもしれません。

これらのファイルと、 RVC モデルを読み込める クライアントソフトを使うことで、リアルタイムのボイスチェンジなどを試すことができます。

VC Client を使ってリアルタイムボイスチェンジを試す

RVCのモデルが使えるソフトはいくつか公開されています。

ここでは VC Client というものを紹介します

GitHub - w-okada/voice-changer: リアルタイムボイスチェンジャー Realtime Voice Changer

インストールと実行

インストールはリンク先に書いてあるとおりです。

GitHub - w-okada/voice-changer: リアルタイムボイスチェンジャー Realtime Voice Changer

こちらのページのリンクから、合うものを選んで、ダウンロードしzipファイルを展開します。

cuda と書いているはNvidia のGPUがあれば使えます、GPUがない場合はCPUと書いてあるものをダウンロードすると良いと思います。

Windows なら start_http.bat をクリックして実行

Mac なら startHttp.command をクリックして実行してください。

モデルのアップロードと利用

上記のコマンドで立ち上げると次のような画面が開きます。　VC Clientの選択画面が出た場合は「RVC」をクリックしてください。

モデルのアップロード

自分で作ったモデルをアップロードするには

「Model Setting」 のところを開いて、下記の項目を変更して「upload」クリックします。

VC ClientでRVCモデルを利用する

利用は簡単です。

利用するには、「Server Control」の「Switch Model」から先程アップロードしたモデルを選択肢、 「Start」を推します。

「Device Setting」の「AudioInput」に利用するマイクのデバイス、 「AudioOutput」に利用するスピーカーなどをなど選んで、マイクに声を通すと変換された声が出力されます。

きれいに変換させるには声のピッチを合わせることが必要です。

「Tuning」を変更してみて、きれいに変換できるTuningになるように調整してください。

これでリアルタイムで誰でも任意の声にボイスチェンジができるようになります。

まとめ

• RVCはAIを使った高性能な、リアルタイムで変換可能なボイスチェンジャー
• RVCのモデルをGoogle Colaboratory で自分で学習して作成できる
• 学習にはGoogle Colaboratoryを使うと簡単で便利！
• RVCのモデルを VC Client で簡単に利用可能