NEUTRINO Diffusion - Muon

NEUTRINO の概要や使い方を紹介しています

NEUTRINO Diffusion - Muon を紹介しているページです

音符(歌メロ)と歌詞を入力するだけで、AI に歌を歌わせることができる!「NEUTRINO」。

NEUTRINO Diffusion - Muon
4.24 / 529 票)
制作者 SHACHI
対応 10/11
バージョン 2.4
更新日時 2024-01-15
ファイルサイズ 1.42 GB

NEUTRINO Diffusion - Muon

指定した楽曲を、AI に歌わせることができるニューラルネットワークベースの歌声合成ソフト。
音符(歌メロ)と歌詞を渡すだけで、AI シンガーが自分の個性を出しつつ人間のように歌ってくれます。
標準で、女性(「東北きりたん」「東北イタコ」「東北ずん子」「ずんだもん」「めろう」「No.7」「四国めたん」)と男性(「ナクモ」)の歌声ライブラリを使用することができ、必要に応じて各ライブラリのピッチや声質を調整することもできたりします。

「NEUTRINO」は、ニューラルネットワークを利用した音声合成ソフトです。
指定した楽曲を、AI(2023/04/29 時点では「東北きりたん」「東北イタコ」「東北ずん子」「ナクモ」「No.7」「ずんだもん」「四国めたん」のいずれか)に歌わせることができる NN ベースの歌声合成ツールで、基本的に曲データを渡すだけで表現豊かな歌唱を行ってくれるところが最大の特徴。

元の MIDI データ(音量注意)


上記データに歌詞を付けて「東北きりたん」に歌わせた例


「No.7」に歌わせた例


「謡子」に歌わせた例


「めろう」に歌わせた例


「東北ずん子」に歌わせた例


「東北イタコ」に歌わせた例


「ナクモ」に歌わせた例


「JSUT」に歌わせた例


東北きりたんx2+謡子
インプットされた曲データをただ単に発音させるのではなく、AI に「この歌を、どのように歌うのが正しいのか?」ということを推定させつつ歌声合成を行うので、あたかも人間が歌っているかのように歌わせることが可能となっています※1
(歌声データは、WAVE ファイルとして出力される)
1 「人間のように」歌うため、難解な曲は無理した感じになる。
(物凄く早口であるとか、極端な音程差があるとか、休符なしでメロディが続くとか...)

また、歌メロ(MIDI データや MusicXML データ)自体は普段使い慣れたソフトで作成することができるため、新たに作曲ソフトの使い方を覚える必要がなかったりします※2
(ただし、歌詞は「MuseScore」などの MusicXML 対応ソフトで付けることになる)
2 基本的には、上記「MuseScore」を含む何らかのソフトで歌メロ(MIDI ファイル等)を作成 → データを「MuseScore」などに読み込ませて音符に歌詞を付ける → 出来上がったデータを、MusicXML 形式のファイルとしてエクスポートする → MusicXML ファイルを「NEUTRINO」に読み込ませる... という手順を取ることになる。
“ 自分の作った歌を歌ってもらいたい ” という時にはもちろん、文章を読ませる用途等でも使えるかもしれません。
その他、使用する歌声ライブラリのピッチや声質を調整する機能も付いています。

使い方は以下のとおり。

使用バージョン : NEUTRINO Diffusion - Muon 2.0.0
歌声ライブラリを入手する
  1. バージョンによっては、歌声ライブラリを別途入手する必要があります。
    たとえば、バージョン 2.0.0 では「めろう」のみが同梱されています。
    「東北きりたん」「東北イタコ」「東北ずん子」「四国めたん」「ずんだもん」「No.7」「ナクモ」の歌声ライブラリも使いたい場合は、歌声ライブラリの配布ページ にアクセスし、
    • 歌声ライブラリ - 東北きりたん
    • 歌声ライブラリ - 東北イタコ
    • 歌声ライブラリ - ナクモ
    • 歌声ライブラリ - 東北ずん子
    • 歌声ライブラリ - No.7
    • 歌声ライブラリ - ずんだもん
    • 歌声ライブラリ - 四国めたん
    をダウンロードします。
    (必要なもののみダウンロードすればよい)
    歌声ライブラリをダウンロードする
    琴葉茜 / 琴葉葵 は、「A.I.VOICE 琴葉 茜・葵」購入者限定で使用できるライブラリのようです。
  2. ダウンロードしたファイルを 解凍 し、中から出てきた
    • 「KIRITAN」フォルダ
      東北きりたん(NEUTRINO-Library)\KIRITAN
    • 「ITAKO」フォルダ
      東北イタコ(NEUTRINO-Library)\ITAKO
    • 「NAKUMO」フォルダ
      ナクモ(NEUTRINO-Library)\NAKUMO
    • 「ZUNKO」フォルダ
      東北ずん子(NEUTRINO-Library)\ZUNKO
    • 「SEVEN」フォルダ
      No.7(NEUTRINO-Library)\SEVEN
    • 「ZUNDAMON」フォルダ
      ずんだもん(NEUTRINO-Library)\ZUNDAMON
    • 「METAN」フォルダ
      四国めたん(NEUTRINO-Library)\METAN
    を、「NEUTRINO」のインストールフォルダ内にある「model」フォルダ内にコピーします。
    「KIRITAN」「ITAKO」などのフォルダを、「model」フォルダ内にコピーする
目次へ戻る
歌のメロディを作成する
  1. 最初に、何らかのソフトで歌メロを作成します。
    このページでは、
    1. Domino」で歌メロを作成し、MIDI ファイルとして出力する
    2. 作成した MIDI ファイルを「MuseScore」にインポートし、音符に歌詞を乗せる
    3. 出来上がったデータを MusicXML 形式のファイルとしてエクスポートする
    4. 「NEUTRINO」に MusicXML ファイルを読み込ませて歌声合成を行う
    ... といった手順を取りたいと思います。
  2. まず、歌のメロディを作成します。
    歌のメロディを作成する
    音色は何でも OK ですが、音の伸びが人間の声に近い楽器の方がイメージしやすい?ような気がします。
    (この音符でどこまで息が続くのか?ということをイメージしやすいというか...)
    テンポも重要な要素となるので、テンポもしっかりと設定しておきます。
    テンポも設定する
    歌メロ以外の演奏データを作成しても OK ですが、「NEUTRINO」で音声合成の際に出力されるのは “ 歌 ” のみになります。
    (楽器の演奏も入れたい場合は、歌と別に作って「Audacity」などでミックスするとよい)
  3. 歌メロが出来上がったら、データを MIDI ファイルとして出力します。
    データを MIDI ファイルとして出力する
    データを MIDI ファイルとして出力する
目次へ戻る
歌詞を入力する
  1. MuseScore」を起動し、作成した MIDI ファイルを読み込みます。
    「MuseScore」を起動し、作成した MIDI ファイルを読み込む
    作成した MIDI ファイルを読み込む
    MIDI ファイルが読み込まれた
    MIDI ファイルが読み込まれた
    まず、歌詞を乗せたい音符をクリックし、CtrlL キーを押します。
     MuseScore ハンドブック(歌詞)
  2. 選択していた音符の下に、歌詞入力欄が表示されます。
    選択していた音符の下に、歌詞入力欄が表示された
    ここに、選択中の音符に乗せたい歌詞を入力します。
    歌詞を入力する
    この時、書き言葉ではなく話し言葉で入力するように注意します。
    たとえば、「あの時は」という歌詞があったとすると、「あのとき」ではなく「あのとき」と入力します。
     その他注意(公式チュートリアル)
  3. 続いて、方向キーの キーを押すなどし、別の音符を選択 → 歌詞を入力していきます。
    別の音符を選択し、歌詞を入力していく
    別の音符を選択し、歌詞を入力していく
  4. 歌詞の入力が終わったら、メニューバー上の「ファイル」から「エクスポート」を選択します。
    メニューバー上の「ファイル」から「エクスポート」を選択する
  5. 「エクスポート」という画面が表示されるので、右上にある「フォーマット」欄で「MusicXML」を選択します。
    エクスポート
    「フォーマット」欄で「MusicXML」を選択する
  6. 続いて、その下にある「ファイルの種類」欄で「非圧縮 (*.musicxml)」を選択 → 右下の「エクスポート」ボタンをクリックしてファイルの保存を行います。
    右上にある「MusicXML ファイル種類」欄で「非圧縮 (*.musicxml)」を選択する
    右下の「エクスポート」ボタンをクリックする
目次へ戻る
歌声合成を行う
  1. 作成された MusicXML ファイルを、「NEUTRINO」のインストールフォルダ内にある「score\musicxml」フォルダ内にコピーします。
    MusicXML ファイルを、「NEUTRINO」のインストールフォルダ内にある「score\musicxml」フォルダ内にコピーする
  2. 続いて、「NEUTRINO」のインストールフォルダ内にある「Run.bat」を、メモ帳などの テキストエディタ で開きます。
  3. 6 行目にある
    set BASENAME=sample1
    の「sample1」の部分を、「MuseScore」で作成した MusicXML ファイルの名前に書き換えます。
    (拡張子は除く)
    「set BASENAME=sample1」の「sample1」の部分を書き換える
    たとえば、作成したファイルが「test.musicxml」という名前であったとすると、
    set BASENAME=test
    のように記述します。
    書き換え例
  4. 次に、14 行目にある
    set ModelDir=MERROW
    の部分で、使用する歌声ライブラリを指定します。
    「set ModelDir=MERROW」の「MERROW」の部分を書き換える
    • 「東北きりたん」を使う場合は KIRITAN
    • 「東北イタコ」を使う場合は ITAKO
    • 「東北ずん子」を使う場合は ZUNKO
    • 「ずんだもん」を使う場合は ZUNDAMON
    • 「めろう」を使う場合は MERROW
    • 「No.7」を使う場合は SEVEN
    • 「ナクモ」を使う場合は NAKUMO
    • 「謡子」を使う場合は YOKO
    • 「JSUT」を使う場合は JSUT
    と記述します。
    たとえば、「東北きりたん」を使用する場合は、
    set ModelDir=KIRITAN
    のように記述します。
    書き換え例
  5. NEUTRINO では、使用している PC のスペックに応じて処理速度を三段階で調整できるようになっています。
    処理速度は、8 行目にある
    set InferenceMode=3
    の部分で調整できるようになっています。
    「set InferenceMode=3」の「3」の部分を書き換える
    デフォルトでは CPU 向けの「3」となっていますが、GPU 向けにする場合は「4」、ローエンドな CPU 向けにする場合は「2」にしておきます。
    たとえば、4 にする場合は下記のように記述します。
    set InferenceMode=4
    書き換え例
  6. その他、18 / 21 行目や 22 行目でピッチや声質を調整することもできますが、この辺についてはとりあえず音声合成を行ってから調整してもよいと思います。
  7. 「Run.bat」の編集が終わったら、CtrlS キーを押すなどとしてファイルを上書き保存します。
    (テキストエディタは閉じてしまって OK です)
  8. 最後に、「Run.bat」をダブルクリックして実行します。
    「Run.bat」をダブルクリックして実行する
  9. コマンドプロンプトが立ち上がり、音声合成処理が行われます。
    コマンドプロンプトが立ち上がり、音声合成処理が行われる
    これにはそこそこ時間がかかる場合があるので、余裕をもって待ちます。
  10. しばらく待ち、コマンドプロンプトが消えたら処理完了です。
    「NEUTRINO」のインストールフォルダ内にある「output」フォルダ内に、WAVE ファイルが作成されています※3
    「output」フォルダ内に、WAVE ファイルが作成されている
    3 NEUTRINOでは、「NSF」「WORLD」という 2 種類のボコーダーを使用して音声合成が行われる。
    ファイル名に「_world」と付いてるものが「WORLD」を使用して作られた WAVE ファイルで、「_world」と付いていないものが「NSF」を使用して作成された WAVE ファイル。

    この WAVE ファイルの内容を確認し、おかしいところがあれば(音符の長さとか配置、休符の有無等)、作曲ソフトで微調整を行う → 再度 MusicXML ファイルを書き出して歌声合成を行う... という手順を取っていきます。
     AIシンガー調声アイデア NEUTRINOで使えるテクニック
    ちなみに、先述の通り「Run.bat」の 18 行目にある
    set PitchShiftNsf=0
    set PitchShiftWorld=0
    の部分でピッチを、22 行目にある
    set FormantShift=1.0
    の部分で声質を調整できるようになっています。
    「set PitchShift=」の部分で声高を調整することができる
    ピッチに関しては、「1.0」にすると 1 つ上のキーに、「-1.0」にすると一つ下のキーに設定することができます。
    声質については、大きくすれば子供のような幼い声になり、小さくすれば大人のような声になるようです。

NEUTRINO TOPへ
別館

最近は Chrome 拡張機能や Firefox アドオンの紹介が多め...

スポンサード リンク

NEUTRINO Diffusion - Muon を紹介しているページです