音符(歌メロ)と歌詞を入力するだけで、AI に歌を歌わせることができる!「NEUTRINO」。
NEUTRINO - Tau
指定した楽曲を、AI に歌わせることができる歌声合成ソフト。
音符(歌メロ)と歌詞を渡すだけで、AI シンガーが自分の個性を活かしつつ人間のように歌ってくれます。
標準で、女性(「No.7」「東北きりたん」「東北イタコ」「東北ずん子」「ずんだもん」「四国めたん」「大江戸ちゃんこ」「めろう」)と男性(「ナクモ」「ソウマ」「ルノ」)の歌声ライブラリを使用することができ、メインのライブラリには別のライブラリを補助的にかけあわせることもできたりします。
NEUTRINOは、Diffusion モデルを使用した音声合成ソフトです。
指定した楽曲を、AI シンガー※1 に歌わせることができる歌声合成ツールで、基本的に曲データを渡すだけで表現豊かな歌唱を行ってくれるところが最大の特徴🗣。
1 2025/02/11 時点では、「東北きりたん」「東北イタコ」「東北ずん子」「ずんだもん」「四国めたん」「大江戸ちゃんこ」「No.7」「謡子」「JSUT」「ナクモ」「ソウマ」「ルノ」のいずれかの AI シンガーを指定することができる。
元の MIDI データ(音量注意)
上記データに歌詞を付けて「東北きりたん」に歌わせた例
「No.7」に歌わせた例
「謡子」に歌わせた例
「めろう」に歌わせた例
「東北ずん子」に歌わせた例
「東北イタコ」に歌わせた例
「ナクモ」に歌わせた例
「JSUT」に歌わせた例
東北きりたんx2+謡子
インプットされた曲データをただ単に発音させるのではなく、AI に「この歌を、どのように歌うのが正しいのか?」ということを推定させつつ歌声合成を行うので、あたかも人間が歌っているかのように歌わせることが可能となっています※2。
上記データに歌詞を付けて「東北きりたん」に歌わせた例
「No.7」に歌わせた例
「謡子」に歌わせた例
「めろう」に歌わせた例
「東北ずん子」に歌わせた例
「東北イタコ」に歌わせた例
「ナクモ」に歌わせた例
「JSUT」に歌わせた例
東北きりたんx2+謡子
(歌声データは、WAVE ファイルとして出力される)
2 「人間のように」歌うため、難解な曲は無理した感じになる。
(物凄く早口であるとか、極端な音程差があるとか、休符なしでメロディが続くとか...)
また、歌メロ(MIDI データや MusicXML データ)自体は普段使い慣れたソフトで作成することができるため、新たに作曲ソフトの使い方を覚える必要がなかったりします※3。
(ただし、歌詞は「MuseScore」などの MusicXML 対応ソフトで付けることになる)
3 基本的には、上記「MuseScore」を含む何らかのソフトで歌メロ(MIDI ファイル等)を作成 → データを「MuseScore」などに読み込ませて音符に歌詞を付ける → 出来上がったデータを、MusicXML 形式のファイルとしてエクスポートする → MusicXML ファイルを「NEUTRINO」に読み込ませる... という手順を取ることになる。
“ 自分の作った歌を歌ってもらいたい ” という時にはもちろん、文章を読ませる用途等でも使えるかもしれません。
尚、歌声ライブラリに別の歌声ライブラリを補助的にかけあわせて、異なるニュアンスを持たせることもできたりします。
使い方は以下のとおり。
使用バージョン : NEUTRINO - Tau 3.0.4
歌声ライブラリを入手する
- バージョンによっては、歌声ライブラリを別途入手する必要があります。
たとえば、バージョン 3.0.4 では「めろう」「ナクモ」「ルノ」「ソウマ」のみが同梱されています。
他の歌声ライブラリも使いたい場合は、歌声ライブラリの配布ページ にアクセスし、- 歌声ライブラリ - ソウマ
- 歌声ライブラリ - ルノ
- 歌声ライブラリ - No.7
- 歌声ライブラリ - 東北きりたん
- 歌声ライブラリ - 東北イタコ
- 歌声ライブラリ - 東北ずん子
- 歌声ライブラリ - ずんだもん
- 歌声ライブラリ - 四国めたん
- 歌声ライブラリ - 大江戸ちゃんこ
- 歌声ライブラリ - 謡子
- 歌声ライブラリ - JSUT
(必要なもののみダウンロードすればよい) 琴葉茜 / 琴葉葵 / 夜語トバリ は、「A.I.VOICE」購入者限定で使用できるライブラリのようです。 - ダウンロードしたファイルを 解凍 し、中から出てきた
- 「SEVEN」フォルダ
No.7(NEUTRINO-Library)\SEVEN - 「KIRITAN」フォルダ
東北きりたん(NEUTRINO-Library)\KIRITAN - 「ITAKO」フォルダ
東北イタコ(NEUTRINO-Library)\ITAKO - 「ZUNKO」フォルダ
東北ずん子(NEUTRINO-Library)\ZUNKO - 「ZUNDAMON」フォルダ
ずんだもん(NEUTRINO-Library)\ZUNDAMON - 「METAN」フォルダ
四国めたん(NEUTRINO-Library)\METAN - 「CHANKO」フォルダ
大江戸ちゃんこ(NEUTRINO-Library)\CHANKO - 「YOKO」フォルダ
謡子(NEUTRINO-Library)\\YOKO - 「JSUT」フォルダ
JSUT(NEUTRINO-Library)\\JSUT
- 「SEVEN」フォルダ
歌のメロディを作成する
- 最初に、何らかのソフトで歌メロを作成します。
このページでは、- 「Domino」で歌メロを作成し、MIDI ファイルとして出力する
- 作成した MIDI ファイルを「MuseScore」にインポートし、音符に歌詞を乗せる
- 出来上がったデータを MusicXML 形式のファイルとしてエクスポートする
- 「NEUTRINO」に MusicXML ファイルを読み込ませて歌声合成を行う
- まず、歌のメロディを作成します。
音色は何でも OK ですが、音の伸びが人間の声に近い楽器の方がイメージしやすい?ような気がします。
(この音符でどこまで息が続くのか?ということをイメージしやすいというか...)
テンポも重要な要素となるので、テンポもしっかりと設定しておきます。 楽器の演奏も入れたい場合は、歌と別に作って「Audacity」などでミックスするとよいでしょう。 - 歌メロが出来上がったら、データを MIDI ファイルとして出力します。
歌詞を入力する
- 「MuseScore」を起動し、作成した MIDI ファイルを読み込みます。
MuseScore ハンドブック(歌詞) - 選択していた音符の下に、歌詞入力欄が表示されます。
たとえば、「あの時は」という歌詞があったとすると、「あのときは」ではなく「あのときわ」と入力します。
その他注意(公式チュートリアル) - 続いて、方向キーの → キーを押すなどし、別の音符を選択 → 歌詞を入力していきます。
- 歌詞の入力が終わったら、メニューバー上の「ファイル」から「エクスポート」を選択します。
- 「エクスポート」という画面が表示されるので、右上にある「フォーマット」欄で「MusicXML」を選択します。 続いて、その下にある「ファイルの種類」欄で「非圧縮 (*.musicxml)」を選択 → 右下の「エクスポート」ボタンをクリックしてファイルの保存を行います。
歌声合成を行う
- 作成された MusicXML ファイルを、「NEUTRINO」のインストールフォルダ内にある「score\musicxml」フォルダ内にコピーします。
- 続いて、「NEUTRINO」のインストールフォルダ内にある「Run.bat」を、メモ帳などの テキストエディタ で開きます。
- 7 行目にある
set BASENAME=sample1の「sample1」の部分を、「MuseScore」で作成した MusicXML ファイルの名前に書き換えます。
(拡張子は除く)set BASENAME=testのように記述します。 - 次に、13 行目にある
set ModelDir=MERROWの部分で、使用する歌声ライブラリを指定します。
- 「東北きりたん」を使う場合は KIRITAN
- 「東北イタコ」を使う場合は ITAKO
- 「東北ずん子」を使う場合は ZUNKO
- 「ずんだもん」を使う場合は ZUNDAMON
- 「四国めたん」を使う場合は METAN
- 「大江戸ちゃんこ」を使う場合は CHANKO
- 「めろう」を使う場合は MERROW
- 「No.7」を使う場合は SEVEN
- 「ナクモ」を使う場合は NAKUMO
- 「ソウマ」を使う場合は SOMA
- 「ルノ」を使う場合は RUNO
- 「謡子」を使う場合は YOKO
- 「JSUT」を使う場合は JSUT
たとえば、「東北きりたん」を使用する場合は、set ModelDir=KIRITANのように記述します。 - 「Run.bat」の編集が終わったら、Ctrl + S キーを押すなどとしてファイルを上書き保存します。
(テキストエディタは閉じてしまって OK です) - 最後に、「Run.bat」をダブルクリックして実行します。
- コマンドプロンプトが立ち上がり、音声合成処理が行われます。
- しばらく待ち、コマンドプロンプトが消えたら処理完了です。
「NEUTRINO」のインストールフォルダ内にある「output」フォルダ内に、WAVE ファイルが作成されています。 この WAVE ファイルの内容を確認し、おかしいところがあれば(音符の長さとか配置、休符の有無等)、作曲ソフトで微調整を行う → 再度 MusicXML ファイルを書き出して歌声合成を行う... という手順を取っていきます。 - ちなみに、指定した歌声ライブラリに別の歌声ライブラリを補助的にかけあわせて、異なるニュアンスを持たせることもできたりします。
この機能を利用する場合、インストールフォルダ内にある「Run_support_model.bat」をメモ帳などのテキストエディタで開き、7 行目のset BASENAME=sample1の部分で MusicXML ファイルの名前を、13 行目にあるset ModelDir=MERROWの部分で使用する歌声ライブラリを、14 行目にあるset SupportModelDir=SOMAの部分で補助的に使用する歌声ライブラリを指定します。
(その後エディタを上書き保存し、「Run_support_model.bat」をダブルクリックして実行する)
NEUTRINO TOPへ |
アップデートなど
おすすめフリーソフト
スポンサード リンク
おすすめフリーソフト
スポンサードリンク