LINEでもVTuber???
この言葉を聴いて皆さんは何を思い浮かべるでしょうか？
LINEとは今やこれなしでは行きていけないレベルで普及してるコミュニケーションツール。
VTuberはキズナアイを筆頭に突如YouTubeに出現したバーチャル美少女YouTuberの略称。※男も人外もいる。
「LINEでもVtuber」と聞くと、LINEの通話でもバーチャル美少女になれるのかな？そう思いますよね？
実はそうなんです。
LINEのビデオ通話、また通常の通話で、バーチャルボイス、バーチャルアバターを使って、別のユーザーと会話を行うことができるのです。
今回はどのようにしてLINEでバーチャル美少女になるのかを紹介していきたいと思います。
準備するモノ
準備するものはいくつかあります。
物理的な製品、そして美少女になるためのソフトウェアです。
物理的製品
- WindowsOS搭載パソコン
- マイク(PCに付いていない場合)
- Webカメラ(PCに付いていない場合)
物理的製品で必要なものは上の3つです。
最近の”普通”のパソコンであれば、Webカメラもマイクも付いていると思いますが、自身のPCに付いていない場合は別で購入してください。
ちなみにボクのデスクトップPCにはマイクもWebカメラも付いていませんでしたので、購入しました。
マイク：FIFINE コンデンサーマイク
ソフトウェア
- 恋声
- FaceRig
- NETDUETTO
この3つのソフトが必要です。
「恋声」は自身のピッチやフォルマントを変化させることで、自分とは別の声に変化させるためのソフトです。
イケメンの声やかわいい声に変換するために使います。
キャラクターモデルの表情を自身の表情と同期するために使います。
「NETDUETTO」は仮想サウンドカードです。仮想サウンドカードとは、簡単にいうと、存在しないマイクをあるようにパソコンに認識させるといった感じです。(厳密にいうと全然違うと思うけど、今回はこの理解で大丈夫なはず。)
本来はマイクで受けた入力をそのまま指定の場所で出力します。
しかし、今回はマイクで受けた入力は「恋声」に認識させるため、「恋声」で変換した音声は別で再度入力する必要があります。
つまり、この「NETDUETTO」は恋声で変換した音声を再度入力するために必要というわけです。
ソフトの準備
下記のリンクからソフトをダウンロードし、自分のPCにインストールしてください。
恋声の使い方はこのサイトを参考にするといいと思います。
FaceRigの使い方はこのサイトを参考にしてみてください。
NETDUETTOはインストールしたらそのまま使えるはずです。
変身方法
さて、いよいよバーチャル美少女に変身する時がやってきました。
ここからは「恋声」「FaceRig」「NETDUETTO」の設定を行っていきたいと思います。
まず最初にこれらのソフトがどのように連携していくかを説明します。
各ソフトのつながり
ではまず最初にアバターの動画がLINEビデオ通話の映像として発信される流れです。
- Webカメラが映像を撮影する。
- FaceRigが映像から顔のモーションを取得する。
- FaceRigが顔のモーションを2D,3Dモデルの顔と同期する。(口モーションは音声αから※次に記載)
- FaceRigの画面をLINEにカメラ映像として出力する。
映像の流れはこんな感じです。
次に、音声がLINEビデオ通話の音声として発信される流れです。
- マイクが音声を取得する。
- 取得した音声を恋声に出力。
- 恋声で音声を変換。
- 変換された音声(以下音声α)をNETDUETTOに出力。
- NETDUETTOからFaceRigに音声αを出力。→音声αでFaceRig口モーション制御。
- NETDUETTOで入力される音声αをLINEの通話ボイスとして出力する。
ややこしいですか？
バーチャル美少女になるにはこの変身過程を構築する必要があります。
それでは設定していきましょう。
恋声の設定
恋声で設定する箇所は赤枠と青枠で囲まれたところの二箇所。
恋声の右下の[設定]をクリックすると出現するウィンドウの[録音デバイス]と[再生デバイス]の二箇所です。
録音デバイスの方は、使用するマイクを設定してください。
再生デバイスはNETDUETTOを設定してください。
FaceRigの設定
FaceRigインストール後に「facerig virtual camera」を追加インストールする必要があります。
これはFaceRigが配置されているファイルの中にインストーラーが準備されているので、そのファイルを見つけ出し、インストールします。
そのファイルの場所はこちら
→C:\Program Files (x86)\Steam\steamapps\common\FaceRig\Bin\prerequisites\FaceVirtualCamDriver
WindowsボタンとRを押して[ファイル名を指定して実行]を開き、上の[C:~Driver]を貼り付けて[OK]を押せばその場所が開かれるはずです。
上の画像のようにいくつかのインストーラーが入っているはずなので、自分にあったものをインストールしてください。
インストールが完了したら、FaceRigを開きましょう。
最初に右上の[UI+](アドバンスUIに変更する)をクリック。
ノーマルUIからアドバンスUIに表示を切り替えます。
すると追加の設定項目がいくつか出てくるので設定していきましょう。
①：ブロードキャストに切り替え
これをONにしないと、FaceRigの画面がLINEのビデオ通話に出力できません。
このブロードキャストをONにすると、この映像が配信可能になります。
つまり、OFFだとLINEビデオ通話に対して映像配信が禁止された状態になるため、ここをONにしないとLINEビデオ通話にFaceRigの画面を載せることができないというわけです。
②：オーディオベースのリップシンクに切り替え
FacerigはWebカメラの映像から顔のパーツの動きを読み取り、モデルの表情に同期しています。オーディオリップシンクに切り替えとは、つまり、口の動きを音声入力によって制御する機能をONにするということです。
恋声で変換した音声の発生タイミングは自身の発生した音声の発生タイミングからある程度遅延します。
つまり、変換後の音声が実際に聞こえるタイミングと自身の口の動きは一致しないのです。
ということで、口の動きを実際にFaceRigに恋声で変換された音声が届くタイミングで動かせるように、このオーディオベースでのリップシンクをONにします。
③：オーディオ録画デバイス
一般オプション＞デバイス＞オーディオ録画デバイス この部分を[NETDUETTO」に設定します。
ここは音声の入力デバイスの選択する場所です。
恋声で変換された音声はNETDUETTOを通じて入力されるため、この設定部分でNETDUETTOを設定する必要があります。
④：口のモーションをOFFにする。
高度なトラッキング設定＞表情のユニット＞口 の部分の[あご下ろし]を無効にしてください。
②でオーディオベースのリップシンクをONにしましたが、そのままでは映像から取得した口の動きでも口は動いてしまいます。
この口のトラッキング設定の口パクの部分を無効にしてしまえば、自分の口が開いたタイミングでモデルの口も開くことはなくなるので、恋声で変換された音声が流れているときだけモデルが口パクをするようになります。
LINEの設定
さてやっとLINEの設定です。
ちなみにLINEのバージョンはこれです。
ではLINEの設定を開いてください。
左下の・・・をクリックすると[設定]という項目がでてきます。
この設定をクリックすると、このような画面がでてきます。
左にたくさんの項目があると思いますが、[通話]のタブを開いてください。
すると上の画面がでてくるはずです。
ここで設定するのは①マイク設定と②カメラ設定です。
①では[NETDUETTO]を選択してください。
これは恋声の音声をLINEの通話音声として使うからです。
②では[FaceRig Virtual Camera]を選択してください。
これはFaceRigの映像をLINEビデオ通話のビデオに表示するものです。
以上。
さぁ電話してみよう！
ここまで設定できたら、電話をしてみましょう！
ちなみに恋声もFaceRigも起動したままLINEのビデオ通話をしなくちゃだめですよ？
さぁバーチャル美少女になってビデオ電話ができましたでしょうか？
実は一つだけ問題があります(;_;)
LINEビデオ通話のとき、出力される画面が上下反転してしまうという問題です。
Discordなどで検証してみましたが、どうやらLINE ビデオ通話以外は想定通りに動くのでLINE側の問題なのではないか…と思うのですが、ここらへんは目をつむってもらって、ひとまず遊んでください。
いろいろやってみて解決方法ぴらめいたときは追記したいと思います。
ではみなさん、バーチャル美少女になって色んな人に電話をかけまくりましょう！
よいバ美肉ライフを！！！
0 件のコメント :
コメントを投稿