「warudo」は、3DのVtuber活動に必要な機能がひと通り揃った無料のアプリです。
この記事では、「XRAnimator」や「MocapForAll」などと組み合わせて、フルトラッキングでの配信ができるようになるまでの設定を解説しています。
用意するもの
パソコン、FaceiDに対応したiPhone、ウェブカメラ、Steam、「iFacialMocap」が必要です。
「XRAnimator」または「MocapForAll」の設定も事前に完了させ、起動しておいてください。
表情のブレンドシェイプに対応したモデルを使わず、フルトラッキングもしない場合は、「warudo」だけで完結することもできます。
その場合、iPhoneを用意する必要はありません。
warudoの起動と初期設定
「warudo」はSteamから入手できます。
起動すると、設定画面と配信に映す画面が表示されます。
「初心者ナビ」の「基本設定」にある「始める」をクリックしてください。
キャラクターの読み込み
「キャラクターフォルダを開く」をクリックします。
開いたフォルダにVRMモデルを入れます。
「キャラクターの選択」から、読み込んだモデルを選択できるようになります。
右下の「OK」より進めてください。
おすすめのモーションキャプチャーの設定
「はい、お勧めしてください」が選択された状態で「OK」をクリックすることで、設定をお勧めしてもらえます。
全身トラッキングについて、フルトラッキングをする場合は「はい」、上半身だけでよい場合は「いいえ」を選択します。
「トラッキングハードウェア」はあとで設定するため、何を選んでも問題ありません。
FaceID対応のiPhoneがある場合は「はい」を選択します。
私は持っていないので試せていないのですが、RTXシリーズのグラフィックボードを搭載している場合、「iFacialMocap Powered by NVIDIA Broadcast」というパソコンだけで完結する方法も選択できるようです。
「MocapForAll」などで使用していない余分なウェブカメラがあれば、「はい」を選択します。
ここで選択しておくと、指のトラッキングだけ「warudo」側で行うことができます。
XRAnimatorであれば変わりない気がしますが、MocapForAllの指トラッキングよりは高い精度でトラッキングできるでしょう。
「OK」を押し、部位ごとの設定に進みます。
部位ごとのモーションキャプチャーの設定
表情、体、手のトラッキングをそれぞれどのアプリで行うか割り振ります。
フェイストラッキング
今回、フェイストラッキングはiPhoneの「iFacialMocap」に任せます。
「フェイストラッキングをカスタマイズします」をクリックします。
「ARkit」はそのままにします。
「頭部とボディのモーションを有効にする」は「いいえ」、「ヘッド待機アニメーション」も無効化します。
これで「iFacialMocap」からは表情のみを受け取り、首や顔の向きには影響しない設定になりました。
「OK」をクリックして戻ります。
ポーズトラッキング
「XRAnimator」「MocapForAll」のどちらもVMCプロトコルでポーズデータを受け取るため、「VMC」を選択します。
「ポーズトラッキングをカスタマイズします」をクリックしてください。
「Track Full Body」が「はい」になっていることを確認し、ポート番号を確認します。
ここに表示されているポート番号を、送信元のアプリ側で入力することで体の動きが反映されます。
「ミラートラッキング」は、右手を挙げたときに画面上でもそのまま右手が上がるようにしたい場合に有効にします。
トラッキングソフト側にもミラー設定があるため、どちらか一方で有効にすれば問題ありません。
「OK」をクリックして戻ります。
指のトラッキング
Warudo側で指をトラッキングする場合、「Secondary Pose Tracking」で「MediaPipe」を選択します。
「ポーズトラッキングをカスタマイズします」をクリックします。
左右反転が必要であれば「ミラートラッキング」を「はい」にします。
「Track Fingers Only」が「はい」となっており指だけのトラッキングになっていること、他で使っていないカメラが選択されていることを確認してください。
「OK」をクリックして戻り、次の画面でも「OK」をクリックして進めます。
表情の設定
「表情をインポートします。」が選択された状態で「OK」をクリックし、表情差分を読み込むと、表情の切り替えが可能になります。
表情がよく見えるよう、カメラを動かしましょう。
マウスホイールで距離を調整、クリックしながら動かして回転、マウスホイールをクリックしながら動かすことで移動ができます。
Alt+数字キーで表情を反映し、Alt+BackSpaceまたは同じキーをもう一度入力すると通常の表情に戻ることができます。
このショートカットキーは別のウィンドウを操作している時でも有効なため、例えばゲーム配信中にも表情を切り替えることができます。
背景の設定
背景を透明にしてOBS側で合成する方法と、環境(3Dのお部屋など)を使用する方法があります。
透明な背景にする場合
「透明な背景を有効にします。」が選択された状態で「OK」をクリックしてください。
透明な背景でOBSに取り込むには、「Spout2 Capture」プラグインの導入が必要です。
Spout2 Captureの導入・使用方法はこちらの記事をご覧ください。
3D環境を設定する場合
「環境を選択します」から、既存の環境を選ぶことができます。
透明な背景で設定を進めた場合は、画面左の「+」をクリックします。
「環境」→「環境」とクリックして進めてください。
「ソース」から選択することで背景を選ぶことができます。
利用規約は「ライセンス規約」の後ろのリンクをクリックすることで確認できます。
「環境フォルダを開く」ボタンをクリックすると、オリジナルの環境を追加できるフォルダが開きます。
他のユーザーが配布している環境は、「ディスカバー」をクリックし、カテゴリを「環境」にして探すことができます。
気に入ったものをクリックして「購読」をクリックすると、「アセット」からソースとして選択できるようになります。
「Transform Tool」で調整したいアイコンを選択すると、位置や角度、縮尺を調整できます。
調整は、画面上に表示される赤緑黄の矢印等をクリックしながら行います。
配置が決まったら「Transform Tool」をオフにし、誤操作を防ぎましょう。
iFacialMocapの接続
次は表情を動かすため、iPhoneで「iFacialMocap」を起動します。
画面をタップすると右上に表示される、歯車アイコンをタップします。
「宛先設定」の「宛先IPアドレス」をタップします。
warudoの「iFacialMocap受信機」に表示されている「ローカルIP」の数値を入力し、「OK」をタップします。
「詳細設定」を開きます。
「送り先のポート番号」がwarudo側の「ポート」の数値と異なっている場合は、「Send port number」をタップし、入力し直して「OK」をタップしてください。
「戻る」をタップして画面を戻し、表情のトラッキングを再開します。
これで顔、指、表情のすべてがトラッキングできた状態になります。
その他の設定
縦型配信や高解像度で配信したい場合は、左下の「メニュー」をクリックし、「設定」をクリックしてください。
表示される設定画面より、ウィンドウの幅や高さを変更できます。
パソコンのスペックに余裕がある場合は、「アンチエイリアシング」の設定を変更すると、モデルの輪郭が滑らかになります。
一番上のオフが粗く、下のほうほど滑らかになりますが負荷がかかります。
設定が完了したら、メニューより「シーンを名前を付けて保存」をクリックします。
名前を付けて保存しておきましょう。
次回からはメニューの「シーンをロードしています」から保存したシーンを選択するだけで、同じ設定を呼び出すことができます。
ブループリントについて
warudoでは「ブループリント」という機能でさまざまなカスタマイズが可能です。
簡単なもの・代表的なものであれば、「インタラクションの設定」の「始める」から、YouTubeと連携して、特定のコメントやスーパーチャットに反応してアイテムを表示したり、カメラを動かしたりすることもできるようになっています。
「ディスカバー」から他のユーザーが作成したブループリント（プラグイン）を探すこともできます。
warudoの基本的な環境構築についての解説は以上です。
