Webカメラだけで全身トラッキング！ ThreeDPoseTracker! Vtuberになろう！
Vtuberをやりたい！もしくはVtuberをやっていると、やはり自分のモデルの全身を動かしたくなってきますよね？
というわけで、今回はWebカメラだけでフルトラッキングができるThreeDPoseTrackerというソフトについて紹介します。
全身フルトラッキングというとVIVEなどのモーションキャプチャ用のトラッカーが必要となりますが、実はWebカメラだけでも全身トラッキングができます！
最近ではGoogleからMediaPipeなどのライブラリも出てWebカメラだけでもハンドトラッキングや全身トラッキングができる時代になって来ているのではないかと思います。
目次
Webカメラだけでフルトラッキング！
全身フルトラッキングというとVIVEなどのモーションキャプチャ用のトラッカーを装着してバーチャルモーションキャプチャーなどを使って全身トラッキングをしたりというのが考えられますが、 トラッカーだけでもかなり高いですし、ベースステーションの設置も必要で、部屋の環境なども制限されてきます。
個人Vtuberなどでやってる人にはそんなに高い機材は変えないし、もっと気楽にやりたいですよね。
実はWebカメラだけでもフルトラッキングができます！
それが次に紹介するThreeDPoseTrackerというソフトです。
ThreeDPoseTracker
USBカメラモーションキャプチャーThreeDPoseTrackerの説明 - Qiita
Webカメラの映像の情報から姿勢推定をしてVRoidの3Dモデルに反映してくれます！
しかも無料で使える！本当にありがたいですね。Licenseやソフトのダウンロードのリンク先があります。
使ってみる
ダウンロード
最新版が更新されていることがあるので下記の記事からたどって最新版をダウンロードしてください。 (2021年1月21日時点の最新はv0.3.0)
USBカメラモーションキャプチャーThreeDPoseTrackerの説明 - Qiita
Zip形式なので、解答して中にある実行ファイルを起動するだけでアプリケーションを使うことができます。
使い方
VRoidなどで自分で作ったモデルを読み込むときはAdd Avatarから追加します。
読み込めるのはVRMファイルになります。
VRM Fileのところで自分VRMファイルを選択します。 Addを押すと追加されます。
ウェブカメラを使ってトラッキングするには、「Source Dvice」のところから、自分の使っているWebカメラを選択します。
その後「Start Cam」をクリックするとトラッキングが開始されます
使ってみた感想
Webカメラ１台だけということで、精度などが気になるところでしたが、全然使えます！
後ろ向いたりとかも普通にできます！
紹介の動画にあるように、環境が良ければ踊ったりも十分できそうです。
配信などでOBSで使う
OBSで取り込むときはThreeDPoseTrackerはグリーンバックになっているので、それをウィンドウキャプチャで取り込んで、グリーンバックを透過すればよいです。
OBSのソース=> 「ウィンドウキャプチャ」を選択
任意の名前（ここではThreeDPoseTrackerとします）を入力してOKをクリックします。
ウィンドウにThreeDPoseTrackerが選択してください。 事前にThreeDPoseTrackerは起動しておく必要があります。
キャプチャ方法をはWindows10以降であれば Windows Graphics Captureにしておくとよいと思います。
そのままOKをクリックします。
グリーンバックを透過させるためにフィルターを追加します
ソースの先程追加した「ThreeDPoaseTracker」を右クリックして「フィルタ」を選択
エフェクトフィルタのところで「+」ボタンを押してカラーキーのフィルタを追加します。
類似性と滑らかさを調整してモデルに緑の縁残らないようにして閉じるをクリックします。
上のバーのところは透過されず残っていますが、後でクロップ、トリミングするので問題ありません。
ソースの「ThreeDPoseTracker」をクリックするとOBSの画面上でウィンドウキャプチャしてる範囲が赤い枠で表示されています。
赤い枠を「Alt」キーを押しながらドラッグすることで表示範囲をトリミングできます
これでOBSに背景を透過させてモデルだけ表示させることができました。
Webカメラだけでトラッキングができる時代
ここからは少し余談になりますが、技術的な話になります。
上記のThreeDPoseTrackerではディープラーニングを利用して、自前で姿勢推定モデルを作成されているようですが、以前GoogleからMediaPipeというライブラリが公開されました。
google/mediapipe: Cross-platform, customizable ML solutions for live and streaming media.
MediaPipeはストリーミングメディア向けの、パイプライン推論を行うライブラリです。
上記のgithubを見てもらえばわかるように、リアルタイムで顔認識やハンドトラッキングを行うサンプルなどもあります。
- 顔検出
- ハンドトラッキング
- 姿勢推定
- 物体検出
- アイトラッキング
などなど
MediaPipeにこういったモデル自体も含まれているので、誰でも簡単にWebカメラだけでトラッキングが試すことができます。
ハンドトラッキングといえばLeapMotionが有名ですが、Webカメラだけでもハンドトラッキングもできるようになりそうですね。
こういったライブラリが公開されると、トラッキングソフトなども作りやすくなるので、これからどんどんWebカメラだけでもトラッキングできるソフトが増えてくるのではないかと思います。
全身トラッキングも、ハンドトラッキングもすべてWebカメラだけで完結して、簡単にフルトラッキングでVtuberになれる時代が来るのではないかと思います。
