なぎなぎブログ
Twitter YouTube

Webカメラだけで全身トラッキング! ThreeDPoseTracker! Vtuberになろう!

2021-01-21 22:30:00
VTuber

Webカメラだけで全身トラッキング! ThreeDPoseTracker! Vtuberになろう!

Vtuberをやりたい!もしくはVtuberをやっていると、やはり自分のモデルの全身を動かしたくなってきますよね?

というわけで、今回はWebカメラだけでフルトラッキングができるThreeDPoseTrackerというソフトについて紹介します。

全身フルトラッキングというとVIVEなどのモーションキャプチャ用のトラッカーが必要となりますが、実はWebカメラだけでも全身トラッキングができます!

最近ではGoogleからMediaPipeなどのライブラリも出てWebカメラだけでもハンドトラッキングや全身トラッキングができる時代になって来ているのではないかと思います。

目次

Webカメラだけでフルトラッキング!

全身フルトラッキングというとVIVEなどのモーションキャプチャ用のトラッカーを装着してバーチャルモーションキャプチャーなどを使って全身トラッキングをしたりというのが考えられますが、
トラッカーだけでもかなり高いですし、ベースステーションの設置も必要で、部屋の環境なども制限されてきます。

個人Vtuberなどでやってる人にはそんなに高い機材は変えないし、もっと気楽にやりたいですよね。

実はWebカメラだけでもフルトラッキングができます!

それが次に紹介するThreeDPoseTrackerというソフトです。

ThreeDPoseTracker

USBカメラモーションキャプチャーThreeDPoseTrackerの説明 - Qiita

Webカメラの映像の情報から姿勢推定をしてVRoidの3Dモデルに反映してくれます!

しかも無料で使える!本当にありがたいですね。Licenseやソフトのダウンロードのリンク先があります。

使ってみる

ダウンロード

最新版が更新されていることがあるので下記の記事からたどって最新版をダウンロードしてください。 (2021年1月21日時点の最新はv0.3.0)

USBカメラモーションキャプチャーThreeDPoseTrackerの説明 - Qiita

Zip形式なので、解答して中にある実行ファイルを起動するだけでアプリケーションを使うことができます。

使い方

VRoidなどで自分で作ったモデルを読み込むときはAdd Avatarから追加します。

読み込めるのはVRMファイルになります。

Add Avatar

VRM Fileのところで自分VRMファイルを選択します。 Addを押すと追加されます。

アバター追加

ウェブカメラを使ってトラッキングするには、「Source Dvice」のところから、自分の使っているWebカメラを選択します。

Webカメラを使う

その後「Start Cam」をクリックするとトラッキングが開始されます

Webカメラを使う2

使ってみた感想

Webカメラ1台だけということで、精度などが気になるところでしたが、全然使えます!

後ろ向いたりとかも普通にできます!

紹介の動画にあるように、環境が良ければ踊ったりも十分できそうです。

配信などでOBSで使う

OBSで取り込むときはThreeDPoseTrackerはグリーンバックになっているので、それをウィンドウキャプチャで取り込んで、グリーンバックを透過すればよいです。

OBSのソース=> 「ウィンドウキャプチャ」を選択

OBS設定1

任意の名前(ここではThreeDPoseTrackerとします)を入力してOKをクリックします。

OBS設定2

ウィンドウにThreeDPoseTrackerが選択してください。
事前にThreeDPoseTrackerは起動しておく必要があります。

キャプチャ方法をはWindows10以降であれば Windows Graphics Captureにしておくとよいと思います。

そのままOKをクリックします。

OBS設定3

グリーンバックを透過させるためにフィルターを追加します

ソースの先程追加した「ThreeDPoaseTracker」を右クリックして「フィルタ」を選択

OBS設定4

エフェクトフィルタのところで「+」ボタンを押してカラーキーのフィルタを追加します。

OBS設定5

類似性と滑らかさを調整してモデルに緑の縁残らないようにして閉じるをクリックします。

上のバーのところは透過されず残っていますが、後でクロップ、トリミングするので問題ありません。

OBS設定6

ソースの「ThreeDPoseTracker」をクリックするとOBSの画面上でウィンドウキャプチャしてる範囲が赤い枠で表示されています。

赤い枠を「Alt」キーを押しながらドラッグすることで表示範囲をトリミングできます

OBS設定7

これでOBSに背景を透過させてモデルだけ表示させることができました。

OBS設定8

Webカメラだけでトラッキングができる時代

ここからは少し余談になりますが、技術的な話になります。

上記のThreeDPoseTrackerではディープラーニングを利用して、自前で姿勢推定モデルを作成されているようですが、以前GoogleからMediaPipeというライブラリが公開されました。

google/mediapipe: Cross-platform, customizable ML solutions for live and streaming media.

MediaPipeはストリーミングメディア向けの、パイプライン推論を行うライブラリです。

上記のgithubを見てもらえばわかるように、リアルタイムで顔認識やハンドトラッキングを行うサンプルなどもあります。

  • 顔検出
  • ハンドトラッキング
  • 姿勢推定
  • 物体検出
  • アイトラッキング

などなど

MediaPipeにこういったモデル自体も含まれているので、誰でも簡単にWebカメラだけでトラッキングが試すことができます。

ハンドトラッキングといえばLeapMotionが有名ですが、Webカメラだけでもハンドトラッキングもできるようになりそうですね。

こういったライブラリが公開されると、トラッキングソフトなども作りやすくなるので、これからどんどんWebカメラだけでもトラッキングできるソフトが増えてくるのではないかと思います。

全身トラッキングも、ハンドトラッキングもすべてWebカメラだけで完結して、簡単にフルトラッキングでVtuberになれる時代が来るのではないかと思います。