Vtuberをやりたい！もしくはVtuberをやっていると、やはり自分のモデルの全身を動かしたくなってきますよね？

というわけで、今回はWebカメラだけでフルトラッキングができるThreeDPoseTrackerというソフトについて紹介します。

全身フルトラッキングというとVIVEなどのモーションキャプチャ用のトラッカーが必要となりますが、実はWebカメラだけでも全身トラッキングができます！

最近ではGoogleからMediaPipeなどのライブラリも出てWebカメラだけでもハンドトラッキングや全身トラッキングができる時代になって来ているのではないかと思います。

目次

• Webカメラだけで全身トラッキング！ ThreeDPoseTracker! Vtuberになろう！
  • 目次
  • Webカメラだけでフルトラッキング！
  • ThreeDPoseTracker
    • 使ってみる
      • ダウンロード
      • 使い方
      • 使ってみた感想
    • 配信などでOBSで使う
  • Webカメラだけでトラッキングができる時代

Webカメラだけでフルトラッキング！

全身フルトラッキングというとVIVEなどのモーションキャプチャ用のトラッカーを装着してバーチャルモーションキャプチャーなどを使って全身トラッキングをしたりというのが考えられますが、 トラッカーだけでもかなり高いですし、ベースステーションの設置も必要で、部屋の環境なども制限されてきます。

個人Vtuberなどでやってる人にはそんなに高い機材は変えないし、もっと気楽にやりたいですよね。

実はWebカメラだけでもフルトラッキングができます！

それが次に紹介するThreeDPoseTrackerというソフトです。

ThreeDPoseTracker

USBカメラモーションキャプチャーThreeDPoseTrackerの説明 - Qiita

Webカメラの映像の情報から姿勢推定をしてVRoidの3Dモデルに反映してくれます！

しかも無料で使える！本当にありがたいですね。Licenseやソフトのダウンロードのリンク先があります。

使ってみる

ダウンロード

最新版が更新されていることがあるので下記の記事からたどって最新版をダウンロードしてください。 (2021年1月21日時点の最新はv0.3.0)

USBカメラモーションキャプチャーThreeDPoseTrackerの説明 - Qiita

Zip形式なので、解答して中にある実行ファイルを起動するだけでアプリケーションを使うことができます。

使い方

VRoidなどで自分で作ったモデルを読み込むときはAdd Avatarから追加します。

読み込めるのはVRMファイルになります。

VRM Fileのところで自分VRMファイルを選択します。 Addを押すと追加されます。

ウェブカメラを使ってトラッキングするには、「Source Dvice」のところから、自分の使っているWebカメラを選択します。

その後「Start Cam」をクリックするとトラッキングが開始されます

使ってみた感想

Webカメラ１台だけということで、精度などが気になるところでしたが、全然使えます！

後ろ向いたりとかも普通にできます！

紹介の動画にあるように、環境が良ければ踊ったりも十分できそうです。

配信などでOBSで使う

OBSで取り込むときはThreeDPoseTrackerはグリーンバックになっているので、それをウィンドウキャプチャで取り込んで、グリーンバックを透過すればよいです。

OBSのソース=> 「ウィンドウキャプチャ」を選択

任意の名前（ここではThreeDPoseTrackerとします）を入力してOKをクリックします。

ウィンドウにThreeDPoseTrackerが選択してください。 事前にThreeDPoseTrackerは起動しておく必要があります。

キャプチャ方法をはWindows10以降であれば Windows Graphics Captureにしておくとよいと思います。

そのままOKをクリックします。

グリーンバックを透過させるためにフィルターを追加します

ソースの先程追加した「ThreeDPoaseTracker」を右クリックして「フィルタ」を選択

エフェクトフィルタのところで「+」ボタンを押してカラーキーのフィルタを追加します。

類似性と滑らかさを調整してモデルに緑の縁残らないようにして閉じるをクリックします。

上のバーのところは透過されず残っていますが、後でクロップ、トリミングするので問題ありません。

ソースの「ThreeDPoseTracker」をクリックするとOBSの画面上でウィンドウキャプチャしてる範囲が赤い枠で表示されています。

赤い枠を「Alt」キーを押しながらドラッグすることで表示範囲をトリミングできます

これでOBSに背景を透過させてモデルだけ表示させることができました。

Webカメラだけでトラッキングができる時代

ここからは少し余談になりますが、技術的な話になります。

上記のThreeDPoseTrackerではディープラーニングを利用して、自前で姿勢推定モデルを作成されているようですが、以前GoogleからMediaPipeというライブラリが公開されました。

google/mediapipe: Cross-platform, customizable ML solutions for live and streaming media.

MediaPipeはストリーミングメディア向けの、パイプライン推論を行うライブラリです。

上記のgithubを見てもらえばわかるように、リアルタイムで顔認識やハンドトラッキングを行うサンプルなどもあります。

• 顔検出
• ハンドトラッキング
• 姿勢推定
• 物体検出
• アイトラッキング

などなど

MediaPipeにこういったモデル自体も含まれているので、誰でも簡単にWebカメラだけでトラッキングが試すことができます。

ハンドトラッキングといえばLeapMotionが有名ですが、Webカメラだけでもハンドトラッキングもできるようになりそうですね。

こういったライブラリが公開されると、トラッキングソフトなども作りやすくなるので、これからどんどんWebカメラだけでもトラッキングできるソフトが増えてくるのではないかと思います。

全身トラッキングも、ハンドトラッキングもすべてWebカメラだけで完結して、簡単にフルトラッキングでVtuberになれる時代が来るのではないかと思います。

個人Vtuberとして、Vtuber活動をしておりますが、その際に必要となるトラッキングソフトについて紹介します。今回は3tene,luppet,VSeeFaceを紹介します。

以前ブログで3tene,wakaru,luppetを紹介しましたが、しばらく期間があき他にも良いソフトが出てきたので今回は現時点での私のベストだと思うトラッキングツールを紹介します。

以前の記事 => Vtuberになろう！配信環境とソフトの紹介 | なぎなぎブログ

トラッキングソフトは3tene,Luppetあたりが有名ドコロですが、私の一番のおすすめはVSeeFaceです。

無料で使えて一番機能も豊富で使いやすい。表情トラッキングやアイトラッキング機能もついています。

目次

• Vtuberになろう！トラッキングにおすすめのソフトは？2021年版
  • 目次
  • 【結論】トラッキングソフトはVSeeFaceがおすすめ！
  • VSeeFace
    • 機能が豊富
    • トラッキング性能が良い
    • LeapMotionが使いやすい
  • 3tene
    • wakaru
    • Luppet

【結論】トラッキングソフトはVSeeFaceがおすすめ！

はじめに結論を書きますが、2021年1月13日時点で私の一番のすすすめのトラッキングソフトはVSeeFaceです。

この記事では主にVSeeFaceの魅力を書いていきますが、用途によっては他のソフトも使いどころはあるのでその特徴も記載していきます。

VSeeFace

VSeeFace

私の中ではこちらが一番オススメです。

他のソフトにある機能はだいたい揃っていますし、細かく設定もできてとても柔軟です。

意外と日本ではまだ知られていなくていない気がしますが、こちらが一番使いやすいです。

機能が豊富

主な機能を挙げます

• LeapMotionのトラッキングに対応
  • LeapMotionを首掛け、机上などの選択も可能
• Webカメラだけで目線のトラッキングに対応
• Webカメラだけで表情のトラッキングに対応
• waidayoなどと連携してパーフェクトシンクも可能
• VMCプロトコルに対応していて、Unityなどと連携が可能

特に下記の2点の機能は他のトラッキングソフトにはない機能です。

• 目線のトラッキング
• 表情のトラッキング

表情の例

上記の表情の例はホットキー（キーボード）などは使わずに顔の表情のWebカメラのトラッキングだけで行っています。

Webカメラだけでこれだけの機能を揃えているトラッキングソフトはVSeeFaceしかないかと思います（調査不足で他にあったらすいません）

目線トラッキングや表情トラッキングがあるので、他のトラッキングソフトよりも自然な印象です。

最新のiPhoneを持っている方であればwaidayoなどを使えばiFacialMocapを使ってパーフェクトシンクを利用して、より高い表現もできるようです。 これに関しては私はiPhoneを持っていないので試していません。

他にもVMCプロトコルというものに対応しているので、他のVMC対応ソフトとの連携や、自分でUnityが触れる人であれば、Unity上でいろいろ連携させて使えるところも大きな利点です。

トラッキング性能が良い

トラッキングの精度がよく、激しく動いてもしっかりトラッキングできます。

ある程度左右への振り向きなども認識してくれて、他のソフトよりも表現の幅が広いように感じます。

例えば横向きのとき

画像のようにちゃんと横を向いてもトラッキングしてソフト上にも反映してくれます。

もちろん、そんなに動かしたくない場合も平滑化などの設定も細かくあるのでこのあたり自由に設定でき柔軟性が高いです。

LeapMotionが使いやすい

LeapMotionで手のトラッキングができますが、他のソフトに比べてLeapMotionの細かい設定ができます。

まずLeapMotionの首掛け、や机上に置いた場合どちらにも対応しています。

UI上にLeapMotionの位置が表示され、この仮想空間上のLeapMotionの位置を設定で自由に動かすことができます。

角度設定などもできるので非常に柔軟です。

ここまで柔軟に設定ができるソフトも他に見たことがないですね。

3tene

3tene

軽く特徴を上げておきます

• 無料版がある
• Macにも対応している
• オブジェクトを読み込める
• LeapMotionに対応している
  • 首掛け、机上両方に対応

3teneはmac版もあるので、Macで配信をする場合は3teneを使っています。

Macで動くツールは少ないので、Macでの利用を考えている場合は3teneが良いと思います。

他にも3DのVRMのモデル以外に、他のオブジェクトを読み込むことができるのが良い点です。 VRoidStudioなどで、リボンや、メガネなどのアクセサリを作ろうと思うと、髪の編集で無理やりメガネとかを作る必要がありますが、3teneであれば、メガネなどは別でBlender等の3Dソフトで自分で作成するなり、公開されているもの使うなりすれば、あとから3teneの方で別で読み込むことができるので便利です。

オブジェクトを読み込む機能があるのは3teneにしかないので、そういった機能を使いたい方にはおすすめです。

トラッキング精度に関しては認識の精度がVSeeFaceなどに比べると悪いような気がします。 光源などの関係よってはうまく顔を認識してくれないことがありました。

また、胴体を軸に上半身が動いているからかカメラの端の方に行くと、モデルが斜めに傾いた状態になりやすいので少し気になります。

LeapMotionは首掛けにも机上にも両方対応しているのは良いですね。

wakaru

Steam：Wakaru ver. beta

• 無料
• アイトラッキングができる
• Webカメラだけで手のトラッキングができる

こちらはLeapMotionの機能や別のオブジェクトを読み込む機能はありませんが、シンプルで動作も軽いです。 モデルが斜めに傾きすぎたりと行ったこともなく、割と使いやすいです。 Webカメラだけでアイトラッキングなどもしてくれたり、きれいに使うのは難しいですがカメラだけで手の動きをトラッキングすることもできます。

LeapMotionを持っていないけど、ても動かして見たいという方にはこちらがおすすめです。

動作も軽めのため、スペックが低いPCを使っている方にはおすすめです

Luppet

Luppet

• 有料(個人の場合5000円)
• LeapMotionが使える
• iFacialMocapと連携してパーフェクトシンクが可能
• バストショット(上半身)での配信に最適化されたツール

こちらもLeapMotionが使えます。3teneよりもLeapMotionの機能が使いやすく自然な感じに手や指先が動かせます。 LeapMotionは首掛けにしか対応していないようなので、別途ネックマウンタが必要になります。

横向きにもある程度対応していたりして、3teneよりも自然な動きが表現できていると感じます。

Webカメラとモデルへの反応速度は調整できず緩やかにしか動かないので激しい動きを正確にトラッキングすることができません。そのあたりを調整することもできないのは少し柔軟性に欠けているのかなと思います。

最近(Ver2.0.2(2020/12/30))ではiFacialMocap(iOSアプリ)との連携機能が追加されて、パーフェクトシンクができるようになりました。

正直ver2.0.2以前はVSeeFaceですべての機能が補えるのでLuppetを選ぶ意味は殆どなかったのですが、パーフェクトシンクの機能が増えたのでLuppetを使う意味も出てきたように思います。

といっても、VSeeFaceもwaidayoなどと連携してパーフェクトシンクできるので好みで選ぶことになりそうです。

やねうら王さんからのクリスマスプレゼントとして詰将棋問題が3手詰め、5手詰め、7手詰め、9手詰め、11手詰め各100万問が公開されました。

ただ、データ形式がsfenという将棋の局面が文字列で表されたものでこのままでは人間は解くことができません。

というわけで、画像化して人間にも解けるような形にしてみました。

また、3手詰めなど単手数のものはぱっぱと解いていきたいので、動画化して眺めているだけで解けるようにしてました

目次

• やねうら王さんの実戦詰将棋問題100万問を画像化してみた
  • 目次
  • やねうら王さんからのクリスマスプレゼントの使い方
    • ShogiGUIを使って局面を再現する方法
  • 画像化してみた
    • 3手詰め
    • 5手詰め
    • ７手詰め
  • さいごに

やねうら王さんからのクリスマスプレゼントの使い方

やねうら王さんからのクリスマスプレゼントとして詰将棋問題が3手詰め、5手詰め、7手詰め、9手詰め、11手詰め各100万問が公開されました。

こちらの詰将棋はやねうら王同士の自己対局によって自動生成された実戦局面での詰将棋です。

なので駒あまりや、無駄合いや、回答が複数手順あるという実戦形式の詰将棋となっているようです。

やねうら王公式からクリスマスプレゼントに詰将棋500万問を謹呈 | やねうら王 公式サイト

ありがとうございます！

ただ、こちらのデータ、データ形式がsfenという将棋の局面が↓のように文字列で表されたものでこのままでは人間は解くことができません。

lns+R4l/1p1p5/p1pkppB1p/6p2/1R7/6P1P/P1PPnPS2/2+b1G1g2/L3K1sNL b 2GS3Pnp 51

この文字列をコピーしてShogiGUIなどにCtrl-Vで貼り付ければ局面を再現することができます。

ShogiGUIの導入方法は過去の記事を参照してください。

ShogiGUIと水匠2を導入する | なぎなぎブログ

ShogiGUIを使って局面を再現する方法

mate3などのsfenのデータをメモ帳などで開き、１行をコピーします。

ShogiGUIを開いてそのまま Ctrl-V を押すと局面が反映されます。

この状態で検討などをすれば答えなども見ることができます。

ちなみにsfenの文字列のスペース区切りで２番めの部分（bやwになっている所）が手番を表しています。

bは現局面の手番が先手を表します。なので後手玉を詰ませることを考えればいいですね。

wは現局面の手番が後手を表します。なので先手玉を詰ませることを考えればいいです。見にくい場合は局面反転などを使うといいでしょう。

画像化してみた

上述の手順で１問ずつ解くのもいいですが、3手詰め、5手詰めなんかはぱっぱと解いていきたいですよね。

そのたびにsfenをコピーしてShogiGUIに貼り付けという手順を踏むのは面倒です。

というわけで、画像化してみました！

今の所3手詰め、5手詰め、7手詰め各１００問を１０分の動画にまとめてみました。

1手6秒で切り替わっていきます。

3手詰め

5手詰め

７手詰め

さいごに

ぱっぱと眺めながらときたいので今回画像化して、動画にしてみました。

一応自分の勉強に作ったものですが、もし要望があれば9手詰め、11手詰めなども作りたいと思います。

あと問題数も100問分しか今の所作ってないですが、100万問あるので、そちらも自分で使って必要になったり、要望があれば作りたいと思います。