Vtuberになろう！トラッキングにはVSeeFaceがおすすめ！3tene,wakaru, Luppetとも比較！【2021年版】
個人Vtuberとして、Vtuber活動をしておりますが、その際に必要となるトラッキングソフトについて紹介します。今回は3tene,luppet,VSeeFaceを紹介します。
以前ブログで3tene,wakaru,luppetを紹介しましたが、しばらく期間があき他にも良いソフトが出てきたので今回は現時点での私のベストだと思うトラッキングツールを紹介します。
以前の記事 => Vtuberになろう！配信環境とソフトの紹介 | なぎなぎブログ
トラッキングソフトは3tene,Luppetあたりが有名ドコロですが、私の一番のおすすめはVSeeFaceです。
無料で使えて一番機能も豊富で使いやすい。表情トラッキングやアイトラッキング機能もついています。
目次
【結論】トラッキングソフトはVSeeFaceがおすすめ！
はじめに結論を書きますが、2021年1月13日時点で私の一番のすすすめのトラッキングソフトはVSeeFaceです。
この記事では主にVSeeFaceの魅力を書いていきますが、用途によっては他のソフトも使いどころはあるのでその特徴も記載していきます。
VSeeFace
私の中ではこちらが一番オススメです。
他のソフトにある機能はだいたい揃っていますし、細かく設定もできてとても柔軟です。
意外と日本ではまだ知られていなくていない気がしますが、こちらが一番使いやすいです。
機能が豊富
主な機能を挙げます
- LeapMotionのトラッキングに対応
- LeapMotionを首掛け、机上などの選択も可能
- Webカメラだけで目線のトラッキングに対応
- Webカメラだけで表情のトラッキングに対応
- waidayoなどと連携してパーフェクトシンクも可能
- VMCプロトコルに対応していて、Unityなどと連携が可能
特に下記の2点の機能は他のトラッキングソフトにはない機能です。
- 目線のトラッキング
- 表情のトラッキング
表情の例
上記の表情の例はホットキー（キーボード）などは使わずに顔の表情のWebカメラのトラッキングだけで行っています。
Webカメラだけでこれだけの機能を揃えているトラッキングソフトはVSeeFaceしかないかと思います（調査不足で他にあったらすいません）
目線トラッキングや表情トラッキングがあるので、他のトラッキングソフトよりも自然な印象です。
最新のiPhoneを持っている方であればwaidayoなどを使えばiFacialMocapを使ってパーフェクトシンクを利用して、より高い表現もできるようです。 これに関しては私はiPhoneを持っていないので試していません。
他にもVMCプロトコルというものに対応しているので、他のVMC対応ソフトとの連携や、自分でUnityが触れる人であれば、Unity上でいろいろ連携させて使えるところも大きな利点です。
トラッキング性能が良い
トラッキングの精度がよく、激しく動いてもしっかりトラッキングできます。
ある程度左右への振り向きなども認識してくれて、他のソフトよりも表現の幅が広いように感じます。
例えば横向きのとき
画像のようにちゃんと横を向いてもトラッキングしてソフト上にも反映してくれます。
もちろん、そんなに動かしたくない場合も平滑化などの設定も細かくあるのでこのあたり自由に設定でき柔軟性が高いです。
LeapMotionが使いやすい
LeapMotionで手のトラッキングができますが、他のソフトに比べてLeapMotionの細かい設定ができます。
まずLeapMotionの首掛け、や机上に置いた場合どちらにも対応しています。
UI上にLeapMotionの位置が表示され、この仮想空間上のLeapMotionの位置を設定で自由に動かすことができます。
角度設定などもできるので非常に柔軟です。
ここまで柔軟に設定ができるソフトも他に見たことがないですね。
3tene
軽く特徴を上げておきます
- 無料版がある
- Macにも対応している
- オブジェクトを読み込める
- LeapMotionに対応している
- 首掛け、机上両方に対応
3teneはmac版もあるので、Macで配信をする場合は3teneを使っています。
Macで動くツールは少ないので、Macでの利用を考えている場合は3teneが良いと思います。
他にも3DのVRMのモデル以外に、他のオブジェクトを読み込むことができるのが良い点です。 VRoidStudioなどで、リボンや、メガネなどのアクセサリを作ろうと思うと、髪の編集で無理やりメガネとかを作る必要がありますが、3teneであれば、メガネなどは別でBlender等の3Dソフトで自分で作成するなり、公開されているもの使うなりすれば、あとから3teneの方で別で読み込むことができるので便利です。
オブジェクトを読み込む機能があるのは3teneにしかないので、そういった機能を使いたい方にはおすすめです。
トラッキング精度に関しては認識の精度がVSeeFaceなどに比べると悪いような気がします。 光源などの関係よってはうまく顔を認識してくれないことがありました。
また、胴体を軸に上半身が動いているからかカメラの端の方に行くと、モデルが斜めに傾いた状態になりやすいので少し気になります。
LeapMotionは首掛けにも机上にも両方対応しているのは良いですね。
wakaru
- 無料
- アイトラッキングができる
- Webカメラだけで手のトラッキングができる
こちらはLeapMotionの機能や別のオブジェクトを読み込む機能はありませんが、シンプルで動作も軽いです。 モデルが斜めに傾きすぎたりと行ったこともなく、割と使いやすいです。 Webカメラだけでアイトラッキングなどもしてくれたり、きれいに使うのは難しいですがカメラだけで手の動きをトラッキングすることもできます。
LeapMotionを持っていないけど、ても動かして見たいという方にはこちらがおすすめです。
動作も軽めのため、スペックが低いPCを使っている方にはおすすめです
Luppet
- 有料(個人の場合5000円)
- LeapMotionが使える
- iFacialMocapと連携してパーフェクトシンクが可能
- バストショット(上半身)での配信に最適化されたツール
こちらもLeapMotionが使えます。3teneよりもLeapMotionの機能が使いやすく自然な感じに手や指先が動かせます。 LeapMotionは首掛けにしか対応していないようなので、別途ネックマウンタが必要になります。
横向きにもある程度対応していたりして、3teneよりも自然な動きが表現できていると感じます。
Webカメラとモデルへの反応速度は調整できず緩やかにしか動かないので激しい動きを正確にトラッキングすることができません。そのあたりを調整することもできないのは少し柔軟性に欠けているのかなと思います。
最近(Ver2.0.2(2020/12/30))ではiFacialMocap(iOSアプリ)との連携機能が追加されて、パーフェクトシンクができるようになりました。
正直ver2.0.2以前はVSeeFaceですべての機能が補えるのでLuppetを選ぶ意味は殆どなかったのですが、パーフェクトシンクの機能が増えたのでLuppetを使う意味も出てきたように思います。
といっても、VSeeFaceもwaidayoなどと連携してパーフェクトシンクできるので好みで選ぶことになりそうです。
