なぎなぎブログ
Twitter YouTube

Vtuberになろう!トラッキングにはVSeeFaceがおすすめ!3tene,wakaru, Luppetとも比較!【2021年版】

2021-01-18 22:30:00
VTuber

Vtuberになろう!トラッキングにおすすめのソフトは?2021年版

個人Vtuberとして、Vtuber活動をしておりますが、その際に必要となるトラッキングソフトについて紹介します。今回は3tene,luppet,VSeeFaceを紹介します。

以前ブログで3tene,wakaru,luppetを紹介しましたが、しばらく期間があき他にも良いソフトが出てきたので今回は現時点での私のベストだと思うトラッキングツールを紹介します。

以前の記事 => Vtuberになろう!配信環境とソフトの紹介 | なぎなぎブログ

トラッキングソフトは3tene,Luppetあたりが有名ドコロですが、私の一番のおすすめはVSeeFaceです。

無料で使えて一番機能も豊富で使いやすい。表情トラッキングやアイトラッキング機能もついています。

目次

【結論】トラッキングソフトはVSeeFaceがおすすめ!

はじめに結論を書きますが、2021年1月13日時点で私の一番のすすすめのトラッキングソフトはVSeeFaceです。

この記事では主にVSeeFaceの魅力を書いていきますが、用途によっては他のソフトも使いどころはあるのでその特徴も記載していきます。

VSeeFace

VSeeFace

私の中ではこちらが一番オススメです。

他のソフトにある機能はだいたい揃っていますし、細かく設定もできてとても柔軟です。

意外と日本ではまだ知られていなくていない気がしますが、こちらが一番使いやすいです。

機能が豊富

主な機能を挙げます

  • LeapMotionのトラッキングに対応
    • LeapMotionを首掛け、机上などの選択も可能
  • Webカメラだけで目線のトラッキングに対応
  • Webカメラだけで表情のトラッキングに対応
  • waidayoなどと連携してパーフェクトシンクも可能
  • VMCプロトコルに対応していて、Unityなどと連携が可能

特に下記の2点の機能は他のトラッキングソフトにはない機能です。

  • 目線のトラッキング
  • 表情のトラッキング

表情の例

表情の例

上記の表情の例はホットキー(キーボード)などは使わずに顔の表情のWebカメラのトラッキングだけで行っています。

Webカメラだけでこれだけの機能を揃えているトラッキングソフトはVSeeFaceしかないかと思います(調査不足で他にあったらすいません)

目線トラッキングや表情トラッキングがあるので、他のトラッキングソフトよりも自然な印象です。

最新のiPhoneを持っている方であればwaidayoなどを使えばiFacialMocapを使ってパーフェクトシンクを利用して、より高い表現もできるようです。
これに関しては私はiPhoneを持っていないので試していません。

他にもVMCプロトコルというものに対応しているので、他のVMC対応ソフトとの連携や、自分でUnityが触れる人であれば、Unity上でいろいろ連携させて使えるところも大きな利点です。

トラッキング性能が良い

トラッキングの精度がよく、激しく動いてもしっかりトラッキングできます。

ある程度左右への振り向きなども認識してくれて、他のソフトよりも表現の幅が広いように感じます。

例えば横向きのとき

横向きのとき

画像のようにちゃんと横を向いてもトラッキングしてソフト上にも反映してくれます。

もちろん、そんなに動かしたくない場合も平滑化などの設定も細かくあるのでこのあたり自由に設定でき柔軟性が高いです。

LeapMotionが使いやすい

LeapMotionで手のトラッキングができますが、他のソフトに比べてLeapMotionの細かい設定ができます。

まずLeapMotionの首掛け、や机上に置いた場合どちらにも対応しています。

横向きのとき

UI上にLeapMotionの位置が表示され、この仮想空間上のLeapMotionの位置を設定で自由に動かすことができます。

角度設定などもできるので非常に柔軟です。

ここまで柔軟に設定ができるソフトも他に見たことがないですね。

3tene

3tene

3tene

軽く特徴を上げておきます

  • 無料版がある
  • Macにも対応している
  • オブジェクトを読み込める
  • LeapMotionに対応している
    • 首掛け、机上両方に対応

3teneはmac版もあるので、Macで配信をする場合は3teneを使っています。

Macで動くツールは少ないので、Macでの利用を考えている場合は3teneが良いと思います。

他にも3DのVRMのモデル以外に、他のオブジェクトを読み込むことができるのが良い点です。
VRoidStudioなどで、リボンや、メガネなどのアクセサリを作ろうと思うと、髪の編集で無理やりメガネとかを作る必要がありますが、3teneであれば、メガネなどは別でBlender等の3Dソフトで自分で作成するなり、公開されているもの使うなりすれば、あとから3teneの方で別で読み込むことができるので便利です。

オブジェクトを読み込む機能があるのは3teneにしかないので、そういった機能を使いたい方にはおすすめです。

トラッキング精度に関しては認識の精度がVSeeFaceなどに比べると悪いような気がします。
光源などの関係よってはうまく顔を認識してくれないことがありました。

また、胴体を軸に上半身が動いているからかカメラの端の方に行くと、モデルが斜めに傾いた状態になりやすいので少し気になります。

LeapMotionは首掛けにも机上にも両方対応しているのは良いですね。

wakaru

Steam:Wakaru ver. beta

wakaru

  • 無料
  • アイトラッキングができる
  • Webカメラだけで手のトラッキングができる

こちらはLeapMotionの機能や別のオブジェクトを読み込む機能はありませんが、シンプルで動作も軽いです。
モデルが斜めに傾きすぎたりと行ったこともなく、割と使いやすいです。
Webカメラだけでアイトラッキングなどもしてくれたり、きれいに使うのは難しいですがカメラだけで手の動きをトラッキングすることもできます。

LeapMotionを持っていないけど、ても動かして見たいという方にはこちらがおすすめです。

動作も軽めのため、スペックが低いPCを使っている方にはおすすめです

Luppet

Luppet

luppet

  • 有料(個人の場合5000円)
  • LeapMotionが使える
  • iFacialMocapと連携してパーフェクトシンクが可能
  • バストショット(上半身)での配信に最適化されたツール

こちらもLeapMotionが使えます。3teneよりもLeapMotionの機能が使いやすく自然な感じに手や指先が動かせます。
LeapMotionは首掛けにしか対応していないようなので、別途ネックマウンタが必要になります。

横向きにもある程度対応していたりして、3teneよりも自然な動きが表現できていると感じます。

Webカメラとモデルへの反応速度は調整できず緩やかにしか動かないので激しい動きを正確にトラッキングすることができません。そのあたりを調整することもできないのは少し柔軟性に欠けているのかなと思います。

最近(Ver2.0.2(2020/12/30))ではiFacialMocap(iOSアプリ)との連携機能が追加されて、パーフェクトシンクができるようになりました。

正直ver2.0.2以前はVSeeFaceですべての機能が補えるのでLuppetを選ぶ意味は殆どなかったのですが、パーフェクトシンクの機能が増えたのでLuppetを使う意味も出てきたように思います。

といっても、VSeeFaceもwaidayoなどと連携してパーフェクトシンクできるので好みで選ぶことになりそうです。