モーションキャプチャ用途でHTC Vive環境を整えようとしている話
こんにちはこんばんは。こちらのように、3DCGでのアニメーションを作成するのに若干興味が有るので色々と情報収集をしていますが、今更感と言えばそうかもしれないものの、先日Twitterで @toyxyz さんが行ったこのポストが目につき色々調べてみました。
内容としては、VRヘッドセットキットのHTC Viveでモーショントラッキングをし、モーションキャプチャ用途に使いつつ、Blenderでデータを取り扱っていると言うものでした。
◆モーショントラッキング
モーショントラッキングの機材にはいろいろな方式が有りますが、基本的に、空間スペースが確保できるうえで、ポジショントラッキングの”質”だけの観点で見ると、OptiTrackを中心とした、光学式の物が中心となります。内容は少し古いですが、あまり状況は変わっていないので、モーションキャプチャ機材の利点や欠点はこちらが参考になると思います。
- フルボディトラッキングのための機材比較 (Qiita.com)
- Vtuberのイベント出演を効率化する技術ワークフロー / VIrtualCast, Inc. (Slideshare)
- Vtuberイベントにおけるモーションキャプチャ機材と環境の選択肢について (note.com)
OptiTrackなどの機材はそもそも機材や取扱ソフトウェアが高額と言う所もありますが、そこをクリアしてもスタジオセットと、撮影される側の準備（マーカー取り付け等は一人では無理そう）が結構手間のようです。個人ユースが出来た場合でもそのあたりのハードルがありそうですね。
つぎに、上記の参考先にないものとして、アニメーション用途を焦点に当てたRokokoがあります。こちらも、価格を考えると3Dアニメーターなどを中心として非常に選択肢に上がっている事が多いようです。
ただ、Rokokoは光学式ではなく慣性式のモーショントラッキングを行うシステムなので、空間のセットアップの必要がないセンサ付きスーツの着用が必須となりますが、やはり空間認識の点で若干難あり（ドリフト発生）な場合が結構あるようです。
また、ソフトウェアが基本的にRokoko内製となり、尚且つ一部の機能を利用したいなどを検討すると、安くもないハードウェアをサポートが不安な輸入で購入するのに、ソフトウェアがサブスクリプションとなってしまうなど、当方としてはなかなか厳しいなと感じる所ではありました。ハンドトラッキンググローブは結構いいかもしれませんね。
◆HTC Vive？
HTC Viveは、台湾の元スマートフォンメーカーであるHTCが発売している6DoFのVRヘッドセットシステムのブランドで、ゴーグルになるHMD単体でも一応使えますが、HTC Viveのキットで一番利点なのは、ポジショントラッキングにIR（赤外線）を利用した環境が普及帯の価格で個人レベルでも使用できるという所に尽きると思います。
ただ、HTC Vive自体は本来モーション自体を撮影するための、モーションキャプチャを行う用途では作られているものではなく、VR関連ソフトウェアで利用するようなものとなっています。なので、情報収集をすると基本的にSteamVRを利用したVR Chatユーザーのレポートしか出てきませんね。
SteamVRを中心としたゲームを含んだVR Chatなどで利用する場合は、リアルタイム性が必要なモーショントラッキングが求められていますが、私のようなキャプチャし、モーションを素材として使いたい場合は、ある程度必要な要求が下がっていると思います。修正回数がなるべく少ないモーションが撮影できればいいと感じているだけですし、ジッターが出てしまうような微妙なところは修正してしまえば良いだけですしね。
HTC Viveは、結果としてアミューズメント向け等の、企業ユースで活用されがちというところではありますが、原則としてコンシューマ向けの製品と言う事もあり、”モーションをトラッキング”すると言うハードウェアの観点で見ると、2024年現在でも圧倒的に安価です。
また、販売する企業側の経営状況への不安など除けば、日本国内で正規販売されているハードウェアでありますし、OptiTrackほどの精度はないものの、ポジショントラッキングにIR（赤外線）を使うようなLighthouseの光学式となっており、キットと別売りのマーカー（Vive Tracker）を8点フルセットとした場合、空間が比較的小規模であれば、結果としては割り合い引けを取らない内容となるようなので、ソフトウェアが整っている状況を鑑みると、結構良い選択なのではないかと感じた次第です。
色々と状況確認でググっていると、そもそもVR関係が流行ったのが2018~2021年前後のようで、モーショントラッキングを技術的に扱っている方や団体の発信内容が、ほとんどそのあたりの年代の情報しか出てきませんでした。以前ハンドトラッキング用途でLeapmotionを購入する時に情報収集した時も似たような感じだった気がしますね。
いい意味でも悪い意味でもフルボディトラッキングの観点だと、ハードウェアが完成してしまい業界の進歩が止まってると言う事なのではないでしょうか。
◆値段・入手性
次に、価格と入手性ですが、もともとすべて新品で買う気は一切なかったので、全て中古で集める前提で検討していました。
VRに興味がゼロだったわけではないですが、元々VR側用途で使う気が無いので、必要な内容を満たせるのであれば、一番古い最安のHTC Vive初代のキットセット一式でもいいかとは考えていました。ただ、実際にモーションキャプチャを行っているこちら @toyxyz さんに聞いてみると、ハードウェアはBase Station 2.0を4台利用の環境のようでした。
HTC Vive環境は空間認識を行うLighthouse環境に１度フルモデルチェンジが入っており、Base Station 2.0環境を利用するものを購入した方がトラッキング時の質向上と信頼性を上げられるように感じたので、そちらを選択する方向としました。
BaseStation 2.0環境で使用する場合、ハードウェア側の互換性を気にしなければならない状況となるようで、最安の初代Viveやコントローラーなどの付属品の種類などは非対応のようなので、購入の際は気にする必要があるようです。
流通価格を確認すると、恐らく皆さんVRに飽きてきてる？（勝手な妄想）のか、製品が発売された年（2018）からの経過年数によるハードウェアの償却状況等によるのか、中古流通の価格が非常にこなれてきていると感じました。
ちなみに、全てを新品で用意すると次の通りとなるようです。（現在現行販売中のもののセットに限る）
| 製品名 | 価格 |
|---|---|
| HTC Vive Pro 2 (BS2.0 x2 ,Controller 2018 x2 付属) | 209,000円 |
| SteamVR Base Station 2.0 x2 | 25,575円 x2 = 51,150円 |
| HTC Vive Tracker 3.0 x8 | 19,000円 x8 = 152,000円 |
| 合計 (各種取付ベルトやUSBハブ代は別) | 412,150円 |
ハードウェアだけの環境ですと、すべて現在の最新のものにはなりますが412,150円ほどかかるようです。Base Stationを利用しないLighthouse環境なしのVive Tracker Ultimateも現行で販売されていますが、レビュー等を見るとわざわざLighthouse環境を避けるまでのメリットは皆無のようです。
新品の場合は、トータルの総じた価格は糞高いとは思いますが、一応トラッカー側は別の選択肢（Tundra Tracker等）もあるようです。SteamVRに対応してる時点でおそらく大丈夫だとは思うのですが、OpenVR側のソフトウェアの対応感が不明なのと、中古で入手しやすい関係でHTC Vive純正の旧製品を選択しています。また、Vive Trackerは1台ごとにドングル１つの接続が必要なので、USBハブが必須となります。
なお、Base Station 2.0はHTC製ではなくSteamを運営しているValve製とのことなので、HTC経由で入手するものも全てValve製となっているようです。そのため、Valve直販モデルのBase Station 2.0を購入しても、HTC Vive環境で利用できるとのこと。
次に、私は以下の内容で中古を取得できました。(送料込)
| 製品名 | 価格 |
|---|---|
| HTC Vive Pro (BS2.0 x2 ,Controller 2018 x2 付属) / BS2.0 1台赤点滅エラー | 48,000円 |
| SteamVR Base Station 2.0 x2 | 38,000円 |
| HTC Vive Tracker 2.0 x9 | 61,870円 |
| 合計 (各種取付ベルトやUSBハブ代は別、ベルトは付いていがちでしたが) | 147,870円 |
Vive Trackerはだいたい3台セットで放出されていることが多い関係上、合計9台の入手が出来ました。 @toyxyz さんのポストを見ると、持ち物にTrackerをくっつけて物を持った際のトラッキングも可能なようなので、故障の事も考えるとあればあるほどいいですね。
入手価格については、縁などもあるので一概に比較はできませんが、嬉しい誤算としてHTC Vive初代の1.0環境も入手できたので、モーションキャプチャ用途での比較なども行えそうです。丁度良くお譲り頂きありがとうございました。
◆信頼性
次にハードウェアの信頼性を確認してみました。どうやら一番故障が発生する箇所が空間認識を行うBase Station側であり、内蔵されたモーターの回転数やちょっとした不都合でも正常に利用が出来なくなる可能性が有るとの事です。ちなみに私が入手したものの１つはその状況です（笑）最悪修理に入れると、19000円ほどで即納されるとのことです。
ググったら出てきたこちらのように、ワンチャンファームウェア差し替えで修繕できないかなと思いましたが、ダメでした。確かに電源を入れるとモーター音が正常品より大きく発生してる気がするので、モーターの回転数等でエラーを出してるのかもしれませんね。
ただ、Base Stationにエラーが発生した場合でも、トラッキング自体は出来ているとの報告も見受けられたので、モーションキャプチャ用途だけならエラー品を安く調達するだけでも良いかもしれません。ここは実際使ってみてですね。
体に装着するVive Trackerの故障は、そこまで見受けられませんでした。あってもバッテリー劣化による内容ぐらいでしょうか。バッテリー劣化は最悪分解してサードパーティー品に交換すればいいかなというところと、リアルタイムトラッキングが必要なVR用途ではない所から、劣化後でも1時間も持てばいいので全然大丈夫です。
◆ソフトウェア
私の取り扱い内容では、撮影したモーションデータを、Blender上でモデルデータにリターゲットを行い、レンダリングを行う事が殆どだと思います。Blenderでモーションデータを取り扱う場合は修正の楽さとすべてのモーションデータへの変換、インポートが可能な点が利点だと思います。
一般的にHTC Viveを利用したモーションキャプチャを行いたい際に利用されているのが、Unreal EngineのVive mocap Kitのようです。シェアウェアのアドオンで、139.99USDでした。撮影したデータをbvhやfbxでエクスポートしてその他のソフトウェアで取り扱ったりも出来そうですね。
次に、Unityでも似たようなことが出来るっぽいです。ここらへんとかかな。。。でもあまり使っている人の発信は見受けられませんでした。
- OpenXR VR Motion Capture – R1Tools | AssetStore
- Virtual Motion Recorder | BOOTH
- まろきゃぷ | PIXIV FANBOX
次に、アドオンのような形ではなく、スタンドアロンで動くソフトウェアとして、SteamVRのOpenVRを利用したBrekel Open VR Recorderがあるようです。こちらは一応、150ドルで永久ライセンスを購入するシェアウェアですが、ソフトウェア側はMotion Builderに対応しているようです。Brekelのソフトウェアは以前Kinectでモーションキャプチャを若干検討した時にも目についたような気がします。
このソフトウェアをハブとして、私がVive環境を検討するきっかけとなった @toyxyz さん作成のこちらのアドオンを使用すると、Blender上でBrekel Open VR Recorderで撮影したデータを簡単に取り扱うことが出来るようです。多分無かったらBlender上で直接取り扱うのは面倒なんじゃないかな、どうなんだろう。
iClone 8を使用する手順もありましたが、私自体iClone 8の取り扱いに慣れてないので分からんです。現代では結構選択肢が多くなっているかもしれませんね。
◆おわりに
上記の内容はボディトラッキングのみの内容となるので、現状はフェイス周りは全て手打ちの方向です。ただ、個人的には体より顔の手打ちはそこまで苦には感じていないので、今のところはまだトラッキングの検討はしていません。
ただ、日本では恵まれているので、ARkitが利用できるiPhoneの入手性が高いと思います。こちらも整えればいい感じになりそうですね。また、ハンドトラッキングに関してもVR機器ベースではあんまりいいのはまだないかも… Leapmotionで別撮りするのが最善のように今のところは感じています。
リアルタイムトラッキングと言った観点であれば、Valveコントローラーを使用するといいみたいですね。
次回は実際にキャプチャーを行ってみたいと思います。細かい話などは以下のDiscord内でやってることが多いので、興味が有ればご加入ください。
Comments