MediaPipeToOVR β版

MediaPipeToOVR

Webカメラ画像から推定した姿勢を元に、StermVRへ仮想トラッカーを追加します。

姿勢自体は「頭、両手首、腰、両足首、両肘、両膝」を含んでいますが、

腰と両足首の3点の仮想トラッカーを追加します。

無料で利用可能です。

ハードウェアフルトラに触れる前の、簡易ソフトフルトラを目指しています。

※現在制作途中なので開発β版です。

※現状では奥行きと回転が不完全な動作です。

※注意 : 画角が120°以上のカメラ推奨です。

　　　(全身撮影に距離が必要になるため)

□----------------------------------------------------------------

□ 基盤として使用させていただいたソフトウェア

□----------------------------------------------------------------

□Mediapipe

https://github.com/google/mediapipe

今回はPython版を使用しています。

□VMT - Virtual Motion Tracker

(バーチャルモーショントラッカー)

https://github.com/gpsnmeajp/VirtualMotionTracker

StermVRのOpenVR driverへの接続は、全てこちらに丸投げしています。

□----------------------------------------------------------------

□ 事前準備

□----------------------------------------------------------------

Virtual Motion Trackerをダウンロードし、説明にしたがって

セットアップしてください。

「VMT Manager」により簡単にセットアップ可能です。

https://github.com/gpsnmeajp/VirtualMotionTracker

※StermVRへ仮想トラッカーを追加するために必要です！

□----------------------------------------------------------------

□ 使用許諾

□----------------------------------------------------------------

3条項BSDライセンス

https://licenses.opensource.jp/BSD-3-Clause/BSD-3-Clause.html

開発は一人で行っているため、十分なサポートも出来ない可能性が

ありますので、ご了承ください。

□----------------------------------------------------------------

□ License

□----------------------------------------------------------------

3-clause BSD license

Development is done alone.

Please note that we may not be able to provide sufficient support.

□----------------------------------------------------------------

□ 基本の操作方法

□----------------------------------------------------------------

□姿勢推定の起動

・CameraToPose内の_Pose.exeを起動

　(カメラが複数ある場合は引数[--device 1]などで指定可能)

□姿勢送信機能の起動

・PoseToVMT内のMediaPipeToOVR.exeを起動

□推定座標とSteamVR座標の調整

・右上のドロップダウンより「Offset」を選択

　Heightに身長(m)を入力

　SteamVRを起動し、原点に立った状態で「Calibrate」ボタンを押す

　※頭と両足位置からオフセットを計算し座標を合わせます。

　　(両手位置は見ていません。)

　　(SteamVR設定 -> 一般 -> SteamVRホーム [オフ]がオススメです。)

　※↑↓ボタンを押して、腰トラッカー位置を適切な位置へ移動

　画面上に10点のキューブが、姿勢に合わせて表示されていれば成功です。

□Z軸方向の調整 ※調整中機能のため不完全です。

・右上のドロップダウンより「Move Z」を選択

　「Camera」ボタンを押す

□----------------------------------------------------------------

□ テスト環境

□----------------------------------------------------------------

OS : Windows 10 Home

GPU : Geforce GTX1070

カメラ : BUFFALO BSW505MBK

□----------------------------------------------------------------

□ FAQ

□----------------------------------------------------------------

・VRChatでTポーズのまま動きが反映されないよ？

　VRChatでも別途アバター用のキャリブレートも必要です。

　VRChatメニューのキャリブレートを実行し。

　実際に体をTポーズにしてトリガーしてください。

・仮想トラッカーの位置がちゃんと合ってるか判り辛いよ？

　SteamVR設定 -> 一般 -> SteamVRホーム [オフ]。

　この状態でVRゴーグルを被ります。

　そうするとコントローラや仮想トラッカーを見ることが出来ます。

　オフセット位置を調整して、腰両足へ仮想トラッカーを仮想装着してください。

□----------------------------------------------------------------

□ 更新履歴

□----------------------------------------------------------------

2021.05.19 (水)

開発初期β版を公開

□----------------------------------------------------------------

□ MEMO

□----------------------------------------------------------------

Deep learning pose estimation by web camera.