M5Stackカメラで作るVR用フェイシャルトラッカー 　【データ無料】

フェイシャルトラッカーを自作しよう！

安価に顔のトラッキングしたい方はM5Stackカメラを使用して自作することができます。

今回は自分がメインで使っているOculus Rift CV1用マウンタを作ってみました。Quest2用マウンタも作成しました。

※真似される方は自己責任でお願いします。当方は一切の責任を負いませんので予めご了承ください。

STLデータは以下の二製品用となります。

M5STACK-U017-PCBA　（終売の可能性があります）

https://www.switch-science.com/products/9129?_pos=1&_sid=db3bab405&_ss=r

M5STACK-U082-F

https://www.switch-science.com/products/6786?_pos=5&_sid=db3bab405&_ss=r

M5STACK-U082-Fを使う方は内蔵されてるバッテリーは取り外してご利用ください。もしくはご自身でファームウェアを改変して使えるようにしてください。

あくまでSTLデータの配布が目的なのでセットアップや細かい設定、トラブルシューティングは各自自分で調べてください。

Quest2は持っているので要望があればマウンタを作りたいと思います。

作り方

STLデータをダウンロードして3Dプリンタで印刷してください。

M5STACK-U017-PCBAはM2x8㎜を6本で固定してください。

M5STACK-U082-Fははめ込むだけでM2x8㎜2本で済みます。

AuduinoIDEをインストールしてファームウェアを開き書き込んでください。

AuduinoIDEの使い方は各自調べてください。

カメラの画質や解像度の調整は画像の赤線あたりを調整してみてください。

セットアップ

①projectBabbleをインストール

https://github.com/Project-Babble/ProjectBabble

②VRCFTをインストールとBabbleモジュールのインストール

https://docs.vrcft.io/docs/hardware/Project%20Babble/babble-setup

③M5StackカメラにUSBケーブルで給電を行う。

上記の画像のようにアクセスポイントに接続しブラウザから本体のWiFi設定を行います。

アクセスポイントのパスワードは【nanofacepass】です。

WiFiに接続する際は2.4㎓に接続してください。

設定を行ったらWiFi設定から接続先設定を削除するとよいでしょう。

④projectBabbleを起動しCameraAddressに【http://nanoface.local:81/stream】

を入力しSave and Restart Trackingを押す

再起動して映像が表示されれば設定は完了です。

後はアバターのセットアップを行ってアップロードしてください。VRChat側のOSCが有効になっていればトラッキングが開始されるはずです。私はこちらのショップでパッチを購入しました。

https://adjerry91.booth.pm/

アップデート

10/10

ケーブルクリップをデータに同梱しました。

配布したデータで一部肉薄が不均一になっていたのでデータ修正。

10/15

Quest2用にマウンタを作成。

データに同梱しました。両面テープで貼り付けてください