【無料】Face Tracker VR OSC VRChat

(c)A3 2022/05

FaceTrackerVROSC

VRChatのOSCでカメラを使って口を動かせるようになる

Webカメラまたは、M5 Camera X

■Requests

・M5

ArduinoIDEとESP3開発環境

https://docs.espressif.com/projects/arduino-esp32/en/latest/installing.html

・PC

Pythonとrequirements.txt記載のいくつか

■1.M5

※WebCam使う場合は不要

WirelessCam.inoを開く

下記を環境に合わせ変更

String networkName = "YourSSID";

String networkPswd = "YourPW";

String networkAddress = "192.168.your.PCIP";

M5CameraXに書き込み

HMDにつける

■2.Download

300w image datasetをDownload

https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/

"01_Indoor" フォルダをFaceTrackerフォルダの中に置く

■3.Learning

data.batを実行

learn.batを実行

■4.Run

cameraをオン

run.batを実行

■5.Avatar

"Assets"をコピー

VRC Avatar Descriptorに下記２つをセット

・Playable Layers - FX → Animator_FX

・Expressions → VRCExpressionsMenu, VRCExpressionParameters

顔のメッシュを"Body"にリネームし、下記のblend shapesを作成

にやり

お

口右

口左

口すぼみ

口広

Licence

MIT

Twitter

https://twitter.com/A3_yuu