[VRChat]　DHT　デスクトップヘッドトラッキング

デスクトップヘッドトラッキング（DHT）は、vbridgerでスマートフォンやウェブカメラを使用して、VRChatのデスクトップモードで2D VTuberのように動くことを可能にするツールセットです！

説明

表情ホイールやキー設定を使用せずに、ウィンク、喜びの表現、さらには他の人を鋭い視線で見つめたりといった豊かな感情表現が可能です。また、アバターによっては舌を出したり、口を左右に動かしたりすることもできます。顔の動きだけでなく、頭を動かせばアバターもそれに合わせて追従します。

現在の対応状況：

- 完全実装済み：Lapwing、Grus

- 部分実装（MMDブレンドシェイプ利用）：他のアバター

※MMDブレンドシェイプの名前はアバター間で統一されていないため、リスト外のアバターであれば、自身でテストして【動作確認したアバターリスト】の中のフォームを答えていただけると助かります

【動作確認したアバターリスト】：

https://docs.google.com/spreadsheets/d/1bcGZeBCR_3vSPa0Qwe22M4yKhAs5TGTA8gpZf-qVglE/edit?usp=sharing

Unityスキルをお持ちであれば、提供されるアニメーションを変更するだけで簡単に未対応のアバターにも適用可能です！ぜひお試しください。

対応アニメーション一覧: https://docs.google.com/document/d/1k_5__-TB5MRccphxupXPOLXan5uMuGo9p-Y-hi4E9rA/edit?tab=t.2xvi191c3sp7

必要条件

- Unity

- Modular Avatar

- 128ビットのExpressionパラメーターの空き

- Vbridger　※注意：別有料アプリ

- Vbridgerで使える入力ソースいずれか：

--- iFacialMocap

--- MeowFace

--- Webcam (VbridgerでMediaPipeを指定利用)

--- Webcam + Nvidia Broadcast (Vtube StudioとNVIDIA Broadcast DLCが必要)

インストール手順

JP ( https://docs.google.com/document/d/1k_5__-TB5MRccphxupXPOLXan5uMuGo9p-Y-hi4E9rA/edit?usp=sharing )

EN ( https://docs.google.com/document/d/1k_5__-TB5MRccphxupXPOLXan5uMuGo9p-Y-hi4E9rA/edit?usp=sharing )

KR ( https://docs.google.com/document/d/1k_5__-TB5MRccphxupXPOLXan5uMuGo9p-Y-hi4E9rA/edit?tab=t.9dw1iwhymozs )

Unity:

1. DesktopHeadTrackingのUnityパッケージファイルをインポート。

2. DesktopHeadTrackingプレハブをアバターにドラッグ＆ドロップ。

3. VRC Avatar Descriptorの「LipSync」カテゴリで「Jaw Flap Bone」を選択。

4. VRC Avatar Descriptorの「Eye Look」カテゴリで「Disable」をクリック（Enableと表示される状態にする）。

5. VRC Avatar Descriptorの「Playable Layers」で「FX」をDesktopHeadTracking/Layersフォルダー内のProxyFXに変更。

実行方法

Vbridger:

1. Vbridgerの「Load」ボタンを押し、`vrc_desktopHeadTracking.vbridger`をロード。

2. 左上の歯車アイコンから「Settings」を開き、「Import Input Curves」を選択して`vrc_dht_InputCurves.vbsettings`を読み込む。

3. 設定を閉じて、メイン画面に戻る。

4. メイン画面左下で使用するカメラを選択し、動作確認。

DHTool:

1. `DHT_tool`フォルダー内の`DHTool.exe`を実行。

2. コンソールのカウンターが`Updates Per Second: 50〜60`になっているか確認。接続できていない場合、値は0になります。

VRChat:

- アバター表情メニューでOSCを有効にする。

謝辞

Lapwing:

https://booth.pm/ja/items/4993931

Grus:

https://booth.pm/ja/items/3190100

Kipfel:

https://booth.pm/ja/items/5813187

Shinano:

https://booth.pm/ja/items/6106863

Booth Room:

https://vrchat.com/home/world/wrld_75178a00-fee0-47a0-b5cf-740d8c2fd521

更新履歴

1/15/2025 19:00 -

DHTToolを更新して、VBridger 1.1.5に対応しました(DesktopHeadTracking 1.1)。

12/4/2024 10:45 - カメラによって体の左右モーションは逆になるバグがあり、この現象を対応する vbridger ファイル(vrc_desktopHeadTracking_BodyXInvert.vbridger)を追加した。