デスクトップフルトラアプリ　【VMCProtcol用】10月末をもってサポート及び配布終了

アトリエパンダ様のデスクトップフルトラシステム【mocopi用】のOSC送信システムを流用させて頂き、VMCProtcolに対応したアプリを作成しました。

WEBカメラ1台あれば上半身や全身トラッキングなど様々なトラッキングアプリと連携させることが出来ます。

mocopiやVR機器を持っていない方でもVRchatデスクトップモードで気軽にトラッキングによるコミュニケーションを楽しむことが可能です。

必要なもの

WEBカメラ、トラッキングアプリ、VRMファイル、ギミック導入済みアバター、DesktopFullTrackingVMCP、VRchatです。

デスクトップフルトラシステム【mocopi用】について

https://booth.pm/ja/items/4507191

ユーザー情報交換、問い合わせ等

Discord

https://discord.gg/4mUKwrFEeQ

謝辞

アトリエパンダ様

@gulaluVRC

配布許可承諾して下さりありがとうございました。

Sakura様

@tbbsakura1

VRMインポート機能の実装を行ってくれました。ありがとうございました。

かずまっち様

@oldmangaljk

アバターセットアップ等の動画編集を行ってくれました。ありがとうございました。

禁止事項

二次配布、転売、許可のない改造改変等

お知らせ

誠に勝手ながら10月末でサポート及び配布を終了したいと思います。短い間ですがご利用頂き誠にありがとうございました。

理由は以下のツイートに記載しております。

また、代換えとしてツリーにさくら様のデスクトップモードでのトラッキングツール紹介しております。そちらをご検討ください。

https://x.com/kirisamenanoha/status/1846426474708156576?s=46&t=YbFkNhsrghdfJNUmQhTEWA

こんな方にお勧め！

・デスクトップモードでもトラッキングがしたい。

・上半身や全身トラッキングをしたい。

・パーフェクトシンクと併用したい（一部制限有）

・楽器演奏しながらモーションも付けたい

・ダンスやDJなど表現力を高めたい方

注意事項

本アプリはVRchat専用です。

-VRChatのOSC 送信間隔の仕様により、ローカル(自分から見た場合)では滑らかに動作させられますが、グローバル(他人から見た場合)のトラッキングの精度は落ちます、インスタンス人数や時間帯によってもグローバルでの精度が変わる可能性があることをご了承下さい(22:00~24:00は特にラグが酷くなります)

-以下の理由よりOSCIKSystem専用のアバターをアップロードすることになります

--Expressionパラメーターを256バイト中、192バイト使用するため他のギミックと共存できない可能性があります

-アバター2.0では動作しません

-その他正常に動作しないアバターがある可能性がございます

-VRChatのアップデート等で使用できなくなる可能性がございます。

デスクトップフルトラシステム【mocopi用】より抜粋

アバターセットアップに必要なアセット

OSCCore （無料）

https://github.com/stella3d/OscCore

Finak Ik Stub （無料）

https://github.com/VRLabs/Final-IK-Stub

アバターギミックDesktopFullTracking（有料）

https://booth.pm/ja/items/4507191

OSCmooth　（無料）

導入すると相手側で見えるアバターの動きが多少スムーズになります。

https://github.com/regzo2/OSCmooth

SimpleObjectSwitch(無料)

IKTargetのオンオフに使用します。歩行アニメーションと切り替えが可能になります。

https://booth.pm/ja/items/4393826

‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐

VCC導入とアバターアップロードについて

VCC導入方法

https://www.youtube.com/watch?v=eqgz1LZQwbM

VCCアバターアップロード方法

https://www.youtube.com/watch?v=E1Kuz0ooLB0

DesktopFullTrackingVMCP　使い方

使用アバターのVRMファイルを作成、アバターギミックを導入後、各トラッキングアプリにVRMファイルをインポートしトラッキングとモーション送信を開始します。送信ポートは39543です。

DesktopFullTrackingVMCPを起動後VRMファイルのインポートを行いアバターが動いているのを確認してください。

VRchatデスクトップモードで起動後にVRchatのOSCを有効にして頂くとアバターが動きます。状況に応じて身長や顔の角度、位置スライダーを調整してください。

VRMファイル

アプリ間の体格差を最小限にする効果と各トラッキングアプリ実行時のインポートに必要です。

こちらを参考にVRM化してください

https://note.com/kuma06046/n/n68628f423bcf

VMCProtcol動作確認済みアプリ一覧

全てのアプリでの動作を保証するものではありませんので予めご了承ください。

VseeFace　（無料）

https://www.vseeface.icu/

TDPT　（無料）

https://booth.pm/ja/items/3698596

Dollars_Markerless　（有料）

https://www.dollarsmocap.com/

Webcam Motion Capture　（有料）

https://booth.pm/ja/items/3407746

SlimeVRServer (無料)（トラッカーの制御やキャリブレーションVMCProtcolで送信するアプリ）

https://github.com/SlimeVR/SlimeVR-Server

スマホをトラッカーにする方法

https://note.com/coltana/n/n9b611df1e339

Joyconをトラッカーにする方法

https://xxxcloss.hatenablog.com/entry/2022/07/10/210000

Free Hand Tracking iOS App for vSeeFace フリーハンド・トラッキング　（無料）

https://vtubershop.booth.pm/items/4902808

Free Webcam Hand Tracking Software with VMC for VSeeFace and VRChat 無報酬ハンドトラッキング　（無料）

https://booth.pm/ja/items/4275972

指のトラッキングについて

https://github.com/ThatGuyThimo/leapmotion-osc/releases/tag/release-1.1.0

上記のパッケージをインポートしアバターのハンドジェスチャーにアタッチ。EXパラメーターの上書きメニューの追加でleapmotionを有効にするようにしてください。

※手の回転はや指の開き出来ません。

※パラメータをかなり消費します上手く調整してください。FootXYZは削除しても影響ありません。

Q＆A

Q、iOS版TDPTを使うとアバターがものすごく前方に表示される

A、現時点で仕様になりますので本アプリのZ軸スライダーで前後を調整してください。

Q、腕はトラッキングされるが頭が動かない。

A、パイメニューのoption、OSC→Reset configを押してください。

Q、アバターギミックを導入したらキーボード移動時の歩行アニメーションが無くなった。

A、SimpleObjectSwitchをいれてアバターに追加されたIKTargetをオンオフできるようにすると歩行アニメーションと切り替えが可能になります。

Q、送信アプリ側でモーションが受信できない。

A、トラッキングアプリの送信ポート番号やIPアドレスに間違いがないか確認してみてください。

Q、VRchat側でモーションが受信できない。

A,OSCは有効になっていますか？パイメニューから確認してみてください。

Q、トラッキングアプリ、送信アプリのアバターとVRchat側のアバターが違う動き方をする

A、すべてのアバターで動作を確認していないので中には正常に動作しないアバターもあります。ご了承ください。

更新情報

V0.6

頭の角度要望があったため再度追加。

セーブ機能の見直し

VRMの自動ロード機能追加

UIの修正

指のボーン送信追加（別途アバターの設定必須）

ボーンスムージングを0.85で固定

フレームレートを60FPSで固定

V0.5

頭の角度は不要になったためスライダーを無効。

ポート番号を自由に入力出来るように変更。

ポート番号、送信間隔、位置XYZ、回転Yをセーブして次回起動時自動読み込みできるように変更。

UpperLeg、UpperLegの回転のOSC送信を追加しました。

V0.4 VRMロード時ののシェーダーを修正しました。次のVRMファイルをロードしたら先のVRMが削除されるように変更。

V0.3 VRMファイルのインポート機能実装しました。

V0.2 相手視点で上半身がカクついてしまう症状を最小限に抑えました。

V0.1 リリース