SelfieRenderer mocopiモーションで自撮り動画素材作成支援

VRM1.0対応

*乗り物向けセルフィー

mocopiで撮った車のドライブ動画のモーションで車の右左折に合わせてモデルが回転しないように常にカメラを向いたままVRMモデルをグリーンバックでレンダリングできます。

*慣性式モーションキャプチャーのドリフトや激しい運動でのズレを軽減

車動画にとどまらず、お尻や腰を指定して、カメラの向きを固定してレンダリングできるので、mocopiでの自撮り動画作成に超便利です。配信中にポジションがズレません。

*録画モーションやリアルタイムモーションにフェイシャルモーションを追加

mocopiやTDPTで作成したモーションの再生中にVMCプロトコル対応のフェイスモーション送信アプリからブレンドシェイプを受信して表情をつけることができます。

*配信者向け機能

リアルタイムにmocopiやTDPTからモーションを受信して表示、OBSにSpout or Syphonで出力できます。6つのプリセットでカメラやモデルを切り替えられます。

*AR映像作成支援

任意のメッシュを選んで消すことができます。自転車であれば、手のレイヤー映像と体のレイヤー映像を作って、手-ハンドル-体-車体というふうに重ねてAR映像制作に利用できます。

体験版でもフル機能が使えますがウォーターマークが入っています。

機能一覧

- 特定パーツのライブ追跡機能

- 左右奥行きがずれないモード追加

- カメラの視野角、距離、カメラが見るアバターの部位指定

- 部位の各方向にカメラが向く強さ指定

- ドリフト振動抑制機能

- ライト向きを指定して影をつける機能

- モーションにフェイスモーションを後付けする機能(port:39539)

- VMCプロトコルでリアルタイムにモデルを動かす機能(port:39539)

‐ mocopiでリアルタイムにモデルを動かす機能(port:9000)

- カメラの定点撮影機能

- OBSなどへの出力機能(Spout, Syphon)

- 設定のセーブ&キーによるライブロード機能

- 指定したメッシュを消す機能(セーブ/ロードされません)

- ハンドトラッキング(β)、フェイストラッキング(β)

などがあります。

画面サイズフルHD以上のWindows&Mac専用。録画機能がないので、各自録画してください。

BVH形式のモーションとVRM形式のモデルに対応。

ベータ版なのでバグがたくさんあります。動かないときは過去のバージョンも試してみてください。

どれもうまく動かない人もいると思うのでレポート待っています。

既知の不具合、仕様

- パイプラインの変更によりSyphon＆Spoutの出力が反転しています。OBS側で回転をしてください

- MacOS Venturaのセキュリティ機能でRelfieRendererが壊れていると言われる場合があります。実際には壊れていないのでコマンドで実行を許可することをおすすめします。

- 今のところモーションの再生前と再生中に設定をロードした際に、全ての設定が正しく復元できません。そのため設定の破壊防止のために今のところ一度設定モードを出ると再度設定画面には戻れません。ロードで設定変更するかアプリを再起動してください。

- TrackingModeではBVH再生前に設定した場合と、設定画面終了後に設定をロードした場合でカメラの回転が違う動きをする場合がありますが、実装上の仕様です。ロード時にトラックするパーツがY軸方向を向いているとズレにくくなります。

- mocopiはボーンのみ対応。目パチや口パクは動きません。

- mocopiとVMCプロトコルで同時に体のボーンを動かすと動きがぶれます。どちらかのポートを外してご利用ください。

- バージョン間のセーブデータの互換性はありません。バージョンアップすると消えてしまいます。

質問

https://twitter.com/4noha_

動作環境

Windows10以降推奨、MacOSX

解像度1920ｘ1080以上

アップデート履歴

[2023-06-26: v0.941b]　Syphon&Spout2でOBSに映像が送れなくなるバグを修正

[2023-06-26: v0.94b]　フェイストラッキング&ハンドトラッキング追加&MocopiReceiverを公式verに変更

[2023-06-26: v0.93b]　MacOSX対応&作りの甘かった部分を修正

[2023-06-26: v0.92b] バグ修正

[2023-06-26: v0.91b] 定点カメラ仕様時にXZ軸を固定してモデル位置がずれないようにするXZLockを追加

[2023-06-26: v0.9b] 合成向けに指定したメッシュを非表示にする機能を追加。VMCモードに移行できないバグを修正。

[2023-06-26: v0.8b] mocopiにネイティブ対応

[2023-06-26: v0.7b] 名称をSelfieRendererに変更。SpoutでOBSなどに出力する機能、定点撮影機能、設定のセーブ&キーによるライブロードに対応。フェイシャル入力ポートのバグを修正。

[2023-06-26: v0.6b] VMCプロトコルのボディとフェイシャルのモーションを別々に入力可能にする機能を追加

[2023-06-26: v0.5b] VMCプロトコルの受付ポートを変更する機能を追加。体験版を追加

[2023-06-26: v0.4b] 影を付ける機能、ライトの方向を変える機能、フェイスモーションを受信する機能、VMCプロトコルで動かすモードを追加

[2023-06-22: v0.3b] モーションのドリフトによるモデルの揺れをなくす機能を追加

[2023-06-21: v0.2b] モーションのドリフトによるモデルの揺れを軽減

[2023-06-21: v0.1b] ファーストリリース