マリフェト｜webカメラ用高精度フェイストラッキング

「MerlinsFaceTracker」は、一般的なWebカメラを使用して、iPhoneのARKitトラッキングに近い高品質なフェイストラッキングを目指したツールです。

Vtube Studioへの連携にのみ対応しています。

主な特徴

・iPhone不要・Webカメラのみで動作 お手持ちのWebカメラだけで、高品質なトラッキングが可能

・超低遅延

・まばたき特化補正

・パーソナライズ自動キャリブレーション

　画面の指示に従って表情を作るだけで、あなた専用の可動域に合わせてトラッキングを自動最適化します。

・舌出し、頬ぷくに対応

動作環境

・OS: Windows 10 / 11 (64bit)

・カメラ: 一般的なWebカメラ

・連携ソフト: VTube Studio（PC版）

利用規約・注意事項

商用利用可能です。

本ソフトウェアを利用して発生したいかなる損害についても、製作者は責任を負いません。

再配布・無断転載・自作発言は禁止いたします。

VTube Studioの仕様変更により、予告なく動作しなくなる場合があります。

Trial版について

・すべての機能をご利用いただけますが、1分に3秒間トラッキングが停止します。

1. 導入手順（セットアップ）

◆VTube Studio側の準備

VTube Studioを起動し、設定の「歯車アイコン」を開きます。

スクロールして「VTube Studio Plugins」の項目を見つけます。

「APIの起動」 のスイッチをONにします。

ポート番号が 8001 になっていることを確認してください（デフォルト設定）。

◆MerlinsFaceTracker

ダウンロードした MerlinsFaceTracker.exe をダブルクリックして起動します。

※初回起動時はファイルの展開が行われるため、起動まで数秒〜数十秒かかる場合があります。

◆VTube Studioとの連携（認証）

ツールが起動すると、VTube Studioの画面内に「MerlinsFaceTrackerがアクセスを求めています」という認証ポップアップが表示されます。

「許可（Allow）」をクリックしてください。

◆キャリブレーション（初回のみ推奨）

起動直後は可動域が安定しない場合があります。

メイン画面の「キャリブレーション開始」ボタン（またはSpaceキー）を押し、画面の指示に従って様々な表情（笑顔、口開けなど）を作ってキャリブレーションを完了させてください。

※キャリブレーション用に各表情で1秒間の撮影がありますが、画像や映像を保存したりなどの処理は一切ありません。正確なトラッキングのためだけに行います。

2. コントロールパネルの各機能説明

UI右側のパネルから、リアルタイムにお好みの設定に切り替えることができます。

◆強力ノイズ除去

トラッキングのブレや微小な震え（ジッター）を滑らかに補正する強力なフィルターです。

ON: 基本的には常にONにしておくことで、Live2Dモデルの動きが吸い付くように滑らかになります。

OFF: フィルター処理をバイパスし、極限まで遅延を無くした生データを送信します。（ただしトラッキングのブレがそのまま反映されます）

◆まばたき最低保持 (150msホールド)

30FPSなどのWebカメラで素早い瞬きをした際、カメラが目を閉じた瞬間を捉えきれずに「半目」になってしまう現象を防ぐ機能です。

完全に目を閉じたと判定された瞬間から、最低150ミリ秒間は「目を閉じている」信号を強制的に維持し、その後しっとりと自然に目を開きます。

◆首の位置を固定 (並行移動オフ)

Webカメラ特有の「顔の向きを変えた際に、頭や体が大きく横に動いてしまう」問題を解決します。

ON: 頭のX/Y/Z軸の並行移動をゼロに固定し、首の回転（向き）のみを反映させることで、体が不自然にブンブン振り回されるのを防ぎます。

◆舌出し・頬ぷく (CheekPuff)　その他一部BlendShapeパラメータ

AIによるトラッキングに加え、画像解析を用いた舌出し判定や、頬を膨らませるパラメーターをVTSへ送信します。 ※モデル側に「舌出し（TongueOut）」「頬ぷく（CheekPuff）」のパラメータ設定がされている必要があります。

◆カメラ最適化 (60FPS/低残像)

対応しているWebカメラをご利用の場合、カメラの内部設定を強制的に「60FPS出力・低露出（残像低減）」モードに書き換えます。 これにより、顔を素早く振った際のトラッキング外れが劇的に改善します。 （※Webカメラ側が非対応の場合はONにしても効果はありません）

3. スライダーによる微調整

◆ウィンク判定しきい値

左右の目の開き具合に、この数値以上の「差」があった場合のみ「ウィンク」として処理し、それ以下の差の時は「両目でのまばたき」として同期させます。（意図しない片目ウインクの防止）

◆まばたき 開き判定 / 閉じ判定

「どのくらい目を開いたら全開とするか」「どのくらい目を細めたら全閉とするか」の感度です。眼鏡の反射などで目が細く認識されがちな方は、閉じ判定の数値を下げることでしっかり目を閉じられるようになります。

◆舌出し感度

舌を少し出しただけで大きくパラメーターを動かしたい場合は数値を上げてください。

4.既知の問題

◆頬ぷく(cheek puff)が下あごを下げるだけで反応してしまう。

5.インストーラ版、ポータブル版について

◆インストーラ版：起動が高速です。

◆ポータブル版：インストール不要ですが、起動に時間がかかります。