FacialTracking for Leefa「リーファ」

リーファのFacial Tracking設定です。

VRChatでの使用を想定し、VRCFT v5.0以降のUnified Expressionsに対応しています。

リーファらしい雰囲気を大切にしながら、誇張しすぎない自然でかわいらしい表情を目指して制作しました。

OSCmoothによるモーションスムージングも適用済みです。

【非破壊導入で、さらに手軽に】

v2.1.0からFermataFTの導入方法を一新し、さらに扱いやすくなりました。

元のFBXファイルを直接変更せず、NDMFのビルド時に顔MeshをFT用のメッシュへ置き換える非破壊方式で導入できます。

・元のFBXはそのまま

FT用のメッシュはビルド時に適用され、元のFBXファイル自体は上書きされません。

・アバターとデバイスを選んで、簡単セットアップ

対応アバター・顔Mesh・パッチを自動検出し、デバイスに合わせたPrefabと必要なFT設定をまとめて導入します。

・複数アバターを1つのプロジェクトで管理

新しい導入方式に対応した複数のアバターとFTパッチを、同じUnityプロジェクト内で管理できます。

・導入処理はUnity Editor内で完結

外部の実行ファイルや変換ツールは不要です。OSに依存する構造を見直し、より幅広い制作環境に対応しました。

【オリジナルアバター】

ひゅうがなつみかん

【オリジナル3Dモデル】リーファ

https://hyuuganatu.booth.pm/items/3659436

対応アバターバージョン：v1.7

本商品はリーファ専用の追加アセットです。単体では使用できませんので、対応するオリジナルアバターを別途ご用意ください。

【特徴】

・自然なリップシンクと繊細な口元の表現

会話中の口元が自然に動くよう、リップシンクを調整しています。

・Quest Pro／Pico 4 Pro向けの舌先連動

該当の設定を有効にすると、舌を出した状態で口元の上下左右の動きに合わせて舌先を動かせます。

・EyeLid LR Sync

両目を閉じたときに、アバターの左右のまぶたが同時に閉じるようにする設定です。左右のまぶたの動きがそろわない場合にご利用ください。

・デバイス別のPrefabを収録

VIVE用とQuest Pro／Pico 4 Pro用の設定を用意しています。

・表情の動きを保ちながら最適化

Animator Controllerの構造やアニメーション処理を見直し、不要な処理を減らしています。

さらに、FermataFTを適用する顔Meshの未使用BlendShapeを、NDMFビルド時に整理する最適化機能も備えています。

※表情の再現範囲は、使用機器のトラッキング精度やキャリブレーションの状態によって異なります。

【旧バージョンからアップデートする方へ】

v2.1.0より前のバージョンからアップデートする場合は、次の手順をご確認ください。

新しいUnityPackageをインポートする前に、必ず旧バージョンのファイルを整理してください。上書きでインポートすると古いScriptやAssetが残り、正常に動作しないことがあります。

改変して使用しているAnimator、Animationファイル、Menu、Parameterなどがある場合は、作業前にバックアップしてください。

1. SceneまたはPrefab内の対象アバターから、旧FermataFTのPrefab・Scriptを取り外します。

2. UnityのProjectウィンドウから、旧バージョンのFacialTracking配布フォルダを削除します。

対象はFermataFT_Leefa、FacialTracking_Leefaなど、リーファ用の旧配布フォルダです。EditorやScriptフォルダ内に同名の旧FT用フォルダ・Assetが残っている場合も整理してください。

3. FBX自体を変更する旧パッチを使用していた場合は、対応バージョンのオリジナルアバター配布データから元のFBXを再度プロジェクトへ配置（上書き）し、パッチ適用前の状態に戻してください。

4. 新しいバージョンのUnityPackageをインポートし、FermataFT Installerから改めて導入を行います。

※Unity上で既存FBXの「Reimport」を実行するだけでは、旧パッチ適用前の状態には戻りませんのでご注意ください。

【導入方法】

VRChat SDK、Modular Avatar／NDMF、対応バージョンのリーファ本体および必須Shaderをあらかじめプロジェクトに導入してください。最後に本商品のUnityPackageをインポートします。

Modular Avatar

https://modular-avatar.nadena.dev/

1. Unity上部メニューから「Fermata > FermataFT > Installer」を開きます。

2. Hierarchy上の対象アバターを、Installerの「Avatar Root」欄へドラッグ＆ドロップします。

3. 対応アバター・顔Mesh・パッチが自動検出されます。

4. 使用機器に合わせて「Device」を選択し、「Install FermataFT」をクリックします。

5. 導入後は通常どおりVRChat SDKからビルド・アップロードを行ってください。

※追加の最適化について

アバター全体をさらに軽量化・最適化するには、AAO（Avatar Optimizer）の併用をおすすめします。FermataFTの導入に必須ではありません。

AAO: Avatar Optimizer

https://github.com/anatawa12/AvatarOptimizer

※1体のアバターにつき、FermataFT Prefabは1つのみ配置してください。

※Model Import設定の調整が必要な場合は、Installer内の案内に従ってください。

設定変更と再インポートを行うと、同じFBXを参照する他のPrefabにも設定が反映されます。

（元のFBXファイル自体は上書きされません）

【上級者向け：Legacy FBX Diff】

FT用BlendShapeを含むFBXを別途生成する機能です。生成したFBXは、Blenderなどの3Dソフトで編集・改変できます。元のFBXファイルは上書きしません。

対応バージョンのオリジナルFBXを、未改変の状態でご用意ください。

※旧バージョンとの互換機能ではありません。外部ソフトでモデルを編集しない場合は、通常のNDMF方式をご利用ください。

【ご利用にあたって】

・必ず対応アバターのバージョンをご確認の上ご使用ください。

同じバージョン表記であっても、オリジナルアバターの制作者側でFBXモデルデータが変更・更新された場合、パッチが正常に適用されないことがあります。

・元のFBXを編集・再出力したモデルや、顔Meshの頂点構成を変更したモデルでは、自動検出やパッチ適用が正常に行われない場合があります。

・FermataFTの配布フォルダや内部ファイルは、移動・リネームしないでください。アバターのHierarchy構成や顔Mesh名の変更も、Animationの挙動に影響を与える場合があります。

・多数のBlendShapeを組み合わせた改変では、干渉による意図しない形状崩れが発生する場合があります。

目元の調整には、左右（L/R）に分かれたBlendShapeの使用を推奨します。

・Write Defaults ON環境を基準に制作しています。

・VRCFT v5.0未満の環境では動作いたしません。

・同一のBlueprint IDでアバターを更新した後にOSCが正常に同期しない場合は、同梱Readmeに記載の「OSCキャッシュ再生成手順」をお試しください。

・FT用パラメーターの容量を確保するため、標準エモート（VRCEmote）と標準表情調整（VRCFaceBlendH／VRCFaceBlendV）のネットワーク同期を無効にする設定が含まれます。これらの操作は他のユーザーに反映されなくなります。

【利用規約・お問い合わせ】

オリジナルアバターの利用規約および、同梱のFermataFTライセンスを遵守の上ご利用ください。

本商品の独自データの無断転載、共有、再配布、再販売を禁止します。コミッションにおける導入・改変作業は、依頼者と作業者の双方のライブラリに、BOOTHでの正規購入またはギフト機能によって本商品が登録されている場合に限り許可されます。作業に必要な範囲でのデータ交換を含め、詳細は同梱ライセンスをご確認ください。

導入に失敗した場合や、意図しない動作が発生した場合は、まず対応バージョンのオリジナルアバターを未改変の状態で使用し、動作をご確認ください。

その環境でも問題が再現する場合は、本商品の購入履歴があるBOOTHアカウントよりメッセージにてお問い合わせください。内容を確認の上、ご返信いたします。

※注意事項や推奨する導入手順に従わずに発生した不具合については、サポート対応が限られる場合がございます。

【動作・制作環境】

Unity：2022.3.22f1

VRChat SDK - Avatars：3.10.4

Modular Avatar：1.18.6

NDMF：1.14.8

対応OSCプログラム：VRCFT v5.0以降

VRCFaceTracking Documentation

https://docs.vrcft.io/

※上記より古いバージョンのUnity・SDK・関連パッケージでの動作は保証していません。

【Note】

23.05.31

v1.00 Release

23.06.01

v1.01 Minor Change

FXレイヤーの条件を追加・修正。ハンドレイヤーにIdle条件を追加。

口元の動きに合わせて基本表情のBlendShapeを元に戻す補正レイヤーを追加（初期状態では無効）。

23.07.11

v1.02 Update

Body Meshの口元に関するBlendShapeを一部修正。

FXレイヤーの動作条件、Expression Parameters、Animationを追加・修正。

両目のまばたきを同期する機能を追加（Facial Tracking Menuで切り替え可能）。

アニメーションのスムージング値を調整。

23.08.31

v1.1 Update

パッチの導入方法を改善。CheekPuffのBlendShapeとFT用Visemeを一部調整。

FXレイヤーとメニューの構造を改善し、一部のAnimationを調整。

23.12.18

v1.11 Update

Quest Pro／Pico 4 Pro用のPrefabを追加。

24.02.03

v1.12 Update

TongueOutとVisemeが干渉しないよう、FX ControllerのLipsync Control Layerを修正。

モデルデータの変更はありません。

24.02.06

v1.13 Update

EndBone設定の漏れを修正。

25.09.05

v2.00 Update

MA／NDMFを使った導入方法へ変更。BlendShape、Animator Controller、Animationを全面的に再調整。

目元調整用のBlendShapeに左右（L/R）別の項目を追加し、より繊細な表現に対応。

v1系とは互換性がないため、新しいプロジェクトへの導入、または旧FTデータを整理してからの導入を推奨。

v2.01 Update

EndBoneの欠落を修正。

26.09.16

v2.1.0 MajorUpdate

・FermataFTの共通構成と新しいInstallerへ変更

・元のFBXを直接変更せず、NDMFビルド時に顔MeshをFT用のメッシュへ置き換える方式へ更新

・対応アバター・顔Mesh・パッチの自動検出に対応

・AnimatorおよびFT Settingの構成を更新し、アニメーション処理を最適化

・NDMFビルド時に顔Meshの未使用BlendShapeを整理する最適化機能を追加

・FT用BlendShapeを含む別のFBXを生成するLegacy FBX Diffを収録

※対応オリジナルアバター：リーファ v1.7

26.09.18

v2.1.1 Update

FermataFT Installerの機能追加に伴い、Coreシステムの互換性を確保するための更新です。アバターのFacialTracking機能自体に変更はありません。

===============

리파의 Facial Tracking 설정입니다.

VRChat 환경을 기준으로 제작되었으며, VRCFT v5.0 이상의 Unified Expressions를 지원합니다.

리파 본연의 매력을 살리면서도 과장되지 않은 자연스럽고 귀여운 표정을 목표로 다듬었습니다.

OSCmooth를 이용한 모션 스무딩도 미리 적용되어 있습니다.

【비파괴 도입으로, 더욱 간편하게】

v2.1.0부터 FermataFT의 도입 방식을 새롭게 개편하여 편의성을 높였습니다.

원본 FBX를 직접 변경하지 않는 비파괴 방식을 사용하며, NDMF 빌드 시 얼굴 Mesh를 FT용 메시로 교체합니다.

・원본 FBX는 그대로 유지

FT용 메시는 빌드 시 적용되므로 원본 FBX 파일 자체를 덮어쓰거나 손상하지 않습니다.

・아바타와 기기를 선택하는 간편 셋업

대응 아바타·얼굴 Mesh·패치를 자동으로 감지하여, 사용 기기에 맞는 Prefab과 필수 FT 설정을 한 번에 구성합니다.

・하나의 프로젝트에서 여러 아바타 관리 가능

신규 도입 방식을 지원하는 여러 아바타와 FT 패치를 하나의 Unity 프로젝트 안에서 함께 관리할 수 있습니다.

・설치 과정은 Unity Editor 내부에서 완결

외부 실행 파일이나 별도의 변환 툴이 필요하지 않습니다. 특정 OS에 종속되던 구조를 개선하여 작업 환경의 호환성을 넓혔습니다.

【원본 아바타】

ひゅうがなつみかん

오리지널 3D 모델 「리파 -Leefa-」

https://hyuuganatu.booth.pm/items/3659436

대응 아바타 버전: v1.7

본 상품은 리파 전용 추가 에셋입니다.

단독으로는 사용할 수 없으므로 대응하는 원본 아바타를 별도로 준비해 주세요.

【특징】

・자연스러운 립싱크와 섬세한 입매 표현

대화할 때 입가가 자연스럽게 움직이도록 립싱크를 조정했습니다.

・Quest Pro／Pico 4 Pro용 혀끝 연동

해당 설정 토글을 켜면 혀를 내민 상태에서 입가의 상하좌우 움직임에 맞춰 혀끝을 움직일 수 있습니다.

・EyeLid LR Sync

양쪽 눈을 감았을 때 아바타의 좌우 눈꺼풀이 동시에 감기도록 하는 설정입니다. 좌우 눈꺼풀의 움직임이 어긋날 때 사용해 주세요.

・기기별 Prefab 수록

VIVE용과 Quest Pro／Pico 4 Pro용 설정을 제공합니다.

・표정의 움직임을 유지하면서 최적화

Animator Controller의 구조와 애니메이션 처리를 다듬어 불필요한 처리를 줄였습니다.

또한 FermataFT가 적용되는 얼굴 Mesh의 미사용 BlendShape를 NDMF 빌드 시 정리하는 최적화 기능도 제공합니다.

※표정의 재현 범위는 사용 기기의 트래킹 성능과 캘리브레이션 상태에 따라 달라질 수 있습니다.

【구버전에서 업데이트하는 경우】

v2.1.0 이전 버전에서 업데이트하는 경우 아래 절차를 확인해 주세요.

새 UnityPackage를 임포트하기 전에 구버전 파일을 먼저 정리해 주세요.

덮어써서 임포트하면 이전 Script나 에셋이 남아 정상적으로 동작하지 않을 수 있습니다.

직접 개변해 사용 중인 Animator, Animation 파일, Menu, Parameter 등이 있다면 작업 전에 반드시 백업해 주세요.

1. Scene 또는 Prefab의 대상 아바타에서 구버전 FermataFT Prefab과 관련 Script를 제거합니다.

2. Unity Project 창에서 구버전 FacialTracking 배포 폴더를 삭제합니다.

FermataFT_Leefa, FacialTracking_Leefa 등 리파용 구버전 배포 폴더가 대상입니다.

Editor 및 Script 폴더 안에 같은 이름의 구버전 FT 폴더나 에셋이 남아 있다면 함께 정리해 주세요.

3. FBX 자체를 변경하는 구버전 패치를 사용했다면, 대응 버전의 원본 아바타 배포 데이터에서 FBX를 프로젝트에 다시 배치하여 패치 적용 전 상태로 복원해 주세요.

4. 새 UnityPackage를 임포트한 뒤, 아래 도입 방법에 따라 FermataFT Installer에서 다시 설치합니다.

※Unity에서 기존 FBX를 Reimport하는 것만으로는 구버전 패치 적용 전 상태로 돌아가지 않습니다.

【도입 방법】

VRChat SDK, Modular Avatar／NDMF, 대응 버전의 리파 아바타와 필수 셰이더를 프로젝트에 먼저 임포트해 주세요.

마지막으로 본 상품의 UnityPackage를 임포트합니다.

Modular Avatar

https://modular-avatar.nadena.dev/

1. Unity 상단 메뉴에서 Fermata > FermataFT > Installer를 실행합니다.

2. Hierarchy 창의 설치 대상 아바타를 Installer의 「Avatar Root」 항목에 드래그 앤 드롭합니다.

3. 대응 아바타, 얼굴 Mesh, 적용 패치가 자동으로 감지됩니다.

4. 사용 중인 기기에 맞춰 「Device」를 선택한 후 「Install FermataFT」를 클릭합니다.

5. 설치가 완료되면 평소처럼 VRChat SDK를 통해 빌드 및 업로드를 진행합니다.

※추가 최적화 권장

아바타 전체를 더 가볍게 최적화하려면 AAO(Avatar Optimizer)의 사용을 권장합니다. FermataFT 설치에 필수인 패키지는 아닙니다.

AAO: Avatar Optimizer

https://github.com/anatawa12/AvatarOptimizer

※아바타 하나당 FermataFT Prefab은 1개만 배치해 주세요.

※Model Import 설정 변경이 필요한 경우 Installer 내부 안내를 확인해 주세요. 설정을 변경하고 Reimport를 진행하면 같은 FBX를 참조하는 다른 Prefab에도 설정이 적용됩니다(원본 FBX 파일 자체는 덮어쓰지 않습니다).

【고급 옵션: Legacy FBX Diff】

FT용 BlendShape가 포함된 FBX를 별도로 생성하는 기능입니다. 생성한 FBX는 Blender 등의 3D 툴에서 편집하거나 개변할 수 있습니다. 원본 FBX 파일은 덮어쓰지 않습니다.

지원 버전의 원본 FBX를 수정하지 않은 상태로 준비해 주세요.

※구버전 패치와의 호환 기능은 아닙니다. 외부 툴에서 모델을 직접 편집할 필요가 없다면 기본 NDMF 방식을 사용해 주세요.

【이용 시 주의사항】

・반드시 지원되는 정식 아바타 버전을 확인 후 사용해 주세요.

동일한 버전 표기라도 원본 아바타 제작자 측에서 FBX 모델 데이터를 변경,업데이트 한 경우 패치가 정상 적용되지 않을 수 있습니다.

・원본 FBX를 임의로 편집·재익스포트했거나, 얼굴 Mesh의 버텍스(정점) 구조를 수정한 모델에서는 자동 감지 및 패치 적용이 실패할 수 있습니다.

・FermataFT의 배포 폴더 경로 및 내부 파일명을 변경하지 마세요.

아바타의 Hierarchy 계층 구조나 얼굴 Mesh 이름을 임의로 바꾸는 것도 애니메이션 오작동의 원인이 될 수 있습니다.

・다수의 BlendShape를 동시에 활성화하는 개변 환경에서는 표정 간섭으로 인한 메시 깨짐이 발생할 수 있습니다.

눈가를 개변할 때는 좌우(L/R)가 분리된 BlendShape의 사용을 권장합니다.

・Write Defaults ON을 기준으로 제작되었습니다.

・VRCFT v5.0 미만 환경에서는 동작하지 않습니다.

・동일한 Blueprint ID로 덮어쓰기 업로드한 후 OSC 동기화가 제대로 되지 않는다면, 동봉된 Readme의 'OSC 캐시 재생성' 안내를 확인해 주세요.

・FT 파라미터 용량을 확보하기 위해 기본 이모트(VRCEmote)와 기본 표정 조절(VRCFaceBlendH／VRCFaceBlendV)의 네트워크 동기화를 해제하는 설정이 포함되어 있습니다. 해당 기능을 조작해도 다른 사용자에게는 반영되지 않습니다.

【이용약관 및 지원 안내】

원본 아바타의 이용약관 및 동봉된 FermataFT 라이선스 규정을 준수해 주시기 바랍니다.

본 상품 고유 데이터의 무단 전재, 공유, 재배포 및 재판매를 금지합니다. 커미션을 통한 설치·개변 대행 작업은 의뢰인과 작업자 양측 모두 BOOTH 정식 구매 또는 기프트 기능으로 라이브러리에 본 상품이 등록된 경우에만 허용됩니다. 작업에 필요한 범위의 데이터 교환을 포함한 세부 조항은 동봉된 라이선스 문서를 참조해 주세요.

설치에 실패하거나 의도하지 않은 동작이 발생한 경우, 먼저 지원 버전의 원본 아바타를 수정하지 않은 상태에서 다시 확인해 주세요.

해당 환경에서도 문제가 재현된다면 본 상품을 구매한 BOOTH 계정으로 메시지를 보내주세요. 내용을 확인한 후 답변드리겠습니다.

※주의사항 및 권장 설치 절차를 따르지 않아 발생한 문제는 지원이 제한될 수 있습니다.

【제작 및 동작 환경】

Unity: 2022.3.22f1

VRChat SDK - Avatars: 3.10.4

Modular Avatar: 1.18.6

NDMF: 1.14.8

지원 OSC 프로그램: VRCFT v5.0 이상

VRCFaceTracking Documentation

https://docs.vrcft.io/

※위에 기재한 버전보다 오래된 Unity, SDK 또는 관련 패키지에서는 정상적인 동작을 보장하지 않습니다.

【Note】

23.05.31

v1.00 Release

23.06.01

v1.01 Minor Change

FX 레이어 조건 추가·수정 및 핸드 레이어의 Idle 조건 추가.

입가 움직임에 맞춰 기본 표정 BlendShape를 원래 상태로 되돌리는 보정 레이어 추가(기본값은 비활성화).

23.07.11

v1.02 Update

Body Mesh의 입가 관련 BlendShape 일부 수정.

FX 레이어 동작 조건, Expression Parameters, Animation 추가·수정.

양쪽 눈 깜빡임 동기화 기능 추가(Facial Tracking Menu에서 전환 가능).

애니메이션 스무딩 수치 조정.

23.08.31

v1.1 Update

패치 도입 방법 개선 및 CheekPuff BlendShape·FT용 Viseme 일부 조정.

FX 레이어와 메뉴 구조 개선 및 Animation 일부 조정.

23.12.18

v1.11 Update

Quest Pro／Pico 4 Pro용 Prefab 추가.

24.02.03

v1.12 Update

TongueOut과 Viseme가 간섭하지 않도록 FX Controller의 Lipsync Control Layer 수정.

모델 데이터의 변경은 없습니다.

24.02.06

v1.13 Update

EndBone 설정 누락 수정.

25.09.05

v2.00 Update

MA／NDMF를 활용하는 도입 방식으로 변경. BlendShape, Animator Controller, Animation 전면 재조정.

눈가 조절 BlendShape에 좌우(L/R) 구분을 추가하여 더 섬세한 표현 지원.

v1 계열과 호환되지 않으므로 새 프로젝트에 설치하거나 구버전 FT 데이터를 정리한 뒤 설치할 것을 권장.

v2.01 Update

EndBone 누락 수정.

26.09.16

v2.1.0 MajorUpdate

・FermataFT 공통 구성 및 신규 Installer로 변경

・원본 FBX를 직접 변경하지 않고 NDMF 빌드 시 얼굴 Mesh를 FT용 메시로 교체하는 방식으로 갱신

・대응 아바타·얼굴 Mesh·패치 자동 감지 지원

・Animator 및 FT Setting 구성 갱신과 애니메이션 처리 최적화

・NDMF 빌드 시 얼굴 Mesh의 미사용 BlendShape를 정리하는 최적화 기능 추가

・FT용 BlendShape가 포함된 별도의 FBX를 생성하는 Legacy FBX Diff 제공

※대응 원본 아바타: 리파 v1.7

26.09.18

v2.1.1 Update

FermataFT Installer 기능 추가로 인한 Core 시스템 호환성 확보를 위한 업데이트. 아바타의 FacialTracking 기능 자체에는 변경사항이 없습니다.

Special Thanks to...

VRCFT, https://github.com/benaclejames/VRCFaceTracking

Adjerry91, https://adjerry91.booth.pm/

regzo2's OSCmooth, https://github.com/regzo2/OSCmooth

sisong's HDiffPatch, https://github.com/sisong/HDiffPatch

9-Bone, https://github.com/BonhyeonGu

bd_, ModularAvatar,NDMF https://github.com/bdunderscore