【AI自動判別】ワールド音楽連動型・歌声リップシンク アバターギミック- 聴くだけでアバターが歌い出す！MA対応・置くだけ実装

.

VRC SingAlong【ワールド音楽連動】自動歌唱リップシンク・ギミック

ワールドに流れる曲を聴くだけで、アバターの口が歌い出す。

あなたはマイクで歌わなくていい。

ライブインスタンスや弾き語りの場では、配信サーバーや動画プレイヤーから音を流すのが定番です。音質を優先してアバターボイスを切ると、声はきれいに届くのに ―― 顔だけが歌っていない。

VRC SingAlong は、その最後のピースを埋めるギミックです。

PCで鳴っている音楽（または実マイク）を専用アプリがリアルタイムに聴き取り、歌声に合わせた口の開閉と母音を、OSC でアバターへ届けます。

■ 3つの特徴

◆ 歌声を「聴き分ける」AI

音量に反応するだけの口パクではありません。デュアルニューラルネットワークが伴奏と歌声を判別し、人が歌っている瞬間をとらえて口を動かします。

間奏やドラムだけの区間で口が泳ぐ、あの違和感を抑えます。

◆ 母音まで動く（あ・い・う・え・お）

MMD標準の「あいうえお」ブレンドシェイプに対応。歌詞に合わせて口の形が変化します。母音シェイプを持たないアバター向けに、開閉のみの JawOpenモードも用意。レトロアバターでも使えます。

◆ 表情を殺さない

既存のハンドサインや表情アニメーションとレイヤー混合。リップシンクが表情を上書きしないので、笑顔もドヤ顔も保ったまま歌えます。

■ あなたの環境に「追い込める」設計

歌う声も、流す曲も、人それぞれ。だから VRC SingAlong は固定の挙動を押し付けません。開口の感度・ゲイン、Attack / Release、ヒステリシス、RMSゲートまで、すべて UI 上のスライダーでリアルタイムに調整できます。

弾き語りのように歌と楽器が混ざる音源は、世の中のどんなツールでも難所です。本ツールはそこへ一段「判定」を挟むことで、これまで口が動かなかった場面を動かしにいきます。あなたのアバターと曲に合わせて、いちばん自然なところまで詰められます。

■ AIモデルの性能データ

膨大な楽曲データ（J-POP / K-POP 等）で学習・検証したモデルを搭載しています。

［ボーカル / 伴奏の判定］

学習 12,411,835 フレーム ／ 検証 2,610,661 フレーム

・全体正解率 86.2%

・人声キャッチ率(TPR) 87.3%

・伴奏の誤反応(FPR) 14.9%

［母音識別］

学習 372,800 サンプル ／ 検証 66,660 サンプル

・学習正解率 68.19%

・検証正解率 61.61% (5分類・偶然一致率 20%)

■ こんな人に

・ライブ／弾き語りで、配信音声に口を合わせたい

・自分は歌わず、ワールドの曲に合わせてアバターを歌わせたい

・VRChat内の演奏を動画に撮るとき、口の動かないアップを卒業したい

・実マイクでの生歌ライブにも、口パクの説得力を足したい

■ 動作環境・前提

これは Prefab を置くだけのアバター用アセットではなく、Windowsアプリとアバターギミックを組み合わせて使うツールです。アプリの起動・音声デバイス選択・OSC有効化・アバター側メニュー操作といった手順があります。

迷わないよう、すべての手順を同梱の README.txt にまとめています。

■ 同梱物

・VRC_SingAlong.exe（解析アプリ本体／学習済みAIモデル同梱・UIは多言語対応）

・VRC_SingAlong.unitypackage（アバター組み込み用）

・README.txt（導入手順・調整ガイド・トラブルシュート／日本語）

・LICENSE（利用規約＋同梱オープンソースのライセンス表示）

■ ライセンス・サポート（要点）

・購入者ご本人の個人利用。所有する複数アバター・複数PCへの導入OK。

・本ツールを使った配信／動画／イベント実演は、収益化を含めて自由です。

・本体・改変版・ソースコードの再配布／転売／譲渡はご遠慮ください。

・VRChatの仕様変更など不可抗力での動作不能時、即時修正は保証しかねます。

・デジタル商品の性質上、購入後の返品・返金には対応できません。

　詳細・第三者OSSの扱いは同梱の LICENSE.txt をご覧ください。

■ セキュリティについて

本体は Python 製アプリを Nuitka でコンパイルしたものです。個人開発のため法人向けコード署名証明書は導入しておらず、初回起動時に Windows SmartScreenの警告が表示される場合があります。

・外部サーバーへ音声や個人情報を送信する機能は実装していません。

・通信は、同一PC内の VRChat（127.0.0.1）への OSC（UDP）送信のみです。

・配布物にネットワーク用ライブラリは含みません。

・配布ZIP全体の SHA-256（改ざん検証用）：

　　VRC_SingAlong_V1.2.zip

　　SHA-256：3358e33e2570fc898b9a0fcd54ae52792a96c043ba5c5aaaf4bc7de221ee8d81

　お手元の zip を PowerShell の Get-FileHash で計算し、上記と照合できます。

・exe単体ではなく、配布ZIP全体（内部のDLL等を含む）を VirusTotal でスキャンした結果を公開しています。結果ページの「Details / Relations」から、展開された同梱ファイルもご確認いただけます。

https://www.virustotal.com/gui/file/3358e33e2570fc898b9a0fcd54ae52792a96c043ba5c5aaaf4bc7de221ee8d81

歌っている顔を、ちゃんと歌わせる。

セットアップで迷ったら、同梱の README.txt が手順を最後まで案内します。

Version

2026/05/17: V1.0 リリース

2026/05/31: V1.1 fix unitypackage: enable parameters synced.

2026/06/23: V1.2 不要ライブラリ削減で軽量化、ギミック最適化でアニメーション軽減、説明書(README)同梱・ライセンス整備も実施しました

2026/08/07: V2.0 AIモデルを全面刷新しました

・圧縮音源（YouTube / ストリーミング / MP3 等）での認識精度を大幅に改善。

従来は高音域が削られた音源で口が動きにくい問題がありました

・ジャンル切替（K-POP / J-POP / Mix）を追加。発話判定と母音判定の両モデルが同時に切り替わります

・J-POP楽曲を学習データに追加し、日本語曲での母音判定を強化

・判定に時間的な文脈を導入し、口の開閉の安定性を向上