A2F Live Console

複数マイク対応 Audio2Face／VMC・OSCリップシンクツール

A2F Live Consoleは、複数人のマイク音声をNVIDIA Audio2Faceで同時処理し、アバター用の表情データをOSCで送信するWindowsアプリです。

出演者ごとにマイク、入力チャンネル、Audio2Face、OSC送信先を設定できます。ローカル版では1つのAudio2Faceモデルを共有し、最大8入力まで処理します。

複数人でのVTuber配信、トーク番組、モーションキャプチャー収録などを想定しています。

主な機能

- 最大8チャンネルの音声を同時処理

- WDM／WASAPI対応

- ASIO対応ビルドを利用可能

- NVIDIA Audio2Face Local SDK対応

- Audio2Face-3D NIMへのgRPC接続

- ARKit 52 BlendShape出力

- A、I、U、E、Oの連続ウェイト出力

- VMC Protocol対応

- RNNoiseによるチャンネル別ノイズ抑制

- プリセット保存

- OSC Monitor

- Audio2Faceなしで接続を確認できるMockモード

詳細

OSC出力

チャンネルごとに次の形式を選べます。

- Native OSC

- VMC VRM0

- VMC VRM1

- VMC PerfectSync

- VMC Both

Native OSCでは、ARKit 52、AIUEO、または両方を出力できます。

VMC Bothでは、PerfectSyncのBlendShapeとAIUEOを同じフレームで送信します。

AIUEO判定

Audio2Faceの口周辺BlendShapeとマイク音声の音響特徴を組み合わせ、A、I、U、E、Oを連続値で出力します。

これは文章や発音内容を認識する音声認識機能ではありません。アバターの口形状を動かすためのリアルタイム判定です。

ノイズ抑制

RNNoiseをAudio2Faceの前段に入れています。

抑制量は出演者ごとに調整可能です。背景ノイズを自動学習し、話していないときのAIUEO出力を滑らかに0へ戻します。推奨設定は35〜45%です。

プリセットとモニター

複数チャンネルの設定をまとめてプリセットとして保存できます。

OSC Monitorでは、実際に送信したアドレス、BlendShape名、値、送信先をアプリ内で確認できます。受信側で表情が動かないときの切り分けにも使えます。

動作環境

Windows 10／11

NVIDIA GPU

VRAM 4GB以上を推奨

Microsoft Edge WebView2 Runtime

インターネット接続（初回セットアップ時）

Local SDKを使う場合、初回起動時に使用中のGPU向けTensorRTエンジンを生成します。

この処理では約1.5GBの準備データをダウンロードします。回線速度とPC性能によって、完了まで5〜20分ほどかかります。生成後はローカルに保存され、通常は2回目以降の起動で再生成しません。

外部のAudio2Face-3D NIMへ接続する場合は、別途NIMを実行できる環境が必要です。

アップデート履歴

[2026-08-25: v0.1.0] release