Meta、米国のMuseアプリでMuse Realtime Avatarを展開

Metaは、Muse Realtime Voiceを表現力豊かでインタラクティブなアバターに変えるリアルタイム具現化技術「Muse Realtime Avatar」を、米国のMuseアプリでリリースした。このシステムは、共有された音声トークンストリームから同期した顔、手、全身の動きを生成し、会話のターンを通じて外見と所作の一貫性を保つ。
イベントのバージョン 1.
Key insights
共有トークンストリームが音声と視覚を同期
Muse Realtime Voiceは、内容と話し方の両方を運ぶ音声トークンのストリームを生成する。Muse Realtime Avatarは同じストリームを消費して対応する視覚的パフォーマンスを生成し、音声、唇の動き、表情を同期させる。
音声駆動型Diffusion Transformerアーキテクチャ
Muse Realtime Avatarは、音声トークンストリーム、参照メディア、直近のビデオ潜在変数のローリングウィンドウを条件とする音声駆動型Diffusion Transformerである。短い因果的チャンクでビデオを生成し、計算量を抑えつつ外見と所作を引き継ぐ。
蒸留により推論を60倍削減
40の拡散ステップと三者間のclassifier-freeガイダンスを用いる高品質な双方向ティーチャーは、チャンクあたり120回のモデル評価を必要とする。蒸留された2ステップのスチューデントはこれを2回のガイダンスなし評価で再現し、60倍の削減を実現しながらティーチャーの品質をほぼ維持する。
任意の参照画像がライブキャラクターに
参照メディアを条件として、アバターは写真ポートレート、全身イラスト、動物、日常の物体を、表現力豊かな顔、手、全身の動きを伴うライブ会話に持ち込む。