Pika Musicモデル、共有潜在拡散デコーダで4つの入力モダリティを処理

Pika Musicモデルは、テキスト、歌詞、音声参照、音楽参照の4つの入力モダリティを、単独または組み合わせて受け付ける。これらの信号は、1つの共有潜在拡散デコーダ内で統合される。このデコーダは、別々のワークフローの連鎖を使用するのではなく、音楽構造、ボーカルの特性、文章による指示、参照の雰囲気を解決しながら、完全なトラックを生成する。

Pika Musicモデルは、テキスト、歌詞、音声参照、音楽参照の4つの入力モダリティを、単独または組み合わせて受け付ける。これらの信号は、1つの共有潜在拡散デコーダ内で統合される。このデコーダは、別々のワークフローの連鎖を使用するのではなく、音楽構造、ボーカルの特性、文章による指示、参照の雰囲気を解決しながら、完全なトラックを生成する。