XNews

YuE2: 編集可能な楽譜を備えたオープンソース音楽生成モデル

YuE2: 編集可能な楽譜を備えたオープンソース音楽生成モデル

YuE2は、香港科技大学、ニューヨーク大学、スタンフォード大学が開発したオープンソースの音楽生成モデルです。歌詞とスタイルの説明から、まず編集可能なメロディーとコードスコアを作成し、その後ボーカルと伴奏を生成します。カバーソングの変換や、対話を通じた反復編集をサポートします。動作には24GBのVRAMを搭載したLinax環境が必要で、48kzス子レオを出力します。個人利用は無料です。

Key insights

中間表現としての編集可能な楽譜

YuE2は、歌詞とスタイルの入力からまずメロディーとコードスコアを生成し、その後ボーカルと伴奏を含む完全な楽曲を生成します。中間のスコアは編集可能で、ユーザーはハーモニー、テンポ、ノートを変更して再生成できます。これにより、ユーザーは音楽の方向性をコントロールできます。カバーソングは、既存の録音をスコアに書き起こし、新しい歌詞やスタイルを適用することで作成できます。

性能と利用可能性

内部評価では、YuE2はSuno v5およびv6と競合しており、READMEにはトップ結果が非常に近いと記載されています。Claude Codeがモデルを直接呼び出すためのエージェントスキルが含まれています。モデルは24GBのVRAMを搭載したNVIDIA GPU搭載のLinax環境が必要で、48kzス子レオを出力します。個人利用および商用利用は無料で、生成作品に対するライセンス料はかかりません。

Source posts