XNews

YuE2: オープンソースの音楽生成モデル

YuE2: オープンソースの音楽生成モデル

YuE2は、香港科技大学、ニューヨーク大学、スタンフォード大学によるオープンソースの音楽生成モデルで、歌詞とスタイルの説明から楽曲を生成します。まず編集可能なメロディーとコードのスコアを作成し、その後ボーカルと伴奏を生成します。カバーソングや対話による反復的な改良にも対応しています。

Key insights

YuE2は編集可能な中間スコアを生成、ユーザーによる制御を実現

ブラックボックス型の音楽生成とは異なり、YuE2は可視化され編集可能なスコア(メロディーとコード)を生成し、ユーザーは最終生成前にこれを修正できます。ユーザーはハーモニー、テンポ、音符を変更して再生成できます。また、このモデルはカバーソングにも対応しており、既存の録音をスコアに変換し、異なる歌詞やスタイルで新しいバージョンを生成します。

Suno v5/v6と競合、個人・商用利用無料

内部評価では、YuE2はSuno v5およびv6と拮抗しており、READMEには上位のモデル間の差は非常に小さいと記載されています。このモデルは24GB VRAMのNVIDIA GPUを搭載したLinux環境を必要とし、48kHzステレオで出力します。個人利用および商用利用(生成作品の収益化を含む)は無料です。

Source posts