YuE2:开源音乐生成模型

YuE2是一款来自香港科技大学、纽约大学和斯坦福大学的开源音乐生成模型,能够根据歌词和风格描述生成歌曲。它首先生成可编辑的旋律与和弦乐谱,随后生成人声和伴奏。该模型支持翻唱歌曲及通过对话进行迭代优化。
Key insights
YuE2生成可编辑的中间乐谱供用户控制
与黑盒音乐生成不同,YuE2生成可见且可编辑的乐谱(旋律与和弦),用户可在最终生成前进行修改。用户可以更改和声、节奏或音符并重新生成。该模型还支持翻唱歌曲:将现有录音转换为乐谱,然后生成具有不同歌词或风格的新版本。
与Suno v5/v6竞争,免费用于个人和商业用途
在内部评估中,YuE2与Suno v5和v6竞争激烈,README指出排名靠前的几个模型非常接近。该模型需要Linux系统及24GB显存的NVIDIA GPU,输出48kHz立体声。它免费用于个人和商业用途,包括将生成作品商业化。