XNews

YuE2:开源音乐生成模型,支持可编辑乐谱

YuE2:开源音乐生成模型,支持可编辑乐谱

YuE2 是由香港科技大学、纽约大学和斯坦福大学联合开发的开源音乐生成模型。它通过先创建可编辑的旋律与和弦乐谱,再生成人声和伴奏,从而根据歌词和风格描述创作歌曲。该模型支持翻唱转换和通过对话进行迭代编辑。需要配备24GB显存的Linux系统,输出48kHz立体声,且免费供个人使用。

Key insights

可编辑乐谱作为中间表示

YuE2 首先根据歌词和风格输入生成旋律与和弦乐谱,然后生成包含人声和伴奏的完整歌曲。中间的乐谱是可编辑的:用户可以更改和声、节奏或音符并重新生成。这使用户能够掌控音乐方向。翻唱歌曲可以通过将现有录音转录为乐谱,再应用新歌词或风格来创建。

性能与可用性

在内部评估中,YuE2 与 Suno v5 和 v6 竞争,README 指出最佳结果非常接近。它包含一个用于 Claude Code 的 Agent Skill,可直接调用该模型。该模型需要配备24GB显存NVIDIA GPU的Linux系统,输出48kHz立体声。它免费供个人和商业使用,生成的作品无需支付许可费。

Source posts