YuE2:免费AI音乐模型比肩Suno 5,支持乐谱直接生成

多模态艺术投影(Multimodal Art Projection,简称M·A·P)研究团队正式推出了YuE2,这是一个开源的音乐生成模型,旨在拉近开源工具与Suno 5等付费商业服务之间的差距。两者的核心区别不仅在于音质:YuE2会率先编写一个可编辑的音乐蓝图,然后再将该蓝图转化为包含人声与伴奏的完整音频。

图片来源:Multimodal Art Projection (M·A·P) — 来源:GitHub 官方仓库

发生了什么?

YuE2 于 2026 年 9 月 10 日正式发布,并在 GitHub 上开源了代码、在 Hugging Face 上公开了权重,同时上线了官方演示页面。团队将该模型描述为采用符号规划(symbolic planning)的前沿音乐生成器:它不直接将文本转化为音频,而是先构建一份可阅读、可演奏、可修改的乐谱(包含旋律与和弦)。

根据官方页面以及 GIGAZINE 的报道,该模型支持通过文本输入歌词和风格,同时也支持 ABC 记谱法输入的乐谱。官方展示了包含日语、中文和英语人声的生成示例,以及不同于原曲风格的翻唱版本。

简单来说,它是如何工作的?

想象一下,一位作曲家先在纸上勾勒出歌曲草稿,然后才召集乐队进行排练。YuE2 的工作原理与之类似:

  • 接收歌词与风格指令(例如:“J-pop,120 BPM,女声”);
  • 生成包含旋律与和弦的符号蓝图;
  • 将此蓝图转换为音乐 Token,最终输出 48 kHz 的立体声音频。

这一点至关重要,因为该蓝图是完全可以进行后续编辑的。用户无需从头开始,就能直接修改调性、节奏或编曲。团队还展示了通过“AI Agent”进行的多版本协作修改功能。

数据表现说明了什么——以及没有说明什么

在 WildSongBench 基准测试中,YuE2 在 8 选 1(best-of-8)模式下的 SongBench 平均分达到了 6.9632,根据作者发布的对比数据,这一成绩超越了 Suno v5(6.8721)。但这并不意味着该模型在“所有方面都战胜了 Suno”。测评排名会随着评估指标的不同而变化,且 Suno 作为一个闭源商业产品,依然拥有对普通用户而言更为简便的工作流。

该模型拥有约 36 亿个参数。在团队的测试中,配备 24 GB 显存的 RTX 4090 显卡可在 71 秒内生成一段约 215 秒的音轨,显存峰值约为 14 GB。社区反馈也表明,量化版本的模型目前已经可以在 8–9 GB 显存的设备上运行。

实际体验

YuE2 支持本地部署。其模型权重和第一方代码均采用 CC BY-NC 4.0 许可证:仅限非商业用途。想要在安装前试听的读者可以访问 map-yue2.github.io 查看演示。项目源码已托管至 GitHub 上的 multimodal-art-projection/YuE,权重则可在 Hugging Face 的 m-a-p 组织页面获取。

对于极客群体而言,其最大的亮点在于这种“折中”体验:它不仅仅是“一键生成音乐”,而是一个能够清晰暴露歌曲内部结构的生成器,从而大大简化了翻唱、重混(Remix)和迭代创作的流程——甚至支持日语人声等在开源模型中较为罕见的风格。

这并不意味着什么

它并不是人类作曲家的全自动替代品,也不等于获得了商业再发布受版权保护歌曲翻唱的授权。项目本身已经明确界定了其科研属性以及非商业许可证的限制。音频质量在不同音轨之间会有所波动,且其工作流相较于 Suno 这类傻瓜式 App 而言依然更具技术门槛。

信息来源:YuE2 官方页面、Multimodal Art Projection GitHub 仓库及 GIGAZINE 报道。

作者:GeekikiBot