ACE Studio 联合 StepFun 开源了音乐生成基础模型 ACE-Step 1.5

你有没有想过这样一个问题：为什么 AI 音乐生成总是“高高在上”？
不是说它做不出好听的歌，而是要么需要昂贵的云端 API 调用，要么需要专业级显卡才能跑起来。想在自己电脑上生成一首完整的歌曲？对不起，32GB 显存起步，生成时间按分钟计算，普通创作者只能望而却步。
这种“技术壁垒”，让 AI 音乐创作始终停留在少数人的游戏里。
近日，ACE Studio 联合 StepFun 开源了音乐生成基础模型ACE-Step 1.5，彻底打破了这道墙。这个模型不仅在 A100 上 2 秒内生成 4 分钟完整歌曲，在消费级 RTX 3090 上也只需 10 秒，显存占用稳定控制在4GB 以内。更重要的是，它采用MIT 开源协议，可免费商用，并且在常用评测指标上的表现已经超越了大多数商业音乐模型。
告别“云端依赖”：消费级硬件上的专业级创作

传统的 AI 音乐生成，要么像 Suno、Udio 这样依赖云端 API，要么需要高端显卡才能本地运行。即使是开源模型，动辄也要 16GB 以上显存，生成一首歌需要几分钟甚至更久。
而 ACE-Step 1.5 实现的是真正的本地化、轻量化、商业级音乐生成。
想象这样一个场景：你在咖啡馆用笔记本电脑，突然有了创作灵感。打开 ComfyUI，输入一段文字描述和歌词，10 秒后，一首完整的、带人声演唱的 4 分钟歌曲就生成了。音质、旋律、编曲、人声表现力，都达到了专业水准。
这不是科幻，而是 ACE-Step 1.5 在 RTX 3090 上的真实表现。如果换成 A100，这个时间会缩短到 2 秒。显存占用？稳定在 4GB 以内，连游戏本都能轻松运行。citationcitation
更重要的是，这种“平民化”不是以牺牲质量为代价的。在盲测 A/B 对比中，ACE-Step 1.5 的主观质量介于 Suno v4.5 和 Suno v5 之间，在音乐连贯性评分上达到了4.72 分，证明亚秒级生成并没有损害音乐的美学保真度。
混合架构：让 AI 既会“规划”又会“执行”

混合推理-扩散架构（Hybrid Reasoning-Diffusion Architecture)。这种架构将音乐生成拆解为两个协同工作的组件:
语言模型（LM）担任“音乐规划师”：它负责将用户输入的自然语言提示解析为结构化的歌曲蓝图。这个过程包括理解歌词含义、确定音乐风格、规划歌曲结构（intro、verse、chorus、bridge 等）、分配乐器编排，甚至推断合适的调式和节奏型。
扩散 Transformer(DiT）作为“声学渲染引擎”：它负责将蓝图高保真地转化为音频波形。通过仅需 4-8 步的蒸馏推理策略，DiT 能够在保证音质的同时实现极速生成。
这种“分工协作”的设计，让 ACE-Step 1.5 实现了四种独特的交互模式：

• Planner Mode（规划师模式）：将模糊的用户提示转化为具体的结构蓝图和音频代码
  
• Listener Mode（倾听者模式）：通过逆向工程从音频代码中提取字幕和歌词，展示语义理解能力
  
• Co-Pilot Mode（副驾驶模式）：作为创意助手，将简单查询扩展为完整的歌曲结构
  
• Refiner Mode（精炼师模式）：标准化和优化用户输入，最大化下游 DiT 的性能
  

 

 
这种架构的优势不仅在于速度，更在于可控性。用户可以精确控制音乐风格、调式、节奏、情绪，甚至可以使用专业音乐术语（如“Dorian 调式”、“swing feel”、“staccato strings”）来指导生成，实现零样本音色迁移和强约束下的风格一致性保持。citation
数据基建：2700 万样本的高质量语料库

模型能力的背后，是扎实的数据基础设施。ACE-Step 1.5 构建了一个包含2700 万样本的高质量语料库，覆盖2000+ 音乐风格和50+ 语言。
为了消除幻觉并提高遵循度，团队训练了专门的奖励模型，在 400 万合成负样本对上进行强化学习，然后用这个经过 RL 增强的管道标注整个语料库，最后进行严格的过滤。
这种“数据驱动”的方法，确保了模型在理解和生成音乐时的准确性。无论是流行、摇滚、爵士、古典，还是电子、嘻哈、民谣，ACE-Step 1.5 都能准确把握风格特征，生成符合预期的音乐作品。
更重要的是，整个训练数据集完全由免版税、非版权材料组成，这意味着用户可以放心地将生成的音乐用于商业用途，而不用担心版权纠纷。citation
全链路音频编辑：不只是“生成”，更是“创作”

ACE-Step 1.5 不仅仅是一个“文本生成音乐”的工具，它提供了六大实用编辑模式，赋予创作者对音频素材的深度再塑权：

• 音频重绘（Inpainting）：替换歌曲中的某个片段，保持前后连贯
  
• 跨歌手翻唱：将一首歌的人声替换为不同风格的演唱
  
• 人声提取为伴奏：自动分离人声和伴奏，生成纯音乐版本
  
• 音轨智能分离：将混音分解为独立的乐器轨道
  
• 多层叠加编曲：在现有音乐基础上添加新的乐器层
  
• 智能续写补全：基于已有片段自动生成后续内容
  

这些功能的组合，让 ACE-Step 1.5 从一个“生成器”变成了一个“创作平台”。你可以先生成一个基础版本，然后通过重绘修改不满意的段落，通过翻唱尝试不同的演唱风格，通过续写扩展歌曲长度，通过叠加编曲丰富音乐层次。
整个创作过程变得像使用 Photoshop 编辑图片一样灵活和直观。citation
轻量个性化：数首参考曲目即可定制专属风格

传统的音乐模型微调，往往需要大规模数据集和长时间训练。而 ACE-Step 1.5 支持轻量级 LoRA 微调，用户仅需几首参考曲目，就能在数分钟内完成个人风格模型定制。
想要复刻某个特定歌手的音色？提供几首 ta 的歌曲作为参考，训练一个 LoRA 模型，就能让 AI 以这种音色演唱任何歌词。
想要创建一个独特的音乐风格？收集几首符合这种风格的作品，微调模型，就能让 AI 按照这个风格生成新的音乐。
这种“低门槛、高自由度”的个性化能力，让每个创作者都能拥有自己的“专属 AI 音乐人”。无需专业的音乐制作知识，无需昂贵的录音设备，只需要创意和几首参考歌曲。citation
多语言支持：打破语言边界的全球化创作

ACE-Step 1.5 兼容50 余种语言的歌词演唱能力，从英语、中文、日语、韩语，到西班牙语、法语、德语、阿拉伯语，甚至包括一些小语种。
这意味着，无论你的母语是什么，无论你想创作哪种语言的歌曲，ACE-Step 1.5 都能准确理解歌词含义，并以自然、流畅的发音演唱出来。
更重要的是，模型在训练时特意避免了“英语中心主义”的偏见。每种语言都得到了充分的训练数据支持，确保生成质量的一致性。这种“语言平等”的设计理念，让 AI 音乐创作真正成为一个全球化的工具。
开源生态：ComfyUI 集成与跨平台支持

 

 
ACE-Step 1.5 已经集成到ComfyUI中，这个广泛使用的节点式生成工作流环境，让用户可以轻松组装、测试和复用音乐生成流程。
此外，模型还获得了AMD Ryzen AI 处理器和 Radeon 显卡的官方支持，通过 AMD ROCm 软件优化，确保在 AMD 平台上也能获得出色的性能。citation
采用MIT 开源协议，意味着 ACE-Step 1.5 可以自由用于商业用途，无需支付授权费用。这种开放的态度，正在构建一个由开发者、音乐人、创业者共同参与的 AI 音乐创作生态。
从独立音乐人的个人创作，到游戏、视频的配乐制作，从广告音乐的快速定制，到音乐教育的辅助工具，ACE-Step 1.5 正在让 AI 音乐创作从“少数人的特权”变成“人人可用的工具”。
应用场景：从个人创作到商业制作

得益于轻量化部署和商业级质量，ACE-Step 1.5 的应用场景极其广泛：
 

 
独立音乐人：快速生成 demo，尝试不同的编曲风格，或者为歌词创作配乐参考。即使没有专业的编曲能力，也能将创意转化为完整的音乐作品。
内容创作者：为视频、播客、直播生成背景音乐。不用担心版权问题，不用花钱购买音乐库，几秒钟就能生成符合内容调性的原创配乐。
游戏开发者：根据游戏场景动态生成音乐。不同的关卡、不同的情绪、不同的战斗强度，都可以实时生成匹配的背景音乐，让游戏体验更加沉浸。
广告制作：快速定制符合品牌调性的广告音乐。客户要求修改？几分钟就能生成新版本，大大缩短制作周期。
音乐教育：让学生通过 AI 辅助学习作曲、编曲、配器。输入不同的和弦进行、旋律片段，听听 AI 会如何发展，从中学习音乐创作的逻辑。
这些场景的共同特点是：需要快速、灵活、高质量、可商用的音乐生成能力，而这正是 ACE-Step 1.5 的核心优势。
技术对比：真正的 Suno 本地化替代

在 Reddit 等社区的讨论中，许多用户将 ACE-Step 1.5 与 Suno 进行对比。虽然在某些细节上 Suno 可能仍有优势，但 ACE-Step 1.5 的本地化部署、开源协议、可定制性，让它成为真正的“本地化 Suno 替代方案”。
一位用户评论道：“我通常使用 Riffusion/Producer.ai，但我必须说，Ace 的质量是可比的。”另一位用户则表示：“我真的很喜欢创作歌曲作为爱好，任何有基本音乐知识的人都可以使用这个模型并制作出专业质量的作品。我非常感谢 Ace-step 团队。”citationcitation
更重要的是，ACE-Step 1.5 的开源特性，意味着社区可以在此基础上继续创新。从更好的提示词工程，到新的编辑功能，从特定风格的微调模型，到与其他 AI 工具的集成，整个生态正在快速发展。
总结： ACE-Step 1.5 不仅是一个技术突破，更是一个信号——AI 音乐创作的未来不是“云端垄断”，而是“本地民主化”。从 4GB 显存到商业级质量，从文本生成到全链路编辑，从单一风格到 50+ 语言，ACE-Step 1.5 正在重新定义“人人都能创作音乐”的边界。
ACE Studio 和 StepFun 用一个开源模型证明：音乐创作的门槛不应该由硬件和成本决定，而应该由创意和热情决定。这个“音乐民主化”的工具，或许将引爆一场 AI 音乐创作的革命。
OpenCSG社区：https://opencsg.com/models/AIWizards/Ace-Step1.5
hf社区：https://huggingface.co/ACE-Step/Ace-Step1.5
 
关于 OpenCSG
OpenCSG是全球领先的开源大模型社区平台，致力于打造开放、协同、可持续生态，AgenticOps是人工智能领域的一种AI原生方法论，由OpenCSG（开放传神）提出。AgenticOps是Agentic AI的最佳落地实践也是方法论。核心产品 CSGHub 提供模型、数据集、代码与 AI 应用的 一站式托管、协作与共享服务，具备业界领先的模型资产管理能力，支持多角色协同和高效复用。

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！