一、应用介绍
ComfyUI ACE-Step是一款专为ComfyUI打造的强大音乐生成插件，为音乐创作带来了全新的可能性。
- 多风格音乐生成：能够生成各种主流音乐风格，涵盖流行、摇滚、古典、爵士、电子等多种类型。比如可以轻松创作出具有复古风格的80年代流行曲，或是充满未来感的电子音乐。
- 特定场景音乐制作：适用于不同场景的音乐制作需求。如为电影、游戏中的紧张追逐场景生成节奏紧凑、充满张力的音乐；为浪漫的爱情场景创作舒缓、柔情的背景音乐。
- 多语言歌词支持：支持19种语言的歌词输入，创作者可以用中文、英文、日文等多种语言输入歌词来生成歌曲，例如创作一首中文的古风歌曲，或是英文的民谣。
- 个性化音乐定制：通过调整参数和输入不同的文本描述，实现音乐的个性化定制。如根据用户对乐器组合、节奏快慢、旋律走向等要求，生成独一无二的音乐作品。
二、与传统方法对比
| 对比项目 | 传统方法 | ComfyUI ACE - Step |
|---|---|---|
| 创作速度 | 通常较慢，从构思到完成一个音乐作品需要较长时间，涉及作曲、编曲、录制、混音等多个环节，每个环节都需要耗费大量时间和精力 | 借助先进的模型和算法，生成速度快，如在A100 GPU上，仅需20秒就能合成长达4分钟的音乐 |
| 创作门槛 | 需要创作者具备专业的音乐理论知识、乐器演奏技能以及丰富的创作经验，还需要掌握专业的音乐制作软件和设备 | 无需深厚的音乐专业知识和技能，只需输入文本提示和相关参数，即可生成音乐，降低了创作门槛 |
| 创意实现 | 受限于创作者的个人经验和技能，以及传统音乐制作工具的功能，创意的实现可能会受到一定限制 | 基于强大的AI模型，能够根据文本提示生成丰富多样的音乐创意，为创作者提供更多的灵感和可能性 |
| 音乐质量 | 依赖于创作者的水平、制作设备和软件的质量，质量参差不齐 | 通过先进的技术和模型训练，能够生成高质量的音乐，在旋律、和声、节奏等方面具有较好的连贯性和表现力 |
三、插件下载地址和安装方法
- 下载地址：billwuhao/ComfyUI_ACE - Step on GitHub
- 安装方法
- 进入
comfyui/custom_nodes目录。 - 执行
pip install -r requirements.txt安装依赖。 - 也可使用
./python_embeded/python.exe -m pip install -r requirements.txt安装。 - 手动下载模型并放置在
models/tts/ace-step-v1-3.5b目录。
- 进入
四、需要的模型及下载地址
- 模型：ACE - Step模型
- 下载地址：Comfy - Org/ACE - Step_ComfyUI_repackaged on Hugging Face，下载后放置在
comfyUI/models/checkpoint目录。
ACE-Step-v1-3.5B
│
├─ace_step_transformer
│ config.json
│ diffusion_pytorch_model.safetensors
│
├─music_dcae_f8c8
│ config.json
│ diffusion_pytorch_model.safetensors
│
├─music_vocoder
│ config.json
│ diffusion_pytorch_model.safetensors
│
└─umt5-base
config.json
model.safetensors
special_tokens_map.json
tokenizer.json
tokenizer_config.json
五、插件包含的节点名称
- TextEncodeAceStepAudio：处理文本输入以指导ACE - Step音乐生成。
- KSampler：控制ACE - Step中的扩散采样过程。
- EmptyAceStepLatentAudio：初始化音频生成空间。
- VAEDecodeAudio：将潜在表示解码为可听格式。
- SaveAudio：输出最终的ACE - Step音频结果。
六、关键插件参数用途和推荐值
- TextEncodeAceStepAudio节点
- clip：用于风格描述、流派和情绪的文本字段。推荐值：详细描述音乐风格，如“欢快的流行风格，带有复古的合成器音效”。
- lyrics：带有可选结构标签的歌词文本字段。推荐值：按照歌曲结构和韵律填写完整的歌词内容。
- lyrics_strength：控制歌词对生成的影响强度，默认值1.00。推荐值：根据需要调整，若希望歌词对旋律影响大，可设为1.2-1.5；若希望旋律更自由，可设为0.8-0.9。
- KSampler节点
- sampler_name：用于采样的算法，推荐res_multistep。
- scheduler：噪声计划类型，推荐simple。
七、节点工作流参考案例
文生音乐
音乐改编
八、ACE-Step 提示词指南
ACE 的提示词目前使用的有两个，一个是 tags 一个是 lyrics。
- tags： 主要用来描述音乐的风格、场景等, 和我们平常其它生成的 prompt 类似，主要描述音频整体的风格和要求，使用英文逗号分隔
- lyrics： 主要用来描述歌词，支持歌词结构标签，如 [verse]（主歌）、[chorus]（副歌）和 [bridge]（过渡段）来区分歌词的不同部分，也可以在纯音乐情况下输入乐器名称
对应的 tags 和 lyrics 在 ACE-Step 模型主页 中可以找到丰富的示例,你可以参考对应示例来尝试对应的提示词，本文档的提示词指南基于项目做了一些整理，以便让你能够快速尝试组合，来达到最想要的效果
一、tags标签(prompt)
主流音乐风格
使用简短标签组合，来生成特定风格的音乐
electronic（电子音乐）
rock（摇滚）
pop（流行）
funk（放克）
soul（灵魂乐）
cyberpunk（赛博朋克）
Acid jazz（酸爵士）
electro（电子）
em（电子音乐）
soft electric drums（软电鼓）
melodic（旋律）
场景类型
结合具体使用场景和氛围，生成符合对应氛围的音乐
background music for parties（派对背景音乐）
radio broadcasts（电台广播音乐）
workout playlists（健身播放列表音乐）
乐器元素
saxophone,
azz（萨克斯风、爵士）
piano, violin（钢琴、小提琴）
人声类型
female voice（女声）
male voice（男声）
clean vocals（纯净人声）
专业用语
使用音乐中常用的一些专业的用词，来精准控制音乐效果
110 bpm（每分钟节拍数为110）
fast tempo（快节奏）
slow tempo（慢节奏）
loops（循环片段）
fills（填充音）
acoustic guitar（木吉他）
electric bass（电贝斯）
二、歌词（lyrics）
歌词结构标签
[intro] (前奏)
[verse] (主歌)
[pre-chorus] (导歌)
[chorus] (副歌/合唱)
[bridge] (过渡段/桥段)
[outro] (尾声)
[hook] (钩子/主题旋律)
[refrain] (重复段落)
[interlude] (间奏)
[breakdown] (分解段)
[ad-lib] (即兴段落)
多语言支持
ACE-Step V1 是支持多语言的，实际使用的时候 ACE-Step 会获取到对应的不同语言转换后的英文字母，然后进行音乐生成。
在 ComfyUI 中我们并没有完全实现全部多语言到英文字母的转换，目前仅实现了日语平假名和片假名字符 所以如果你需要使用多语言来进行相关的音乐生成，你需要首先将对应的语言转换成英文字母，然后在对应 lyrics 开头输入对应语言代码的缩写，比如中文[zh] 韩语 [ko] 等
比如：
目前 ACE-Step 支持了 19 种语言，但下面十种语言的支持会更好一些：
English
Chinese: [zh]
Russian: [ru]
Spanish: [es]
Japanese: [ja]
German: [de]
French: [fr]
Portuguese: [pt]
Italian: [it]
Korean: [ko]
九、总结
ComfyUI ACE - Step插件为音乐创作带来了极大的便利和创新，它打破了传统音乐创作的限制，让更多人能够轻松参与到音乐创作中来。无论是专业音乐制作人还是音乐爱好者，都可以利用该插件快速生成高质量、多样化的音乐作品。通过简单的文本输入和参数调整，就能实现丰富的音乐创意，为音乐创作领域注入了新的活力。同时，其支持多语言歌词输入和多种音乐风格生成的特点，也使得音乐创作更加多元化和个性化。随着技术的不断发展，相信ComfyUI ACE - Step插件将会在音乐创作领域发挥越来越重要的作用，为用户带来更多的惊喜和创作乐趣。
扫一扫
2274
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
