什么是SongBloom

SongBloom 是由腾讯 AI Lab、香港中文大学（深圳）和南京大学联合研发的一套全曲生成框架，旨在实现从文本描述（歌词）到完整音乐作品的高质量、全局连贯的自动创作。它在 2025 年的 NeurIPS 会议上正式发表，并已在 GitHub 上开源，代码与模型权重采用 Apache 2.0 许可证，供学术与工业界自由使用。

1. 核心理念与技术路线

• 交织生成范式：将歌曲生成过程拆分为交替的“草图生成”和“扩散细化”两个阶段。先用自回归 Transformer 生成音乐结构草图（包括旋律走向、节拍等宏观信息），再通过自回归扩散模型对音频细节进行高保真精炼，实现从粗到细的层次化创作。
• 自回归草图 + 扩散细化：草图阶段提供全局连贯性，扩散阶段提升局部音质与细节真实感，二者相互补充，克服了传统单一模型在长时序音乐生成中出现的“塑料感”或结构断裂问题。
• 块式生成：将歌词与音频序列划分为固定大小的块，模型在每一步生成当前块的草图和音频时，能够利用已生成块的双向上下文信息，保证语义对齐和音乐一致性。

2. 功能与使用场景

3. 关键技术组件

1. 自回归 Transformer 解码器：负责生成音乐草图的序列化表示，捕捉长时序依赖。
2. 非自回归扩散 Transformer：对草图进行音频细化，利用扩散过程提升细节保真度。
3. 音频编码器：将生成的离散音频块映射回波形，实现端到端的音频合成。

4. 实验结果与优势

• 客观指标：在公开数据集上，SongBloom 的 PER（音素错误率）显著低于基线模型，MCC（音乐一致性评分）更高。
• 主观评价：听感实验表明，受测者对 SongBloom 生成的歌曲在“自然度”“情感表达”和“整体连贯性”方面的满意度均超过现有开源模型，接近部分闭源商业模型。
• 跨模态兼容：能够在仅有简短音频提示的情况下，生成与提示音色相匹配的完整作品，展示了强大的跨模态学习能力。

5. 开源资源与使用指南

• 代码仓库：<https://github.com/tencent-ailab/SongBloom >（含完整训练/推理脚本）。
• 演示页面：<https://cypress-yang.github.io/SongBloom_demo >，可在线体验文本到歌曲的生成过程。
• 论文：arXiv 预印本《SongBloom: Coherent Song Generation via Interleaved Autoregressive Sketching and Diffusion Refinement》（2025）提供详细模型结构与实验细节。

6. 发展前景与挑战

• 可解释性：当前模型在生成过程的可解释性仍有限，未来可探索更透明的草图-音频映射机制。
• 多语言与多风格：虽然已支持中文歌词，进一步扩展至多语言、多文化音乐风格仍是重要方向。
• 伦理与版权：模型的高保真生成能力带来潜在的版权与伦理风险，需要在使用时遵守相应的法律法规与学术伦理。

总结：SongBloom 通过创新的交织生成框架，将自回归语言模型的全局结构优势与扩散模型的高保真细化能力相结合，实现了从歌词到完整歌曲的高质量自动创作。其开源、可复现的特性为音乐生成研究提供了重要的基准，也为实际的音乐创作、游戏配乐、广告音频等商业场景提供了可行的技术方案。