分类器引导是一种在扩散模型（Diffusion Model）采样阶段加入外部分类器信息的技术，旨在让生成过程更符合指定的类别或属性，从而提升样本的质量和可控性。它最早在 OpenAI 的《Diffusion Models Beat GANs on Image Synthesis》论文中提出，并在后续的多模态生成系统（如 Stable Diffusion）中得到广泛应用。
1. 背景与动机
- 扩散模型的生成流程：模型通过逐步去噪（从噪声到清晰图像）学习数据分布的逆过程。
- 可控生成的需求：仅靠无条件扩散模型难以保证生成结果落在特定类别或满足特定属性。
- 引入分类器：在采样时利用已训练好的分类器对当前噪声图像的类别概率梯度进行调节，使生成轨迹向目标类别靠拢。
2. 工作原理
采样过程
- 预训练：先独立训练一个扩散模型和一个在噪声图像上也能工作的分类器（需在不同噪声水平上进行训练）。
- 梯度计算：在每一步采样时，计算分类器对当前噪声图像的梯度。
- 融合更新：将梯度乘以引导强度（guidance scale） 后加入扩散模型的去噪预测，得到修正后的采样均值。
- 继续采样：重复上述步骤直至得到最终图像。
3. 优势
| 方面 | 说明 |
|---|---|
| 提升真实性 | 通过分类器梯度将采样轨迹推向目标类别，提高生成图像的细节和语义一致性 |
| 可控性强 | 只需改变目标标签或调节 ，即可实现不同类别或属性的切换 |
| 兼容性好 | 可以在已有的扩散模型上直接使用，无需重新训练生成模型本身 |
| 加速采样 | 在某些实现中，分类器引导还能减少所需的采样步数，从而提升效率 |
4. 局限与挑战
- 额外模型开销：需要额外训练并存储一个噪声条件下的分类器，增加计算和存储成本。
- 多样性下降：过大的 会导致生成样本过于单一，失去分布覆盖能力。
- 训练难度：分类器必须在不同噪声水平上保持鲁棒，需要专门的数据增强和训练策略。
- 依赖标签质量：若标签噪声大或类别不平衡，分类器引导的效果会受限。
5. 变体与衍生技术
| 变体 | 核心思想 | 代表工作 |
|---|---|---|
| Classifier‑Free Guidance (CFG) | 同时训练有条件和无条件的扩散模型，在采样时线性组合两者的得分，无需额外分类器 | |
| CLIP Guidance | 用 CLIP 模型的文本‑图像对齐特性代替传统分类器，实现文本到图像的引导 | |
| Dynamic Negative Guidance | 通过负向引导（Negative Prompt）让模型远离不希望出现的属性，提升安全性 | |
| Supervised Learning based Controllable Diffusion (SLCD) | 在线生成数据并训练小型分类器，实现高效可控生成 |
6. 应用场景
- 文本‑图像生成：如 Stable Diffusion 通过 CFG 实现高质量的文本条件生成。
- 属性控制：在图像合成中指定颜色、形状、风格等属性（如“生成一只猫”）。
- 医学影像：利用分类器引导提升特定病灶的可视化质量。
- 机器人设计：在生成机械臂几何形状时，将设计目标作为分类器引导的条件。
7. 小结
分类器引导通过在扩散采样阶段加入外部分类器的梯度信息，使生成过程能够主动向目标类别或属性靠拢，显著提升了生成样本的真实性和可控性。虽然需要额外的分类器训练并可能牺牲一定的多样性，但其简单高效的实现方式使其成为当前扩散模型体系中最常用的条件生成手段之一。随着 Classifier‑Free Guidance、CLIP Guidance 等衍生技术的出现，行业正逐步向更少依赖外部分类器、更加统一的可控生成框架演进。
声明：文章均为AI生成，请谨慎辨别信息的真伪和可靠性！