复合缩放是 EfficientNet 系列提出的一种系统化模型扩展方法，旨在在计算资源受限的情况下，同时平衡网络的 深度（depth）、宽度（width） 与 输入分辨率（resolution） 三个维度，从而获得更高的精度与更好的效率。
1. 背景与动机
传统的卷积神经网络（CNN）在放大模型时往往只在单一维度上进行：
这些做法往往导致 资源利用不均衡：仅加深网络会增加梯度传播难度，仅增宽会导致参数激增，仅提升分辨率会浪费算力。复合缩放的核心思想是 把这三个维度视为互补关系，统一进行比例放大，从而在相同 FLOPs 下获得更优的性能。
2. 公式与核心参数
复合缩放通过一个 复合系数 φ 来控制整体放大程度，并使用三个固定的比例系数 α、β、γ 分别分配给深度、宽度和分辨率。
3. 实际模型系列（EfficientNet‑B0~B7）
| 模型 | φ | depth (层数) | width (通道数) | resolution (输入尺寸) | 参数量 | FLOPs |
|---|---|---|---|---|---|---|
| B0 | 0 | 基线 | 基线 | 224×224 | 5.3 M | 0.39 B |
| B1 | 1 | 1.1× | 1.2× | 240×240 | 7.8 M | 0.70 B |
| B2 | 2 | 1.2× | 1.4× | 260×260 | 9.2 M | 1.0 B |
| … | … | … | … | … | … | … |
| B7 | 7 | 2.0× | 2.5× | 600×600 | 66 M | 37 B |
每提升一个 φ，深度、宽度、分辨率均按照上述比例同步放大，使得 模型在不同规模下都保持了较好的精度‑效率平衡。
4. 与单维度缩放的对比
- 单维度深度/宽度/分辨率放大：在 ImageNet 上的实验表明，单独放大任意一维度只能在特定 FLOPs 区间提升有限的 Top‑1 准确率。
- 复合缩放：在相同 FLOPs 条件下，所有实验模型（MobileNet、ResNet 等）均实现了 约 1‑2% 的额外 Top‑1 提升，且在更高 FLOPs 区间仍保持优势。
这说明 协同放大三维度 能更充分利用计算资源，避免了单维度放大带来的瓶颈。
5. 适用范围与延伸
- 模型迁移学习：EfficientNet‑B0~B7 已被广泛用于图像分类、目标检测、语义分割等任务，复合缩放的思路也被迁移到 EfficientDet、EfficientNet‑V2 等后续架构中。
- 跨领域扩展：在医学影像、遥感、视频分析等需要高分辨率输入的场景，复合缩放通过提升分辨率而不显著增加 FLOPs，提升了细粒度特征捕获能力。
- 硬件适配：不同 φ 对应的模型可根据 移动端、边缘设备、服务器 的算力限制灵活选取，实现“一套架构，多种规模”的部署策略。
6. 实现要点（实践指南）
| 步骤 | 操作要点 |
|---|---|
| 1️⃣ 确定基线模型 | 以 EfficientNet‑B0 为基准，获取 α、β、γ（常用值 α≈1.2，β≈1.1，γ≈1.15） |
| 2️⃣ 设定 φ | 根据目标 FLOPs 或硬件预算选择 φ（如 φ=2 对应约 1 B FLOPs） |
| 3️⃣ 计算新尺度 | 使用公式算出新的 depth、width、resolution |
| 4️⃣ 调整网络结构 | 按新尺度重新构建 MBConv 块的层数、通道数，并相应放大输入尺寸 |
| 5️⃣ 训练/微调 | 采用相同的训练超参或使用 AutoAugment、Label‑Smoothing 等技巧提升收敛速度 |
| 6️⃣ 验证与调优 | 在验证集上检查 FLOPs 与精度是否符合预期，必要时微调 α、β、γ 的比例 |
7. 小结
复合缩放是一种 系统化、可量化 的模型扩展方法，通过统一放大深度、宽度和分辨率，实现了在 相同计算预算下更高的准确率。它的提出不仅推动了 EfficientNet 系列的成功，也为后续的网络设计提供了 “平衡三维度、统一放大” 的通用思路，已在众多视觉任务和不同硬件平台上得到验证与应用。
声明：文章均为AI生成，请谨慎辨别信息的真伪和可靠性！