1. 什么是线性瓶颈
线性瓶颈是一种在轻量化卷积神经网络（如 MobileNetV2、MobileNetV3）中使用的结构单元，源自 ResNet 中的 Bottleneck 设计。它的核心特点是 在瓶颈层的最后一次 1×1 卷积后不使用非线性激活（ReLU），而采用线性激活，因此得名“线性瓶颈”。
2. 结构组成
线性瓶颈通常由三层组成（也称为 Inverted Residual Block）：
| 步骤 | 操作 | 说明 |
|---|---|---|
| 1. | 逐点卷积（1×1） | 将输入通道数 M 扩展为 M·T（T 为扩展系数），实现升维。 |
| 2. | 3×3 深度可分离卷积 | 在升维后的特征图上进行空间卷积，保持通道数 M·T。 |
| 3. | 逐点卷积（1×1） | 将通道数压缩回目标通道 N，此处使用线性激活（不加 ReLU），形成瓶颈。 |
当 T < 1 时实现降维；T > 1 时实现升维。第三层的线性激活可以避免 ReLU 对低维特征的“信息丢失”。
3. 工作原理与理论依据
- 信息瓶颈原理：在信息流通过狭窄通道时，若加入非线性激活（如 ReLU），负值会被置零，导致特征信息被削弱。线性瓶颈通过保持线性映射，保留了低维特征的完整信息，有助于后续层的特征重建。
- 反向残差（Inverted Residual）：在升维后再压缩回原始维度，形成“残差”路径，使梯度更易传播，提升深层网络的可训练性。
4. 线性瓶颈的优势
- 参数与计算量显著降低：相比传统卷积，逐点卷积 + 深度卷积的组合大幅削减 FLOPs。
- 信息保持更完整：去除瓶颈层的非线性激活，避免了低维特征在 ReLU 处被截断的风险。
- 提升模型性能：在 MobileNetV2/V3 中，线性瓶颈配合反向残差实现了在移动端设备上 高精度 + 低功耗 的平衡。
- 易于迁移：该结构已被广泛移植到其他轻量化网络（如 ShuffleNet、EfficientNet‑lite）中。
5. 在实际模型中的应用
- MobileNetV2：首次提出线性瓶颈与反向残差单元，实现了在 0.3‑1.4 B FLOPs 区间内的高准确率。
- MobileNetV3：在 V2 基础上进一步优化搜索得到的结构，仍保留线性瓶颈以降低计算成本。
- 其他轻量化网络：如 EfficientNet‑lite、GhostNet 等，也借鉴了线性瓶颈的设计思想。
6. 小结
线性瓶颈是一种通过 “升维 → 深度卷积 → 线性投射” 的三步组合，旨在 压缩特征维度、降低计算开销、保持信息完整 的网络模块。它在移动端视觉模型中发挥了关键作用，使得在资源受限的硬件上也能运行高效、准确的深度学习模型。
声明：文章均为AI生成，请谨慎辨别信息的真伪和可靠性！