什么是倒残差结构（Inverted Residual）

倒残差结构（Inverted Residual）是一种在轻量级卷积神经网络中常用的设计模块，旨在提高模型的效率和性能。它最早由MobileNetV2引入，并在后续的网络中得到广泛应用。

倒残差结构的核心思想是先通过1x1卷积进行升维，然后通过深度可分离卷积（Depthwise Convolution）提取特征，最后再通过1x1卷积进行降维。这种结构与传统的残差结构相反，后者通常是先降维再升维。

在倒残差结构中，中间的深度卷积通常使用逐通道卷积（Depthwise Convolution），这样可以减少计算量并降低内存需求。此外，为了保留低维信息特征，最后一个1x1卷积层通常采用线性激活函数而不是ReLU激活函数。

倒残差结构的设计使得模型在处理高维特征时信息丢失较少，同时通过深度可分离卷积提高了计算效率和内存利用效率。这种结构特别适用于移动端设备，因为它能够显著减少推理期间所需的内存占用。

总结来说，倒残差结构通过调整降维和升维的顺序，并引入深度可分离卷积和线性激活函数，实现了高效的特征提取和轻量化模型设计