什么是短程门控卷积(Gated Convolution)

AI解读 2小时前 硕雀
2 0

短程门控卷积Gated Convolution)概述

  1. 基本思想
    短程门控卷积在普通卷积的基础上加入了一个可学习的“门”机制。网络在对特征图进行卷积的同时,会并行生成一条门控信号(通常通过 Sigmoid 激活得到),随后把卷积得到的特征与门控信号逐像素相乘。这样,网络可以在每个空间位置、每个通道上动态决定信息的保留程度,实现对有效特征的自适应筛选。
  2. 结构组成
    • 特征分支:对输入特征进行常规卷积(可配合批归一化激活函数),提取局部特征。
    • 门控分支:对同一输入再做一次卷积,随后通过 Sigmoid 产生介于 0 与 1 之间的门控值,起到“软掩码”的作用。
    • 融合:把两条分支的输出逐像素相乘,得到最终的特征图。该过程既保留了卷积的表达能力,又让网络自行学习哪些位置/通道的特征应被强化或抑制。
  3. 与传统卷积的区别
    • 动态特征选择:普通卷积对所有通道和位置一视同仁,而门控卷积能够根据上下文自适应调节特征权重。
    • 掩码 vs 硬掩码:在图像修复等任务中,传统的部分卷积使用硬掩码(固定的 0/1),而门控卷积的软掩码是可学习的,能够更细腻地捕捉掩码边缘和纹理细节。
    • 更强的局部建模:通过在每层加入门控,网络在短距离(小感受野)内即可实现高阶特征交互,提升对细粒度信息的感知能力。
  4. 典型应用场景
    • 图像修复(Inpainting)‍:在自由形式图像修复中,门控卷积帮助网络区分已知像素与缺失区域,实现更自然的填补效果。
    • 图像去噪与超分辨率:门控机制能够抑制噪声特征,保留有价值的细节。
    • 语义分割目标检测:通过自适应特征筛选,提高对边界和小目标的辨识度。
    • 时序建模:在一维卷积网络中加入门控,可实现对时间步长的动态控制,提升序列预测性能。
  5. 优势总结
    • 自适应信息流:无需手工设计掩码,网络自行学习最优的特征通路。
    • 提升表达能力:在保持计算成本相近的情况下,显著增强模型对局部细节的捕捉。
    • 易于集成:门控卷积只是在普通卷积后面加一层 Sigmoid 与乘法,能够直接替换现有卷积层,兼容多数深度学习框架

小结
短程门控卷积通过并行的特征提取与门控生成两条路径,实现了对每个像素、每个通道的细粒度特征控制。相较于传统卷积,它在图像修复、去噪、分割等视觉任务中表现更佳,并且易于在现有网络中替换使用,是近年来提升卷积网络局部建模能力的关键技术之一。

来源:www.aiug.cn
声明:文章均为AI生成,请谨慎辨别信息的真伪和可靠性!