什么是回归头（Regression Head）

回归头（Regression Head）概念概述

在深度学习模型中，“头（head）”指的是网络的最后几层，用来把共享的特征映射转换为具体任务的输出。回归头专门负责输出 连续数值（real‑valued）或 坐标信息，与之对应的通常是 分类头（classification head）‍，后者输出离散的类别概率。

1. 回归头的核心功能

2. 常见的网络结构

2.1 共享卷积层 + 线性层（典型于目标检测）

• 共享卷积层：4 层 3×3 卷积，通道数 256（或 512），步幅 1，填充 1。
• 回归分支：在共享特征后接一个 1×1 卷积（或全连接层）输出 （ 为每个锚框的数量）。

该结构与分类头相同，唯一区别是 输出通道数：分类头输出 （类别数），回归头输出 4（坐标）或更多。

2.2 简单线性层实现（适用于单值回归）

class RegressionHead(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, 1)   # 输出一个连续值
    def forward(self, x):
        return self.fc(x)

2.3 点回归头（point regression head）

• 先通过可学习的投影  将特征映射到低维空间，随后可选 sigmoid 将数值压缩到固定区间，以提升训练稳定性。

3. 典型应用场景

4. 训练细节

1. 损失函数选择
   • 平滑 L1：对异常值更鲁棒，常用于目标检测的坐标回归。
   • IoU‑based loss（GIoU、DIoU、CIoU）：直接优化框的重叠度，提升定位精度。
2. 正负样本划分
   • 只对 正样本（匹配到真实框）‍ 计算回归损失；负样本只参与分类损失。
3. 多任务加权
   • 总损失 = ，常见 。

5. 实际代码示例（PyTorch）

import torch.nn as nn

class SimpleRegHead(nn.Module):
    """用于目标检测的回归头（4维坐标）"""
    def __init__(self, in_channels=256, num_anchors=9):
        super().__init__()
        # 共享卷积层（可复用）
        self.shared = nn.Sequential(
            nn.Conv2d(in_channels, in_channels, 3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(in_channels, in_channels, 3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(in_channels, in_channels, 3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(in_channels, in_channels, 3, padding=1),
            nn.ReLU(inplace=True),
        )
        # 1×1 卷积输出 4×num_anchors
        self.bbox_pred = nn.Conv2d(in_channels, 4 * num_anchors, 1)

    def forward(self, x):
        x = self.shared(x)
        return self.bbox_pred(x)

该实现直接对应 RetinaNet 中的回归头结构。

6. 小结

• 回归头是网络末端专门用于 预测连续数值（坐标、深度、时间戳等）的子网络。
• 结构上通常是 共享卷积层 + 线性/1×1 卷积，输出维度取决于任务。
• 训练时配合 平滑 L1、IoU‑based 等回归损失，并只对正样本计算。
• 在 目标检测、姿态估计、3D 重建、时间定位 等视觉与序列任务中是不可或缺的关键模块。