什么是样本重加权（Sample Re‑weighting）

样本重加权（Sample Re‑weighting）概述

1. 什么是样本重加权

样本重加权是指在模型训练或统计分析过程中，为每个训练样本分配一个数值权重，使得不同样本对学习目标的贡献程度不同。通过调节权重，可以让模型更关注重要或代表性不足的样本，抑制噪声或偏倚样本的影响，从而提升整体性能或公平性。在统计学中，这类技术常用于“加权抽样”，以使样本更好地代表总体；在机器学习里，它被视为在损失函数中加入权重项的做法。

2. 为什么需要重加权

3. 常见的重加权方法

1. 静态（先验）加权
   • 逆类频率：权重 = 1 / 类别样本数。
   • 类平衡（Class‑Balanced）‍：权重 = 1 / (样本数 × 类别有效样本数)。
   • 基于先验知识的权重（如业务重要度、用户价值）。
2. 重要性加权（Importance Weighting）‍
   • 倾向得分（Propensity Score）‍：估计每个样本被抽中的概率，权重 = 1 / 估计概率。
   • 平衡分数（Balancing Score）‍：在因果推断中用于构造加权伪实验组。
   • 核均值匹配（KMM）‍、KLIEP 等基于分布匹配的技术。
3. 自适应/动态加权
   • 基于损失或梯度的权重：样本损失大 → 权重增大（或相反），常用于对抗噪声或难例挖掘。
   • 元学习加权：通过一个小的验证集学习一个权重生成网络，使权重能够最小化验证误差。
   • AdaBoost/指数加权：在每轮迭代中提升错误分类样本的权重。
4. 混合/多层次加权
   • 领域适应 + 实例加权：先用领域对齐（如 MMD）再对每个样本做细粒度加权。
   • 公平性加权 + 业务加权：在保证公平性的同时兼顾业务指标。

4. 重加权的实现步骤

1. 权重计算
   • 根据选定方法（如逆类频率、倾向得分、损失）得到每个样本的原始权重 。
2. 归一化（可选）‍
   • 为防止梯度爆炸，可将权重归一化：。
3. 加入损失函数
   • 训练目标变为 ，其中  为普通的交叉熵、MSE 等。
4. 模型训练
   • 大多数机器学习框架（如 scikit‑learn、PyTorch、TensorFlow）均支持 sample_weight 参数或在自定义 loss 中手动乘权重。

5. 优势与局限

6. 典型应用案例

• 图像分类中的不平衡数据：使用逆类频率或基于损失的自适应权重，使少数类别的准确率提升 5%~10%。
• 跨域情感分析：通过 KMM 估计源域样本权重，使模型在目标域上误差下降约 12%。
• 因果效应估计：利用倾向得分加权构造平衡样本，显著降低选择偏差，得到更可靠的因果结论。
• 大语言模型预训练：基于样本损失的动态加权在预训练阶段过滤低价值数据，训练时间缩短约 15%，下游任务表现提升 2%~3%。

7. 小结

样本重加权是一套 通过为每条训练样本分配不同重要性 来改善模型学习的技术。它既可以是 简单的先验加权（如逆类频率），也可以是 复杂的自适应或元学习加权（基于损失、梯度、对抗学习等）。在 类别不平衡、分布迁移、因果推断、标签噪声、模型公平性 等众多场景中都有广泛应用。正确估计权重并合理地将其嵌入损失函数，是实现性能提升的关键；同时也要注意权重估计误差和计算开销带来的潜在风险。通过结合最新的研究方法（如基于损失的动态加权、领域适应 + 实例加权），可以在实际项目中获得更稳健、更高效的模型表现。