什么是标签偏移（Label Shift）

标签偏移（Label Shift）概念概述

标签偏移指的是在训练阶段和实际使用阶段，标签（即目标变量）的整体分布发生了变化，而在给定某个标签时，特征的分布保持不变。换句话说，虽然不同类别出现的频率或比例会改变，但每个类别对应的典型特征模式仍然是相同的。

1. 形成原因

• 数据采集环境变化：例如在医学诊断中，某种疾病的流行率随时间或地区不同而变化，但该疾病的症状（特征）本身并未改变。
• 业务场景转移：贷款模型在不同地区或不同时间段使用时，违约标签的比例可能不同，而违约者的收入、信用特征分布保持一致。
• 用户行为演化：电商平台的购买标签比例会随促销活动或季节波动，但同一商品的购买行为特征仍保持相似。

2. 与其他分布偏移的区别

• 协变量偏移关注的是特征分布变化，而标签分布保持不变。
• 概念漂移则是标签定义本身发生变化（例如疾病诊断标准更新），而标签偏移仍假设标签定义不变，只是出现频率改变。

3. 对模型的影响

• 预测偏差：模型在训练时学习到的类别先验概率不再适用于新环境，导致对少数或多数标签的预测概率系统性偏高或偏低。
• 性能下降：尤其是当模型对标签比例敏感（如使用交叉熵损失）时，标签偏移会显著降低准确率和召回率。

4. 检测方法

• 比较标签频率：直接统计训练集和目标数据集的标签出现次数，观察是否存在显著差异。
• 基于模型输出的校准：利用未标记的目标数据，通过模型预测的标签分布与训练标签分布进行对比，若差异明显则可能存在标签偏移。

5. 常用应对策略

• 重新加权：在目标数据上对预测结果进行加权，使得估计的标签分布与实际分布对齐。
• 标签分布校正：利用最大似然估计或贝叶斯方法估计目标标签比例，然后在模型推断阶段进行校正。
• 迁移学习：在目标域上进行少量标注或半监督学习，以适应新的标签比例。

6. 实际案例

• 疾病预测：训练时疾病的发病率为 5%，但在新地区上升至 15%，此时模型需要对“疾病”标签的概率进行上调。
• 联邦学习：不同客户端的标签分布不一致（如某些客户端缺少某些类别），导致全局模型出现偏差，需要在聚合时考虑标签偏移。

7. 小结

标签偏移是一种常见且重要的分布偏移类型，它强调标签出现概率的变化而特征条件分布保持不变。识别并校正标签偏移对于提升模型在真实环境中的鲁棒性和可靠性至关重要。通过统计分析、概率校正和适当的迁移学习手段，可以有效缓解标签偏移带来的负面影响。