对比蒸馏（Contrastive Distillation）是一种结合了对比学习（Contrastive Learning）和知识蒸馏（Knowledge Distillation）的技术，旨在通过对比相似（正样本）和不相似（负样本）特征来增强模型的表示学习。在对比蒸馏中，通常使用特征为基础的方法，其中锚点、正样本和负样本由教师模型和学生模型提取的特征定义。对比蒸馏损失函数通过对比相似度来调整学生模型的特征空间与教师模型的特征空间，实现高效的知识转移。
对比蒸馏方法通过引入新的对比损失函数，解决了诸如噪声负样本和教师与学生模型之间的容量不匹配等挑战，提高了蒸馏过程的鲁棒性和有效性。例如，WCoRD方法结合了Wasserstein距离的原形和对偶形式，以实现全局知识转移和局部特征对齐。在语义分割领域，Fan et al.利用对比损失对齐教师和学生特征图，解决了密集像素级表示的挑战。在单图像超分辨率领域，Liu et al.利用对比损失将中间教师特征的统计信息蒸馏到轻量级学生网络中，实现高分辨率图像重建。
对比蒸馏还应用于大型语言-图像预训练模型的蒸馏，如CLIP，通过图像特征对齐和教育注意力模块有效对齐多模态特征。在医疗影像领域，CRCKD结合了类引导对比蒸馏和类别关系保留技术，增强了同类相似性和异类差异性。在弱监督视觉定位领域，Wang et al.使用对象检测器生成的伪标签，通过对比损失进行区域短语匹配，简化了推理过程。
对比蒸馏在特征对齐、关系知识保留和本地与全局信息集成方面展现出卓越能力，能够有效解决多模态对齐、密集特征映射和高效模型压缩等挑战，同时具备处理不平衡数据集、噪声标签和计算限制等关键问题的能力。
对比蒸馏是一种结合了对比学习和知识蒸馏的技术，通过对比相似和不相似特征来增强模型的表示学习，提高知识转移的效率和鲁棒性。