什么是CRCKD（Categorical Relation-preserving Contrastive Knowledge Distillation）

CRCKD（Categorical Relation-preserving Contrastive Knowledge Distillation）是一种用于医学图像分类的知识蒸馏方法，旨在解决医学图像数据稀缺、深度模型易过拟合的问题。该方法通过引入类别引导对比蒸馏（CCD）模块和类别关系保持（CRP）损失函数，以提升学生模型的类别内相似性和类别间差异性。

CRCKD 的核心思想是通过均值教师模型作为监督器，引入类别引导对比蒸馏（CCD）模块，使同类别图像对更接近，异类别图像对更远离，从而提升学生模型的类别内相似性和类别间差异性。同时，CRCKD 提出类别关系保持（CRP）损失函数，以鲁棒且平衡的方式蒸馏教师模型的类别关系知识。

CRCKD 在医学图像分类任务中表现出色，例如在 HAM10000 和 APTOS 数据集上表现优异。此外，CRCKD 在皮肤病变分类任务中被用于 MedVersa 模型，进一步验证了其有效性。

CRCKD 的核心贡献在于其对类别关系的建模和蒸馏，通过对比学习和类别关系保持机制，提升了模型在类别区分和特征表示上的能力。