互信息（Mutual Information）概述
互信息（Mutual Information，简称 MI）是信息论中的核心概念，用来衡量 两个随机变量之间的统计依赖程度。它回答了这样一个问题：已知一个变量的取值后，对另一个变量的不确定性会减少多少？
1. 计算与估计方法
| 场景 | 常用方法 |
|---|---|
| 离散变量 | 直接统计频数得到概率分布，再套用公式。 |
| 连续变量 | - 直方图/分箱：离散化后近似计算。 - 核密度估计（KDE）：估计概率密度后积分。 - k‑最近邻（k‑NN）估计：基于样本距离的无偏估计（Kraskov‑Stögbauer‑Grassberger 方法）。 |
| 高维数据 | - 互信息神经估计（MINE）：利用深度神经网络逼近对数比值。 - 基于随机投影的近似。 |
2. 典型应用
- 特征选择：在机器学习中，挑选与目标变量互信息大的特征，以提升模型性能。
- 图像配准：在医学影像或遥感中，用互信息衡量不同模态图像的对齐程度。
- 通信系统：互信息等价于信道容量的上界，指导编码与调制方案设计。
- 生物信息学：分析基因表达、蛋白质相互作用网络中的依赖关系。
- 自然语言处理：评估词对、句子对之间的关联度（如词共现、主题模型）。
3. 小结
- 互信息是衡量两个随机变量之间共享信息量的对称、非负度量。
- 它可以通过 熵、条件熵 或 KL 散度 的组合来表达。
- 在实际应用中，往往需要 估计（而非精确计算），常用的估计方法包括 直方图、核密度、k‑NN、神经网络 等。
- 由于其对 非线性依赖 同样敏感，互信息在特征选择、图像配准、通信理论等领域得到广泛使用。
声明：文章均为AI生成，请谨慎辨别信息的真伪和可靠性！