什么是邻居采样（Neighbor Sampling）
邻居采样是一种在图神经网络（GNN）和其他图结构数据处理中，用于高效提取和聚合局部结构信息的技术。它的核心思想是：在面对节点拥有海量邻居的情况下，随机或有策略地选择其中的一部分邻居来进行计算，而不是使用全部邻居。
1. 为什么需要邻居采样？
在大规模图（如社交网络、知识图谱）中，图的结构往往呈现“长尾分布”：
- 邻居爆炸（Neighborhood Explosion）：在传统的GNN中，计算一个节点的表示需要它邻居节点的表示，而这些邻居的邻居又需要计算，这种递归依赖导致计算量随层数指数级增长。
- 计算资源受限：完整的邻居集合可能非常庞大，导致显存溢出或计算时间过长，无法在单个GPU上完成训练。
邻居采样通过限制每次聚合的邻居数量，有效降低了计算复杂度和显存占用，使得在大图上训练GNN成为可能。
2. 基本原理与流程
邻居采样通常与mini-batch（小批量）训练结合使用。其基本流程如下：
- 确定目标节点（Seed Nodes）：首先确定本次计算或训练的核心节点（例如当前mini-batch中的一批节点）。
- 一阶采样：对于每个目标节点，从其所有邻居中随机或有策略地抽取固定数量（例如10个）的邻居。
- 多阶采样：如果GNN有多层（例如两层），则需要递归地为这些抽取的邻居再抽取它们的邻居（称为二阶邻居），如此循环直至覆盖所有需要的层数。
- 构建子图：将所有抽取到的节点及其之间的边组合起来，形成一个子图（Subgraph）。
- 特征聚合：在这个子图上进行特征聚合和更新计算，得到目标节点的最终表示。
小技巧：在实际实现中，通常会将目标节点本身也视为“邻居”，确保信息的自我传递。
3. 常见的采样策略
邻居采样并非简单的随机抽取，不同的策略会影响模型性能：
- 均匀随机采样（Uniform Sampling）：最基础的方式，从邻居中等概率随机抽取。适用于邻居特征分布均匀的情况。
- 有放回采样 vs. 无放回采样：
- 有放回：如果邻居数量少于采样数，可以重复抽取（有放回）来填满采样数，这会导致特征被多次计入。
- 无放回：直接抽取邻居，若不足则只用实际邻居数量，这种方式更准确但可能导致每个节点的邻居数不一致。
- 重要性采样（Importance Sampling）：根据邻居的特定属性（如节点度、特征值）分配权重，优先抽取“重要”的邻居。这种方法可以减少采样带来的方差，提高训练稳定性。
- 自适应/学习型采样（Learnable Sampling）：最近的研究尝试让模型学习如何采样，即根据当前任务的需要动态调整采样概率，例如GRAPES框架。
4. 应用场景
邻居采样是大规模图数据处理的核心技术，广泛应用于：
- 大规模图神经网络训练：如GCN、GraphSAGE等模型的训练过程。
- 知识图谱嵌入：在知识图谱中进行局部结构学习，降低内存占用。
- 点云数据处理：在3D点云分析中，用于采样局部邻域的点进行特征提取。
- 推荐系统：在用户-商品图中采样邻居进行兴趣建模。
小结
邻居采样通过“取其所需”，在保留图结构关键信息的同时，大幅降低了计算成本，是连接小批量训练（Mini-batch）与大规模图（Large Graph）的关键桥梁。
声明：文章均为AI生成，请谨慎辨别信息的真伪和可靠性！