全景分割是一种统一了语义分割和实例分割的视觉任务，旨在对图像中的每一个像素同时给出类别标签（语义层面）和实例 ID（实例层面）。它把场景中的对象划分为两大类：
| 类别 | 说明 | 示例 |
|---|---|---|
| Stuff（背景） | 不可数、没有明确实例边界的区域，如天空、道路、草地等 | “天空”属于 stuff |
| Things（前景） | 可数、需要区分不同实例的对象，如人、车、动物等 | 同一张图片中的两辆车会被标记为不同的实例 ID |
1. 任务动机与意义
- 完整场景理解：仅有语义分割只能告诉每个像素属于哪类，无法区分同类的不同实例；仅有实例分割则忽略了背景的细粒度语义。全景分割通过一次性输出 像素‑类别‑实例 三元组，实现对整个场景的全局、细致理解，是向真实世界视觉系统迈进的重要一步。
- 非重叠约束：全景分割要求所有分割区域互不重叠，保证每个像素只属于唯一的 stuff 或 thing 实例，这与实例分割中可能出现的重叠区域不同。
2. 关键评价指标——Panoptic Quality (PQ)
全景分割提出了专门的评价指标 PQ，用于统一衡量 stuff 与 thing 的分割质量。PQ 由两部分组成：
| 子指标 | 含义 |
|---|---|
| Segmentation Quality (SQ) | 对已匹配实例的像素 IoU 平均值，衡量分割精度 |
| Recognition Quality (RQ) | 匹配成功的实例比例，衡量检测/识别能力 |
PQ = SQ × RQ，能够直观反映模型在完整场景分割上的整体表现。
3. 主流技术路线
3.1 两分支（双网络）结构
- 语义分支：使用 FCN、DeepLab 等网络输出每像素的 stuff 类别图。
- 实例分支：使用 Mask R‑CNN、Mask2Former 等网络输出 thing 的实例掩码与类别。
- 融合：通过非最大抑制（NMS）或专门的融合模块（如 TASC、UPSNet）消除重叠，生成最终全景图。
3.2 统一端到端模型
- Panoptic Feature Pyramid Network (PFPN)、EfficientPS、Mask2Former 等模型在单一网络中共享特征提取器，同时预测语义和实例信息，提升效率并降低跨分支不一致问题。
3.3 近期趋势
- 多任务学习：将全景分割与深度估计、光流等任务共同训练，增强特征共享。
- 弱监督/半监督：仅使用 bounding box 或稀疏标注即可训练全景模型，降低标注成本。
- 跨模态融合：结合 LiDAR、雷达等传感器信息，扩展到 3D 全景分割。
4. 常用数据集
| 数据集 | 场景 | 规模 | 备注 |
|---|---|---|---|
| COCO | 日常生活 | 330K 图像 | 同时提供语义与实例标注 |
| Cityscapes | 城市街景 | 5K 图像 | 重点关注道路、车辆等 |
| ADE20K | 多场景 | 20K 图像 | 包含丰富的 stuff 类别 |
| Mapillary Vistas | 全球街景 | 25K 图像 | 高分辨率、类别多样 |
| BDD100K、SemanticKITTI（点云）等 | 自动驾驶 | … | 支持 2D/3D 全景分割 |
5. 应用场景
- 自动驾驶：同时识别道路、车道线（stuff）和车辆、行人（things），为路径规划提供完整环境感知。
- 机器人导航：在室内外环境中实现对障碍物与背景的细粒度区分，提升路径安全性。
- 增强/混合现实：对场景进行全像级分割，支持对象级交互与遮挡处理。
- 医学影像：对组织（stuff）与病灶（things）进行统一分割，帮助精准诊断。
- 智慧城市监控：在城市监控视频中实现对人、车、道路等的全景感知，提升事件检测与分析效率。
6. 主要挑战与未来方向
| 挑战 | 说明 |
|---|---|
| 实时性 | 全景分割模型往往计算量大，难以满足高帧率需求。 |
| 类别不平衡 | stuff 类别像天空、道路占比大，thing 类别稀疏，导致训练难度不均。 |
| 跨域泛化 | 从合成数据到真实场景、不同城市、不同天气的迁移仍是难点。 |
| 标注成本 | 同时需要语义与实例标注，标注工作量大。 |
| 多模态融合 | 融合 RGB、深度、LiDAR 等多源信息仍需更高效的架构。 |
未来研究可能聚焦于 轻量化端到端模型、弱监督学习、跨模态统一表示 以及 自监督预训练，以提升全景分割在实际系统中的可用性和鲁棒性。
小结
全景分割通过一次性为每个像素提供 类别 + 实例 双重信息，实现了对图像场景的完整、细致理解。它在自动驾驶、机器人、AR/VR、医学等多个领域展现出重要价值，同时也面临实时性、标注成本和跨域泛化等挑战。随着统一模型、弱监督技术和多模态融合的不断进步，全景分割正逐步向更高效、更普适的方向发展。
声明：文章均为AI生成，请谨慎辨别信息的真伪和可靠性！