一、什么是合成数据
合成数据（Synthetic Data）是指通过计算机模拟、算法生成或深度学习模型（如GAN、Diffusion）等手段，人工合成的、在结构、分布或视觉特征上与真实世界数据相似的数据。它的主要目的在于：
- 降低获取成本：真实数据往往需要昂贵的采集、标注或受限于隐私法规。
- 提升数据多样性：可以在短时间内生成大量不同场景、光照、天气、姿态等变化的样本。
- 保护隐私：对敏感业务（金融、医疗）可用合成数据代替真实记录，避免泄露个人信息。
- 促进 Sim‑to‑Real 迁移：在机器人、自动驾驶等领域，先用高保真仿真数据训练，再用少量真实数据微调，显著提升模型鲁棒性。
合成数据的质量取决于生成模型的逼真度、标注的完整性以及与目标任务的匹配程度。常见的生成方式包括基于渲染引擎的三维仿真、基于统计模型的表格合成、以及基于生成式神经网络的图像/文本合成等。
二、合成数据的主要类型
| 类型 | 典型生成方式 | 代表性应用 |
|---|---|---|
| 视觉（图像/视频） | 3D 渲染引擎（Unity、Unreal、CARLA）、GAN/Diffusion | 自动驾驶、目标检测、姿态估计 |
| 文本/场景文字 | 字体渲染 + 背景混合（SynthText） | 场景文字检测、OCR |
| 三维/点云 | 物理仿真（AirSim、CARLA）+ 传感器模型 | LiDAR、深度感知 |
| 结构化/表格 | 统计模型、贝叶斯网络、SDV（Synthetic Data Vault） | 金融、医疗、营销分析 |
| 时序/信号 | 动态系统模拟、合成传感器数据 | 预测、异常检测 |
| 机器人/仿真 | 物理引擎（Isaac Gym、Omniverse） | 机器人控制、强化学习 |
三、常见合成数据集（按领域划分）
1. 计算机视觉 & 自动驾驶
- SYNTHIA – 13 k+ 场景图像，覆盖季节、天气变化，专为自动驾驶训练设计。
- Virtual KITTI – 基于 Unity 的 KITTI 复刻，提供 17 k+ 合成图像，包含多种光照与天气条件。
- GTA5 – 从《侠盗猎车手 V》游戏渲染的城市街景，约 25 M 张标注图像，用于目标检测与分割。
- VIPER – 高保真城市驾驶模拟，提供 250 k+ 带语义标注的图像序列。
- VEIS – 城市街景合成数据集，包含 25 k+ 带实例分割的图像。
- CARLA – 开源自动驾驶仿真平台，提供 RGB、深度、LiDAR 等多模态数据。
- AirSim – 微软研发的无人机/车辆仿真环境，支持高保真视觉与传感器数据生成。
- SceneNet RGB‑D – 大规模室内场景 RGB‑D 数据，带像素级语义标签。
- Unity Perception – Unity 官方工具包，可快速生成目标检测、分割等任务的合成数据。
2. 场景文字 & OCR
- SynthText – 80 万自然场景图像、约 800 万 合成文字实例，提供词级、字符级标注，广泛用于文本检测与识别。
3. 机器人与仿真
- CARLA（同上）和 AirSim（同上）均被用于机器人导航与感知研究。
- Unity Perception 与 Omniverse/Isaac Lab（行业报告中提及）提供大规模合成运动数据，支持机器人模仿学习。
4. 医疗健康
- Synthea – MITRE 开源的合成患者记录（SyntheticMass），包含 100 万 条纵向临床数据，用于教育、研发与隐私安全研究。
- CMS DE‑SynPUF – 美国医疗保险部门发布的合成公共使用文件，包含 680 万受益者记录、1.12 亿索赔等，适用于健康数据分析与模型开发。
- US Synthetic Household Population – RTI International 提供的 1.16 亿家庭人口合成数据，用于流行病学建模与资源分配。
5. 金融、营销与结构化数据
- Synthetic Data Vault (SDV) – 通过统计模型生成的表格/关系数据集，支持隐私保护的数据共享。
- 合成表格基准（Aggregation、Flame、Jain 等） – 多种聚类/分类基准数据，常用于算法评估。
6. 其他领域
- COCO‑Text（部分合成） – 虽主要为真实数据，但在生成合成文字时常与 SynthText 结合使用。
- Scene Text 合成数据（如 MJSynth） – 与 SynthText 类似，提供大规模英文单词图像。
四、获取方式（常用入口）
| 数据集 | 官方下载/主页 |
|---|---|
| SYNTHIA | https://synthia-dataset.net |
| Virtual KITTI | https://github.com/visual-informatics/virtual-kitti |
| GTA5 | https://download.visinf.tu-darmstadt.de/data/gta5 |
| VIPER | https://github.com/adeel/ViPeR |
| VEIS | https://github.com/Visual-Computing/VEIS |
| CARLA | https://carla.org |
| AirSim | https://github.com/microsoft/AirSim |
| SceneNet RGB‑D | http://robotics.ethz.ch/-sceneNet/ |
| Unity Perception | https://github.com/Unity-Technologies/perception |
| SynthText | https://github.com/ankush-me/SynthText |
| Synthea | https://synthetichealth.github.io/synthea/ |
| CMS DE‑SynPUF | https://www.cms.gov/Research-Statistics-Data-and-Systems/Computer-Data/Files/DE-SynPUF |
| US Synthetic Household Population | https://www.rti.org/solutions/synthetic-population |
| Synthetic Data Vault (SDV) | https://sdv.dev |
| Aggregation / Flame / Jain 等基准 | https://github.com/ClusteringBenchmark/benchmark-datasets |
以上链接均来源于公开的项目主页或官方文档，均可直接访问下载或通过 API 调用。
五、使用合成数据的注意事项
- 真实性评估：在模型上线前，务必使用一定比例的真实数据进行验证，防止“仿真偏差”。
- 标注一致性：合成数据的标注格式（COCO、YOLO、Pascal VOC 等）需统一，以免在训练管线中产生冲突。
- 隐私合规：即使是合成数据，也要检查是否使用了受限的真实原始素材（如版权受限的 3D 资产）。
- 域随机化（Domain Randomization）：在生成合成图像时加入颜色、光照、纹理等随机因素，可提升 Sim‑to‑Real 迁移效果。
- 数据规模与算力：大规模合成数据（如数十亿帧）需要相应的存储与计算资源，建议采用分布式存储或云端数据湖。
六、结语
合成数据已经成为机器学习、尤其是视觉、机器人和隐私敏感行业的重要支撑。通过上述常见数据集和获取渠道，研究者与工程师可以快速搭建实验平台、加速模型迭代，同时在遵守法规的前提下降低数据采集成本。随着生成式模型的进一步成熟，未来合成数据的逼真度和多模态覆盖将更加完善，真正实现“数据即服务”。
声明：文章均为AI生成，请谨慎辨别信息的真伪和可靠性！