Kinetics‑Skeleton 是一种 基于骨架的人体动作识别数据集,它是从大规模视频数据集 Kinetics‑400(约 30 万条 YouTube 视频,覆盖 400 类动作)中使用 OpenPose 人体姿态估计工具提取 2D 骨骼关键点后生成的。每帧提供 18 个关节点的坐标 (x, y) 与置信度 (c),并对每段视频保留 300 帧的骨架序列,形成统一的时空图结构,便于 时空图卷积网络(ST‑GCN) 等模型直接学习动作特征。
1. 数据规模与基本属性
项目 | 说明 |
---|---|
来源 | Kinetics‑400 视频(YouTube) |
动作类别 | 400 类(如跑步、跳跃、乐器演奏、握手等) |
样本数量 | 训练集约 240 000 条,测试集约 20 000 条(每条对应一段 10 s 视频) |
帧数 | 每条序列统一填充至 300 帧 |
关节点 | 18 个 2D 关键点 + 置信度(共 3 维) |
文件格式 | JSON(每条视频一个文件)或经处理后转为 Numpy/NumPy 数组 |
多人物处理 | 同帧中置信度最高的前两个人体骨架被保留 |
2. 数据获取方式
- 官方下载链接(提供 Google Drive 与百度网盘两种渠道)
- GitHub 代码库(ST‑GCN 项目)中提供
kinetics_gendata.py
脚本,可根据本地路径自动生成数据结构 - 第三方整理(如 CSDN 博客)提供详细的下载、解压、预处理步骤
下载示例(Google Drive)
https://drive.google.com/drive/folders/1xxxxxx ...
(实际链接请在官方页面获取)
3. 常用工具与代码资源
资源 | 内容 | 链接 |
---|---|---|
原始论文 | Yan S. 等. “Spatial Temporal Graph Convolutional Networks for Skeleton‑Based Action Recognition” (2018) – 首次提出 Kinetics‑Skeleton | arXiv:1801.07455 |
ST‑GCN 官方仓库 | 包含数据生成脚本、模型实现、预训练权重 | https://github.com/open-mmlab/mmskeleton |
Awesome‑Skeleton‑Based‑Action‑Recognition | 汇总了 Kinetics‑Skeleton 相关代码、基准模型、评测报告 | https://github.com/niais/Awesome-Skeleton-based-Action-Recognition |
数据格式说明 | JSON 示例、帧索引、坐标、标签等字段解释 | 同上 CSDN 博客或官方 README |
常用框架 | PyTorch、TensorFlow、MMSkeleton、MMAction2 等均已提供数据加载器 | 官方文档中可直接调用 SkeletonDataset 类 |
4. 使用注意事项
- 多人物场景:仅保留置信度最高的两个人体骨架,若需要全部人物需自行修改 OpenPose 处理脚本。
- 坐标归一化:原始坐标为像素值,训练前常做中心化、尺度归一化或对齐到统一坐标系。
- 帧数对齐:固定 300 帧是为了兼容批处理,实际视频长度不一时会进行帧插值或裁剪。
- 版权与使用:数据来源于公开的 YouTube 视频,使用时请遵守相应的 CC‑BY 或 CC‑BY‑NC 许可(视具体视频而定),并在论文或项目中注明数据来源。
5. 相关链接汇总
- 论文:Spatial Temporal Graph Convolutional Networks (arXiv) → https://arxiv.org/abs/1801.07455
- 数据下载(Google Drive / 百度网盘) → 见官方 GitHub README 中的链接
- ST‑GCN 代码 → https://github.com/open-mmlab/mmskeleton
- CSDN 数据集介绍 → https://blog.csdn.net/weixin_31749299/article/details/150078308
- Awesome‑Skeleton‑AR 列表 → https://github.com/niais/Awesome-Skeleton-based-Action-Recognition
- 数据格式示例 → 参考论文附录或 CSDN 博客中的 JSON 示例
小结:Kinetics‑Skeleton 是目前规模最大、场景最真实的 2D 骨架动作识别基准,通过 OpenPose 从 Kinetics‑400 视频中提取 18 关节点,形成 240k+ 训练样本、20k+ 测试样本,广泛用于 ST‑GCN、Transformer‑GCN、轻量化图卷积等前沿模型的训练与评估。上述链接提供了完整的 数据获取、代码实现、参考文献,可直接用于科研或工业项目的快速落地。
声明:文章均为AI生成,请谨慎辨别信息的真伪和可靠性!