什么是Kinetics‑Skeleton数据集

Kinetics‑Skeleton 简介

Kinetics‑Skeleton 是一种 基于骨架的人体动作识别数据集,它是从大规模视频数据集 Kinetics‑400(约 30 万条 YouTube 视频,覆盖 400 类动作)中使用 OpenPose 人体姿态估计工具提取 2D 骨骼关键点后生成的。每帧提供 18 个关节点的坐标 (x, y) 与置信度 (c),并对每段视频保留 300 帧的骨架序列,形成统一的时空图结构,便于 时空图卷积网络ST‑GCN‍ 等模型直接学习动作特征。


1. 数据规模与基本属性

项目 说明
来源 Kinetics‑400 视频(YouTube)
动作类别 400 类(如跑步、跳跃、乐器演奏、握手等)
样本数量 训练集约 240 000 条,测试集约 20 000 条(每条对应一段 10 s 视频)
帧数 每条序列统一填充至 300 帧
关节点 18 个 2D 关键点 + 置信度(共 3 维)
文件格式 JSON(每条视频一个文件)或经处理后转为 Numpy/NumPy 数组
多人物处理 同帧中置信度最高的前两个人体骨架被保留

2. 数据获取方式

  1. 官方下载链接(提供 Google Drive 与百度网盘两种渠道)
  2. GitHub 代码库(ST‑GCN 项目)中提供 kinetics_gendata.py 脚本,可根据本地路径自动生成数据结构
  3. 第三方整理(如 CSDN 博客)提供详细的下载、解压、预处理步骤

下载示例(Google Drive)
https://drive.google.com/drive/folders/1xxxxxx ...(实际链接请在官方页面获取)


3. 常用工具与代码资源

资源 内容 链接
原始论文 Yan S. 等. “Spatial Temporal Graph Convolutional Networks for Skeleton‑Based Action Recognition” (2018) – 首次提出 Kinetics‑Skeleton arXiv:1801.07455
ST‑GCN 官方仓库 包含数据生成脚本、模型实现、预训练权重 https://github.com/open-mmlab/mmskeleton
Awesome‑Skeleton‑Based‑Action‑Recognition 汇总了 Kinetics‑Skeleton 相关代码、基准模型、评测报告 https://github.com/niais/Awesome-Skeleton-based-Action-Recognition
数据格式说明 JSON 示例、帧索引、坐标、标签等字段解释 同上 CSDN 博客或官方 README
常用框架 PyTorchTensorFlow、MMSkeleton、MMAction2 等均已提供数据加载器 官方文档中可直接调用 SkeletonDataset 类

4. 使用注意事项

  1. 多人物场景:仅保留置信度最高的两个人体骨架,若需要全部人物需自行修改 OpenPose 处理脚本。
  2. 坐标归一化:原始坐标为像素值,训练前常做中心化、尺度归一化或对齐到统一坐标系。
  3. 帧数对齐:固定 300 帧是为了兼容批处理,实际视频长度不一时会进行帧插值或裁剪。
  4. 版权与使用:数据来源于公开的 YouTube 视频,使用时请遵守相应的 CC‑BY 或 CC‑BY‑NC 许可(视具体视频而定),并在论文或项目中注明数据来源。

5. 相关链接汇总


小结:Kinetics‑Skeleton 是目前规模最大、场景最真实的 2D 骨架动作识别基准,通过 OpenPose 从 Kinetics‑400 视频中提取 18 关节点,形成 240k+ 训练样本、20k+ 测试样本,广泛用于 ST‑GCN、Transformer‑GCN、轻量化卷积等前沿模型的训练与评估。上述链接提供了完整的 数据获取、代码实现、参考文献,可直接用于科研或工业项目的快速落地。

来源:www.aiug.cn
声明:文章均为AI生成,请谨慎辨别信息的真伪和可靠性!