什么是FineGym数据集

FineGym 数据集概览

• 定位与目标
  FineGym（全称 Fine‑grained Gymnastics）是为细粒度体操动作理解而构建的大规模视频数据集，旨在突破传统动作识别数据集只能提供粗粒度标签的局限，支持对同一体操项目内部的微小动作差异进行辨识与时序解析。
• 层级标注结构
  1. 语义层级（3 级）‍
     • Event（事件）‍：大类体操项目，如 vault、balance‑beam、floor‑exercise、uneven‑bars 等，共 10 种（6 种男子、4 种女子）。
     • Set（组）‍：中层子动作集合，描述动作的功能块（如 dismount、turns、salto）。
     • Element（元素）‍：最细粒度的动作标签，依据官方体操代码簿通过决策树细化，累计 530 种元素类别，其中 354 类在数据中出现实例。
  2. 时序层级（2 级）‍
     • Action（动作）‍：对应完整的体操事件在视频中的时间段。
     • Sub‑action（子动作）‍：对每个事件进一步划分的子动作实例，标注其起止帧。
• 规模与质量
  • 视频来源：官方顶级体操比赛录像，全部上传至 YouTube，分辨率以 720p/1080p 为主，约 95% 为高分辨率。
  • 时长：约 708 小时，覆盖 303 场比赛记录。
  • 样本数量：约 32 697 条视频片段（约 29 k 条短视频），其中细粒度元素实例分布呈长尾，单类实例从 1 到 1 648 不等。
  • 两种使用设置
    • Gym99：较为平衡的 99 类细粒度标签，适合对模型进行公平评估。
    • Gym288：更细致的 288 类标签，但类别分布极不均衡，适合研究长尾学习和细粒度分类。
• 标注与质量控制
  • 采用 决策树 方式依据官方体操代码簿进行元素标签判定，保证语义一致性。
  • 注释员经过专业体操知识培训、严格预测试，并进行跨注释员交叉验证，确保标注的准确、可靠与一致。
• 主要研究价值
  • 细粒度动作识别：区分同一体操项目中微小的动作差异（如不同的 salto 方向、转体次数）。
  • 时序解析：需要模型捕捉动作内部的细粒度时间结构，验证对 temporal dynamics 的建模能力。
  • 跨任务应用：动作检测、动作定位、自动评分、动作生成、多属性预测以及模型解释等均可基于该数据集开展实验。
• 获取方式与资源
  • 项目主页（含下载链接、数据说明、代码示例）‍： https://sdolivia.github.io/FineGym/
  • 论文（CVPR 2020 Oral）‍： DOI https://doi.org/10.1109/cvpr42600.2020.00269 ，全文提供数据集构建细节与基准实验。
  • Papers with Code 页面（实现基准、评测排行榜）： https://paperswithcode.com/dataset/finegym 。
• 使用建议
  1. 下载数据：在项目主页注册后获取视频链接或直接下载已处理好的切片。
  2. 读取标注：标注文件采用 JSON 格式，分别记录 event、set、element 三级标签及对应的时间戳。
  3. 基准模型：可参考论文中使用的 TSN、TRN、TSM、I3D 等模型，注意在 FineGym 上 每帧信息都很关键，增加帧采样密度可显著提升性能。
  4. 评估指标：对动作层级使用 Top‑1/Top‑5 分类准确率，对子动作定位使用 mAP@IoU（0.5–0.95）。

小结
FineGym 通过 三层语义 + 两层时序 的细粒度标注，结合高质量的专业体操视频，为动作理解研究提供了前所未有的挑战与机遇。它不仅是细粒度动作识别的基准，也为动作生成、自动评分等实际体育分析任务奠定了数据基础。研究者可直接访问项目主页获取数据，结合论文提供的基准实现快速开展实验。