什么是Moments in Time数据集

Moments in Time 数据集概览

详细说明

1. 数据集设计初衷
   • 传统图像数据集（如 ImageNet、Places）已推动静态视觉识别，而视频理解需要捕捉 空间‑时间‑音频 三维动态。Moments in Time 通过统一的 3 秒时长，提供了一个高覆盖、高密度、平衡的动作库，使模型能够学习从低层视觉特征到高层抽象概念的映射。
2. 动词词表构建
   • 先从 VerbNet 中抽取 4 500 个最常用动词，利用 PropBank、FrameNet、OntoNotes 的特征进行二值化向量表示，再通过 k‑means 聚类得到语义上多样的动词集合，最终选出 339 个覆盖面最广的动词作为标签。
3. 视频采集与切分
   • 从十余个公开视频平台抓取原始素材，随机截取 3 秒片段，确保每段视频能够完整呈现一个动作或事件。这样既降低了标注难度，又保证了动作的完整性。
4. 标注流程
   • 使用 Amazon Mechanical Turk 进行众包标注，每段视频至少由多位标注者判断是否包含目标动词。通过交叉验证和质量控制，过滤噪声并生成高可信度的标签。
5. 多模态特性
   • 除了视觉帧，数据集还保留原始音频轨道。约 30% 的类别对声音信息敏感（如拍手、鼓声），为 音视频联合学习 提供了天然实验平台。
6. 基准与评估
   • 官方提供了多种基线模型的训练代码和评测结果，涵盖 空间（RGB）‍、时间（光流）‍、音频 三种模态的单独和融合表现。Top‑1/Top‑5 精度在公开验证集上分别达到约 20% / 40%（具体数值随模型而异）。
7. 获取与使用
   • 访问官网填写申请表后，数据管理员会通过邮件发送下载链接。数据以 .mp4（视频）和 .wav（音频）形式提供，配套有 train/val/test 划分文件和标签 CSV。AVMIT 版本的特征文件已在 Zenodo 公布，便于直接加载进行实验。

相关链接一览

• 官方网站 & 下载入口：<http://moments.csail.mit.edu >
• 原始论文（IEEE TPAMI）‍：<https://doi.org/10.1109/TPAMI.2019.2901464 >
• arXiv 预印本（可直接获取 PDF）：<https://arxiv.org/abs/1803.06585 >
• AVMIT（音视频特征）‍：<https://zenodo.org/record/8253350 >
• GitHub 基线代码（TSN、TRN 等实现）：<https://github.com/IBM/moments-in-time >

通过上述资源，研究者可以快速上手 Moments in Time 数据集，开展视频动作识别、跨模态学习、迁移学习等前沿课题。