什么是VGGSound数据集

VGGSound 是一个大规模的音频-视觉数据集，由 Honglie Chen、Weidi Xie、Andrea Vedaldi 和 Andrew Zisserman 在 2020 年的国际声学、语音与信号处理会议（ICASSP）上提出 。该数据集旨在为音频识别和多模态学习提供丰富的资源。

数据集特点

• 数据来源：VGGSound 数据集包含从 YouTube 视频中提取的音频片段，涵盖了 309 个音频类别，包括人类声音、动物声音、自然声音、音乐、体育、车辆等 。数据集中的视频片段时长为 10 秒，总共有超过 20 万个视频片段 。
• 数据收集方式：该数据集通过一种基于计算机视觉技术的可扩展管道进行收集，包括从 YouTube 获取视频、使用图像分类算法定位音频-视觉对应关系，并通过音频验证过滤环境噪音 。
• 数据集结构：每个数据集条目包含 YouTube 视频的 URL、时间戳、音频标签以及训练/测试集划分信息 。数据集以 CSV 文件形式提供，便于研究人员使用 。

应用与贡献

• 音频识别：VGGSound 数据集被广泛用于训练和评估音频识别模型。研究表明，使用 ResNet 架构和特定的特征聚合方法（如 AveragePool 和 NetVLAD）在 VGGSound 数据集上进行训练，可以显著提升音频分类性能，最高可达 mAP（平均准确率）0.532 。
• 多模态学习：VGGSound 数据集支持多模态学习，例如在视频到音频生成、音频分离、音频-视觉对齐等任务中被广泛应用 。
• 开源与许可：VGGSound 数据集和相关代码可在 GitHub 和其他平台下载，遵循 Creative Commons Attribution 4.0 International License 许可，允许商业和研究用途 。

挑战与改进

尽管 VGGSound 数据集在音频识别和多模态学习中具有重要价值，但也存在一些挑战，例如标签不完整、类别重叠和模态不一致等问题 。为此，研究者提出了 VGGSounder，一个重新标注的多标签测试集，以改进现有数据集的评估能力 。

总结

VGGSound 是一个大规模、高质量的音频-视觉数据集，为音频识别、多模态学习和音频-视觉对齐等任务提供了丰富的资源和研究平台。其开放性和可扩展性使其成为学术界和工业界的重要工具。