什么是TabletGaze数据集

AI解读 21小时前 硕雀
5 0

TabletGaze数据集概览

内容 说明
全称 Rice TabletGaze Dataset(常称 TabletGaze)
发布论文 TabletGaze: Unconstrained Appearance‑based Gaze Estimation in Mobile Tablets(arXiv 1508.01244)
研究目的 为移动平板电脑上的无校准、自然使用场景下的注视点估计提供大规模、真实的训练与评估数据,推动外观‑基准的 gaze estimation 方法发展
采集设备 Samsung Galaxy Tab S(前置摄像头)
参与者 51 名受试者,覆盖不同种族、性别、是否佩戴眼镜等多样属性
姿态设置 每位受试者在 4 种不同的身体姿势(坐姿、站姿、倾斜等)下进行采集
注视点 每个姿态下 35 个预设屏幕位置(包括中心、四角、边缘等),受试者需自然观看对应点
数据量 约 51 × 4 × 35 ≈ 7 140 条视频序列,每条序列包含多帧 RGB 图像及对应的 2D 屏幕坐标(x、y)
标注信息 - 前置摄像头捕获的眼部图像
- 手动标记的屏幕坐标(ground‑truth)
- 面部可见性分级(完整面部、仅眉部、仅眼部等)
公开获取 数据集已在 Rice 大学官网公开下载,链接为 http://sh.rice.edu/tablet_gaze.html
主要贡献 1. 首个大规模 无约束(自然使用)移动设备 gaze 数据集
2. 提出基于多层 HoG 特征 + 随机森林的 TabletGaze 算法,平均误差约 3.17 cm
3. 系统分析了姿态、种族、眼镜等因素对估计精度的影响
后续引用 该数据集被后续多篇论文用于基准测试,如 Labelling the Gaps(2022)中对比多种 gaze 方法时使用了 TabletGaze 作为评估集
相关链接 - 论文 PDF(arXiv): https://arxiv.org/abs/1508.01244
- 数据集下载页: http://sh.rice.edu/tablet_gaze.html
- 论文 DOI(Springer): https://doi.org/10.1007/s00138-017-0852-4

详细介绍

  1. 研究背景
    随着平板电脑和移动设备的普及,如何在不进行专门校准的情况下准确估计用户的注视点成为关键技术需求。传统 gaze 数据集多在实验室受限环境下采集,难以覆盖真实使用时的姿态、光照、遮挡等变化。TabletGaze 正是为填补这一空白而构建的首个公开的无约束移动设备 gaze 数据集
  2. 数据采集流程
    • 受试者坐在自然的使用环境中,手持平板观看视频或浏览页面。
    • 前置摄像头持续录制,系统同步记录屏幕上预设的 35 个注视点坐标。
    • 每位受试者在 四种不同的身体姿势(如正坐、倾斜、站立、侧身)下完成全部注视点的采集,以捕获姿态对面部可见性和眼部特征的影响。
    • 采集后,研究团队对每段视频手动抽取 4 张关键帧,并依据面部可见程度划分为五类(完整面部、仅眉部、仅鼻子以上、仅眼睛以上、眼睛不可见)。
  3. 数据内容与格式
    • 视频文件(RGB,约 30 fps),每段对应一个注视点序列。
    • 标注文件CSV/JSON),记录每帧对应的屏幕坐标 (x, y) 以及面部可见性标签。
    • 辅助信息:受试者的种族、性别、是否佩戴眼镜等元数据,用于后续因素分析。
  4. 数据集的影响与应用
    • 为 外观‑基准(appearance‑based) gaze 估计提供了真实、丰富的训练样本,推动了基于深度学习的移动端注视点预测模型。
    • 通过对比不同姿态、种族、眼镜佩戴情况的实验,作者发现姿态分割可以提升模型精度,而是否佩戴眼镜对本数据集的影响不显著。
    • 该数据集已被后续研究作为 基准,如在多模态 gaze 估计、弱监督学习、跨设备迁移学习等方向的实验中使用。
  5. 获取方式
    • 访问 Rice 大学的官方页面 http://sh.rice.edu/tablet_gaze.html ,页面提供数据集的下载链接、使用协议(学术研究免费)以及详细的采集说明。
    • 同时,论文中提供了完整的实验代码和特征提取流程,便于研究者直接复现或在此基础上进行改进。

小结
TabletGaze 数据集是面向移动平板的 无约束、自然使用 场景的首个大规模 gaze 数据集,包含 51 名受试者、四种姿态、35 个注视点,提供丰富的 RGB 视频与精确的屏幕坐标标注。它不仅为移动端注视点估计提供了重要基准,也促进了姿态、种族等因素对 gaze 精度影响的系统研究。研究者可通过官方链接免费下载并在自己的模型研发中使用。

来源:www.aiug.cn
声明:文章均为AI生成,请谨慎辨别信息的真伪和可靠性!