什么是EyeDiap数据集

EyeDiap 数据集概览

1. 什么是 EyeDiap

EyeDiap（全称 EYEDIAP: A Database for the Development and Evaluation of Gaze Estimation Algorithms from RGB and RGB‑D Cameras）是专为视线（gaze）估计研究设计的实验室级别数据集，提供高质量的 RGB（以及可选的深度）视频与精确的注视与头部姿态标注。该数据集在学术界被广泛用于评估和比较基于外观的视线估计算法。

2. 数据采集与实验设置

• 参与者：16 位受试者（男女比例约 11:5），每位受试者在实验室环境下完成采集。
• 视频数量：共 94 段视频，每段约 2–3 分钟。
• 目标模式：三种视觉目标
  1. 连续移动目标（continuous screen target）——目标在屏幕上沿随机轨迹平滑移动；
  2. 离散移动目标（discrete screen target）——目标在屏幕上随机出现并保持固定；
  3. 漂浮球目标（3D floating ball）——小球在摄像机与受试者之间的 3D 空间中移动（该模式常因遮挡而在后续实验中被剔除）。
• 硬件：前视 RGB 相机（VGA/HD）记录，部分实验配备 RGB‑D（Kinect）深度相机，以便提供 3D 信息。

3. 数据结构与标注内容

每帧提供以下信息（以 .label 文件为主）：

此外，原始数据还包含原始视频、相机内参以及深度图（若使用 RGB‑D 采集）。

4. 数据规模与划分

• 原始视频：94 × 16 = 约 1500 秒的原始录像。
• 处理后图像：常用的标准评估子集包含 15 位受试者、每人约 3000 张图像（左眼 1500 张、右眼 1500 张）。
• 预处理：官方提供的脚本 data_processing_diap.py 可将 VGA 视频每 15 帧抽取一帧并完成归一化、直方图均衡等步骤，生成统一的 out_root 目录结构。

5. 如何获取数据

1. 原始数据下载：在北京航空航天大学 Gazehub 项目页面的 “Datasets” 栏中提供下载链接（需填写使用协议）。
2. 归一化/预处理版：同页面提供 cluster_diap.py 与 data_processing_diap.py 脚本，直接运行即可得到已归一化的图像与标注文件。
3. 使用指南：官方 PDF “Dataset Introduction EyeDiap” 详细说明文件结构、.label 格式以及读取示例代码，适合快速上手。

获取入口

• 项目主页（含下载链接）：https://phi-ai.buaa.edu.cn/Gazehub/3D-dataset/
• 数据使用手册（PDF）：https://phi-ai.buaa.edu.cn/Gazehub/Guideline/FaceBased/EyeDiap.pdf

6. 常见使用场景

• 视线估计模型训练与评估：提供标准的训练/测试划分，支持交叉验证或 Leave‑One‑Subject‑Out（LOSO）评估。
• 头部姿态与视线联合建模：数据中同时给出 3D 头部姿态，可用于研究 “Gaze | Head” 融合方法。
• RGB‑D 视线研究：部分子集包含深度图，适合多模态学习。
• 数据增强与迁移学习：可与其他公开数据集（如 MPIIGaze、ETH‑XGaze）联合使用，提升模型的跨域鲁棒性。

7. 参考文献与引用

• Funes Mora, K. A., Monay, F., & Odobez, J.-M. (2014). EYEDIAP: A Database for the Development and Evaluation of Gaze Estimation Algorithms from RGB and RGB‑D Cameras.（请在使用时引用此论文）
• Cheng, Y., Wang, H., Bao, Y., & Lu, F. (2021). Appearance‑based Gaze Estimation With Deep Learning: A Review and Benchmark（对数据集规模与评估集的描述）
• 其他技术细节可参考官方手册 PDF 与代码仓库（data_processing_diap.py）。

小结
EyeDiap 是一个高质量、标注完整的实验室级视线数据集，包含 16 位受试者、94 段视频以及丰富的 2D/3D 注视与头部姿态信息。官方提供原始视频、归一化处理脚本以及详细使用指南，适合作为视线估计、头部姿态融合以及多模态（RGB‑D）研究的基准数据。通过上述链接即可获取并快速开始实验。