什么是MPIIFaceGaze数据集

MPIIFaceGaze数据集概述

MPIIFaceGaze 是由德国马普信息学研究所（Max‑Planck Institute for Informatics）在 2017 年发布的真实场景注视（gaze）估计数据集，是 MPIIGaze 系列的扩展版。它在原始 MPIIGaze 的眼部图像基础上，额外提供了对应的全脸图像，使得研究者能够在更丰富的视觉信息下进行注视方向估计、面部特征检测等任务。

1. 数据规模与采集方式

• 参与者：15 名年龄在 21‑35 岁之间的志愿者。
• 图像数量：每位参与者约 3 000 张眼部图像（左眼 1 500 张、右眼 1 500 张），对应的全脸图像数量相同，总计约 45 000 张（眼部）+ 45 000 张（全脸）≈ 90 000 张。
• 采集环境：在日常使用笔记本电脑的三个月期间，记录了自然光照、不同头部姿态、各种眼镜佩戴情况等多样化场景，因而比以往数据集在外观和光照变化上更具挑战性。
• 标注信息：每张图像均附带 3D 注视点坐标、头部姿态、眼睛/面部关键点以及屏幕尺寸和像素坐标等，支持跨数据集训练与评估。

2. 数据组织结构

数据集采用统一的文件夹层次：

MPIIFaceGaze/
│─ Image/
│   ├─ {subject}/
│   │   ├─ face/   (全脸图像)
│   │   ├─ left/   (左眼图像)
│   │   └─ right/  (右眼图像)
│
│─ Label/
│   └─ {subject}.label   (每行记录对应图像的标注信息)

.label 文件的第一行列出变量名，后续每行对应一张图像的数值，变量之间用空格分隔，复合变量内部用 “.” 分隔。

3. 许可与获取方式

• 许可协议：CC BY‑NC‑SA 4.0（非商业、相同方式共享）。
• 下载渠道：
  • 官方页面（包含说明文档、下载链接）： https://phi‑ai.buaa.edu.cn/Gazehub/3D‑dataset/
  • 德国 MPI‑Inf 站点的公开入口（提供原始压缩包）： https://www.mpi‑inf.mpg.de/departments/computer‑vision-and-machine‑learning/research/gaze‑based‑human‑computer‑interaction/appearance‑based‑gaze‑estimation‑in‑the‑wild
  • 通过德国 DaRUS 数据库（需登录并申请访问权限）： https://darus.uni‑stuttgart.de/dataset.xhtml?persistentId=doi%3A10.18419%2Fdarus-3240

4. 关键技术文献

• 原始论文（介绍数据集及基准方法）：
  Zhang X., Sugano Y., Fritz M., Bulling A., “MPIIGaze: Real‑World Dataset and Deep Appearance‑Based Gaze Estimation”, IEEE TPAMI, 2017. DOI: 10.1109/TPAMI.2017.2778103。
• 该论文详细阐述了数据采集流程、统计特性以及基准模型的误差评估，是使用 MPIIFaceGaze 的首选引用。

5. 常见研究应用

• 注视估计：多数后续工作将 MPIIFaceGaze 作为跨数据集评估的标准基准，例如在移动平板上的注视追踪、双分支特征融合等研究中均使用该数据集。
• 面部/眼部关键点检测：数据集提供的手动面部标注可用于训练眼睛或瞳孔检测模型。
• 跨模态学习：全脸图像与眼部图像的配对为多模态特征融合提供了天然实验平台。

6. 使用建议

1. 下载并解压后，先读取 Label/{subject}.label，解析出每张图像对应的 3D 注视点、屏幕尺寸等信息。
2. 数据预处理：常见做法是将全脸图像裁剪为 224×224，眼部图像裁剪为 112×112，随后归一化坐标到屏幕物理尺寸。
3. 划分训练/测试：推荐使用论文中的 leave‑one‑subject‑out（LOSO）方式，即每次将一位受试者作为测试集，其余 14 位作为训练集，以评估模型的跨用户泛化能力。

快速入口

• 官方说明文档（PDF）： https://phi‑ai.buaa.edu.cn/Gazehub/Guideline/FaceBased/MPIIFaceGaze.pdf
• 数据集下载页面（含代码示例）： https://phi‑ai.buaa.edu.cn/Gazehub/3D‑dataset/
• 原始论文（IEEE Xplore）： https://doi.org/10.1109/TPAMI.2017.2778103

通过上述资源，您可以完整获取 MPIIFaceGaze 的数据、标注以及使用指南，进而在注视估计、面部分析等视觉计算任务中开展实验。