什么是Multi-Expr数据集

Multi-Expr数据集是一个专门为多人表情动画技术设计的训练和评估数据集，旨在解决当前多角色面部表情视频数据集稀缺的问题。该数据集由阿里巴巴高德地图团队与北京邮电大学联合研发的FantasyPortrait系统团队构建。

数据集的构建过程和特点

1. 数据来源与筛选
   Multi-Expr数据集从OpenVid-1M和OpenHumanVid等大规模视频数据集中筛选出高质量的视频片段。通过以下步骤进行数据处理：
   • 使用YOLOv8目标检测算法识别视频中的人物数量，仅保留包含两个或更多角色的片段。
   • 通过美学评分和拉普拉斯算子过滤低质量、模糊或伪影严重的片段。
   • 基于MediaPipe检测的面部关键点，计算角度和运动变化，筛选出具有清晰表情的片段。
2. 数据规模与质量
   数据集包含约30,000个高质量视频片段，每个片段均附带CogVLM2生成的描述性标注，确保数据的高质量和多样性。
3. 应用场景
   Multi-Expr数据集主要用于训练和评估FantasyPortrait系统，该系统能够将静态照片转化为生动的多人动画，实现人物独立表达不同表情和动作，且不互相干扰。
4. 技术优势
   该数据集的构建过程类似于“导演挑选最佳表演片段”，确保数据的高质量和多样性，为多人表情动画技术提供了丰富的训练素材。

与其他数据集的对比

Multi-Expr数据集与传统表情数据集相比，具有以下优势：

• 多角色支持：专注于多人表情动画，解决了传统数据集在多人场景下的不足。
• 高质量筛选：通过多阶段筛选流程，确保数据质量。
• 标注丰富：每个片段均附带描述性标注，便于模型训练和评估。

总结

Multi-Expr数据集是为多人表情动画技术设计的高质量数据集，通过严格的筛选和处理流程，为FantasyPortrait系统提供了丰富的训练和评估资源。该数据集在多人表情动画领域具有重要的研究和应用价值