什么是PHYSICLEAR数据集

PHYSICLEAR 数据集概述

PHYSICLEAR（也常被写作 PhysiCLeAR）是由新加坡国立大学（NUS）及其合作机构于 2024 年提出的一个专注于触觉感知与语言推理的跨模态数据集。它是目前少数能够将触觉时间序列信号（Tactile Sequences）‍与自然语言描述结合起来进行物理属性推理的数据集之一，旨在推动机器人在真实世界中通过触觉交互获取并理解物体的物理属性。

1. 核心特征与组成

• 多模态数据：PHYSICLEAR 数据集不仅包含常规的 RGB 图像或文字描述，更独特地包含了使用 GelSight 触觉传感器 捕获的高分辨率触觉视频。这些视频记录了机器人在不同接触方式下感知物体表面的细微变化。
• 丰富的属性标签：数据集聚焦于物体的硬度、粗糙度和凸起度（Bumpiness）‍三种关键物理属性。它提供了从“软”到“硬”，从“光滑”到“粗糙”，以及从“平滑”到“凸起”不同层级的细粒度标注。
• 多任务设计：PHYSICLEAR 包含了 5 个基于语言驱动的物理描述和理解任务，包括但不限于：
  • 属性预测：给定触觉视频，预测物体的硬度、粗糙度等属性。
  • 零样本推理：模型是否能在未见过的物体或场景下进行物理属性推理。
  • 交互描述：根据触觉数据生成自然语言描述，或根据文字指令进行触觉交互模拟。

2. 规模与数据内容

PHYSICLEAR 数据集包含 74 种日常物体 的触觉视频，这些物体覆盖了多种表面材质，如织物（毛巾、毯子）、金属（铝箔）、塑料（泡沫包装）以及食物（鳄梨、鸡蛋）等。每种材质下都包含了多个具体的实例，展示了数据集在不同材质上的丰富多样性。

3. 关联系统：Octopi

PHYSICLEAR 数据集是论文 "Octopi: Object Property Reasoning with Large Tactile-Language Models" 的核心组成部分。该论文提出了 Octopi 系统，利用大型视觉-语言模型（如 LLaMA）结合触觉表示学习来预测和推理触觉输入。Octopi 能够有效地利用中间的物理属性预测来改善其在各种触觉相关任务上的表现。

4. 相关链接与资源

• 论文原文：Octopi: Object Property Reasoning with Large Tactile-Language Models（arXiv 2024）
  • 链接: https://arxiv.org/pdf/2405.02794v1.pdf
• 开源代码与数据集：GitHub 项目地址（包含数据集下载链接和 Octopi 系统实现）
  • 链接: https://github.com/clear-nus/octopi
• 项目主页：NUS (National University of Singapore) 相关研究展示页面
  • 链接: https://hub.baai.ac.cn/paper/2636f8b0-6ae7-4e72-bd78-523d40420665

5. 研究意义

PHYSICLEAR 数据集填补了触觉-语言多模态研究中的空白。与传统的视觉语言数据集（如 VQA）不同，PHYSICLEAR 关注的是机器人如何通过“触摸”来“感知”和“理解”世界。这对于开发能够在黑暗环境、遮挡严重或对视觉信息依赖较低的场景（如手术机器人、工业质检）中工作的智能体具有重要意义。

注：在 2025 年及以后，PHYSICLEAR 也被用于评估新一代的具身 AI 模型，如 SToLa 框架，以验证其在更开放场景下的触觉常识推理能力。