什么是人类动作识别（Human Action Recognition）

人类动作识别（Human Action Recognition，HAR）‍（人类动作识别或人类活动识别）是计算机视觉和人工智能领域的核心任务之一。它的目标是让机器能够像人类一样，通过分析视频序列或传感器数据，自动识别并分类人类所执行的动作或行为。

以下是对 HAR 的详细介绍：

1. 核心定义与目标

HAR 是一项自动化技术，旨在通过视觉（如摄像头）或非视觉（如加速度计）数据，识别人类正在执行的具体动作。

• 任务本质：它不仅仅是检测画面中是否有人，更关注‍“人在做什么”‍。例如，从“走路”区分到“跑步”，或从“站立”区分到“举重”。
• 动作粒度：识别的粒度可以是粗粒度的（如走路、跑步、跳舞）或细粒度的（如瑜伽中的特定体式、拳击中的特定拳法）。

2. 关键技术流程（Pipeline）

HAR 系统通常遵循以下几个关键步骤：

1. 数据采集：
   • 视觉数据：主要来源于摄像头捕获的 RGB 视频序列。
   • 传感器数据：如智能手表、智能手机内置的加速度计、陀螺仪等惯性传感器数据，或更高级的毫米波雷达点云数据。
2. 预处理与特征提取：
   • 姿态估计：在视觉数据中，通常会先检测人体关键点（Skeleton Pose），将图像转化为更抽象的骨骼序列，以降低维度并专注于运动模式。
   • 时空特征：提取动作的时间动态（Temporal）和空间结构（Spatial）特征，解决动作随时间变化的本质。
3. 建模与分类：
   • 深度学习：利用卷积神经网络（CNN）提取空间特征，循环神经网络（RNN/LSTM）或 Transformer 处理时间序列特征。
   • 图卷积网络（GCN）‍：特别适用于处理骨骼图结构的数据，捕捉关节之间的关系。
4. 输出识别：模型输出对应的动作标签（Label）。

3. 主要研究方向与挑战

尽管 HAR 已经取得显著进展，但仍面临多重挑战：

• 视角多样性：相同动作在不同摄像机角度下看起来完全不同（视角变化）。
• 遮挡问题：人在复杂环境中移动时，部分身体部位可能被遮挡，导致关键点检测困难。
• 相似动作区分：某些动作（如走路 vs. 小跑）差异细微，难以区分。
• 实时性与边缘计算：在智能监控或体感游戏中，需要在资源受限的边缘设备上实现实时识别。

4. 常用数据集（Datasets）

为了训练和评估模型，研究者依赖大规模公开数据集：

• Kinetics 系列：目前最全面的基准数据集之一，包含数十万个视频片段，覆盖600个动作类别。
• NTU RGB+D：广泛用于姿态估计研究，提供了 RGB、深度图和骨骼数据。
• UCF101 & HMDB51：较早的经典数据集，常用于模型的基准测试。
• mmWave-3DPCHM-1.0：2025年的新兴数据集，利用毫米波雷达生成的三维点云进行动作识别，代表了传感器融合的最新趋势。

5. 典型应用场景

HAR 的应用已经渗透到多个行业：

• 公共安全：智能监控中识别打架、摔倒、闯红灯等异常行为。
• 医疗健康：监测老年人的摔倒行为，辅助康复训练，评估运动员的动作标准性。
• 智能交互：体感游戏、虚拟现实（VR）中的手势控制。
• 自动驾驶：预测行人行为（如横穿马路），提升行车安全。

总结

Human Action Recognition 是让机器“看懂”人类动作的技术。它结合了计算机视觉、深度学习和传感器技术，通过分析时空动态，实现对人类行为的自动分类和理解，是实现智能监控、智能交互和智慧医疗的关键基础技术。