什么是光流（Optical Flow）

光流（Optical Flow）‍ 是计算机视觉和图像处理领域的核心概念，指的是图像序列（通常是视频）中像素点在时间维度上的运动状态。简单来说，它描述了图像中每个像素点在连续帧之间如何移动（方向和速度）。

1. 什么是光流？

光流是一种像素级的运动场。它表示相邻两帧图像中，每个像素点的运动速度（有多快）和运动方向（往哪里）。这个运动场通常被表示为一个二维向量场，即每个像素点都对应着一个二维向量（水平位移u，垂直位移v）。

直观理解：
想象你坐在一辆行驶的火车上往窗外看。你看到的树木、建筑在向后退运动，这种视觉上的“流动”就是光流。

2. 基本原理与假设

光流的计算基于以下几个核心假设：

• 亮度恒定假设（Brightness Constancy）‍：同一物体点在短时间内（相邻帧之间）的亮度值不变。
• 空间一致性假设（Spatial Coherence）‍：相邻像素往往有相似的运动（即周围像素的运动趋势类似）。
• 小位移假设：相邻帧之间的时间间隔足够短，以至于像素的位移很小（适合用泰勒展开近似计算）。

基于这些假设，可以通过比较相邻帧的像素亮度差异来推断像素的运动矢量。

3. 分类：稀疏 vs 稠密

根据计算的粒度，光流算法通常分为两大类：

• 稀疏光流（Sparse Optical Flow）‍：
  • 定义：仅计算图像中特定特征点（如角点、边缘点）的运动。
  • 特点：计算量小，实时性好，但只能追踪局部特征，无法描述整个场景的运动。
  • 典型算法：Lucas-Kanade（LK）算法。
• 稠密光流（Dense Optical Flow）‍：
  • 定义：计算每个像素点的运动矢量。
  • 特点：信息量大，能描述细腻的运动细节，但计算量大，耗时多。
  • 典型算法：Horn-Schunck算法、Farnebäck算法。

4. 核心算法：Lucas-Kanade (LK) 算法

稀疏光流中最经典的算法是Lucas-Kanade（LK）算法。它的核心思想是：

• 局部一致性：假设一个特征点周围（一个小窗口内）的所有像素点都拥有相同的运动向量。
• 最小化误差：通过求解一个线性方程组，找到使得该窗口内像素亮度变化最小的运动向量。
• 金字塔优化：在处理大位移时，常使用图像金字塔（从低分辨率到高分辨率）逐级细化光流计算。

5. 关键应用场景

光流技术广泛应用于需要理解运动的场景，包括但不限于：

• 运动估计与视频稳定：估计相机抖动并进行补偿。
• 目标跟踪：在视频中持续追踪车辆、行人等移动目标。
• 行为识别：分析人体动作（如跑步、跳跃）的运动模式。
• 自动驾驶：用于检测前车速度、行人轨迹等关键信息。
• 视频压缩：通过存储运动矢量而非每帧完整图像来减少数据量（帧间预测）。

6. 现状与挑战

虽然光流是非常有用的技术，但它也面临挑战：

• 光照变化：现实中亮度恒定假设往往不成立（如光照变化、阴影），导致误差。
• 遮挡问题：物体遮挡导致的像素缺失会干扰计算。
• 计算资源：稠密光流对计算资源需求高，尤其在高分辨率视频中。

总结

光流就像是为静态图像赋予了“时间维度”，它捕捉了“图像中的运动”。在现代计算机视觉中，光流是理解视频内容、实现动态交互的基础之一。