什么是多视图几何（MVG）

1. 核心概念与理论基础

MVG 建立在射影几何（Projective Geometry）‍的基础上，核心任务是理解空间点在不同相机成像平面上的投影关系。

• 相机模型：MVG 通常使用针孔相机模型（Pinhole Camera Model）‍来近似真实相机，将成像过程抽象为几何投影。
• 投影矩阵（Projection Matrix）‍：描述相机内部参数（焦距、畸变）和外部参数（位置、姿态）如何将三维点映射到二维图像点。
• 对极几何（Epipolar Geometry）‍：描述两个视角之间的几何关系。它包括：
  • 极点（Epipole）‍：一个相机的光心在另一个相机图像平面上的投影。
  • 极线（Epipolar Line）‍：空间点在一个相机图像上的投影点对应的另一相机图像上的搜索直线。了解极线可以将匹配问题从二维平面降维到一维。
  • 基础矩阵（Fundamental Matrix, F）‍：描述未标定相机之间的极线关系。
  • 本质矩阵（Essential Matrix, E）‍：描述已标定相机之间的极线关系。

2. 关键算法与工具

为了从多张图像中恢复出结构，MVG 发展了一系列核心算法：

• 八点法（Eight-Point Algorithm）‍：利用至少8对匹配点求解基础矩阵或本质矩阵，是入门 MVG 的经典算法。
• 三焦点张量（Trifocal Tensor）‍：描述三个视角之间的几何关系，通常以一个  的数组表示。它可以捕捉点、线、平面的对应关系。
• 捆绑调整（Bundle Adjustment）‍：一种非线性最小二乘优化方法，用于同时精炼相机参数（位姿）和三维点坐标，是实现高精度三维重建的关键。

3. 研究分支与应用场景

MVG 主要分为两个方向：结构从运动（SfM）‍和多视图立体（MVS）‍。

• 结构从运动（Structure from Motion, SfM）‍：
  • 目标：从一组图像（通常是从移动相机拍摄的一系列连续帧）中恢复出稀疏的三维结构（点云）和相机轨迹。
  • 过程：特征匹配 → 基础矩阵估计 → 位姿恢复 → 三角测量 → 捆绑调整。
  • 应用：无人机测绘、考古记录、虚拟现实环境创建。
• 多视图立体（Multi-View Stereo, MVS）‍：
  • 目标：在已知相机位姿的前提下，从多张重叠图像中恢复出稠密的三维模型（深度图或体素）。
  • 过程：图像匹配 → 成本体积优化 → 深度融合 → 表面重建。
  • 应用：3D 打印、电影特效制作、自动驾驶环境感知。

4. 学习与研究资源

如果你想深入学习 MVG，以下资源非常经典：

• 经典教材：《Multiple View Geometry in Computer Vision》（Hartley & Zisserman）。
• 现代教程：很多博客和 GitHub 项目提供了从零实现 MVG 的代码，例如使用 OpenCV 实现的 SfM 管线。
• 开源工具：COLMAP 是当前最流行的开源 SfM + MVS 软件，基于 MVG 理论实现。

总结：多视图几何是解决“如何把拍摄的二维照片拼接成三维模型”这一难题的理论基础，是所有 3D 重建、SLAM（同步定位与地图构建）和增强现实技术的核心支柱。