什么是信赖域（Trust Region）

信赖域（Trust Region）概念概述

信赖域是一类用于求解非线性优化问题的数值方法。它的核心思想是：在每一次迭代中，只在当前点附近的一个受限子区域（即“信赖域”）内构造目标函数的局部近似模型，并在该模型约束下寻找步长，从而更新迭代点。只要模型在该区域内能够较好地“信任”目标函数的行为，算法就会接受该步长并可能扩大信赖域；若模型误差较大，则会缩小信赖域并重新求解子问题。

1. 与线搜索的区别

• 搜索范围：线搜索沿单一方向（通常是负梯度）进行一维步长搜索；信赖域在多维球形区域内同时考虑方向与步长。
• 收敛保证：信赖域通过对模型误差的显式控制（）能够提供全局收敛性证明，而线搜索在非凸或噪声较大的情形下可能失效。
• 步长调节：信赖域的半径自适应调整，使得算法在模型可信时大胆前进，在模型不可信时保守收敛；线搜索则依赖步长规则（如 Armijo、Wolfe）进行调节。

2. 常见实现与应用

• 软件实现：SciPy 的 trust-constr、MATLAB 的 trust-region、以及许多机器学习库（如 PyTorch 的二阶优化器）均基于信赖域框架。
• 应用场景
  • 大规模非线性最小二乘、约束优化问题。
  • 参数估计、机器学习模型的二阶优化（如 Levenberg‑Marquardt 变体）。
  • 工程设计中的结构优化、控制系统调参等需要高可靠性的数值求解。

3. 优缺点概述

4. 小结

信赖域方法通过在每次迭代的局部可信区域内构造并最小化二次模型，实现了对非线性、约束优化问题的稳健求解。其核心机制——模型可信度评估  与信赖域半径  的交互——使得算法能够在保证全局收敛的前提下，自适应地调节搜索步幅，广泛应用于科学计算、工程优化以及机器学习等领域。