什么是进化策略（Evolution Strategies, ES）

进化策略（Evolution Strategies, ES）‍是一类受到生物进化过程启发的随机优化算法，属于进化计算（Evolutionary Computation）的核心分支之一。它主要用于解决连续参数的优化问题，特别擅长处理非凸、无导数或带噪声的复杂函数。

以下是关于 ES 的详细介绍，结构清晰、语言自然，避免使用数学符号：

1. 历史与背景

进化策略的概念最早由德国学者 Ingo Rechenberg 和 Hans-Paul Schwefel 在 1960 年代提出。最初它是为了解决航空航天工程中的设计优化问题（如火箭发动机的结构优化）而发展起来的。随着时间推移，ES 逐渐演化出多个重要的变体，其中最具代表性的是协方差矩阵适应进化策略（CMA-ES）。

2. 核心思想

ES 模拟自然界生物种群的变异与选择过程。与传统的遗传算法（GA）相比，ES 更强调“变异驱动搜索”而非交叉（重组）。它通常采用实数编码（直接操作参数值），不依赖梯度信息，因此非常适合处理那些无法通过求导来优化的问题。

3. 主要组成部分与流程

ES 的执行过程通常由以下几个步骤组成：

• 初始化：随机生成一组解向量，这些解向量可以看作是“种群”中的个体。
• 变异（突变）‍：向每个解向量添加随机扰动。这一步是 ES 的核心，通过随机的方式探索解空间的不同方向。
• 评估：计算每个变异后解向量的适应度（即目标函数值）。
• 选择：根据适应度选出表现最好的个体，保留它们进入下一轮迭代。
• （可选：重组）有些 ES 变体会在变异后进行重组操作，交换不同个体的部分基因，以增加种群的多样性。

4. 常见变体

ES 有多种不同的进化策略，通常用一个特殊的记号来表示（如 (μ+λ)-ES）：

• (1+1)-ES：这是最简单的一种形式。每一轮只保留当前的解和一个新生成的解（子代），如果子代更好，就替换当前的解。
• (μ,λ)-ES：每一轮生成 λ 个子代，但只从这些子代中挑选出 μ 个最好的个体作为下一代的父代。这种形式强调“群体竞争”，不保留原来的父代。
• (μ+λ)-ES：这种形式既保留父代也保留子代，从总共的 μ+λ 个个体中挑选出最好的 μ 个个体进入下一代，兼顾了父代的经验和子代的新鲜血液。

5. 现代应用与优势

• 强化学习（RL）‍：近年来，ES 被用于解决强化学习中的策略优化问题。与传统的 RL 方法不同，ES 不需要对神经网络进行反向传播（即不需要计算梯度），只需要评估一个策略在环境中的表现（奖励值）。这种特性使得 ES 在分布式计算环境中表现非常出色（因为可以并行评估多个策略），并且不容易被稀疏的奖励信号误导。
• 黑箱优化：在很多实际工程问题中，目标函数可能是一个“黑箱”（比如一个只能输入参数、输出结果的商业软件），无法直接获取其内部导数。ES 通过随机搜索的方式，可以在这种情况下有效寻找最优解。
• 鲁棒性：由于 ES 不依赖梯度，它对噪声（比如评估结果有随机误差）和局部最优解有很强的鲁棒性。这使得它在处理非常复杂的搜索空间时，往往比基于梯度的方法更加稳定。

6. 总结

进化策略是一种基于种群的随机优化方法。它通过变异引入随机性，通过选择保留优秀个体，从而逐步逼近全局最优解。由于其对函数形状的要求极低（不需要平滑性），以及极强的并行计算能力，ES 成为了解决高维、复杂、噪声优化问题的重要工具。