什么是AmoebaNet

AmoebaNet 详细介绍

1. 背景与动机

AmoebaNet 是 Google Brain 在 2018 年提出的一种 基于神经架构搜索（Neural Architecture Search，NAS）‍ 的卷积神经网络。它的核心目标是通过 自动化搜索 替代人工设计网络结构，从而在大规模视觉任务（如 ImageNet）上获得 SOTA（state‑of‑the‑art）‍ 的精度，同时降低搜索成本。

2. 核心思想

• 正则化进化（Regularized Evolution）‍：AmoebaNet 使用一种叫 Aging Evolution（年龄进化）‍ 的进化策略。与传统进化算法只淘汰最差个体不同，Aging Evolution 会 淘汰年龄最大的模型（不论其性能如何），从而保持种群的多样性并加速收敛。
• 搜索空间：采用 NASNet 提出的 cell‑based 搜索空间。网络由若干 Normal Cell（保持特征图尺寸）和 Reduction Cell（降低空间尺寸、增加通道数）交替堆叠构成，每个 cell 本身是一个多分支的 Inception‑like 模块。

3. 进化算法细节（Aging Evolution）

1. 初始化：随机生成一定数量的网络结构（种群）。
2. 父代选择：从种群中随机抽取若干候选（tournament selection），选出表现最好的作为父代。
3. 变异：对父代进行 连接变异 或 操作变异（如更换卷积、池化等），生成子代。
4. 加入种群：将子代加入种群后，淘汰年龄最大的个体，保持种群规模不变。
5. 循环：重复步骤 2‑4，直至达到预设的搜索步数或资源上限。

该策略能够 快速探索搜索空间，并在保持多样性的同时避免早熟收敛。

4. 主要模型与性能

这些模型在 ImageNet、CIFAR‑10、目标检测、语义分割等任务 上均表现出 优于当时多数手工设计网络（如 ResNet、Inception）的效果。

5. 变体与后续工作

• Aging Evolution 的改进：后续研究在淘汰策略、变异方式上加入 正则化项，进一步提升搜索效率。
• 轻量化版本：针对移动端和边缘计算，出现 AmoebaNet‑Mobile、AmoebaNet‑Tiny 等变体，兼顾 精度‑延迟 权衡。
• 跨任务迁移：AmoebaNet 的 cell 结构被用于 目标检测（Faster‑RCNN）‍、关键点检测、语义分割 等下游任务，证明了其 通用性。

6. 应用与影响

1. 自动机器学习（AutoML）‍：AmoebaNet 展示了 进化算法在 NAS 中的可行性，推动了 Google AutoML、Microsoft NNI 等平台的研发。
2. 硬件协同：在 TPU 上的高效训练使得大规模进化搜索成为可能，促进了 硬件‑算法协同设计 的研究。
3. 学术引用：自提出以来，AmoebaNet 被 数百篇论文 用作基准模型或搜索方法的对比对象，成为 NAS 领域的重要里程碑。

7. 小结

• AmoebaNet 通过 Aging Evolution 在 NASNet 的 cell‑based 搜索空间中自动发现高效网络结构。
• 其 正则化进化 策略保持种群活力，显著提升搜索速度与最终模型性能。
• 在 ImageNet 等大规模视觉基准上取得 83%+ 的 Top‑1 精度，奠定了 进化式 NAS 在实际应用中的可行性。

参考文献

1. “AmoebaNet 是一种在神经架构搜索中使用的自动化方法”
2. “AmoebaNet 由 Google Brain 提出，基于进化算法”
3. “Aging Evolution for Image Classifier Architecture Search”（Real et al., 2018）
4. “AmoebaNet is a convolutional neural network found through regularized evolution architecture search”
5. “AmoebaNet 算法详解”（知乎）
6. “Edge deep learning … AmoebaNet achieves top‑1 83.9% on ImageNet”
7. “自进化的 AmoebaNet”（Real, 2018）
8. “AmoebaNets – Google’s new evolutionary AutoML”