什么是网格搜索（Grid Search）

网格搜索（Grid Search）‍ 是一种系统地遍历给定的参数组合，以找到机器学习模型最佳参数（即超参数）的暴力穷举法。

它是机器学习模型调参阶段最基础、最常用的方法之一。

以下是对网格搜索的详细介绍：

1. 什么是“网格”？

“网格”指的是一个二维或多维的坐标系，其中：

• 维度（Dimensions）‍：对应于模型的不同超参数（如 C、gamma、max_depth）。
• 坐标点（Points）‍：对应于这些超参数的具体取值组合。

示例：
假设我们有两个参数 C 和 gamma，各有三个候选值：

• C: [0.1, 1, 10]
• gamma: [0.01, 0.1, 1]

网格搜索会遍历这  个组合（即网格中的每个点），分别训练模型并评估其性能。

2. 工作原理：暴力穷举

网格搜索的核心思想是不放过任何可能性。它的过程如下：

1. 定义参数网格：明确每个参数的候选取值范围。
2. 穷举组合：自动生成所有可能的参数组合。
3. 模型训练与评估：对于每个组合，使用交叉验证（通常是 k 折交叉验证）来训练模型并评估其性能。
4. 选择最佳：比较所有组合的评估分数，选择性能最优（如最高准确率、最低误差）的参数组合作为最终模型参数。

3. 参数设置细节

在实际使用中，网格搜索涉及以下几个关键设置：

• 参数范围：通常使用列表（List）来定义，如 {'C': [0.1, 1, 10], 'kernel': ['linear', 'rbf']}。
• 评分指标（Scoring）‍：指定模型的评价标准（如准确率、AUC、均方误差等）。
• 交叉验证折数（CV）‍：指定 k 折交叉验证的折数（如 cv=5），这决定了模型评估的可靠性。

4. 优点与局限性

优点：

• 简单直观：易于理解和实现。
• 全局搜索：理论上能保证找到全局最优解（前提是候选范围足够广且密集）。

局限性：

• 计算量大：参数组合数量呈指数级增长，计算成本极高（维度灾难）。
• 粒度问题：如果网格太稀疏，可能错过最佳参数；如果网格太密集，计算成本翻倍。

5. 代码示例

以下是使用 scikit-learn 进行网格搜索的典型代码（Python）：

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
import numpy as np

# 1. 准备模型和参数网格
model = SVC()
param_grid = {
    'C': [0.1, 1, 10],          # 参数C的候选值
    'kernel': ['linear', 'rbf'], # 核函数类型
    'gamma': [0.01, 0.1, 1]      # gamma的候选值
}

# 2. 创建网格搜索对象
# cv=5 表示使用5折交叉验证
grid = GridSearchCV(estimator=model, param_grid=param_grid, cv=5, scoring='accuracy')

# 3. 运行搜索（fit方法会遍历所有参数组合）
grid.fit(X_train, y_train)

# 4. 查看最佳参数和最佳分数
print("最佳参数:", grid.best_params_)
print("最佳交叉验证准确率:", grid.best_score_)

6. 与其他搜索方法的对比

• 随机搜索（Random Search）‍：相比网格搜索，随机搜索不是遍历所有组合，而是随机抽取固定次数的参数组合。它在搜索大空间时效率更高，但不保证找到全局最优。
• 贝叶斯优化（Bayesian Optimization）‍：基于概率模型来预测最有可能产生好结果的参数区域，搜索效率更高，适用于高维度的调参任务。