什么是GridSearchCV

GridSearchCV 详解

1. 什么是 GridSearchCV

GridSearchCV（全称 Grid Search Cross‑Validation）是 scikit‑learn 中用于 超参数调优 的工具。它通过在用户预先设定的参数网格（grid）中穷举所有可能的组合，并对每一种组合使用交叉验证（CV）评估模型性能，最终返回表现最优的参数组合和对应的模型。

2. 工作原理

1. 构建参数网格：用户提供一个字典 param_grid，键为超参数名称，值为待搜索的取值列表。
2. 遍历组合：GridSearchCV 生成参数网格的笛卡尔积，逐一训练模型。
3. 交叉验证：对每个参数组合执行 K‑折交叉验证（默认 5 折），在不同的训练/验证子集上评估模型，得到该组合的平均得分。
4. 选取最佳：比较所有组合的交叉验证得分，选出得分最高的参数集合（best_params_），并保存对应的模型（best_estimator_）。

3. 关键参数说明

这些参数在官方文档中都有详细说明。

4. 使用步骤（Python 示例）

from sklearn import datasets
from sklearn.svm import SVC
from sklearn.model_selection import GridSearchCV

# 1. 加载数据
iris = datasets.load_iris()
X, y = iris.data, iris.target

# 2. 定义基模型和参数网格
model = SVC()
param_grid = {
    'C': [0.1, 1, 10],
    'kernel': ['linear', 'rbf'],
    'gamma': ['scale', 'auto']
}

# 3. 创建 GridSearchCV 对象
grid = GridSearchCV(estimator=model,
                    param_grid=param_grid,
                    scoring='accuracy',
                    cv=5,
                    n_jobs=-1,
                    verbose=2)

# 4. 运行搜索
grid.fit(X, y)

# 5. 查看结果
print("最佳参数:", grid.best_params_)
print("最佳交叉验证得分:", grid.best_score_)
print("最佳模型:", grid.best_estimator_)

运行后会输出类似：

最佳参数: {'C': 1, 'kernel': 'rbf', 'gamma': 'scale'}
最佳交叉验证得分: 0.98

5. 优势与局限

优势

• 自动化：无需手动逐个尝试参数，省时省力。
• 系统性：遍历所有指定组合，保证在搜索空间内找到全局最优（相对随机搜索）。
• 交叉验证：通过 CV 抑制过拟合，提高模型的泛化能力。

局限

• 计算成本高：参数组合呈指数增长，尤其在参数多、取值细时会导致搜索时间长。
• 不适合大规模数据：对大数据集或高维参数空间，建议使用 RandomizedSearchCV 或贝叶斯优化等更高效的搜索策略。
• 只能搜索离散取值：对连续超参数只能离散化后搜索。

6. 与其他调参工具的关系

• RandomizedSearchCV：在同一 API 下进行随机抽样搜索，计算量更小，适合大搜索空间。
• Bayesian Optimization（如 skopt、optuna）‍：基于概率模型的迭代搜索，更高效但实现更复杂。

7. 实际应用场景

• 分类任务：如 SVM、随机森林、XGBoost 的超参数调优。
• 回归任务：如线性回归的正则化系数、SVR 的 C、epsilon。
• 模型选择：通过在不同模型之间设定不同的参数网格，实现“一站式”模型比较。

小结
GridSearchCV 是机器学习工作流中常用的 超参数网格搜索 + 交叉验证 组合工具，能够系统、可靠地寻找最优参数组合。使用时需合理设定搜索空间、折数和并行度，以平衡搜索质量和计算资源。对小至中等规模的数据集和参数空间，它是提升模型性能的首选方法。