机器学习超参数调优

问题背景

机器学习模型的表现往往不取决于架构本身，而取决于学习率、正则强度、树深度等超参数是否在合理区间。手工试参容易遗漏数量级跨度（如 1e-5～1e-1 的学习率），也会在算力有限时把预算耗在明显落后的配置上。你需要的是可复现的搜索空间定义、与预算匹配的搜索策略，以及可靠的验证指标——而不是零散脚本拼出来的「试到满意为止」。

技能如何工作

本技能让 Agent 按固定工作流执行调优：

1. 定义搜索空间：区分类别型、整数型、浮点型参数；对跨数量级参数用对数均匀分布；支持条件空间（某些参数仅在其它参数取特定值时生效）。
2. 选择搜索策略：小空间可用网格搜索；一般基线用随机搜索；单次评估昂贵时用贝叶斯优化（TPE、GP）；深度学习负载可结合 Hyperband / ASHA 与早停。
3. 配置评估：中小数据集常用 k 折交叉验证；大数据或昂贵模型可用单一留出集；明确目标度量（F1、AUC-ROC、RMSE 等）及最小化/最大化方向。
4. 并行试验与剪枝：并行启动试验，依据中间指标（如若干 epoch 后）终止落后配置。
5. 结果分析：查看优化历史与参数重要性，用等高线或平行坐标理解交互，选定最佳配置后在全量训练集上重训最终模型。

常见集成包括 Optuna、Ray Tune、scikit-learn 的 GridSearchCV/RandomizedSearchCV、Hyperopt、Keras Tuner 等。

适用边界

• 搜索维度很高（例如 >10 维）时，纯贝叶斯优化样本效率会下降，宜先用随机搜索或 Hyperband 收窄，再对少数关键参数细调。
• 交叉验证方差大时，单次试验分数噪声高，需增加折数、重复 k 折或多随机种子平均后再比较配置。
• 单次评估极耗时（如 >1 小时）时，应优先多保真度方法或代理数据集做初筛，避免全预算砸在完整训练上。