XGBoost 与 LightGBM 表格训练
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_629e2dc7/xgb-lgb-trainer。
技能介绍
要解决什么问题
手头上是 CSV/表格二分类 数据,你想用 XGBoost 或 LightGBM 训练模型,但又不想在对话里从零拼 sklearn 脚本、手动切分验证集,或在调参阶段把 Optuna、早停和特征选择各写一遍。更麻烦的是:训练动辄跑很久,若只把终端 stdout 摘几句给用户,列详情、划分表、调参摘要很容易缺块。
本技能规定 端到端六步流水线,且 Agent 必须按步骤执行 CLI 脚本,用 JSON/.md 文件做 文件缓冲:分析、预处理、训练计划与进度都落盘,再通过 report_formatter.py 整段展示,而不是用自由发挥的「快速版」替代。
技能如何工作
架构上,交互在 Agent 层(内联提问或 AskUserQuestion),{skill_path}/scripts/ 下脚本是 非交互 的,参数全部由 argparse 传入。
| 阶段 | 作用 |
|------|------|
| Step 1 | 确定输出根目录,各步写入 output/step_* |
| Step 2 | 设备环境、缺失与 IQR 异常、类别列检测、top_n_rows 等写入 analysis.json |
| Step 3 | 七项决策:目标列、排除/保留列、标识列、异常值替换、One-hot、2-way/3-way/自定义切分 |
| Step 4 | 选 XGBoost / LightGBM / 两者;Fast / Optimal(Optuna+特征选择)/ Custom |
| Step 5 | 后台训练,通过 training_progress_tail.txt、train_heartbeat.json 等监控;切分方式决定是否在 Valid 上评 Optuna 或 K 折 CV |
| Step 6 | (技能内定义的收尾与报告链路,依赖前述 JSON 产物) |
Optimal 模式下,3-way 划分在验证集上直接做 trial 评估;2-way 则在训练集上做 K 折 CV,再按 CV 中位 best_iteration 在全量训练集上 train_final。选 Custom 时按用户 n_round 与参数原样训练,不做早停与自动调参。
适用边界与注意点
- 技能面向 表格二分类,不是通用深度学习或 NLP;用户若给的是非表格或非二分类任务,流程与自动检测(目标列、One-hot)可能不适配。
- Agent 侧有 严格展示校验:每步完成后须读取
step*_display.md原样展示,不得省略表格或用摘要代替;这适合「可审计、可复查」的建模协作,不适合只要一句结论的场景。 - 环境需 numpy、pandas、scikit-learn、xgboost、lightgbm、optuna 等;Windows 下脚本路径须用原生盘符路径,且 路径参数不能以反斜杠结尾,避免 bash 引号转义问题。
- 用户首条消息语言会锁定后续 全流程输出语言(中文或英文)。
使用场景
- 风控同事拿到客户特征 CSV,要在今晚前完成训练/验证划分并跑出 XGBoost 基线与 Optuna 调参报告
- 数据科学实习生用 LightGBM 做违约/流失二分类,需要 Agent 按六步走完且每步展示完整 `step*_display.md`
- 产品方 A/B 实验日志导出为表格,需对比 Fast 默认与 Optimal 特征选择两种训练模式的可复现结果
- Windows 笔记本本地跑模型,输出目录在 `D:\project\output`,需避免路径引号与长训练无终端刷屏
适合人员
- 银行/互金建模岗,每月用历史申请表 CSV 做通过/拒绝二分类,希望对话里不跳步、调参策略跟 2-way/3-way 切分一致
- BI 转岗的数据分析师,熟悉 Excel 特征表但不愿手写 Optuna study,需要交互式选目标列、排除高缺失列与 One-hot
- 算法工程师在 PoC 阶段同时试 XGBoost 与 LightGBM,要选 Both + Optimal 并在同目录用 `xgb_`/`lgb_` 前缀分开产物
- 用 Claude Code 做自动建模的 MLOps 爱好者,要求训练用 `run_in_background` 并通过心跳文件盯进度而非盲等终端