scikit-learn机器学习教练
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,将 @kunlungrowth/scikit-learn-mooc 安装到你的 AI 助手中。
技能介绍
如果你的模型在训练集上表现很好,但在测试集上突然拉胯,问题往往不是算力不够,而是忽略了数据隔离、指标匹配和基线对照。只调用 fit/predict,不判断偏差-方差,很容易把过拟合、特征泄露或调参方向错误误认为模型不行。这个技能不演示炫技 pipeline,而是把 scikit-learn 的评估流程拆成可复现的调试路径。
工作方式
- 先确认任务是否有信号:用
DummyClassifier或DummyRegressor建立基线,再看复杂模型是否真正超越随机猜测。 - 按学习曲线定位问题:训练与验证差距大,偏向过拟合;两者都差,偏向欠拟合。随后再选正则化、更多数据、降维,或更强的模型与特征工程。
- 匹配评估指标:分类问题看混淆矩阵、PR-AUC,类别不平衡时不只看 accuracy;回归问题看误差分布和残差,而不只是 R²。
- 防泄露优先:标准化、缺失值填充、编码等预处理只在训练折内
fit,用Pipeline把特征工程和模型绑定,再用GridSearchCV做关键参数粗扫。 - 记录案例:沉淀「数据→模型→指标→陷阱」的对照,避免下次把测试集信息带进训练。
边界与注意点
这个技能聚焦 scikit-learn 的教学与排错场景,学习节奏因人而异,不承诺固定周期。它不提供金融、医疗等专业决策建议;相关场景请以监管要求和专家判断为准。模型选择、评估与调参仍应以 scikit-learn 官方文档为最终口径,真实业务还要结合数据分布、成本约束和可解释性要求。
使用场景
- 训练集准确率 95%,测试集掉到 60%,需要快速定位是过拟合还是数据泄露导致的模型崩坏
- 拿到一份含缺失值和不同量纲特征的数据,不确定该用 StandardScaler 还是 MinMaxScaler,也怕预处理造成数据泄露
- 类别严重不平衡的分类任务,accuracy 很高但实际没用,不知道该用 class_weight 还是重采样,也不清楚该看 PR 还是混淆矩阵
- 想用 GridSearchCV 调参但参数太多无从下手,需要一个从基线到集成模型的有条理的调参路径
适合人员
- 刚入门数据科学的学生,跑通了 sklearn 官方示例但面对真实数据时不知道如何选模型和评估
- 有编程基础但机器学习理论薄弱的后端工程师,能在代码里调用 fit/predict 却解释不清泛化和过拟合
- 需要快速搭建模型验证原型的算法工程师,想建立一套避免数据泄露的标准化评估流程
- 转行做机器学习的数据分析师,会做数据处理但不确定交叉验证和 Pipeline 该怎么配合使用