机器学习流水线自动化
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/aj-geddes-useful-ai-prompts-ml-pipeline-automation。
技能介绍
问题背景
当你的团队不再用手工脚本跑「拉数据 → 清洗 → 训练 → 推模型」,而是要把整条链路做成可重复、可扩容、出了问题能查日志的流程时,难点往往在步骤依赖、失败重试和版本一致性:数据、代码、模型各走各的版本,一次重训可能悄悄换了特征表却还在用旧 checkpoint。
技能覆盖什么
本技能按端到端 ML 流水线拆解,从 Data Ingestion 多源采集,到 Data Processing 清洗与特征工程,再到 Model Training 与超参调优、Validation 交叉验证与测试,以及 Deployment 上线与 Monitoring 指标跟踪。编排侧会对照常见平台:Apache Airflow(DAG 调度)、Kubeflow(K8s 原生)、Jenkins(CI/CD)、Prefect 与 Dagster(资产驱动)等,便于选型时对齐职责边界。
实践上强调模块化(单步可独立替换)、幂等(任务可安全重跑)、错误处理与告警、数据/代码/模型版本化,以及执行日志与指标监控。调度策略包括按日重训、按周做大特征工程、数据更新触发的按需跑批,以及流式场景的近实时链路。交付物方向包括自动化 DAG、任务依赖图、执行日志与监控、性能指标、回滚步骤与文档——方便你把「能跑」升级成「能运维」。
适用边界
技能侧重流程设计与编排规范,不替代某一云厂商的专有 MLOps 全家桶;Python Implementation 在原文中仅为章节占位,具体实现需结合你选定的编排引擎与基础设施自行落地。流式与批式对调度、状态存储的要求差异大,选型前要先把 SLA 和数据刷新频率写清楚。
使用场景
- 新模型要按固定节奏用最新仓内表重训,需要把拉数、特征、训练、验证串成可调度 DAG
- 生产模型要可回滚,希望流水线里明确版本标记、执行日志和性能指标采集点
- 多数据源入库后要做统一清洗与特征工程,步骤多且互相依赖,要画清任务图避免重复跑
- 选型时在 Airflow、Kubeflow、Prefect、Dagster 之间权衡,需要对照批处理与 K8s 部署场景
适合人员
- 负责把离线训练脚本收成可重复跑批的 ML 工程师,关心幂等与失败告警
- 平台组要在 K8s 上接 Kubeflow 或等价编排、补 CI/CD 与监控的 MLOps 工程师
- 数据工程师主导特征表按周重算、训练按日触发,需要调度策略与模块化拆步
- 技术负责人要评审流水线交付物(DAG、依赖图、回滚文档)是否符合上线标准