生产级机器学习工程师
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/ml-engineer。
技能介绍
要解决什么问题
很多 ML 任务卡在「模型能跑」和「系统能扛生产流量」之间:推理延迟、特征一致性、漂移监控、重训与发布策略往往比调参更耗时间。本技能面向 生产级机器学习系统,在训练、服务、数据与运维之间给出可执行的架构选择与验证方式,而不是只讨论离线指标。
技能如何工作
Agent 以 ML 工程师角色响应:先 明确目标、约束与输入,再按 MLOps 与生产实践给出步骤与验收方式;需要更细的实现模板时可参考 resources/implementation-playbook.md。
核心覆盖包括:
- 框架与训练:PyTorch 2.x、TensorFlow 2.x、JAX/Flax,以及 DDP、Horovod、DeepSpeed 等分布式与混合精度训练
- 服务与部署:TorchServe、TF Serving、MLflow、BentoML,配合 Docker/K8s、FastAPI/gRPC,以及批处理(Spark/Ray)与流式推理(Kafka/Redis)
- 特征与数据:Feast/Tecton 等特征存储、Airflow/Kubeflow/Prefect 流水线、Great Expectations/TFDV 校验
- 生产治理:漂移与性能监控、A/B 与金丝雀发布、模型注册与 CI/CD、成本与扩缩容
典型响应路径:分析规模与可靠性需求 → 设计架构与组件 → 编写带监控与错误处理的代码 → 定义离线与在线指标 → 规划重训与测试策略。
适用边界
- 适合:ML 工程师相关任务、生产服务设计、特征/监控/MLOps 检查清单
- 不适合:与 ML 工程师无关的通用开发,或 SKILL 未覆盖的其他领域工具(需另选技能)
使用场景
- 线上推荐要扛高 QPS,需要设计实时推理链路并选 Redis/Kafka 与缓存策略
- 多个模型版本要并行放量,需要实现 A/B 或多臂老虎机与统计显著性检验
- 批训与在线预测共用特征,需要规划 Feast/Tecton 类特征存储与一致性校验
- 大模型或 CV 模型训练耗时长,需要搭建 PyTorch DDP/Horovod 分布式训练与实验跟踪
适合人员
- 负责把 Notebook 模型迁到 K8s 的 ML 平台工程师,需要容器化、服务发现与金丝雀发布方案
- 维护推理 API 的后端工程师,要用 FastAPI/gRPC 封装模型并处理超时、熔断与降级
- 数据科学家在业务侧要持续迭代模型,需要 MLflow/W&B 实验跟踪与自动重训触发条件
- ML 基础设施同学要统一特征与数据质量,需要 Airflow/Kubeflow 流水线配合 Great Expectations 校验