SageMaker 部署规划器
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/hf-cloud-sagemaker-deployment-planner。
技能介绍
要解决什么问题
把 Hugging Face 模型或 S3 上的工件接到 Amazon SageMaker,先要选对部署形态:实时端点、无服务器、异步、批处理,还是 Bedrock 自定义模型导入。选错路径会在空闲 GPU 上持续计费、触发冷启动 SLA,或在 ResourceLimitExceeded 上浪费一整轮部署。本技能面向「不想自己啃 AWS 基础设施细节」的委托场景:用一轮左右的澄清,给出可执行的默认建议,并把后续步骤交给同系列专门技能。
技能如何工作
职责覆盖工作流的前两阶段:发现与路径选择。
发现只问必要项:
- 什么模型:Hugging Face ID、S3 工件路径或模型名;表述模糊时追问工件位置
- 模型类型:LLM、嵌入/重排序,或其它(分类、NER 等);多数可从名称推断(如
-embed-*、BAAI/bge-、sentence-transformers/*) - 流量形态与延迟容忍度:交互式、近实时还是异步
- 成本敏感度:仅在用户提及或流量模式不清时追问
区域由 hf-cloud-aws-context-discovery 提供,除非用户已说明,否则不重复询问。不要一次性抛出问题清单;常见最小集仅为「什么模型、大概多久调用一次」。
路径选择对照场景做诚实推荐:
| 路径 | 典型适用 |
|---|---|
| 实时端点 | 稳定流量、亚秒到数秒延迟、需始终在线;LLM 默认 |
| 无服务器推理 | 波动/稀疏流量、可接受约 10s+ 冷启动;大参数量 LLM 易触内存上限 |
| 异步推理 | 长推理(>60s)、大负载、可队列;嵌入小模型 + 突发流量时可缩零空闲 GPU |
| 批处理转换 | 离线数据集打分 |
| Bedrock CMI | 要 Bedrock 兼容 API、受支持基础系列、仅权重 |
嵌入模型默认仍倾向实时,且 CPU 实例往往比 reflex 上 GPU 更合适;实例类型需在推荐前结合账户配额(许多账户 GPU 类型默认为 0)。对 24GB 级 GPU,有配额时 ml.g5.*(吞吐)与 ml.g6.*(成本)在 vLLM 镜像下均可;更大显存考虑 ml.g6e.*。
给出建议后等待用户确认再进入创建;计划留在对话中,除非明确要求,不生成 plan.yaml。
边界与注意
- 阶段 3–6(上下文预检、IAM、镜像选择、实际部署)由
hf-cloud-aws-context-discovery、hf-cloud-python-env-setup、hf-cloud-sagemaker-iam-preflight、hf-cloud-serving-image-selection、hf-cloud-sagemaker-production-defaults等在模式匹配时接管。 - 实时与异步有脚本支持路径;无服务器、批处理、Bedrock CMI 目前无脚本——应简短说明并引导,勿硬走同一套 deploy 工作流。
- 镜像 URI、SDK 细节、配额数值不确定时应查证,勿猜测;用户对推荐有异议时以用户约束为准。
使用场景
- 刚把微调 LLM 或 HF 模型 ID 定下来,要在创建计费资源前选定实时端点还是无服务器,并核对 GPU 配额是否非零
- 要把 BGE、sentence-transformers 等嵌入模型接到 SageMaker,需确认走 CPU 实时端点而非默认上大 GPU
- 单次推理常超过 60 秒或流量长时间为零,需判断异步队列是否比常驻 ml.g5 更省 idle 成本
- 只有 S3 工件且希望 Bedrock 风格 API,需先判断能否走 CMI,避免误选自定义 vLLM 容器路径
适合人员
- 负责把 Hugging Face 模型推上生产推理、但不愿自己对照五类 SageMaker 路径表格的 ML 平台工程师
- 用 Coding Agent 代做 AWS 部署决策的后端工程师,典型诉求是一两轮对话里拿到带实例型号与备选说明的可确认方案
- 主要做离线数据集打分、需确认该用批处理 Transform 而非在线端点的数据科学家或算法工程师
- 在账户 GPU 配额常为 0 的新区域首次部署 vLLM 服务、需要先选 ml.g5/ml.g6 再进入 IAM 与镜像技能链的 DevOps