SageMaker 生产部署默认配置

要解决什么问题

在 AWS SageMaker 上把 Hugging Face 模型挂成「能用的端点」不难，难的是把它当成生产推理：流量上来要能扩、异常要能告警、出问题要能查日志和配置。很多部署脚本只做到 CreateEndpoint 和 InService，自动扩缩、CloudWatch 告警和数据捕获往往被当成事后补丁。

本技能把「规划器已经选好的镜像、IAM 角色、实例类型」落成一套默认带运维能力的资源栈，而不是演示型单实例端点。

核心能力与部署流程

对每个端点，技能按顺序创建并串联：

• SageMaker 模型：容器镜像、环境变量、执行角色、可选 S3 工件
• 端点配置与实时端点（deploy.py）或异步推理端点（deploy_async.py，支持 MinCapacity=0）
• Application Auto Scaling：默认按每实例约 20 次调用/分钟做目标跟踪；异步场景额外注册步骤扩缩，避免「缩到零后无法唤醒」
• CloudWatch 告警：延迟、错误、平台开销（异步还有队列堆积等）

脚本会等待 InService（最长约 30 分钟）、注册扩缩与告警，并在 stdout 输出含端点/配置/模型名的 JSON，便于下游自动化。附带 invoke_endpoint.py 做跨平台、无 BOM 的冒烟调用；拆解用 teardown.py 按告警 → 扩缩 → 端点 → 配置 → 模型顺序删除。

数据捕获默认关闭（避免未授权的持续 S3 成本），需显式 --enable-data-capture。

适用边界与注意点

• InService ≠ 部署成功：MMS 类容器可能 /ping 正常但 Python 工作进程已崩溃。必须做一次真实调用，并在 /aws/sagemaker/Endpoints/ 日志里扫描 Traceback、Worker died 等标记。
• 冷启动：从 HF Hub 在容器内拉权重时，5–15 分钟以上 InService 很常见；可用 --model-s3-uri 预置权重。vLLM 镜像若标签含 cu130+，必须传 --inference-ami-version，否则可能出现 CannotStartContainerError 且无日志。
• TEI 与 vLLM 环境变量不同（如 HF_MODEL_ID vs SM_VLLM_*）；生成式重排序器需用补全 API + 特定 prompt 后缀，不要用聊天模板。
• Windows 手写 JSON 负载时注意 UTF-8 BOM 会导致 400；优先用附带脚本。数据捕获桶若与模型桶分离，需确认 IAM 对捕获路径有写权限。