Agent Skills
返回列表
🤖

Jetson 推理内存调优

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @org-02qudk26/jetson-inference-mem-tune。

技能介绍

要解决什么问题

在 Jetson（Orin Nano 8 GB、AGX Orin、Thor 等）上跑 LLM/VLM 服务时，vLLM OOM、NvMap/PSS 被模型进程占满、以及「同样模型能否换更省内存的栈」是常见痛点。本技能不负责选量化方案（那是模型基准测试技能的事），但会结合 SKU 与工作负载，给出各运行时能高效服务的最低精度方向，并把 jetson-memory-audit 的 JSON 快照转成可执行的运行时与启动标志建议。

技能如何工作

前提是从目标设备上跑 jetson-memory-audit/scripts/audit.sh 拿到当前内存基线，并明确工作负载类型：llm-server、vlm-server、embedding 或 rag。核心脚本是 scripts/recommend.py：读取审计 JSON，按 --runtime（如 auto、vllm、llama-cpp、sglang）、--workload 和可选的 --target-mb 输出 JSON，其中包含推荐的运行时与 launch_flags（例如 vLLM 的 --gpu-memory-utilization、--max-model-len；llama.cpp 的 -ngl、-c、--no-mmap；SGLang 的 --mem-fraction-static、--max-running-requests）。

典型流程：先审计 → 再 recommend.py → 代理向用户展示确切 CLI 标志 → 用户或外部代理用这些标志启动/重启服务 → 重新审计验证。覆盖的运行时包括 llama.cpp（预算最紧、GGUF）、vLLM（连续批处理吞吐）、SGLang（RAG/工具/结构化输出）、TensorRT Edge-LLM（厂商调优生产栈），并附带 JetPack/L4T 版本下的容器或安装路径提示。

边界与注意

建议时效性依赖审计 JSON：停服务、改电源模式或重启模型服务器后应重新跑审计。脚本按 SKU 默认值与审计总量估算压力，具体模型的 KV-cache、量化与分词器行为仍可能需要单独基准测试。只读：本技能只发标志，不启动、停止或重启任何模型服务器。若 launch_flags 为空或缺失，不要编造后备参数；应报告脚本失败并让用户重跑审计或换支持的 --runtime/--workload。

使用场景

  • 在 Orin Nano 8GB 上部署 7B 级模型前，需根据 audit JSON 在 vLLM、llama.cpp 等栈之间选型并拿到启动参数
  • 线上 vLLM 反复 OOM，需结合当前设备审计结果确定 `--gpu-memory-utilization` 与 `--max-model-len` 取值
  • audit 显示模型服务进程为 NvMap/PSS 顶部占用，需在不停服假设下先拿到可调整的运行时与内存标志方案
  • 同样模型要压降内存占用，计划从 vLLM 切换到 llama.cpp，需要 `-ngl`、`-c`、`--no-mmap` 等可执行建议

适合人员

  • 在 Jetson Thor/Orin 边缘节点维护 LLM 推理服务、常因统一内存不足触发 OOM 的嵌入式/边缘 AI 工程师
  • 负责 JetPack 环境 vLLM 或 SGLang 容器部署、需按 RAG/llm-server 工作负载调内存旋钮的 MLOps 或平台工程师
  • 在 8GB 级 Orin 上评估 VLM 或 embedding 服务栈、需 `--target-mb` 与 SKU 默认策略对齐的模型部署负责人
  • 已集成 jetson-memory-audit 流程、希望把 JSON 快照自动转成 `recommend.py` 可执行标志的 Agent 编排开发者