技能介绍

要解决的问题

把云端能跑的 LLM，塞进算力、功耗、内存和存储都紧张的边缘设备，并不是简单换个模型就能成立。车载、IoT、嵌入式控制器、星载计算机等场景还经常遇到网络断续甚至完全离线，此时推理链路必须自己完成设备能力检查、模型适配、请求构造、执行监控和失败定位。

技能如何工作

edge-inference-service 面向这类边缘部署，按可复核的流程给出判断与建议：

约束确认：先收集可用算力（TOPS）、可用内存、存储空间、功耗上限和网络条件，再输出“可推理 / 需优化 / 不适合”，并估算最大可用模型参数量。
模型与引擎适配：按 INT4 → INT8 → FP16 的优先级考虑量化；模型示例包括 Qwen/Qwen2.5 系列。引擎则按设备类型匹配，例如 x86 边缘服务器可用 vLLM / llama.cpp，ARM 嵌入式优先 llama.cpp / MNN，NVIDIA Jetson 用 TensorRT-LLM，FPGA/ASIC 走厂商专用 SDK。
请求构造：确认实际 prompt、模型标识与量化版本、max_tokens / temperature / top_p 等参数，以及流式或批量输出，再生成结构化推理请求。
执行与观测：首次加载模型通常需要 30s–5min；运行中监控内存占用和设备温度。成功时返回结果及延迟、峰值内存摘要；失败时说明内存溢出、模型文件缺失或推理超时等原因，并给出修复方向。
工具脚本：scripts/model_optimizer.py 可用于边缘模型优化、量化、基准测试和设备能力检查。

适用边界与注意点

该技能不包含模型训练、微调或预训练，也不展开推理引擎与量化算法的内部实现细节。模型版权和许可需要用户自行确认。参考资料如 references/model_quantization_guide.md、references/edge_device_specs.md 以及 assets/ 下的量化和基准模板，适合作为执行时的查表与复用材料。