技能介绍

要解决什么问题

智能体上线前，你往往只有主观体验：能聊、能调工具，但任务成功率、Token 成本、长程记忆和异常恢复是否达标，缺少可复现的基准。把 LLM「脑子好不好」和 Agent「闭环能不能跑稳」混在一锅测，也很难判断该换模型、改 Prompt，还是补规划与工具编排。

技能如何工作

本技能按 Agent = LLM + 工具 + 记忆 + 规划执行循环 的拆解，采用双轨解耦：

LLM 基座：指令遵循、逻辑推理、上下文利用、函数调用、幻觉控制等「无外部工具」能力
Agent 架构：规划拆解、工具编排、记忆管理、执行流控、异常恢复等与环境交互的闭环

评测覆盖 RAG、小说创作、新媒体、编程、行业研究、问题解决 六类场景；用 EPFMS（效能、过程、效率、记忆、安全）加权打分，场景权重不同（例如 RAG 偏重效能与安全，小说偏重记忆）。综合结果映射到 LLM L0–L3 与 Agent L0–L3，再合成 M0–M3 成熟度，并给出瓶颈与优化方向。

执行上依赖预置用例（含故障注入与 LLM/Agent 剥离测试），经 run_evaluation.py 协调跑分，score_aggregator.py 聚合权重，输出控制台摘要、JSON 轨迹与 HTML 雷达图；可选多智能体对比。

适用边界与注意点

结论依赖预置场景与用例库（见 references/test-scenarios.md、test-cases-db.md），自定义业务需自行扩展用例或权重矩阵。
AEGIS 模型与等级定义在 evaluation-model.md、maturity-model.md；沙箱与 Mock 由 mock_environment.py 提供，真实生产 API 行为差异需在报告中单独解读。
双轨等级是定位工具，不是替代人工验收；M3 仍可能在你未覆盖的长尾场景上翻车。