技能介绍

它在解决什么问题

当你把一个复杂任务拆给多个子智能体执行后，通常只能看到最终输出，很难回答：任务到底有没有完成、上下文是否互相泄露、协作过程是否存在冗余、某个错误是由哪个环节造成的。Subagent Evaluator 试图把这些模糊的“看起来能用”变成可复现、可比较的指标。

评估如何组织

它只依赖 Python 3.8+ 标准库，核心入口是 SubagentEvaluator().evaluate_batch(scenarios, results)。最小流程分三步：用 create_evaluation_scenario(...) 定义评估场景，用 create_task_result(...) 包装子智能体的实际输出，再调用评估方法得到 JSON 或 Markdown 报告。

评估框架整合了四种学术思路：AgentBench（ICLR 2024）的多维度基准、AgentBoard 的细粒度推理链分析、Agent-as-a-Judge 的智能体互评，以及混合评估框架的确定性指标加 LLM 评分加权。具体指标由 EvaluationMetrics dataclass 承载，分为四类：

核心能力：pass_at_k、accuracy、completion_rate、auc
上下文隔离：task_leakage、summary_purity、citation_pollution
协作效率：information_diversity、unnecessary_path_ratio、information_fidelity
归因分析：intent_alignment、recall_health、composition_priority

generate_report() 会把详细结果渲染成 Markdown，便于直接贴进 issue 或 CI 日志。

适用边界与注意点

论文里的阈值并不直接照搬。资料中给出的 pass@k、summary_purity 等“优秀/良好/及格”分档是社区经验值，不是原论文官方标准，正式使用前需要拿自有基线校准。样本量方面，单次评估至少 30 个场景才具备统计意义，场景要覆盖正常路径、边界情况和对抗输入，并与已知 baseline 或人工标注横向对比。如果要把评估接入 CI，需要把它当作回归检测，而不是一次性打分。