Future AGI 代理发布追踪评估模拟与护栏

代理发布时缺什么

把一个新的 agent 版本推到生产之后，常见的情况是：只知道线上有没有大面积报错，不知道模型在哪些输入上走进了错误分支，也不知道某个提示词改动是否悄悄改变了工具调用行为。原有的日志往往只记录了请求和响应，缺少对推理路径、工具调用链、边界输入的结构化记录，事后回放与评估无从下手。

这一技能针对的是代理发布前后的观测、评估、模拟与护栏四个环节，基于 Future AGI 平台把这几件事串起来。

它做了什么

• 事迹追踪（instrument agent runs）：通过 OpenTelemetry 兼容的插桩方式，记录代理每次运行的输入、模型决策、工具调用序列和输出，形成可用于回放的 trace。
• 评估（run evals）：把历史 trace 或数据集作为评估输入，跑评测任务，输出可比较的指标，而不是依赖肉眼翻日志。
• 模拟（simulations）：在受控环境中重放或合成场景，验证新版本在边界输入下的行为，尤其适合验证提示词或工具策略变更带来的副作用。
• 防护栅栏（guardrails）：以策略方式在运行链路上施加约束，拦截越界调用或不安全输出，使护栏逻辑成为可版本化、可灰度的代码资产。

最终的产出是把线上 trace 反哺到发布流程，形成"观测 → 评估 → 模拟 → 护栏"的闭环。

适用边界

• 需要已具备 Future AGI 的 Cloud 或自托管环境，并配好 Python 或 TypeScript 客户端包，不是零依赖即可开箱使用。
• 依赖 OpenTelemetry 兼容的插桩，若现有 agent 框架未接入 OTel，前期改造工作量主要在这里。
• 评估与模拟的质量取决于数据集、评测器和仿真规则本身的覆盖度，平台只提供执行与回放能力。