AgentDojo 代理防御压力测试

要解决的问题

当 LLM 代理被赋予真实工具、数据库或文件访问权限后，一次成功的提示注入就可能导致数据泄露或越权操作。问题在于：防御措施写了一堆，却很难证明它们真的挡住了攻击。手工构造几条 prompt 测试既覆盖不了真实攻击的多样性，也无法给出可比较的量化结果。

核心能力

这个技能基于 AgentDojo 的基准测试环境，帮助你在把代理接入生产之前系统地评估其抗注入能力：

• 搭建标准化的代理任务基准环境，代理需要在有工具和数据交互的场景中完成任务。
• 对代理发起提示注入攻击，检验代理是否会被恶意指令劫持、绕过安全边界。
• 评估防御机制的有效性，例如提示注入检测器的拦截表现。
• 通过命令行入口（agentdojo.scripts.benchmark）指定目标模型（如 gpt-4o-2024-05-13）和任务场景来运行测试。

适用边界与注意点

• 需要 Python 3.10+ 环境、agentdojo 包，以及目标模型供应商的 API 凭证。
• 若要使用提示注入检测器（detector）工作流，需要额外安装 transformers 依赖。
• 包的 API 仍在开发中，后续版本可能发生变动，升级前需要复核文档。
• 基准测试结果反映的是设定场景下的表现，不能等同于真实生产环境中的绝对安全保证，建议将结果作为决策参考而非唯一依据。