LLM提示注入攻防基准

要解决的问题

把 LLM 接进业务系统之后，提示注入（prompt injection）往往成为最容易被低估的风险面：用户输入、网页内容、工具返回结果都可能携带恶意指令，覆盖你写在系统提示里的约束。问题不在于「有没有被攻击」，而在于你的应用在真实任务流里到底有多脆——以及一旦攻击命中，检测和恢复机制能否把损失兜住。很多团队直到上线后才第一次发现，自己根本说不清攻击成功率是多少。

技能如何工作

这个技能把 Open Prompt Injection 基准带到你的集成测试流程里，对接入 LLM 的应用运行结构化的攻击/防御实验。核心工作方式包括：

• 量化攻击面：在目标任务上跑预置的攻击配置文件，统计注入攻击的实际成功率，而不是凭感觉评估风险；
• 验证防御：针对你的检测管线（如输入过滤、指令隔离、权限边界）发起对抗测试，看拦截是否真正生效；
• 验证恢复：模拟攻击已穿透的路径，检验回滚、熔断、降级等恢复机制是否能让应用回到安全状态。

运行前需要准备好 Conda 管理的 Python 环境、上游代码库检出、按上游配置就绪的模型 API 凭证，以及目标任务和攻击配置文件。例如使用 PaLM2 时，需要先在 ./configs/model_configs/palm2_config.json 中填入真实 API 密钥，Meta 的 Llama 系列模型同理按上游要求配置。

适用边界与注意点

• 它是上线前的评估工具，不是运行时防护：实验结果衡量的是攻击成功率与防御/恢复管线的表现，不能替代部署后的监控；
• 结论高度依赖攻击配置和目标任务的选取，配置不具代表性时，成功率数字只反映该场景而非全局风险；
• 上游基准的能力边界（支持的模型、攻击载荷类型）同样适用，模型 API 凭证需按上游文档配置，避免在配置中硬编码真实密钥。