Agent Skills
返回列表
🤖

DeepTeam 红队代理工作流

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/red-team-agent-workflows-for-jailbreaks-prompt-injection-and-policy-failures-with-deepteam，把该技能加入你的 AI 助手。

技能介绍

它解决什么问题

大模型应用上线前，最常见的风险不是模型回答不了，而是它在不该回答的时候回答了。越狱能让模型绕过安全护栏，提示注入可以劫持 RAG 管道或工具调用流程，策略失败则表现为模型在边界输入下悄悄违反内容政策。这类问题在联调阶段很难暴露，因为测试用例通常是按"诚实用户"的假设写的，而真实攻击者不会配合你的流程。

技能如何工作

这个工作流把红队测试变成可重复执行的对抗性扫描，而不是一次性的手工试探。

核心能力：

  • 内置 50+ 现成的漏洞模板，覆盖越狱、提示注入、策略绕过等类别，每个模板附带原理说明
  • 结果判定不靠人工逐个看输出，而是用 LLM-as-a-Judge 指标自动判断每次攻击是否真正触发了失败
  • 攻击目标不绑定供应商：只需提供 model_callback，任意 LLM 都能驱动整套测试

典型流程：

  1. 通过 YAML 配置或直接在 Python 中定义攻击策略
  2. 实现 model_callback 对接被测系统
  3. 跑一轮对抗攻击，收集失败样本
  4. 按漏洞类别和指标结果归类，定位到具体的失败模式

一个关键的设计取舍是：它不要求你事先声明被测系统属于哪家 LLM。恶意用户同样不会知道，所以测试面应该和真实攻击面对齐，而不是只覆盖你熟悉的模型。

适用边界

  • 它是测试工具，不替代护栏本身的实现；发现失败后仍需人工修复策略或过滤层
  • 判定质量受 Judge 模型的能力限制，误报和漏报都可能存在
  • 内置模板覆盖的是已知攻击模式，未纳入的新注入变体需要自行扩展

使用场景

  • 上线前对聊天机器人跑一轮对抗攻击，确认是否还存在能绕过内容策略的越狱提示。
  • 为 RAG 管道编写测试用例，用内置模板验证检索增强是否可能被恶意指令劫持。
  • 收到新的提示注入报告后，复现该攻击变体并评估当前模型是否会按攻击者意图行事。
  • 定期检查工具调用型 Agent 的策略合规性，找出能在边界输入下触发越权行为的输入。

适合人员

  • 负责大模型应用上线的工程师，需要在部署前跑完系统性的红队测试并拿到可复现的失败清单。
  • 构建 RAG 或聊天机器人的产品技术负责人，想在发布前确认提示注入能否真正劫持系统流程。
  • 维护安全基线的安全研究员，希望用统一模板持续复现越狱和策略绕过类问题。