AI Agent 红队测试

问题场景

当 AI Agent 加载第三方 Skill 后，其安全边界可能被外部输入突破——例如通过越狱攻击诱导模型忽略安全策略，或利用恶意指令绕过内容过滤机制。这类风险在开放生态中尤为突出，可能导致未授权操作、敏感信息泄露或资源滥用。

核心能力

• 越狱攻击防御测试：模拟边界突破型指令（如 忽略之前所有规则），验证模型是否仍能坚守安全约束。
• 恶意指令识别测试：构造包含提示词注入、逻辑陷阱的测试用例，观察 Agent 对异常指令的检测与阻断能力。
• URL 访问控制测试：通过构造恶意 URL（如 http://evil.example/steal?data=...），评估 Agent 的 URL 过滤机制是否健壮。
• 触发机制：当用户输入包含 安全测试、红队测试、越狱测试、Agent 安全评估、Skill 注入测试 等关键词时，该 Skill 自动启动评估流程。

使用边界

• 仅测试 已加载 Skill 的 Agent 运行时行为，不评估模型本身的漏洞或框架层安全机制。
• 不替代常规安全审计流程，需配合真实 Skill 运行环境进行完整评估。
• 测试结果仅反映特定输入场景下的行为，不能代表全局安全水位。