Agent Skills
返回列表
🔒

LLM Guard 提示与输出安全过滤

IT 运维与安全 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/filter-prompts-and-model-outputs-for-injection-secrets-toxicity-and-policy-risks-with-llm-guard

技能介绍

你要解决什么问题

把大模型接进产品之后，输入和输出都是自由文本：用户可能在提示词里夹带提示注入，试图让模型无视系统指令；模型的回复可能意外带出 API 密钥或内部敏感信息；也可能生成毒性内容或违反合规政策的回答。这些内容一旦流向生产用户或下游系统，就构成真实的安全事件。工程团队通常需要一个把关层，在请求进入模型、响应离开模型之前拦截风险内容。

这个技能如何工作

这个技能基于 LLM Guard，提供两类扫描器：

  • 输入扫描器：对发送给模型的提示词做检查，识别提示注入、越狱攻击、机密信息、毒性及政策风险。
  • 输出扫描器：对模型返回的响应做同样维度的检查，防止敏感内容从回复侧泄漏。

关键步骤是包装现有 LLM 交互代码：在应用或 Agent 的输入、输出处理逻辑中插入扫描调用，风险内容在到达生产用户或下游系统之前被拦截或标记，后续处理（拒绝、脱敏、告警）由你决定。

适用边界与注意点

  • 需要 Python 3.9+，以及可包装输入输出处理的应用或 Agent 代码。
  • 基础功能依赖少量库，探索更高级特性时需要安装更多依赖。
  • 扫描器基于启发式规则与模型判断，存在误报与漏报的可能，应视为降低风险的一层防护，而不是唯一边界。
  • 上游文档：https://protectai.github.io/llm-guard/

使用场景

  • 接入外部 API 到内部聊天机器人时，需要过滤用户输入的恶意指令，防止模型被越狱攻击。
  • 部署大模型微服务时，要在响应返回给客户端前扫描输出，拦截可能包含 API 密钥的内容。
  • 构建 AI 客服 Agent 时，需要扫描生成的回复文本，确保不包含违反公司政策的毒性言论。
  • 应用大模型处理敏感数据时，要在请求发送到第三方模型前检查提示词，防止机密数据外泄。

适合人员

  • 后端工程师，需要在大模型 API 接入生产环境前构建输入输出安全防护层。
  • 安全工程师，负责排查和修复大模型应用中的提示注入和数据泄漏漏洞。
  • AI 应用开发者，要在 Agent 编排链路中加入合规检查，确保模型输出符合企业政策。
  • 平台运维人员，需要在模型网关层部署拦截机制，管控下游系统的输入输出流量。