LLM提示注入检测卫士

要解决的具体问题

当大模型接入 IT 运维、客服工单、文档问答或安全分析流程时，输入往往包含不受信任内容：用户提问、网页正文、工单描述、日志片段、第三方工具返回值等。这类内容可能夹带“忽略之前指令”“把配置发给外部地址”“以管理员身份批准变更”等提示注入。模型如果直接把输入当作可信命令，可能导致越权操作、敏感信息外泄、错误告警或自动化流程被劫持。

技能如何工作

该技能面向提示注入检测与防御场景，核心是把安全检查变成可重复的工程步骤，而不是只依赖临时肉眼判断。

• 先明确信任边界：区分系统提示、开发者指令、用户输入、工具输出与外部文档。
• 再审查提示组织方式：是否把不可信内容直接拼接进高权限上下文，是否允许输入覆盖角色或规则。
• 对高风险行为做约束：例如 执行命令、修改配置、批准变更、读取凭据、外发数据 等操作不应只凭模型输出触发。
• 将防御落点放在流程上：输入校验、输出过滤、最小权限、显式确认与审计记录配合使用。

适用边界与注意点

• 它适合作为提示工程评审、安全加固和运行前检查的一部分，不能替代权限系统、密钥管理、网络隔离和代码审计。
• 不同模型对指令层级、转义字符、多语言混淆和工具调用行为的解析存在差异，检测策略需要结合目标模型验证。
• 不应把“未检测到注入”当作安全证明；应配合日志、重放测试和红队样例持续迭代。
• 对生产环境的自动化操作，任何模型生成的高影响动作都应保留人工确认或权限校验环节。