Garak LLM 越狱与提示注入扫描

大模型安全测试的盲区

传统软件测试往往关注功能是否可用，但在大语言模型（LLM）或智能体（Agent）系统中，最大的风险来自于输入端的不可预见性。当你的系统暴露在公网或复杂交互环境中时，恶意攻击者会尝试通过越狱（Jailbreaks）解除模型的安全护栏，或利用提示注入（Prompt Injections）欺骗模型执行非预期指令、泄露系统提示词甚至越权操作。

依赖常规的代码审查和标准的测试用例，很难覆盖这些针对性极强的对抗性攻击。安全失效往往要等到部署后、被攻击者利用甚至造成数据泄露时才会暴露。

基于 garak 的对抗性扫描工作流

该技能将开源工具 garak 的工作流封装为标准化的安全扫描能力。garak 是一个专为 LLM 设计的命令行漏洞扫描器，其核心理念是通过对抗性测试套件（Adversarial Test Suites）主动对模型发起探测，而不是被动等待漏洞出现。

在具体的工作流中，该技能指导开发者完成以下关键步骤：

• 目标接入：配置目标 LLM 或 API 凭证，确保 garak 能够与被测系统（无论是单一模型还是复杂的 Agent 技术栈）建立连接。
• 载荷生成：利用 garak 内置的丰富 Probe 和 Test，模拟真实的恶意攻击模式，向模型发送大量构造的对抗性 Prompt。
• 结果分析：捕获模型的响应，自动标记不安全行为、违规输出以及提示注入是否成功。这种探测机制能让潜在的安全失效在部署前或人工评审阶段就显形。

适用边界与注意事项

该技能属于轻量级的操作指南，仅聚焦于测试工具的调用与策略执行，并非通用的安全平台：

• 环境要求：运行环境需满足 Python 3.10+，并需要提供可用的命令行访问权限以及目标模型的 API 凭证。
• 平台支持：garak 工具主要在 Linux 和 OSX 环境下开发和维护，Windows 原生环境的支持可能存在限制。
• 版本差异：PyPI 上的标准版本更新周期较长。如果需要最新的特性或测试模块，需要参考上游文档手动从 GitHub 拉取较新的代码进行部署。