Agent Skills
返回列表
💻

Giskard 探测 ML 与 LLM 回归漏洞

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/probe-ml-and-llm-systems-for-regressions-and-vulnerabilities-with-giskard

技能介绍

为什么需要这类扫描

当你改完一个 prompt、换了模型或调整 RAG 检索逻辑后,LLM 或 RAG 应用可能在边界 case 上悄悄劣化:越狱提示突然生效、敏感字段被吐出、检索上下文错配导致回答漂移。这些回归和漏洞往往在冒烟测试里不会暴露,却可能被用户或攻击者先碰到。这个技能把 Giskard 的自动化红队与失败扫描接到开发流程里,在发布前主动发现问题。

技能如何工作

它围绕被测对象组织扫描,而不是只跑几条手工用例。

  • 面向 LLM 与 RAG 应用:支持模型接口和 RAG pipeline 作为扫描目标,配合测试数据集或提示集合。
  • 自动化红队与失败扫描:在用户接触前,用对抗性提示和边界条件探测越狱、泄露与逻辑回归。
  • 可接入现有测试资产:已有 prompt 或测试数据时,可直接作为扫描输入,不必从零搭建评估集。
  • 运行前置条件明确:需要 Python 环境、Giskard 开源包、模型/RAG 访问、测试数据,以及必要的模型凭证。

适用边界与注意点

  • 只覆盖你能访问和提供凭据的模型/RAG 端点,扫描结果依赖测试数据的覆盖度。
  • 面向回归和漏洞探测,不替代安全审计或合规认证;高风险场景仍需人工复核。
  • 基于 giskard-core 的库(如 giskard-checks)可能发送可选、聚合的使用遥测,帮助改进产品,但不含提示、输出或场景文本;如环境有限制,需要自行确认或关闭。

使用场景

  • 改完 prompt 准备上线,需要快速确认越狱提示和敏感字段泄露没有被重新引入
  • 刚把基座模型换成新版本,需要跑一遍旧测试集验证回答质量没有退化
  • 调整完 RAG 检索参数后,担心上下文错配导致回答漂移,需要自动扫描边界 case
  • 团队用 CI 守住 LLM 应用质量,需要把失败扫描接进发布流水线拦截回归

适合人员

  • LLM 应用开发者:每次改 prompt 或换模型后,担心线上行为悄悄回归却没人发现
  • RAG pipeline 工程师:调整检索和重排序后,需要自动验证边界 case 下回答没有漂移
  • AI 安全工程师:要在用户接触前,用红队扫描提前发现越狱和数据泄露
  • ML 平台质量负责人:想把自动化失败扫描接入 CI,守住发布质量门禁