数据投毒防护
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_af163eaa/z-ai-sec-data-poison 到你的 AI 助手。
技能介绍
训练数据正在成为攻击面
当模型的训练语料或知识库来自公开抓取、第三方贡献或自动化流水线时,脏数据可能在无感知的情况下进入系统。一条被篡改的样本、一个注入了对抗扰动的输入,或者一批标签被悄悄改写的文档,都足以让模型学到错误的关联,且这类问题往往直到模型上线、被用户触发异常行为后才会被发现。
排查这类问题的难点在于:投毒样本通常没有明显的格式错误,混在合法数据里可以正常解析、正常入库,唯一的痕迹藏在统计分布里。没有结构化的检查方法,团队只能靠人工抽看,覆盖率和一致性都无法保证。
这个技能做什么
数据投毒防护 不是自动化扫描器,而是一套可落地的方法论指南,用于在训练数据入库前和入库后两个阶段建立防护习惯。核心能力按四个方向组织:
- 识别异常样本:通过分布偏移检测发现统计上偏离主簇的样本,排查标签噪声、对抗样本和异常注入。
- 数据源可信度分级:为每个数据来源建立信任等级,并对文件做
签名或哈希校验,确保入库后可追溯。 - 入库前清洗与抽检:新数据先进入隔离区待审,通过清洗流程和抽检规则后再合并入正式语料。
- 回滚与持续监控:发现异常时能快速回退到上一个可信快照,而不是在已污染的数据上继续训练。
使用时按 明确目标 → 逐项执行核心方法 → 输出结构化结果 → 标注待复核项 的流程走一遍,最终交付物通常是一份分级清单和整改建议。
适用边界与注意点
适合的场景是:需要方法论指导、检查清单或最佳实践参考,例如团队正在搭建数据治理流程、准备上线新模型前的安全自查。
不适用的场景是:需要实时拉取外部系统数据并自动处置的高频流水线任务,这类场景需要工程化的检测组件而非清单指南。另外,防护措施降低的是风险而非消除它,模型正式上线仍需配套完整的数据治理流程,涉及法律、医疗、财税等专业领域的结论必须由持牌人士出具。
注:技能附带一份速查卡(references/速查卡.md),可作为日常自查时的快速参考。使用场景
- 从公开渠道采集语料构建训练集,入库前需要排查是否混入了被篡改或标签错误的样本
- 知识库接入外部文档供检索增强使用,需要评估这批文档的来源可信度并决定是否放行
- 模型上线前做安全自查,需要按检查清单逐项确认训练数据没有分布偏移或异常注入痕迹
- 建立数据治理流程,需要规范入库前清洗、隔离待审和异常回滚的操作步骤
适合人员
- 构建大模型训练数据的算法工程师,需要一套结构化流程来排查训练集是否被污染
- 负责知识库与检索链路的数据平台工程师,需要在外部文档入库前做来源校验和隔离审核
- 制定数据治理规范的技术负责人,需要检查清单来统一团队在数据清洗、回滚和监控上的做法
- 做模型安全评估的工程师,需要在红队测试中识别对抗样本和异常注入的常见模式