Scrubadub 文本 PII 脱敏

要解决什么问题

Agent 的典型工作流里，文本往往要在多个系统之间流转：把对话记录、报告草稿或检索片段投喂给搜索索引，转发给外部 API，或者写入共享的知识库。问题在于，这些文本里常常夹着个人身份信息（PII）：邮箱地址、电话号码、人名，甚至身份证号、住址这类更敏感的内容。一旦进了外部系统或公共索引，就很难再撤回，泄露窗口期非常长。

这类数据并不是被「泄露」的，而是被顺带带走的——你只是想让模型做摘要、想让索引能检索，结果原始文本原封不动地上了线。

技能如何工作

这个技能把 scrubadub 作为共享或索引之前的脱敏关口，核心思路很简单：先清洗，再出境。

• 识别并移除敏感片段：覆盖常见 PII 类型，包括邮箱、电话号码、人名及类似敏感文本。
• 替换而非删除：保留文本的段落结构和上下文，让清洗后的文本仍然可读、可被下游任务消费。
• 拦截在出口处：在 Agent 调用外部系统或写入搜索索引之前插入一步清洗，而不是事后补救。

典型流程：从任意文本源拿到内容 → 交给 scrubadub 处理 → 确认输出中已不含 PI→ 再发送给外部系统或索引。

适用边界与注意点

• 运行环境：依赖 Python 以及 scrubadub，且上游要求 Python 至少为 3.6，旧环境需要先确认版本。
• 覆盖范围有限：只能处理结构化程度较高的 PII，如邮箱、电话、姓名。手写的、变形的或非拉丁文字的联系方式，识别能力有限。
• 不要当唯一防线：业务上真正敏感的数据（密钥、凭证、内部合规字段）应该在上游就做隔离或分级，而不是指望下游这一步兜底。
• 清洗后建议抽检：把清洗后的输出纳入日志或审计，人工抽查一次，比事后救火便宜得多。