Agent Skills
返回列表
文档数据清洗工具

文档数据清洗工具

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_e7d35d84/data-cleaner1259。

技能介绍

它解决的具体问题

从 PDF、Word(DOC/DOCX)、TXT、Markdown 文档里删除不需要的内容,看起来是 Ctrl+H 就能搞定的事,实际往往不是:

  • 页码格式太杂,纯数字、- 1 -、第 1 页、Page 1 of 10、1/10、罗马数字混在同一份文档里,逐个填查找替换规则很容易漏判。
  • 页眉页脚存在 Word 的 XML part 里,正文能搜到却不一定改得掉,图片、文本框这类引用内容更难处理。
  • 「删掉所有包含‘机密’字样的行」不是全文替换,而是按行、按段、按句子粒度的过滤。
  • 多编码的 TXT 源文件,一次粗放替换就可能把文件写坏。
  • 清洗完想换格式(.doc 进、.pdf 出)还得再开一套工具。

核心能力与工作方式

  • 按需组合的清洗规则:移除页眉页脚、页码、关键词(整行/整段)、精确句子、正则匹配内容、空白格式清理,多个开关可叠加使用。
  • 按文档类型路由脚本:PDF 走 scripts/clean_pdf.py,Word 走 scripts/clean_docx.py,TXT/MD 走 scripts/clean_text.py;统一入口 scripts/clean.py 自动检测格式并透传参数。
  • .doc 的双通道处理:优先用 LibreOffice 转成 .docx 后清洗,保留排版;LibreOffice 不可用时回退 Spire.Doc.Free 提取正文,该路径下页眉页脚本就不在正文中,--remove-headers-footers 自动生效。
  • 输出格式可切换:--output-format 在 PDF / DOCX / DOC 之间选择,直接支持 .doc 进 .pdf 出这类跨格式场景。
  • 先预览再落盘:加 --dry-run 先看清洗统计,确认无误再正式执行。

执行顺序是固定的

规则组合使用时,按 页眉页脚 → 页码 → 关键词 → 句子 → 正则 → 空白格式 依次清理,先做结构性删除,再做内容过滤,最后统一空白。DOCX 的正则移除同时作用于正文段落和表格单元格;页眉页脚直接操作 XML 级别 part,保证其中的文本框和图片被彻底清除。

适用边界与注意点

  • 原文件不受影响:默认输出新文件,不改动源文档。
  • 扫描版 PDF 无效:图片型 PDF 提取不到文本,必须先 OCR。
  • 排版保真取决于 LibreOffice:装了 LibreOffice,.docx → .pdf 走转换保留排版;未安装则回退 PyMuPDF 渲染,内容准确但丢失原始排版,.doc 回退路径同样只保留正文段落。
  • PDF 中文输出:生成 PDF 时尝试内置 CJK 字体,字体异常时用 --extract-mode 输出纯文本更稳妥。
  • 正则传原始字符串:参数写成 r"..." 形式;TXT/MD 自动检测 UTF-8 / GBK / GB2312,输出统一为 UTF-8。

使用场景

  • 撰写 PDF 技术手册,需删除每页页脚的版权信息,只保留正文内容
  • 整理 Word 调研报告,需删除所有包含“草稿”字样的整行内容
  • 清洗 Markdown 技术文档,需删除所有日期行和多余空行

适合人员

  • 文档工程师,需要处理大量结构化文档、移除冗余内容并转换输出格式
  • 数据分析人员,需要在清洗调研 PDF 或 Word 资料时清除其中的标注信息以便后续分析
  • 内容运营,需要从收集的外部文档素材中删除敏感词和页码