文档数据清洗工具
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_e7d35d84/data-cleaner1259。
技能介绍
它解决的具体问题
从 PDF、Word(DOC/DOCX)、TXT、Markdown 文档里删除不需要的内容,看起来是 Ctrl+H 就能搞定的事,实际往往不是:
- 页码格式太杂,纯数字、
- 1 -、第 1 页、Page 1 of 10、1/10、罗马数字混在同一份文档里,逐个填查找替换规则很容易漏判。 - 页眉页脚存在 Word 的 XML part 里,正文能搜到却不一定改得掉,图片、文本框这类引用内容更难处理。
- 「删掉所有包含‘机密’字样的行」不是全文替换,而是按行、按段、按句子粒度的过滤。
- 多编码的 TXT 源文件,一次粗放替换就可能把文件写坏。
- 清洗完想换格式(
.doc进、.pdf出)还得再开一套工具。
核心能力与工作方式
- 按需组合的清洗规则:移除页眉页脚、页码、关键词(整行/整段)、精确句子、正则匹配内容、空白格式清理,多个开关可叠加使用。
- 按文档类型路由脚本:PDF 走
scripts/clean_pdf.py,Word 走scripts/clean_docx.py,TXT/MD 走scripts/clean_text.py;统一入口scripts/clean.py自动检测格式并透传参数。 .doc的双通道处理:优先用 LibreOffice 转成.docx后清洗,保留排版;LibreOffice 不可用时回退Spire.Doc.Free提取正文,该路径下页眉页脚本就不在正文中,--remove-headers-footers自动生效。- 输出格式可切换:
--output-format在 PDF / DOCX / DOC 之间选择,直接支持.doc进.pdf出这类跨格式场景。 - 先预览再落盘:加
--dry-run先看清洗统计,确认无误再正式执行。
执行顺序是固定的
规则组合使用时,按 页眉页脚 → 页码 → 关键词 → 句子 → 正则 → 空白格式 依次清理,先做结构性删除,再做内容过滤,最后统一空白。DOCX 的正则移除同时作用于正文段落和表格单元格;页眉页脚直接操作 XML 级别 part,保证其中的文本框和图片被彻底清除。
适用边界与注意点
- 原文件不受影响:默认输出新文件,不改动源文档。
- 扫描版 PDF 无效:图片型 PDF 提取不到文本,必须先 OCR。
- 排版保真取决于 LibreOffice:装了 LibreOffice,
.docx → .pdf走转换保留排版;未安装则回退 PyMuPDF 渲染,内容准确但丢失原始排版,.doc回退路径同样只保留正文段落。 - PDF 中文输出:生成 PDF 时尝试内置 CJK 字体,字体异常时用
--extract-mode输出纯文本更稳妥。 - 正则传原始字符串:参数写成
r"..."形式;TXT/MD 自动检测 UTF-8 / GBK / GB2312,输出统一为 UTF-8。
使用场景
- 撰写 PDF 技术手册,需删除每页页脚的版权信息,只保留正文内容
- 整理 Word 调研报告,需删除所有包含“草稿”字样的整行内容
- 清洗 Markdown 技术文档,需删除所有日期行和多余空行
适合人员
- 文档工程师,需要处理大量结构化文档、移除冗余内容并转换输出格式
- 数据分析人员,需要在清洗调研 PDF 或 Word 资料时清除其中的标注信息以便后续分析
- 内容运营,需要从收集的外部文档素材中删除敏感词和页码