重复文档清理

问题

知识管理目录里，同一份 PDF、Word、Excel 或 Markdown 文档经常因为下载、同步、备份或改名出现在多个位置。按文件名很难判断是否重复：合同_v2、合同_副本、contract_final 可能内容完全一样，而文件名相同的文件也可能内容不同。手工打开逐个对比成本高，误删风险也不低。

工作方式

重复文档清理 通过文件内容而不是文件名做判断。核心步骤包括：

• 扫描目录：递归遍历目标目录，过滤 .git、node_modules、__pycache__ 等常见目录，并支持用 --exclude 传入正则表达式跳过指定文件或目录。
• 计算哈希：对 .pdf、.docx、.xlsx、.pptx、.txt、.md、.csv、.json、.xml 等文档逐块读取并计算 SHA-256，避免把大文件一次性载入内存。
• 分组报告：相同哈希的文件进入同一组，报告展示组内文件数、大小、修改时间、相对路径；对 .txt、.md、.csv、.json、.xml、.html、.eml 等文本类文件还会尝试读取预览，方便快速确认文档内容。
• 清理确认：默认 dry-run 只列出将要删除的文件和预计节省空间；使用 --delete 后才进入交互确认，并可选择整组删除、全部保留或按编号选择性删除。保留策略通常以修改时间最早的版本作为原始文件。

注意点

它适合清理本地目录中的同内容文档副本，不适合跨数据库、网盘服务端或邮件系统的复杂去重。二进制格式如 .pdf、.docx 只能靠内容哈希判断，无法解释版本差异；文本预览也只是辅助确认。若目录包含符号链接、权限受限文件或特殊编码，删除前仍建议先查看报告，并确认保留的是自己需要的那份文件。