Boo哥AI 多文档查重
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c9003af/boo-check-review。
技能介绍
问题场景
当一批 .docx / .doc 文件需要交叉核对时,人工阅读很难快速判断哪些段落高度相似,也很难看出重复内容来自不同作者、编辑人还是同一份底稿。投标、技术方案和文档协作场景中,这类判断往往要同时看重复率、元数据与段落原文。
工作方式
该技能围绕“多文档查重”做流水线处理:
scan_files.py扫描目录中的 Word 文件;batch_extract.py提取段落文本与文档属性,如author、last_modified_by、创建/修改时间;check_duplicates.py基于TF-IDF与余弦相似度计算段落重复关系,默认阈值0.8、最小段落长度20字符;generate_report.py生成交互式 HTML 报告,包含总结页、热力图矩阵、文件对照、原文高亮弹窗与CSV导出。
报告首页会展示核心发现、文档属性一览、TOP 重复文件对、作者/编辑人分析和跨作者重复统计。若修改 generate_report.py 的 JS,生成时会运行 validate_js.py 校验 buildSummary() 中的变量声明与大括号配对。
适用边界
技能主要面向 Word 文档间的段落级重复检测,而不是全文抄袭鉴定。.doc 的属性提取为尽力而为;阈值和最小长度会影响结果,短段落或高度改写内容可能漏报。适合投标文件、技术方案、合同附件等批量文档的初步核查,不适合作为唯一版权或原创性结论。
使用场景
- 投标团队交付前比对多份技术方案,定位重复段落与不同作者痕迹。
- 法务助理审核合同附件,按阈值检查跨文档复用条款并导出 CSV 复核。
- 项目经理整理供应商方案,用热力图识别多份文档间高度相似章节。
- 文档负责人排查模板复用,提取 author 与最后编辑人判断底稿来源。
适合人员
- 投标文件负责人:交付前需要快速核对多份方案是否有大段复用。
- 法务/合规助理:需要把合同附件的重复条款按文档和作者维度汇总审查。
- 技术项目经理:需要比较供应商或内部技术方案中的相似章节来源。
- 文档工程人员:修改报告 JS 时需要校验变量引用,避免 HTML 报告不可用。