技能介绍

要解决的具体问题

学术写作或内容创作中，验证文本的原创性与避免过度依赖AI生成内容已成为一项常规任务。手动对比长篇文档既耗时又难以发现细微的相似片段，而直接使用商用查重服务可能涉及数据隐私和成本问题。此外，随着AI写作工具的普及，检测并弱化文本中明显的“AI痕迹”也成为一个新需求。这个技能旨在本地环境中，提供对 .docx、.pdf 或 .txt 文档进行文本相似度检测与AI生成特征识别的基础能力，并附带初步的文本改写工具。

如何工作

该技能通过一系列本地化算法来实现核心功能，无需配置外部API密钥。

核心能力：

查重：基于多种统计模型计算文本重复率。
AI率检测：通过规则和启发式方法识别文本中的AI生成模式。
报告生成：输出机器可读（JSON）与人类可读（Markdown）的详细报告。
文本优化：提供“降重”与“降AI率”功能，对文本进行改写。

关键使用步骤：

准备文件：将待检测文档放入技能目录，支持的格式包括 docx, pdf, txt。
执行检测：根据需求选择检测模式。使用参数 --check both 进行查重与AI率检测（默认），或使用 --check similarity/--check ai 进行单项检测。
查看结果：检测报告将自动生成在 output/ 目录下，包括详细的JSON数据和易于浏览的Markdown文档。
文本优化：如果需要降低相似度或AI特征，可以调用降重功能。降重模式有 paraphrasing（改写，默认）、synonym（同义词替换）和 restructure（句式调整）。针对AI特征弱化，可以选择 light、normal（默认）或 strong 的处理强度。

关键算法：

查重算法综合了 Jaccard相似度（基于词汇集合）、余弦相似度（基于词频向量）和 N-gram相似度（基于字符片段匹配）。
AI率检测则分析过渡词频率、句子长度分布、词汇多样性、被动语态使用率和常见机械短语等特征。

适用边界与注意点

算法性质：无论是查重还是AI检测，其算法均基于统计规律和常见特征，检测结果应作为参考依据，而非绝对判定。例如，当词汇多样性低于50%时会被标记为可疑。
数据处理：所有分析均在本地进行，不上传论文内容，适合对数据隐私有要求的场景。
输出与复核：自动生成的报告是分析的第一步。强烈建议在进行任何降重或改写操作后，人工检查文本的语义准确性和流畅性，避免因机械替换导致原意失真。
格式依赖：处理 .docx 和 .pdf 格式需要安装可选的 python-docx 和 PyPDF2 库，否则仅能处理纯文本 .txt 文件。