知识库素材清洗

要解决什么问题

把网页、公众号或 HTML 文章抓进知识库时，正文往往混着导航、相关推荐、订阅引导、点赞转发话术，还有重复摘要和   这类标签残留。直接入库会污染检索与 RAG，也会让中英混杂的术语前后不一致。

本技能面向入库前的素材整理：在不改写观点、不擅自总结的前提下，把噪声剥掉、重复合并、输出可读的 Markdown。

工作流程

调用后按固定顺序执行四步：

1. 内容净化：删除广告推广、平台固定区块、作者简介与互动引导等非正文；保留论点、数据、案例与方法。
2. 去重：合并语义重复的段落，保留最完整的一份；去掉首尾与正文重复的摘要式段落。
3. 格式统一：理顺段落与列表，统一标题层级（## / ###），删多余空行并清理 HTML 残留。
4. 双语处理：纯外文则生成中文并对照呈现；中英混合则理顺中文，首次出现的关键术语做中英对照标注，后续用中文即可。

输出包含清洗后的正文，以及简要清洗摘要（处理了哪些噪声、是否遇到结构混乱等）。

适用边界

• 只做净化与规范化，不改变原文语义；边界模糊的内容（例如略带推广色彩的案例）默认保留，避免过度删减。
• 原文结构极度混乱时，会在摘要中说明，并尽量抽出可用片段。
• 超长文本（约 5000 字以上）会分段处理后再合并输出。