DataCurator 中文语料清洗

要解决什么问题

做 LLM 微调、知识库入库或内容审核前置时，常见输入是一堆未分级的中文文本：重复、乱码、过短片段、低信息密度混在一起。人工逐条看不可扩展；若每条都丢给大模型打分，成本和延迟都扛不住。你需要的是：在本地、可离线、零 Token 的前提下，把「筛垃圾 → 留优质 → 自动归类 → 看清分布」收成一条可重复的流水线。

技能如何工作

DataCurator 通过统一 CLI 入口 python -m data_curator run 跑完整流程（与具体 Agent 平台无关）。典型输出目录包括：

• curated.*：保留语料，带综合分、tags 与各维度分
• dropped.*：丢弃语料，带 reason / stage
• report.md / report.json：保留率、各阶段丢弃与标签分布
• dashboard.html：交互看板（标签筛选、分数阈值、直方图、丢弃原因、悬停全文预览，支持暗色模式）

清洗之后，打分完全不用 LLM：在 info_density（信息密度）、coherence（连贯性）、completeness（完整性）等维度上做统计特征计算，单条毫秒级。综合分由加权求和再扣错别字惩罚得到。标签体系覆盖 topic / genre / difficulty / quality_signal 等大类，关键词命中可并存；也可通过 custom_labels 或自定义 yaml 扩展。

若已有历史结果，可用 rebuild 仅从产物重建报告与看板，无需重跑打分。

适用边界

• 适合：训练语料粗筛或精品筛选（默认 min_score: 65；要更严可提到 75）、写作语料归类、RAG 入库前的质量门禁。
• 不适合：语义重写或生成新内容——它只清洗与分类，不创作。
• 社媒等短文本时，宜调低 clean.min_length；缺 rich / pandas 时输出会降级为纯文本，功能不受影响。