warc2text 页面转文本与语种标记

它解决什么问题

当你手里已经有一批 WARC 抓取文件时，重新抓一遍是浪费：页面可能已经下线、再次请求会产生流量，而且原始 WARC 里混杂着响应头、压缩块和 HTML 标签，没法直接用于检索或语料入库。这个技能面向的正是「已有归档、缺干净文本」的场景，用 warc2text 把记录转成可读文本并做语种标记，省掉重新爬取这一步。

它如何工作

核心流程分三段：

• 文本抽取：从 WARC 记录中剥离响应头与 HTML 结构，输出干净的正文文本，适合做全文检索或语料构建。
• 语种标记：对抽取出的文本做语言识别，把语种作为记录的一部分导出，方便按语言筛选和分桶。
• 记录导出：结果写入本地输出目录，形成结构化记录，供 review、搜索或语料构建消费。

适用边界与注意点

• 它只做转换，不做抓取，也没有增量同步能力；WARC 输入需要先在本地准备好，输出也需要本地存储。
• --skip-text-extraction 会跳过正文抽取、只输出 HTML，且与 -f 的 text 取值不兼容，同时必须跳过语种识别；想保留多语言标记就别开这个选项。
• 上游文档在 bitextor/warc2text，本技能的实现与说明维护在 1991513ccie-png/skills，遇到行为差异以两边文档为准。