Agent Skills
返回列表
📊

Trafilatura网页文本提取与爬取工具

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/trafilatura-web-text-extraction-crawling。

技能介绍

网页正文提取的实际痛点

直接解析 HTML 时，正文常被导航栏、脚本、广告和侧边栏淹没。简单正则易误删段落，保留大量无关标签，且 metadata 与评论分散在不同节点，处理成本高。

工具如何工作

Trafilatura 包与 CLI 先抓取并下载原始 HTML，再定位主内容区域，提取正文、metadata 与评论。最后输出 CSV、JSON、Markdown、XML 或 TXT 结构化结果。

适用边界与注意点

  • 依赖上游 Trafilatura Python 包，需先确认运行环境兼容。
  • 页面结构变动可能导致提取规则失效，需重新评估。
  • 评论提取受 HTML 注释和特定标签限制，非标准结构可能丢失。

使用场景

  • 内容分析前，需要从多篇网页抓取正文并整理成 JSON 数据。
  • 文档归档时，要从页面中提取正文、元数据与评论并导出为 Markdown。
  • 数据清洗阶段，要把杂乱的 HTML 转为干净的 CSV 供进一步处理。
  • 离线研究时，需要批量下载网页并将提取结果保存为 TXT 文本。

适合人员

  • 负责内容分析的数据分析师，需要从网页中快速提取正文与元数据。
  • 构建文档采集工具的工程师，希望用 Python 包和 CLI 抓取网页。
  • 处理网页存档的研究人员，想把页面正文与评论转成结构化文件。
  • 需要清洗网页数据的开发者，想用现有包减少 HTML 解析工作量。