网页抓取与内容理解

问题

抓取网页内容时常卡在“怎么拿、怎么洗、怎么用”。直接拿 HTML 塞给模型会浪费 token 且实体抽取噪声大；纯正则又难覆盖正文、标题、作者、日期等自然内容；批量爬取还容易遇到反爬、限流、编码和断点丢失。

技能如何工作

它把任务拆成可审计的 Python 脚本、YAML 配置和 JSON 输出：先用轻量 HTTP 与页面特征判断是否为文章页，再按需进入正文清洗、批量爬取、Playwright 渲染和 LLM 实体抽取。LLM 只处理已清洗文本，不直接解析原始 HTML；CSS 选择器尽量放入配置，便于换站维护。

适用边界

适合公开网页、文章正文、元数据和简单实体抽取；不适合绕过硬付费墙、认证页或未授权登录场景。需要遵守 robots.txt、限速和编码检查；若使用可选的实体抽取阶段，需要在运行脚本环境中配置 OPENROUTER_API_KEY，而不是把密钥写入代码。