Diffbot 文章提取验证器

要解决的具体问题

用 Diffbot 做文章抽取时，很容易把「能返回 JSON」误判成「抽取正确」。HTML 里通常混着导航、侧栏、推荐位、广告、页脚、Cookie 提示、评论和模板文本。如果只检查是否拿到了 title、author、tags 或 text，模型可能确实返回了字段，但内容来自页面 chrome，而不是正文编辑结构。

另一个常见问题是字段能返回，但不稳定：同一批页面换一次请求后，作者空了、标签漂移、正文里混进了按钮文案。这类错误不会让任务失败，只会悄悄降低下游检索、摘要、结构化入库或内容审计的可靠性。

技能如何工作

该技能围绕 Diffbot 的 Article API 和 Analyze API 做验证，核心不是重新实现抽取器，而是给已有抽取结果建立检查路径。

• 通过 Diffbot 请求拿到文章提取结果，再结合 Analyze API 返回的信息进行核对。
• 对关键字段做结构化检查，包括 title、author、tags、text。
• 区分真正的编辑内容与页面外围噪声，确认抽取结果来自正文结构。
• 输出可判断的验证信号，用于发现字段缺失、字段错位、正文污染或结构不稳定。

使用时建议先准备一批已知质量的页面作为回归样本，再固定 Entity ID 与 diffbotUri 相关的调用上下文。这样可以把「页面本身变了」和「抽取逻辑坏了」分开排查。

适用边界与注意点

它适合验证 Diffbot 文章抽取链路，不负责通用清洗器、不保证所有站点规则，也不替代人工标注。Diffbot 返回质量仍受页面结构、登录墙、动态渲染、付费墙和 JS 依赖影响。

建议把它接入到 CI 或入库前检查里，而不是等到数据进入生产库后再回看。对短文章、列表页、PDF 和高度模板化页面要谨慎判断，必要时补充人工抽检。