XScrapy AI 原生通用爬虫引擎

解决的问题

网页结构没有统一规范，价格、新闻、帖子、文档等页面字段分散，手工写 XPath/CSS 规则成本高，动态页面还会漏数据。x-scrapy 针对“给定 URL 后快速拿到结构化数据”的问题，将页面类型识别、字段模板、规则提取和可选 AI 提取合并成一条流程，减少为每个页面单独适配的样板工作。

如何工作

核心流程包括：

• 输入 URL 后自动识别页面类型，并匹配 ecommerce、news、social、forum、docs、listing 等场景模板。
• 按模板提取字段，如电商页的 title、price、in_stock、specs，文章页的 title、author、article_body。
• 支持 CLI、Python API 和单页快速提取，并可配置代理、反检测参数与 JS 渲染。
• 规则不足时启用 AI 提取：先分析页面语义结构，再提取指定字段，补充规则遗漏信息，并返回带 confidence_score 的结果。

适用边界

• 适合列表页、详情页、资讯页、文档页等结构化提取任务，输出标准 JSON，便于后续入库或分析。
• SPA、AJAX 等动态页面需要启用 JS 渲染能力，否则可能只拿到骨架 HTML。
• AI 模式会产生外部 API 调用费用，应仅在规则无法覆盖时使用。
• 每条数据附带置信度，低置信度字段建议人工复核；同时需遵守目标站点 robots.txt 与使用条款。