技术SEO审计爬虫

先解决哪类问题

大型站点的内容可能已经上线，但技术债务常藏在爬虫路径里：重复 URL 抢占收录、canonical 指向错误页面、hreflang 互相矛盾、sitemap 过期或包含 404。人工抽查容易漏掉深层分页、参数页和重定向链。这个技能面向的是“页面看起来正常，但爬虫和索引可能理解错”的问题。

技能如何工作

它把一次审计拆成三类输入：Screaming Frog CLI 负责站点爬取和结构信号，Lighthouse CI API 负责实验室性能与页面质量数据，PageSpeed Insights v5 补充真实用户访问相关指标。最终报告重点不是泛泛的分数，而是可定位的技术项：

• Core Web Vitals：检查 LCP、INP、CLS 等指标是否达到阈值，并与页面体验关联。
• canonical chains：追踪 link rel="canonical" 的目标、跳转和自引用，识别指向错误或形成环的情况。
• hreflang conflicts：核对语言与地区标签的声明、回指和冲突，避免搜索引擎选错地区版本。
• XML sitemap validation：校验 sitemap 是否可解析、URL 是否可访问，并暴露 404、重定向或重复条目。

执行时可以先对生产 URL 或 staging URL 做范围控制，再对异常项做二次抓取。它更关注重复内容、索引信号和跨区域版本一致性，而不是替代内容策划或关键词研究。

适用边界与注意点

适合中小型站点的常规技术审计、发布后巡检和 CI 辅助检查。对 SPA、重定向密集、参数爆炸或多区域镜像站点，仍需要人工复核，因为业务语义和路由规则会影响判断。当前资料未提供可自动提取的安装与使用说明，上游项目需要自行审阅后再接入敏感流程。输出应作为工程师的排查清单，不应直接当作搜索排名保证。