技能介绍

要解决的问题

爬虫抓不到页面，问题通常不在内容质量，而在通路本身。多跳重定向会拉长抓取路径，形成循环时直接把爬虫困住；内部或外部链接失效产生 4xx，既浪费抓取配额，也让权重无法流动；孤立页面没有入链，站点层级过深时重要页面从首页点击超过 3～4 次才能到达。无限滚动让后续内容只能由 JS 触发，爬虫无法模拟滚动或点击「加载更多」，列表后半段基本处于不可发现状态；参数膨胀、重复 URL、低价值页面和分面筛选造成的抓取陷阱，则会持续吃掉大型站点（1 万页以上）的抓取预算。

技能如何工作

先读取项目上下文。若存在 .claude/project-context.md 或 .cursor/project-context.md，从中获取站点结构，并确认站点是扁平还是深层层级、基于 Next.js、静态站点还是 SPA，以及 Sitemap、robots.txt、API 与静态资源等关键路径。

重定向与断链：把多跳重定向改为直接指向最终 URL，打断自跳转循环；对 4xx 链接执行 301 或移除，并定期审计。
站点架构：梳理逻辑层级，让 hub 页面连接具体内容，给零入链的孤立页面补充内链。
分页 vs 无限滚动：关键内容优先采用传统分页，需要保留无限滚动时，按 Google Search Central 的建议改造：组件分页、每页唯一 URL、条目不重叠、新标签直接打开可用、通过 pushState / replaceState 更新 URL、超出边界的页码返回 404，传统分页则保留 rel="prev" / rel="next" 且链接需写在 HTML 中。
抓取预算：通过 canonical 合并重复 URL，指向最终地址，控制参数，对薄内容与重复页加 noindex，避免无限 URL 生成。Sitemap 只提交可索引、规范的 URL。
AI 爬虫优化：GPTBot、ClaudeBot 等不执行 JS，且其抓取中约 34% 命中 404、约 14% 跟随重定向（对比 Googlebot 约 8% 与 1.5%）。因此关键内容应通过 SSR、ISR 或 SSG 进入初始 HTML，保持 URL 模式一致并及时更新 Sitemap，直接指向最终 URL 并清理失效链接。

适用边界与注意点

本技能只做诊断与方案输出，不自动安装依赖、修改系统权限、创建持久化任务或执行下载内容；命令与代码默认作为参考，只有用户明确要求且目标范围清楚时才运行。涉及发送、发布、删除、付款、部署等外部写入，会先展示目标与影响并取得确认。凭据仅用于用户指定的官方服务，不回显、不记录、不转发。分页与抓取策略需结合现有站点结构判断，避免为了爬虫可发现性牺牲前端交互体验。

获取使用帮助和更多实用 Skill，请关注公众号「简诗 AI」，或在 SkillHub 搜索「简诗 AI」