搜索与AI爬虫访问控制｜简诗 AI

解决的工程痛点

在网站运维中，robots.txt 配置错误是导致页面漏抓或误封的常见原因。开发者常将路径级抓取控制与页面级索引控制混为一谈，导致使用 noindex 的页面被 robots.txt 屏蔽而无法读取指令。此外，随着 AI 搜索与模型训练的普及，如何精准允许 AI 搜索爬虫（如 OAI-SearchBot）而拦截数据训练爬虫（如 CCBot），且不对动态渲染的前端资源（如 Next.js 的 /_next/）造成破坏，成为当前的技术挑战。

核心能力与工作流

该技能通过结构化的工作流指导你完成抓取策略的制定与审计：

1. 上下文感知：自动检查项目级配置文件，提取站点 URL、索引目标及 AI 爬虫策略偏好。
2. 机制区分与指令生成：严格区分 robots.txt（路径级抓取）、noindex（页面级索引）与 nofollow（链接权重），生成符合 RFC 9309 标准的 robots.txt，正确处理通配符 * 与精确匹配符 $ 的优先级。
3. AI 爬虫路由策略：针对主流大模型爬虫提供差异化配置。允许 ChatGPT、Perplexity 等搜索类 Agent，拦截用于模型训练的 GPTBot 或 ClaudeBot，并针对不再遵守 robots.txt 的 ChatGPT-User 给出服务端防护建议。

适用边界与安全注意

robots.txt 本质是建议性协议，无法防御恶意爬虫。对于敏感目录，必须结合 noindex 或身份验证。此外，绝对不要屏蔽 CSS、JS 及图片资源，否则会直接破坏 Google 的页面渲染与索引能力。对于已添加 noindex 标签的页面，必须保持其可抓取状态，以确保爬虫能读取到该指令。