技能介绍

解决大规模站点诊断的碎片化问题

在复杂网站的维护中，开发团队常面临多个维度的技术债务：深层页面潜藏的 404 错误、错误的重定向链路、缺失的图片 Alt 属性，以及未修复的 SSL 证书过期等问题。这些隐患不仅会阻碍搜索引擎的正确索引，还会直接影响真实用户的加载体验与可访问性。传统的人工排查或基于 PHP 的旧版爬虫往往受限于执行速度和资源开销，难以在可接受的时间内完成全站深度扫描，导致诊断报告滞后，修复队列难以建立。

技能的工作机制与核心能力

该技能基于上游 SiteOne Crawler 项目重构，完全使用 Rust 编写。其核心逻辑是把庞大、耗时的站点爬取任务转化为结构化、可执行的诊断数据流。工作流程主要分为以下三个关键步骤：

深度资源遍历：不再是简单的链接抓取，而是深入分析每一个页面及其关联的静态资产。引擎会模拟真实的访问路径，覆盖多级目录和复杂的重定向网络。
多维度规则检测：在爬取过程中同步执行技术 SEO 检查（如死链、Meta 标签）、可访问性（A11y）标准验证，以及基础的安全与性能指标监测。
产物导出与修复队列生成：扫描完成后，系统会生成标准化的报告文件和 sitemaps。更重要的是，它会将识别到的错误进行归类，自动形成一份可执行的 remediation queue（修复队列），让开发团队能直接着手解决问题，而不是停留在分析数据阶段。

适用边界与部署注意点

环境依赖较新：为了发挥 Rust 重写后的原生性能，该项目对系统底层库有较高要求。glibc 版本必须达到 2.39 或更高（如 Ubuntu 24.04、Debian 13、Fedora 40），且编译环境需配备 Rust 1.85+。
特定功能配置：如果需要使用邮件摘要（email summaries）功能将报告定时推送给团队，必须额外配置 SMTP 认证参数，并确保运行环境具备对应的出网发送权限。