URL 伪装检测器

要解决什么问题

有些站点会对 Googlebot、Baiduspider 等爬虫与 Chrome、Safari 等浏览器返回不同 HTML 或跳转目标：搜索引擎看到的是「合规页」，真实用户却被导向赌博、诈骗或其它违规内容。也有人遇到「收录标题和实际打开不一致」，本质是 User-Agent 维度的差异化投放（俗称伪装 / cloaking）。手工换 UA 逐条对比既慢又容易漏掉重定向链路上的差异。

技能如何工作

本技能围绕脚本 scripts/fetch_multi_ua.py 做 多 UA 并行请求 与 差异摘要分析：

• 对同一 --url 使用内置 UA 集合（如 googlebot、chrome_desktop、curl、empty_ua 等），可 --ua-filter 缩小范围；--delay / --timeout 控制节奏与超时。
• 脚本输出 JSON，重点看 diff_summary：risk_level、has_content_difference、hash_groups（同哈希即同内容）、status_groups、redirect_groups、title_groups，以及 text_similarity_pairs（UA 对文本相似度）。
• 智能体据此做语义层排查：爬虫 vs 浏览器内容分叉、移动 vs 桌面分叉、空 UA 被拦或重定向；结合 content_snippet / plain_text_snippet 摘录可疑关键词，并对比 redirect_groups 是否 UA 针对性跳转。
• 最终产出结构化检测报告：各 UA 状态码与内容长度、差异分组、风险等级与依据、可疑片段。

适用边界

风险等级来自自动化指标，最终结论仍需结合页面语义。站点还可能按 IP、地区、Cookie 等维度差异化，仅 UA 未检出差异不代表绝对安全；默认 0.5 秒请求间隔与跟随重定向的行为会影响慢站与长跳转链的观测，需按需调参。