资料检索与下载

为什么需要这套方法

让大模型去「找一份资料」看似简单，实际处处是坑：标准号短词检索被广告污染，搜索引擎首页覆盖不到真正有用的页面，付费站点把摘要页伪装成全文，JS 渲染的站点用 curl 只拿到空壳 HTML。更常见的是模型直接编造一个来源，或者把 3 页预览当成完整版交付。这套方法要解决的就是：如何稳定地把一份网络资源真实地拿到手，并证明拿到的是真东西。

核心原则与流程

方法沉淀自一次 ISO 22217:2020 标准全文检索实战，核心原则有四条：

• 官方优先：先查发布机构官网（P0），再查收录站（P1/P2），论坛与个人分享（P3）只作线索
• 多路并行：同一目标用不同检索词、不同渠道同时探测，拒绝单线搜索
• 验证一切：下载后必须检查页数、版本、加密状态，不轻信站点标注
• 精确检索词优于短词：完整标题的长尾匹配命中率远高于标准号短词

具体流程分六步：

1. 意图解析：明确资源类型、目标标识、语种需求与期望产出，并预判版权难度
2. 检索词工程：至少准备标识符、完整标题、本地化变体、限定词（如 filetype:pdf）四类检索词
3. 渠道枚举：按优先级逐个探测，重点动作包括查中文采标（openstd.samr.gov.cn）、官方在线浏览、带 User-Agent 绕反爬
4. 下载与验证：curl 失败时依次加 UA、Referer、Cookie 或换镜像；用 pymupdf 读取页数、元数据与首末页文本
5. 深挖扩展：SPA 站点抓 JS bundle 找样本链接，或用无头浏览器渲染提取内嵌正文；必要时并行部署 Explore 子代理
6. 结论交付：按完整度排序汇总，如实标注每个渠道的限制与可信度

适用边界

受版权保护的商业文档只有预览样本，方法不承诺「找全文」，而是如实告知全网已确认的上限并引导官方购买。相同工具加相同参数只执行一次，失败必须换词换方法；无法访问的渠道标注「未能核实」，绝不编造来源。