Agent Skills
返回列表
自动获取网站PDF文件

自动获取网站PDF文件

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_af7ecda8/zidongxiazaipdf。

技能介绍

要解决的问题

研报、白皮书往往散落在各机构站点里:导航叫法不统一,列表页和资讯流混在一起,有的还要登录后才能看到下载入口。手工点选既慢,也容易下到「网页打印的假 PDF」或过期链接。这个技能面向的是按网站域名 + 主题关键词,批量拉回服务器返回的原始 .pdf 文件。

技能如何工作

核心方法论是「先探测,再编码」——不假设「研究报告」菜单一定指向列表页,也不靠 placeholder 猜输入框。典型链路包括:

  • 用 Playwright(或等价浏览器自动化)探测登录表单、协议勾选与提交,并轮询确认登录成功;
  • 扫描 nav a / menu a 的 href,筛选含 report、yanbao 等模式的列表页,再定位搜索框与按钮;
  • 只保留详情 URL 模式(如含 detail / report / view)的条目,去重、滚动加载后按日期取前 N 份;
  • 下载优先级:直链 + Cookie → 下载按钮 expect_download,无入口则跳过并记录;
  • 每份用 %PDF 魔数与页数阈值校验(可调用 scripts/validate_pdf.py),命名 {序号:02d}_{标题}.pdf,并支持扫描已有文件断点续传;长任务中检测登录失效并自动重登。

执行前应阅读技能内 references/website-pdf-download-guide.md,按其中九步与踩坑复盘操作。

适用边界

  • 严禁用 page.pdf() 打印网页冒充报告;只接受真实 PDF 响应。
  • 需要登录的站点必须提供账号密码;无下载入口、页数不足或网络错误会记入跳过/失败统计,可针对性重试。
  • 不同站点 DOM 差异大,首次建议少量试跑(如 3 份)再扩大目标份数。

使用场景

  • 信通院、工业互联网联盟等站点需登录后,按「工业互联网」关键词批量拉取近一年白皮书 PDF 到本地归档
  • 央企官网研究报告栏结构不明,要先探测列表与搜索再按主题下载前 10 份原始 PDF 供内部分析
  • 看知球类站点报告混在资讯流里,需要过滤详情页链接并校验页数,避免把网页打印文件当研报
  • 多站点复盘中断后重跑同一输出目录,应跳过已存在的 `01_标题.pdf` 并只补下缺失条目

适合人员

  • 行业研究员,需定期从多个官方站按关键词沉淀可追溯的 PDF 原文而非截图或打印件
  • 数据/竞争情报分析师,要把信通院、联盟站研报统一落盘并做魔数与页数质检后再入库
  • 写了半自动爬虫的工程师,在新站上线前想按「先截图、打 DOM、再写选择器」流程减少返工
  • 法务或合规同学抽查对外引用材料时,要求确认文件为真 PDF 且带来源标题与日期命名