自动获取网站PDF文件
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_af7ecda8/zidongxiazaipdf。
技能介绍
要解决的问题
研报、白皮书往往散落在各机构站点里:导航叫法不统一,列表页和资讯流混在一起,有的还要登录后才能看到下载入口。手工点选既慢,也容易下到「网页打印的假 PDF」或过期链接。这个技能面向的是按网站域名 + 主题关键词,批量拉回服务器返回的原始 .pdf 文件。
技能如何工作
核心方法论是「先探测,再编码」——不假设「研究报告」菜单一定指向列表页,也不靠 placeholder 猜输入框。典型链路包括:
- 用 Playwright(或等价浏览器自动化)探测登录表单、协议勾选与提交,并轮询确认登录成功;
- 扫描
nav a/menu a的href,筛选含report、yanbao等模式的列表页,再定位搜索框与按钮; - 只保留详情 URL 模式(如含
detail/report/view)的条目,去重、滚动加载后按日期取前 N 份; - 下载优先级:直链 + Cookie → 下载按钮
expect_download,无入口则跳过并记录; - 每份用
%PDF魔数与页数阈值校验(可调用scripts/validate_pdf.py),命名{序号:02d}_{标题}.pdf,并支持扫描已有文件断点续传;长任务中检测登录失效并自动重登。
执行前应阅读技能内 references/website-pdf-download-guide.md,按其中九步与踩坑复盘操作。
适用边界
- 严禁用
page.pdf()打印网页冒充报告;只接受真实 PDF 响应。 - 需要登录的站点必须提供账号密码;无下载入口、页数不足或网络错误会记入跳过/失败统计,可针对性重试。
- 不同站点 DOM 差异大,首次建议少量试跑(如 3 份)再扩大目标份数。
使用场景
- 信通院、工业互联网联盟等站点需登录后,按「工业互联网」关键词批量拉取近一年白皮书 PDF 到本地归档
- 央企官网研究报告栏结构不明,要先探测列表与搜索再按主题下载前 10 份原始 PDF 供内部分析
- 看知球类站点报告混在资讯流里,需要过滤详情页链接并校验页数,避免把网页打印文件当研报
- 多站点复盘中断后重跑同一输出目录,应跳过已存在的 `01_标题.pdf` 并只补下缺失条目
适合人员
- 行业研究员,需定期从多个官方站按关键词沉淀可追溯的 PDF 原文而非截图或打印件
- 数据/竞争情报分析师,要把信通院、联盟站研报统一落盘并做魔数与页数质检后再入库
- 写了半自动爬虫的工程师,在新站上线前想按「先截图、打 DOM、再写选择器」流程减少返工
- 法务或合规同学抽查对外引用材料时,要求确认文件为真 PDF 且带来源标题与日期命名