文献收割机：自动 PDF 与引用查找器

问题

写论文或做文献管理时，PDF 里的参考文献常以数字列表、作者-标题混排或仅含 URL 的形式出现；文本抽取还会把 https://、DOI 和路径拆出空格，导致 doi.org/ 10.1016/... 无法直接使用。若只做简单正则，会得到截断标题、缺失作者、错误 BibTeX，以及把 HTML 错误页当成 PDF。

工作方式

Reference Harvester 把流程拆成可执行脚本：先用 pdfplumber 抽取全文，再用 parse_references.py 识别 References、参考文献、Bibliography 等小节，按编号引用和作者优先引用两种格式解析。它会修复断开的 URL，剥离页码、页眉和脚注标记，输出包含 index、title、url、doi、arxiv_id、raw 的 JSON。随后通过 WebFetch 访问 DOI/URL 补全 authors、journal、volume、pages 等字段，再由 generate_bib.py 生成 BibTeX；对预印本使用 unpublished，对期刊论文使用 article。下载侧会优先处理 arXiv，再尝试 direct PDF、PMC/EuropePMC、MDPI、Nature/Springer OA、PLoS、RSC、Wiley、Elsevier 等来源，并用 %PDF- 魔数校验文件头。

适用边界

该技能适合从单篇论文 PDF 中批量整理参考文献，不适合解析正文脚注式引用或需要登录权限的受限文献。对反爬较强的出版商，即使 OA 也可能返回 403，需要人工下载；对 Vancouver、内联引用等非标准格式，可能需要检查抽取文本并调整解析启发式。