论文摘要提取器

论文摘要提取的工程痛点

在构建学术文献处理 pipeline 时，直接获取论文摘要往往是一个繁琐的前置任务。各大数据库（如 IEEE Xplore、ACM Digital Library、Springer）的页面结构大相径庭，DOM 层级复杂。手动编写解析规则不仅维护成本极高，还极易在网站改版或遇到 Cloudflare 反爬时直接失效。如果想让 Agent 自动阅读文献，一个能稳定输出纯文本摘要的组件是必不可少的。

核心提取策略与工作流

paper-abstract-extractor 没有依赖庞大且昂贵的视觉模型，而是通过精细的解析策略来实现高命中率的结构化提取：

• 网页抓取与元数据优先：当用户提供 URL 时，技能会优先调用 web_fetch 获取页面源码。提取引擎首先尝试查找 <meta name="citation_abstract"> 或 og:description 等结构化元数据；如果未命中，则定位 <h2> 或 <h4> 标签中包含 "Abstract" 或 "摘要" 的标题，截取其后的段落；若前两步均失败，则返回首个包含关键词的 <section> 节点内容。
• 纯文本正则锚定：当用户直接粘贴 PDF 转换后的文本时，提取器会进行文本检索。通过定位独立的 Abstract 关键词（支持中英文），并寻找下一个一级标题（如 1. Introduction 或 1. 引言），截取中间的核心段落，剔除多余的排版噪声。
• PDF 链接兜底：针对 PDF 直链，尝试用 web_fetch 抓取文本并按关键词定位。若遇到无法解析的 PDF 文件，会明确中断并提示用户将文本粘贴至上下文。

适用边界与注意事项

• 处理反爬机制：如果目标页面触发了严格的机器人防护，提取器会检测到抓取异常并给出明确的手动粘贴提示，避免在无效请求上空转。
• 链接规范化：对于 arXiv 链接，技能默认将其统一重写为 abs/ 页面，从而稳定获取标准 HTML，大幅降低直接抓取 PDF 时的解析失败率。
• 输出前校验：在最终输出摘要前，会对提取到的文本进行完整性校验，确保其包含实质性句子，而不是空标签或页脚版权信息。