Newspaper4k 新闻文章提取库

它解决什么问题

从新闻网站批量采集内容时，工程师常常要在「写爬虫解析 DOM」和「拿到干净文本」之间反复横跳。不同站点的版式差异大，手写正则或 BeautifulSoup 选择器既脆弱又费时；就算拿到正文，还得再串接分词、关键词提取、摘要等 NLP 环节，整条链路越拉越长。

核心能力与工作方式

Newspaper4k 是 Newspaper3k 的维护分支，把上述流程收敛进一个库：

• 正文提取：自动识别新闻正文，剔除导航栏、侧边栏、广告和评论区残留
• 结构化字段：输出 title、authors、publish_date、images、summary 等元数据
• 内置 NLP：直接提供关键词提取（keywords）和文本摘要（summary），不必再接第三方 NLP 服务

典型用法是直接从命令行调用，例如 python -m newspaper --url="https://example.com/news" --language=en --output-format=json --output-file=article.json；也可以在 Python 代码里通过 Article 对象逐篇处理，走同一套提取逻辑。

适用边界与注意点

• 最低要求 Python 3.10+，旧项目升级前需先确认运行环境
• 提取效果依赖目标站点的 DOM 结构，站点改版或动态渲染可能导致正文识别失败，重要来源建议做抽查校验
• 该库主要面向英文等主流语言优化，小语种站点的分词与停用词处理效果可能不理想