每日新闻摘要

要解决什么问题

工程师或分析岗若每天要扫人民网、新华网、36Kr 等多源中文资讯，手工复制粘贴既慢，又容易被娱乐软文、教程帖和重复通稿淹没。本技能把「抓取 → 入库 → 打分摘要 → 过滤去重 → 落盘」串成一条可定时跑的流水线，输出工作区内的 .news-digest-out.md 与桌面上的 新闻摘要_YYYYMMDD_HHMMSS.txt。

技能如何工作

• 数据层：默认 SQLite（news.db，可用 NEWS_DIGEST_DB 覆盖），表包括 articles、monitor_websites、system_keywords、digest_output；初始化脚本会写入示例站点与关键词，也可通过 SQL 增删监测源。
• 抓取与摘要：fetcher.py 里 extract_brief_summary 不是简单截断，而是按段落位置、数据密度、信号词（如「发布」「印发」）、实体密度和句末完整性打分，并去掉图说、署名、广告等噪声；formatter.py 的 clean_summary 再清理电头/记者署名，并对不完整句做回退或丢弃。
• 过滤与去重：rules_config.py 排除娱乐、社会花边、教程指南、企业软文等；similarity.py 用 Jaccard 2-gram（≥90% 标重复）；另有日期窗口（平时 3 天、节假日 7 天）与跨天去重逻辑。
• 可选 LLM：配置 NEWS_DIGEST_LLM_* 环境变量可启用阶段 2.5 批量总结；未配置则静默跳过，仍用规则摘要。

适用边界与注意点

全链路约 13 分钟（网络与 LLM bound），单站抓取失败（SSL、521、404）不会中断整体流程。数据库增量追加，不会自动清空，需自行定期清理旧数据。部分站点反爬会导致个别源为空，属预期行为。