每日新闻摘要

问题

中文新闻源分散，单篇文章常混入标题党、教程、软文和社会新闻。若每天跟踪政策、产业、科技等主题，直接浏览成本高，还要处理重复报道、日期失效、句子残缺等噪声。

工作方式

该技能把流程拆成可运维的管道：

• 使用 SQLite 维护 monitor_websites、system_keywords、articles 等表，通过 CSS 选择器抓取页面并入库。
• 用 Jaccard 2-gram 做相似去重，并用 cross_day_dedup.py 对比近 3 天摘要，减少跨天重复。
• 规则引擎过滤教程、软文、娱乐、暴力、教育等内容，并按位置、数字密度、信号词、实体密度给段落打分，保留完整句。
• 若配置 NEWS_DIGEST_LLM_API_KEY，可调用 LLM 二次总结；未配置时静默跳过，退回规则摘要。输出为可读摘要，而不是简单全文拼接。

边界

它更适合主题型中文新闻摘要，不是通用搜索引擎。反爬、SSL、页面改版可能让个别站点失败；数据库增量追加，需要定期清理旧数据。抓取结果受页面结构影响，需保留失败日志。