AI 新闻智能采集与去重

要解决的问题

每天 AI 新闻分散在热榜、Newsletter、开源项目和论文站点，重复推送与噪声多，手动筛选成本高。ai-news-known 面向需要定期获取高价值 AI 资讯的场景，目标是把多来源内容收敛为一份可阅读、可存档的新闻简报。

工作方式

• 多源采集：通过脚本聚合微博、知乎、百度、头条、华尔街见闻、澎湃等中文热榜，并可用全平台聚合接口兜底。
• AI 过滤：按高置信度词如 LLM、Agent、RAG、大模型 优先收录；对 芯片、算力、微调 等中置信度词结合上下文判断。
• 去重记忆：读取 data/history.json，对标题做 SHA-256 哈希与相似度比较，过滤已推送或同一事件的不同表述。
• 搜索补充：Agent 通过 web_search 补充热榜未覆盖的 AI 专属新闻，结果同样过滤和去重。
• 输出：默认生成深色主题 HTML 页面，也可选择 Markdown、compact、summary 等格式。

适用边界

它适合中文热榜与 AI 搜索结合的新闻简报，不替代深度研究。若所有采集源失败，会回退到 web_search；截图与小红书文案仅在用户明确要求时执行。历史记录自动清理，避免长期堆积。