徐州融媒聚合

问题：本地融媒数据散落在七个渠道

徐州本地官方媒体内容分布在政府网站、微信公众号、荔枝云融媒体平台、今日头条、澎湃政务号、数字报和街道层级共七类渠道中，每类渠道的抓取方式和页面结构各不相同。如果只用政府网站的 subPage.html 接口，会漏掉公众号和融媒体平台发布的大量内容。手动汇总又难以保证时效性和完整性。

工作方式：多渠道并行 + 统一解析

该技能的核心策略是并行采集七个渠道，再合并去重生成 HTML 聚合页面。

• 政府网站：使用 Python requests 直接抓取 subPage.html，支持分页遍历最多 5 页
• 微信公众号：通过 jintiankansha.me 聚合平台和搜狗微信搜索补足公众号内容
• 荔枝云与澎湃政务号：使用 WebSearch 和 WebFetch 按 site: 或 source: 筛选采集
• 数字报：从 szb.cnxz.com.cn 获取徐州日报和都市晨报电子版

抓取后的处理包括：用 BS4 选择器 ul.module-items li 解析文章列表，按 --days 参数过滤旧数据，自动提取正文内容，最后合并去重并渲染成带搜索和分类导航的响应式 HTML 页面。

注意点：渠道覆盖有边界

• xedz.gov.cn（经开区）DNS 不可达，只能通过其他渠道间接采集
• cnxz.com.cn 是 JS 渲染站点，requests 直采拿不到正文，需结合 WebSearch
• 部分区县 URL 带 xwzx 前缀，部分不带，邳州频道号还是特殊的 001002，需要按区县逐一配置
• 公众号内容无法直采，依赖第三方聚合平台，存在内容延迟或缺失的风险