微信公众号文章爬虫

要解决什么问题

微信公众号文章通常只能在微信内阅读，外链分享页结构复杂，图片托管在微信 CDN 上。若你想把某篇公号文章纳入自己的笔记库、静态站点或离线归档，手工复制往往会丢排版、图片失效或链接不可复用。

本技能面向 单篇微信公号文章 URL，把页面正文抽出来，并把文内图片落到本地，最终得到一份可用相对路径引用图片的 Markdown 文件。

技能如何工作

典型流程可以概括为：

• 以文章 URL 为输入，请求并解析微信文章页 HTML
• 用 requests + beautifulsoup4（解析后端常用 lxml）提取正文结构与文本
• 遍历文中的图片资源，下载到项目下的 images/ 目录
• 生成 Markdown：正文按可读结构输出，图片链接改为指向本地文件的相对路径
• 图片文件名多采用 哈希命名，减少同名覆盖与重复下载

适合需要「可版本管理的纯文本 + 本地图」的场景，而不是在微信里直接阅读。

适用边界与注意点

• 微信侧可能存在 反爬或限流，偶发失败时更适合隔一段时间重试，而不是假定每次必成功。
• 动态加载 的图片不一定出现在初次 HTML 里，这类资源可能无法被完整抓取。
• 本技能解决的是 抓取与落盘格式转换，不保证与微信客户端里的排版、字体或交互组件完全一致。