用 Defuddle 提取网页干净文章
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/extract-clean-article-markdown-from-web-pages-with-defuddle 技能到你的 AI 助手中。
技能介绍
要解决的问题
网页正文常被广告、导航栏、侧边栏和弹窗干扰,直接抓取的 HTML 难以用于后续处理。当你需要将网页内容摘要、索引或归档时,原始文本中夹杂的噪声会显著影响结果质量。
技能如何工作
该技能通过 defuddle CLI 提取网页核心内容:
- 输入支持本地 HTML 文件路径或完整 URL
- 自动识别并移除导航、广告等非正文元素
- 输出格式可选
--markdown(清理后的 Markdown)或--json(结构化数据) - 基于 Node.js 实现,兼容 JSDOM、linkedom、happy-dom 等 DOM 解析库
适用边界与注意事项
- 需要 Node.js 运行时环境
- 适合结构化文章页面,复杂动态内容可能需要额外处理
- 输出质量依赖原始网页的语义结构清晰度
使用场景
- 技术博主需要将技术文档网页转换为干净的 Markdown 文件发布,避免广告和导航栏干扰
- 数据分析师在归档行业报告时,需从包含侧边栏和弹窗的网页中提取正文和元数据
- 文档工程师在整理 API 文档时,需从复杂动态页面中提取结构化内容用于生成手册
- 研究人员在整理文献时,需从包含大量广告的网页中提取干净的正文用于分析
适合人员
- 独立开发者构建文档聚合器,需批量提取多个技术博客的正文内容
- 内容运营专员在发布行业分析文章时,需从原始网页中提取干净的 Markdown 格式
- 知识管理专家在建立企业知识库时,需从包含广告的网页中提取结构化内容
- 学术研究者在整理文献资料时,需从网页中提取干净的正文和元数据用于分析