Agent Skills
返回列表
📊

网页元数据提取器

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，将 @user_3c6cb52e/extract-schema-org-open-graph-and-json-ld-metadata-from-web-pages-for-indexing 安装到当前 AI 助手。

技能介绍

解决的问题

网页中的语义信息（如文章类型、作者、OG分享卡片）常分散在<head>的<script type="application/ld+json">标签、<meta property="og:...">等位置。手动编写解析器时，需反复处理标签嵌套、格式差异（如JSON-LD可能是数组或对象），一旦页面结构微调就会失效。对于需要批量处理URL的爬虫或分类任务，全页DOM解析不仅成本高，还容易因无关元素变动而崩溃。

技能如何工作

核心是利用Python库extruct，直接从原始HTML中提取机器可读元数据，无需渲染整个页面。关键步骤包括：

  • 使用requests库获取目标URL的HTML响应体
  • 将响应体传入extruct，它会自动识别并解析schema.org（RDFa/microdata）、Open Graph和JSON-LD三类元数据
  • 返回结构化字典，包含json-ld、microdata、rdfa等键，每项下对应标准化的字段值

这个流程把「解析整个页面」简化为「提取头部元数据」，避免了对正文DOM的脆弱遍历。

适用边界

适用于元数据收集工作流，比如需要按schema.org类型（如Article/Product）批量分类URL、去重或生成索引条目。不适合：

  • 抓取整站页面（缺少队列与去重机制）
  • 依赖JavaScript动态生成元数据的SPA应用（只解析静态HTML）

依赖Python 3环境，且元数据质量完全取决于页面本身是否正确注入。

使用场景

  • 爬虫开发者从新闻列表页批量提取 schema.org Article 类型，按标题和作者自动分类入库。
  • SEO 团队审核电商详情页，检查 JSON-LD 的 Product 属性（价格、库存）是否完整，用于搜索结果卡片优化。
  • 数据工程师处理重复内容，利用 canonical 链接和 OG 标题识别同一文章在不同 URL 的副本，进行去重。
  • 研究人员分析一批网页的 Open Graph 标签，统计缺失 og:image 或 og:description 的比例，评估社交分享质量。

适合人员

  • 后端工程师，在构建搜索引擎索引时需要从网页提取结构化元数据作为排序和分类依据。
  • SEO 分析师，定期审计客户页面的 schema.org 和 Open Graph 标签注入情况，以提升自然搜索点击率。
  • 数据工程师，在清洗和标准化网页内容时依赖元数据去重并补全字段。
  • 爬虫开发者，在开发自动化 URL 分类系统时使用 extruct 输出的机器可读元数据，避免脆弱的全文 DOM 解析。