URL文章元数据规范化

要解决的问题

代理在生成链接预览或内容摘要时，常见的偷懒做法是把原始 HTML 或抽取出来的正文直接丢给模型。结果并不可靠：标题字段缺失、描述被截断、作者一栏空白、日期格式五花八门、封面图指向相对路径。每个站点的 DOM 结构都不一样，为每个站点单独写解析器，维护成本会迅速失控。

技能如何工作

• 输入是 URL 与已经抓取到的 HTML，这一步不负责抓取。
• 内部调用 metascraper，把 HTML 映射为一组规范化字段：title、description、author、date、publisher、lead image。
• 输出结构统一，下游无论是渲染预览卡片还是生成摘要，拿到的都是同一份数据形状。
• 把「每个站点写一个 parser」替换成一次库调用，字段抽取逻辑集中维护。

适用边界与注意点

• 抓取环节不在范围内，需要调用方自行提供 fetch、Playwright 或 browserless 之类的 HTML 检索步骤。
• 没有自动抽取到有源码依据的安装与使用说明，在敏感流程中运行前应先审阅上游仓库。
• 字段命中率取决于页面是否暴露标准 meta 标签，例如 Open Graph、Twitter Card 或 schema.org；标签缺失时对应字段就是空值，不会被编造。
• 图片与链接的相对路径需要另行规范化，技能本身不保证产出绝对 URL。
• 参考文档：https://metascraper.js.org