商家数据入库

解决什么问题

采集到的网页数据通常分散在临时任务、日志或中间文件中，原始 html 与解析后的 json 缺少统一落库位置。后续排查、回溯和统计时，很难判断某次页面结构变化发生在何时，也容易出现数据被覆盖或字段不一致的问题。尤其是当页面结构、接口字段或商家数据频繁变化时，临时文件很难作为长期依据。

技能如何工作

该技能把数据写入流程压缩成一条可执行链路：

• 连接数据库：使用提供的凭据连接 PostgreSQL。
• 准备数据：整合 merchant_id、url、html、json 和当前时间戳。
• 分类写入：原始 HTML 写入 merchant_raw_pages，结构化 JSON 写入业务表或 JSONB 字段。
• 版本化快照：检查当日是否已有快照，必要时创建新的版本记录，便于追溯。
• 结果反馈：返回成功、失败及错误信息，便于后续任务判断。

适用边界

它不替代数据清洗规则本身，而是将已整理好的原始页与结构化结果按商家维度持久化。写入长 HTML 或大批量数据时，应关注 PostgreSQL 的存储限制、索引压力与写入性能；涉及敏感字段时，需要在入库前完成脱敏。