淘宝店铺商品目录采集

要解决的问题

批量拿到一个淘宝或天猫店铺的全量在售商品列表，思路本身不复杂，真正的卡点在于：

• 目录页默认只展示前 60 条商品，更深的页面要靠拼接 pageNo 参数翻页，手动操作容易漏页或重复。
• 页面没有结构化导出入口，逐条复制 itemId、标题、图片地址既低效又容易出错。
• 提取逻辑写起来简单，但稳定性才是难点：登录态、域名重定向、懒加载图片、空结果页都需要妥善处理。

核心能力与关键步骤

这个技能的操作边界严格限定为「用户在浏览器里能手动完成的阅读操作」：打开已登录的店铺目录页，读取页面上已渲染的数据，不做任何绕过认证或访问控制的行为。

核心流程：

1. 通过 URL 定位目录页：淘宝店铺为 https://shop{shopId}.taobao.com/category.htm，天猫店铺会重定向到 {shopName}.tmall.com 域名。
2. 附加 search=y 参数激活分页搜索模式，pageNo 从 1 递增，每页最多返回 60 条。
3. 页面稳定后执行 scripts/extract-catalog.py，传入 shopId 与 --page 参数，脚本负责从 DOM 抽取商品数据。
4. 终止条件：某页结果数为 0，或 DOM 中找不到形如 a[href*="pageNo"] 的下一页链接。

批量执行时建议写成 bash 循环串行翻页，翻页间隔 2–3 秒，并且必须先跑 1–2 页验证脚本正确，再执行全量。每页结果即时落盘，失败后可从最后成功页续跑，不必从头再来。

执行前还应检查 taobao-shop-catalog.memory.md 记忆文件（若存在），里面记录了过往执行遇到的意外情况（如某个策略失效），据此调整步骤顺序；只有遇到策略失效、页面改版、风控升级等意外时才追加一行记录，正常执行不写文件。

适用边界与注意点

• 价格拿不到：目录页价格采用字体混淆渲染，无法通过 DOM 解码。需要单个商品价格时，应改用商品详情类技能单独查询。
• 登录是硬前提：未登录或用户拒绝登录时直接终止，技能不会尝试绕过登录页。
• 分类视图不全：部分店铺的细分类目不会出现在默认 category.htm 视图，需要点进店铺导航中的分类链接。
• 懒加载图片：未滚动进入视口的图片，URL 来自 data-ks-lazyload-custom 属性，是占位值，真实地址要滚动后才能得到。
• 成功判定：单页结果数 ≥ 1 且 itemId 非空率 100%。结果为 0 时先截图确认页面是否正常加载、shopId 是否有效，再重试。