京东搜索商品采集器
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_f4e1eca6/jd-scrape。
技能介绍
解决什么问题
京东搜索结果页并不适合“打开页面后直接抓取所有文本”。它是单页应用,商品列表依赖懒加载,只有滚动到可视区域后才会继续渲染;同时页面中混有导航栏、购物车、广告前缀和“猜你喜欢”等干扰内容。若只改 URL 翻页或假设首屏数据完整,通常会得到缺项、重复或错误字段。
技能如何工作
该技能以搜索关键词 $keyword 和页数 $pages(默认 2 页)为输入,通过浏览器访问京东搜索页。核心流程包括:
- 打开搜索页并确认关键词已出现在搜索框与结果区域;
- 使用
evaluate执行慢速滚动,等待懒加载商品图片和价格完整显示; - 提取标题、价格、销量、店铺四个字段,并过滤明显的页面导航与购物车内容;
- 翻页时点击页面中的页码按钮,而不是直接拼接 URL;
- 翻页后对比前 3 个商品标题,确认结果列表确实刷新,再进入下一轮滚动和提取;
- 合并所有页面数据,输出 UTF-8 编码的
CSV,文件路径形如jd_{$keyword}_{$pages}pages.csv。
适用边界与注意点
该流程适用于无需登录即可访问的京东搜索结果页。实际使用中仍有几个边界:部分商品可能没有销量字段,CSV 中会留空;搜索结果可能混入低相关商品,无法完全自动判断时可能保留;京东页面改版后,翻页按钮或商品选择器可能需要调整;若出现登录、验证码或风控拦截,需要人工处理。整体来说,它更适合作为小批量、按关键词采集商品清单的自动化步骤,而不是大规模持续抓取方案。
使用场景
- 输入耳机关键词,采集前两页京东搜索结果并生成标题、价格、销量、店铺字段 CSV。
- 在竞品价格核对时,按指定页数抓取京东商品列表,用于后续 Excel 对比。
- 需要快速整理某关键词商品清单时,自动慢速滚动页面并逐页提取商品字段。
- 将多个关键词分别采集为独立 CSV,便于后续汇总或价格分析。
适合人员
- 需要按关键词整理京东商品清单并导出 CSV 的数据分析师。
- 要在竞品价格核对中抓取京东搜索结果字段的市场运营。
- 需要自动化处理懒加载页面翻页与字段提取的工程师。
- 希望把京东搜索页商品标题、价格、销量、店铺整理成表格的业务同学。