AutoScraper 网页数据采集
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_a10ab3ad/autoscraper。
技能介绍
解决什么问题
当你需要从一批结构相似的页面里拿数据时——比如电商分类页的商品名和价格、新闻列表的标题与发布时间、论坛的帖子标题——手工复制粘贴既慢又容易错,写一次性脚本又难以复用到第二个站点。AutoScraper 要解决的是「HTML 到结构化数据的中间层」:你描述清楚要抓什么、它们在页面里长什么样,它就把规则固化下来,反复产出统一的 JSON 或 CSV。
使用场景
- 运营每隔几天要从电商分类页抓取商品名称与价格,整理成 CSV 用于价格监控
- 舆情分析师需要批量抓取新闻列表页的标题和发布时间,结构化后做话题分析
- 研究者要采集论坛帖子的标题与回复数做市场调研,页面结构相同可复用规则
- 数据分析人员从静态页面提取商品参数或表格数据,导出 JSON 后入库分析
适合人员
- 需要定期采集电商商品价格做竞争分析的电商运营或数据分析专员
- 要从新闻或社交媒体页面批量拿结构化文本补充舆情报告的内容分析师
- 想用最少代码把重复网页采集任务固化下来的后端或爬虫工程师
- 需要从公开页面提取表格数据做课题研究的数据科学学习者