网页数据采集向导
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md 安装规范名 @user_af163eaa/z-web-scrape-guide,把网页数据采集向导加入你的 AI 助手。
技能介绍
你会遇到的具体问题
刚接触网页数据采集时,常常陷入两个困境:不清楚合规边界——随手抓取可能违反robots.txt协议或目标站点条款;不知道如何落地——面对一个数据需求,既不确定要采集哪些字段,也不知道该用无代码工具还是脚本,清洗时还可能被重复数据、格式混乱拖住进度。
技能的工作流程
该技能以目标为导向输出完整方案:
- 输入需求与目标:用户提供想采集的站点、数据类型(如表格、列表)和字段需求;
- 合规优先判断:先核查目标站的
robots协议、条款和法律边界,明确是否可采集、频率限制等前提; - 工具路线推荐:根据数据复杂度和操作基础,匹配无代码工具(浏览器复制、表格插件)、轻量脚本或结构化模板,避免过度设计;
- 执行与清洗步骤:给出字段映射方法,指导用
去重、格式统一、无效数据过滤等步骤清洗; - 导出建议:然后输出符合需求的文件格式(如
CSV、JSON)。
适用边界与红线
明确不可为:严禁绕过付费/登录墙,不采集个人信息或受保护数据,非黑客教程;所有操作需遵守目标站条款与当地法律,始终将合规放在第一位。
使用场景
- 维护项目数据看板时,需要从多个状态页的列表区抓取每次更新发布时间用于日常记录
- 做竞品对比测试时,需要把不同来源的参数整理进同一个 HTML 表格并标注合规路径
- 整理活动公告时,需要从页面抽字段、清洗去重并导出为 CSV 给前端展示
- 第一次抓网页的初学者,需要判断是否违反 robots 并选择低成本无代码复制路线
适合人员
- 经常小批量采集公开网页数据并标准化为报表的新媒体运营,诉求是明确的字段映射与导出步骤
- 要学习从网页到表格的采集、无法编写复杂爬虫的非技术性业务分析者,诉求是可操作的方法步骤
- 负责审核团队采集请求的工程师或法务,诉求是先明确 robots、条款和法律边界再选合规工具
- 独立开发者要在个人项目整理公开资料,诉求是不触碰登录墙或个人信息的安全边界与轻量脚本路线