Agent Skills
返回列表
📊

Smart Crawler 智能爬虫

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/kaiyuelv-smart-crawler-100。

技能介绍

要面对的问题

大量目标站点依赖 JavaScript 渲染,纯 HTTP 客户端抓不到完整 DOM;同时封 IP、验证码、频率限制会让单机脚本很快失效。采集结果若还要进数仓或报表,往往还得手工去重、统一字段格式、剔除手机号等敏感字段——这些步骤和爬取逻辑拆在两处时,维护成本会成倍上升。

技能能做什么

本技能围绕企业级数据采集给出可复用的设计与实现思路,核心模块与资料中的能力一一对应:

  • 智能爬虫引擎:用 Playwright / Selenium 做动态页面渲染后再抽取内容,适合 SPA、懒加载列表等场景。
  • 反爬虫处理:自动轮换 User-Agent、接入代理池、控制请求间隔,减轻单 IP 被限流或封禁的概率。
  • 数据提取:支持 XPath、CSS Selector、正则等多种定位与匹配方式,可按页面结构组合使用。
  • 分布式支持:以 Redis 队列分发任务,多 worker 并行拉取 URL,扩展吞吐而不是堆在一台机器上。
  • 数据清洗:内置去重、格式标准化,以及敏感信息过滤,让下游分析少做一层 ad-hoc 脚本。

典型流程是:配置入口 URL 与选择器 → 经渲染与反爬策略拉取 → 解析入库 → 清洗后输出结构化数据。

适用边界与注意点

技能描述的是方案与能力边界,不等于自带可直接 pip install 的完整 SaaS;Redis、代理服务、浏览器驱动仍需你按环境自行部署与计费。动态站点改版会导致选择器失效,需要回归测试。合规上务必遵守目标站 robots.txt、服务条款与所在司法辖区的数据爬取法规;敏感信息过滤能降泄露风险,不能替代权限与脱敏审计。

使用场景

  • 电商运营需定时抓取竞品详情页价格与库存,站点为 React 渲染,需用浏览器引擎拉全页再解析
  • 数据分析师要从多家新闻门户汇总头条正文,需代理池与请求节流避免封禁
  • 爬虫工程师把数万种子 URL 放进 Redis 队列,由多台 worker 并行消费以缩短全站抓取窗口
  • 合规报送前需对采集结果去重、统一日期格式,并过滤正文中的手机号与身份证片段

适合人员

  • 负责竞品监控的数据工程师,要把动态渲染站点的列表与详情稳定抽成结构化 JSON
  • 维护内部采集平台的 SRE,需要在不改核心爬虫代码的前提下扩展 Redis 分布式 worker
  • 做行业研报的研究员,可接受配置 XPath/CSS,但希望反爬与清洗策略有明确模块划分
  • 安全合规岗评审采集方案,需要确认技能是否涵盖敏感信息过滤与频率控制等控风险手段