Agent Skills
返回列表
📊

网页抓取 MCP 服务器

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_053d27d0/mcp-web-scraper-zx。

技能介绍

要解决什么问题

在 Agent 或 IDE 里做调研、比价、监控页面时，你往往需要在对话中拉取真实网页并从中抽出表格、链接、正文或 Open Graph 元数据。手写 requests + BeautifulSoup 脚本会打断流程，且每次页面结构不同就要换解析逻辑。

本技能以 MCP 服务器形式暴露抓取能力，模型可按任务调用对应工具，而不是临时拼一段不可复用的爬虫代码。

核心能力怎么组织

工具按链路分成四块，共 26 个接口：

  • 网页获取：fetch_webpage、fetch_json_api、fetch_with_headers、download_file、check_website_status、fetch_with_pagination
  • HTML 解析：表格/链接/图片/纯文本、extract_meta_tags、结构分析、clean_html、html_to_markdown
  • 数据提取：extract_by_css_selector、extract_by_xpath、表格转 CSV、列表与表单、新闻文章、商品信息、社交元数据
  • 辅助：validate_url、URL 编解码、查询参数解析、rate_limit_wait 控制请求间隔

典型路径是先取 HTML 或 JSON，再用选择器或专用提取器（如 extract_news_article）得到结构化结果，必要时先 clean_html 再转 Markdown 便于后续阅读。

适用边界与注意点

  • 工具面向公开可访问的 URL；登录态、复杂反爬或强 JS 渲染站点可能需要额外方案，本技能不替代专用浏览器自动化栈。
  • 分页与 rate_limit_wait 有助于礼貌抓取，但仍需遵守目标站点的 robots 与服务条款。
  • 页面 DOM 变更会导致 CSS/XPath 失效，商品/新闻类提取器也依赖常见页面模式，非标准模板需回退到通用选择器工具。

使用场景

  • 在 IDE 对话中让 Agent 访问公开商品页，调用商品信息提取工具整理标题、价格等字段做竞品对照。
  • 调研时通过 `fetch_json_api` 拉取开放接口响应，再用表格或列表提取工具把字段整理成可引用的结构化结果。
  • 抓取技术文档或博客 HTML，经 `clean_html` 与 `html_to_markdown` 转成 Markdown，便于在会话里摘写与归档。
  • 对资讯或目录类列表页使用分页获取与 CSS/XPath 提取，批量得到条目链接或表格并导出为 CSV。

适合人员

  • 负责竞品与定价跟踪的产品经理，需要在 MCP 工作流里拉取商品页并结构化字段而非每次写爬虫。
  • 用 Agent 做公开资料搜集的研究员或编辑，更关心新闻正文、meta 与社交元数据而不是整页原始 HTML。
  • 在 Cursor 等环境编排数据采集的工程师，希望复用自定义请求头、分页与 `rate_limit_wait` 等工具链。
  • 从政府或企业公开报表网页抽取表格的数据分析同学，需要表格解析与 CSV 化能力配合选择器兜底。