按标签浏览
# 网页爬取 / Web Crawling(10)
全部 56845
网页爬取 10
内容创作 1182
企业运营 1108
知识管理 951
数据分析 857
AI Agent 592
生活服务 573
合规校验 474
代码评审 468
政策核验 381
浏览器自动化 315
教育学习 313
任务拆解 310
会议纪要 305
竞品分析 260
办公效率 258
微信公众号 253
命令行工具 239
提示词工程 231
技术方案 224
用药指导 199
代码审查 191
Rube MCP 188
文档处理 185
开发编程 185
图像生成 184
调试排错 182
数据可视化 176
任务规划 175
设计系统 168
去AI味 162
检查清单 162
人力资源 160
AI Hive 158
设计多媒体 156
薪酬计算 155
海外运营 155
API 集成 151
视频生成 147
工资条 141
根因分析 138
文生图 134
MCP 134
合规审查 132
IT 运维 131
短视频脚本 128
REST API 127
方案对比 127
OpenClaw 126
社保公积金 123
合同审查 121
结构化输出 121
办公自动化 120
安全审计 119
大模型技能 119
电商运营 115
文生视频 114
内容合规 114
WorkBuddy 112
电商主图 110
API 设计 107
B站视频爬取
@user_34656363/bilibili-video-crawler
面向数据分析场景,帮助大模型按规范抓取与整理 B 站(哔哩哔哩)视频相关信息的技能包。
数据分析
2026.08.30
↓ 248
📊
本地数据源获取引擎
@user_287b0fec/crawler-assistant
本地优先的网页数据获取引擎,统一查询 SQLite 数据源,未命中则远程抓取并入库缓存。
数据分析
2026.08.30
↓ 171
📊
Cheerio 网页解析提取库
@user_3c6cb52e/cheerio-html-xml-parsing-library-nodejs-extraction-workflows
Cheerio 是一个用于解析和操作 HTML/XML 的 Node.js 库,具备类似 jQuery 的 API,适用于服务端爬取与内容提取。
数据分析
2026.08.30
↓ 159
📊
Crawl4AI 网页爬取与 Markdown 提取
@user_3c6cb52e/crawl4ai-open-source-web-crawling-and-markdown-extraction
开源网页爬取工具,面向 LLM 输出结构化 Markdown,支持浏览器渲染与 Python 包分发。
数据分析
2026.08.30
↓ 151
📊
Crawl4AI 网页爬虫
@user_3c6cb52e/crawl4ai-llm-friendly-web-crawler
基于 Crawl4AI 的异步网页爬虫,可生成 LLM 就绪的 Markdown 与结构化提取,适合数据管道。
数据分析
2026.08.29
↓ 124
📊
Apify Actor 网页爬虫
@user_3c6cb52e/apify-actor-web-crawler
基于 Apify API v2 与 CrawleeJS 部署自定义 Actors,实现大规模分布式网页爬取。
数据分析
2026.08.29
↓ 121
📊
Trafilatura网页文本提取与爬取工具
@user_3c6cb52e/trafilatura-web-text-extraction-crawling
Python包与CLI工具,可从网页抓取并提取主文本、元数据及评论,输出CSV、JSON等结构化数据。
数据分析
2026.08.29
↓ 120
📊
Smart Crawler 智能爬虫
@org-eyw2ohcx/kaiyuelv-smart-crawler-100
企业级数据采集方案,基于 Playwright/Selenium 动态渲染,集成反爬、分布式队列与数据清洗能力。
数据分析
2026.08.30
↓ 36
📊
Crawlee 网页爬取与数据抓取 SDK
@user_3c6cb52e/crawlee-web-crawling-and-scraping-sdk
面向 Node.js 的网页爬取与数据抓取框架,集成请求队列、浏览器自动化、代理与存储原语,可构建可靠的 Playwright、Puppeteer、Cheerio 或 HTTP 爬虫。
数据分析
2026.08.30
↓ 151
文章获取爬虫
@user_6ed3129a/capoocat
面向中文政府与新闻站点的文章爬虫,按 AI、数字化、信息化等关键词过滤并输出原文、链接与 AI 摘要。
数据分析
2026.08.30
↓ 986