Agent Skills

按标签浏览

# 网页爬取 / Web Crawling(10)

B站视频爬取
B站视频爬取
@user_34656363/bilibili-video-crawler

面向数据分析场景,帮助大模型按规范抓取与整理 B 站(哔哩哔哩)视频相关信息的技能包。

数据分析 2026.08.30 ↓ 248
📊
本地数据源获取引擎
@user_287b0fec/crawler-assistant

本地优先的网页数据获取引擎,统一查询 SQLite 数据源,未命中则远程抓取并入库缓存。

数据分析 2026.08.30 ↓ 171
📊
Cheerio 网页解析提取库
@user_3c6cb52e/cheerio-html-xml-parsing-library-nodejs-extraction-workflows

Cheerio 是一个用于解析和操作 HTML/XML 的 Node.js 库,具备类似 jQuery 的 API,适用于服务端爬取与内容提取。

数据分析 2026.08.30 ↓ 159
📊
Crawl4AI 网页爬取与 Markdown 提取
@user_3c6cb52e/crawl4ai-open-source-web-crawling-and-markdown-extraction

开源网页爬取工具,面向 LLM 输出结构化 Markdown,支持浏览器渲染与 Python 包分发。

数据分析 2026.08.30 ↓ 151
📊
Crawl4AI 网页爬虫
@user_3c6cb52e/crawl4ai-llm-friendly-web-crawler

基于 Crawl4AI 的异步网页爬虫,可生成 LLM 就绪的 Markdown 与结构化提取,适合数据管道。

数据分析 2026.08.29 ↓ 124
📊
Apify Actor 网页爬虫
@user_3c6cb52e/apify-actor-web-crawler

基于 Apify API v2 与 CrawleeJS 部署自定义 Actors,实现大规模分布式网页爬取。

数据分析 2026.08.29 ↓ 121
📊
Trafilatura网页文本提取与爬取工具
@user_3c6cb52e/trafilatura-web-text-extraction-crawling

Python包与CLI工具,可从网页抓取并提取主文本、元数据及评论,输出CSV、JSON等结构化数据。

数据分析 2026.08.29 ↓ 120
📊
Smart Crawler 智能爬虫
@org-eyw2ohcx/kaiyuelv-smart-crawler-100

企业级数据采集方案,基于 Playwright/Selenium 动态渲染,集成反爬、分布式队列与数据清洗能力。

数据分析 2026.08.30 ↓ 36
📊
Crawlee 网页爬取与数据抓取 SDK
@user_3c6cb52e/crawlee-web-crawling-and-scraping-sdk

面向 Node.js 的网页爬取与数据抓取框架,集成请求队列、浏览器自动化、代理与存储原语,可构建可靠的 Playwright、Puppeteer、Cheerio 或 HTTP 爬虫。

数据分析 2026.08.30 ↓ 151
文章获取爬虫
文章获取爬虫
@user_6ed3129a/capoocat

面向中文政府与新闻站点的文章爬虫,按 AI、数字化、信息化等关键词过滤并输出原文、链接与 AI 摘要。

数据分析 2026.08.30 ↓ 986