Scrapling

解决什么痛点

现有爬虫常把 CSS 选择器或页面位置写死，网站改版、模块重排、异步渲染或插入反爬校验后，脚本会突然失焦。Scrapling 的目标是把这些重复维护工作前移：当页面结构变化时，解析器能从更新中学习并重新定位元素；抓取层开箱处理 Cloudflare Turnstile 一类反爬；爬虫框架则面向多会话并发与代理轮换扩展。

它如何工作

核心能力可拆成三层：

• parser：从页面更新中学习，并在 DOM 或可见文本变化后重定位目标元素；
• fetchers：通过 stealth 抓取策略降低被反爬系统识别的概率，减少手写绕过逻辑；
• spider framework：用 start_urls 组织入口，并支持并发多会话调度与代理轮换，适合批量任务。

例如，最小抓取会调用 StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True)；爬虫任务则从 start_urls = ["https://example.com/"] 开始扩展。这样开发者关注的是“要拿哪些字段”，而不是反复修补选择器。

适用边界

它适合结构会变、存在基础反爬、需要并发抓取的 Python 项目；自适应重定位能降低改版后的人工修补量，但不意味着免测试。目标站可能更新模板、改变校验逻辑或限制访问频率，仍需核对 robots、条款与合规边界，并在上游要求下验证稳定性。