撸毛调研最烦的不是翻页,是翻到一半网站改版——选择器全挂,脚本当场去世。
我试了 Scrapling 0.5.1,一个 Python 抓取库。六项全过,最值钱的是第二项。
我把测试页亲手改版模拟了一遍:class 名全换,外面再套一层 div。普通 CSS 选择器直接 0 条。它的自适应选择器按 identifier 自己重新定位,1 条,正文逐字一致。
剩下五项的数:
普通抓取 200,1.73 秒,CSS 和 XPath 各 10 条。
Spider 两页并发,2.0 秒,20 条,0 失败,JSON 正常落盘。
Markdown 输出 3019 字符,干净——但得另装 scrapling[rag],裸装没有。
CLI 一行 extract 就出结果,中途撞上一次超时,它自己重试第二次过了。
隐身模式:JS 页普通抓 200 但 0 条,0.7 秒,内容全靠 JS 注入;切隐身模式 200 / 10 条,6.3 秒。Cloudflare 演示页 solve_cloudflare=True,200,18 个链接,90.6 秒。慢,但真过了,没用外部打码。
两个坑,先说在前面:
一,它不自带代理 IP,IP 被封了得自己轮换。
二,装完跑隐身模式可能少一个 chromium-1248,单跑 python -m patchright install chromium,44 秒补齐。
我拿它干嘛:平时盯 $BNB 链上的项目页和空投公告,页面一改版就得重写选择器——这个库改版后自己找回位置,省的就是这份反复修脚本的时间。
90 秒过 Cloudflare,我等得起。