搞爬虫、跑批量请求，最头大的是什么？IP被墙，一死死一片，任你代码写出花来也白瞎。

东边一条溪

搞爬虫、跑批量请求，最头大的是什么？IP被墙，一死死一片，任你代码写出花来也白瞎。

给你安利个硬核玩意儿：mubeng，Go写的，速度猛得一批，核心就干两件事：

1️⃣ 本地起一个代理服务器，每发一次请求自动换一个IP，什么暴力破解防护、API限速、按IP封的WAF，统统绕道走

2️⃣ 顺手帮你把代理池体检一遍，哪个能蹦跶哪个已经凉了，一眼看穿，别的验代理工具可以卸载了

HTTP、SOCKS、Amazon API Gateway全支持，Windows、Linux、Mac甚至树莓派都能跑，几乎零配置，扔个代理文件进去就开工。轮换逻辑再也不用自己手搓了。
项目地址甩这儿：https://github.com/mubeng/mubeng