代理IP被屏蔽时爬虫应该如何解决问题？

jj 2022-01-25

作为一个爬虫爱好者，你有没有遇到过一个已经设置好的分布式爬虫，即将让程序使用代理IP抓取数据，而服务器已经设置好了，突然发现办公室的IP被屏蔽了。那你应该怎么做，应该怎么解决？

随着大数据时代的到来，爬虫的这种工作场景经常会遇到:

1.如果你是个人，作为爱好，就交不了代理费。当然，在线抓取自由代理，检查IP有效性10分钟。当然这种抢到的IP是极其不稳定的，但是免费的东西就是免费的东西，用起来就好。作为一个个体。

2.申请多个adsl，不断拨号获取IP，这个项目难度要大一点:一是一个城市可用的IP池有限，二是可能会面临各种拨号问题，维护起来比较困难。

3.网上购买收费代理。目前市场上充电代理供应商很多，精灵ip代理就是其中之一。