爬虫需要很多不同的ip，就是不想在IP的使用上受到限制。仅仅快速换IP是不能满足使用需求的，您也可以使用以下方法:
 

 

1.减少访问网站的次数

单个爬虫主要把时间花在响应网络请求上，所以可以减少网页访问，既减少了自身的工作量，也缓解了网站的压力和标题的风险。

 

2.分布式爬虫

即使使用了各种方法，单位时间内能够抓取的网页数量仍然有限。面对大量的网页队列，可计算时间还是很长的。在这种情况下，必须用机器来改变时间，这就是分布式爬虫。

分布式爬虫的第一步不是爬虫的本质，也没有必要。对于相互独立、没有通信的任务，可以手动分配任务，然后在多台机器上执行，减少每台机器的工作量。但是加入的时候也有需要沟通的情况，比如带着恐惧去换队列。每爬一个，队列都会发生变化，即使分任务也会有交叉重复，因为程序运行时每台机器要爬的队列都不一样。在这种情况下，只能使用分布式队列。