爬虫中从事大数据的工作者很少，所以在运用爬虫时，必需运用代理ip来处理反爬虫机制。当我们获取到目的网站的网页数据信息时，必然会遭遭到其他服务器的反爬虫机制，那么当我们运用代理ip爬虫搜集时会发作什么呢？

 

1)访问过于频繁时，忽然ip无法再访问；在这种状况下，目的网站有防爬机制，触摸屏的访问频率在到达设定的阈值ip时会被制止，所以我们在运用代理ip时需求尽可能的慢下来，不要等到被对方屏蔽。

 

2)代理ip运用时禁用，无法访问；在这种状况下，用户通常会取得这个ip和同一个ip，这会触发目的效劳器的阈值被制止。大局部用户的爬虫会选择共享ip池，数量多，价钱合理，所以这种状况下直接切换ip就能够了。

 

有些用户会以为只需运用代理ip，就能够随意抓取，不会被禁用或屏蔽，这是不对的。代理ip与本地ip相同，需求慎重运用。