很多做爬虫业务的人发现他们用的是一个稳定的代理IP，还控制访问速度和次数。他们还发现爬虫工作有时会遇到各种问题，工作总是无法顺利进行。那么，如何解决爬虫使用代理IP后遇到的问题呢？

 

 

1.分布式爬虫。我们可以在爬行时使用分布式方法。这种方法有一定的几率起到防爬的作用，还可以增加爬的量。

 

2.保存饼干。模拟登录比较麻烦的时候，可以直接在网上登录，记下cookies保存，然后带cookies当爬虫。但是，这不是长久之计，cookies可能会在一段时间内失效。

 

3.多账号防爬。很多网站会通过一个账号在固定时间内的访问频率来判断自己是不是机器人。在这种情况下，可以测试单个账号的固定时间值，然后在时间临近时切换代理IP，这样就可以循环抓取了。

 

4.验证码问题。爬虫经常会遇到长时间的验证码问题。这是为了验证你是否是机器人，而不是为了识别你是爬行类机器人。第一种解决方案:这种情况下，可以将验证码下放到本地，手动输入验证码进行验证。这种方法成本高，并且不能自动捕获，需要人工干预。第二种解决方案:可以通过图像识别验证码，自动填写验证码。但是现在的验证码大多比较复杂，图像识别不熟悉就无法识别正确的验证码。第三种解决方案:可以接入自动编码平台，最方便但需要购买。

 

不同的网站有不同的反爬虫方法，一套爬虫策略不会适用于任何网站。因此需要根据具体情况进行分析，不断测试分析过程，找出网站的反爬虫策略，才能起到事半功倍的效果。