采集大量数据时需要使用代理ip，但用不好时会受到网站反抓取策略的限制，那么我们该怎么办呢？
 

 

1.爬虫的工作需要ip。使用免费代理ip可以处理一些ip限制，但是浪费大量时间，不稳定。

2.一般需要反爬，及时限制ip浏览的频率。抓取低的时候，设置时间段阻止标题，尽可能切换不同IP使用。

3.虽然大部分网站都有防爬虫，但也有部分网站忽略了这方面。我们可以使用精灵ip代理隐藏ip地址，多更换代理ip，在反爬虫发现我们是爬虫的时候及时切换ip，可以稳定工作，维护我们本地ip的安全和工作效率。