不同的获取网络资源方式使用不同ip代理

jj 2021-09-29

网络资源有很多，但如果需要对这些资源进行打包，有时会遇到限制。

ip代理帮助获取网络资源。

使用ip软件可以突破下载限制。比如有的网站提供下载资源，一个ip一个线程下载。此时可以使用代理ip实现多个ip下载，同时下载多个资源。

有时，为了跳过验证码，你必须每两次访问就更换一次ip。而且最严重的问题是，如果面对如此高的ip限制，不可能通过在一台机器上打开更多的爬虫客户端来实现单台机器的分布式爬虫。

用户面对不同的爬虫要考虑不同的网站，每个网站对反爬虫的设置都不一样。