很多人认为网络爬虫必须加一个代理IP，没有代理IP是没有出路的。有人认为代理IP是没有必要的。为什么呢。不能直接使用收藏工具吗？网络爬虫必须使用代理IP吗？

用亲身经历和感受证明自己的观点。我认为，爬虫订单本质上只是一个浏览网页的用户，一个不遵守规则的唯一用户，服务器通常不欢迎这样的唯一用户发现并通过各种手段禁止他们。最常见的是判断你的访问频率，因为普通人访问网页的频率并不是很快，如果你发现某个IP访问速度过快，就会被禁止访问。如果用10个代理IP在短时间内浏览10次，就不容易被认为速度太快而被屏蔽。当业务量巨大时，如果不需要更换IP软件，目标服务器会认为浏览速度过快，导致IP被屏蔽。

在业务量不是很大的情况下，可以缓慢爬行，工作频率不是很快，目标服务器可以承受，正常运行也不会受到影响，这样IP就不会被封，日常业务不需要代理IP也可以完成。

代理IP软件实际上是用来帮助爬虫从其他网站收集一些文章，然后选择适用的并处理好。网络爬虫每天抓取几十万个网页，有时候任务多的时候，一天要花掉100万以上，爬行IP被屏蔽了，没有代理IP是不可能完成的。如果没有代理IP，爬虫就不能到达任何地方，所以爬虫必须使用代理IP。