我们每天都使用互联网。随着用户和网站的增加，网络数据必然会增加。如今的互联网数据已经不再是互联网刚诞生时的数量级。互联网上的网页数据量巨大，因此爬虫的工作量巨大，爬虫程序的性能也非常重要。

爬虫无法影响目标服务器的正常运行，对目标服务器造成太大的访问压力，也容易受到IP限制进行抓取。使用代理IP也是如此，给代理服务器带来太大压力，最终会影响你爬虫的稳定运行。了解代理IP软件的使用其实很简单，相当于让一个中间人为你访问网站，然后把访问结果发给你。对于网站来说，都是这个中间人的信息，你不会知道你的存在。用户修改的IP就是代理的IP，访问的网站根本找不到真实信息。

IP代理软件最重要的是要有大量的服务器，并且制作IP放入IP池。客户端使用时，会直接从IP池中获取。尤其对于爬虫来说，代理ip池的使用非常关键，只有大量的IP才能更好的支持爬虫。