大多数人认为python爬虫必须使用代理ip，否则可以爬网数据。但实际操作不一定。如果要爬取的信息量不是很大，不使用代理ip也可以轻松一次性爬取网站上千篇文章。

其实爬虫的基本本质只是浏览网站的用户，只是用户有点特殊，浏览速度比普通用户快，给服务器带来了很大的压力。服务器使用各种反爬虫策略来限制或禁止爬虫程序，所以这也是大多数人认为Python爬虫必须使用改变ip的软件的原因。

如果爬虫程序的浏览速度和次数没有超出服务器反爬行机制的范围，就没有必要使用换ip软件即可切换IP；如果要爬网的数据量太大，则必须通过多个线程来检索、如果多台高并发的机器抓取，那么就需要换ip软件切换ip来帮助完成工作。

因此，任务量大的爬虫任务通常会选择换ip软件来解决反爬行策略的限制，以保证工作能够进行。