很多从事python爬虫的网友经常会遇到这样的情况，有些数据在浏览器上显示出来却不能收集网站信息时不要被抓取，这可能是因为对方故意阻止爬虫抓取信息。当你的IP地址被网站屏蔽后，会阻止你继续访问。这里有一些非常简单的方法可以让你的python爬虫看起来更像一个人类访问用户。

1.构建一个合理的HTTP请求头，它可以由请求模块定制。

2.优化cookies。在收集一些网站时，Cookies是必不可少的。建议您在收集目标网站生成的cookie之前进行检查，然后筛选出爬虫需要处理的cookie。

3.在正常时间访问路径，许多有保护措施的网站可能会阻止您快速提交表单有多快？以比普通人快得多的速度操作，很可能导致被网站屏蔽，建议尽量增加每次页面访问的间隔。

4.注意隐式输入字段值。有两种主要方法可以防止python爬虫抓取带有隐式字段的信息。首先，表单页面上的字段可以由服务器生成的随机变量来表示；另一个是服务器的蜜罐陷阱。因此，有必要检查表单所在的页面。

5.使用代理IP。在网络中，IP地址相当于你的网上身份证，一人一个。当一个网站认识到python爬虫和人工访问的区别后，通常会采取屏蔽IP地址的方法来阻止你抓取信息。


此时，您需要使用代理IP。精灵IP代理是一家可以提供大量优质IP资源，所有的IP都属于高度匿名的代理IP，由很多个人终端IP组成可以伪装python爬虫的本地IP地址，达到突破网站反抓取限制的目的。