大数据时代，数据采集促进数据分析，数据分析促进发展。但是这个过程中会出现很多问题，以最简单最基础的爬虫收集的数据为例。在这个过程中，会出现很多问题，比如屏蔽IP、限制抓取、非法操作等。所以在爬取数据之前，一定要了解爬取之前的网站是否涉及非法操作，找到合适的代理IP访问网站。

此外，为了更方便更高效地工作，程序员会考虑使用爬虫来模拟用户 设计爬虫之初的行为，以降低IP被屏蔽的概率。模拟用户行为的第一个目的是异步抓取数据和加载页面，第二个目的是通过爬虫行为高度模仿用户行为，最终目的是隐藏你的真实ip，那么我们该怎么办呢？

1.用户代理:这也是一个重要的数据特征。如果想在爬虫中灵活设置，最好在当前主流浏览器环境下使用用户-代理人完全一样，随着浏览器版本的变化，您的用户IP代理也会变化。

2.如果你高度模仿浏览器请求，有一个简单的方法可以查看:中所有chrome网络请求的副本信息。

3.Cookie:可能会被很多爬虫开发者忽略。其实很重要。cookie行为的模拟不仅涉及到用户行为的模拟，还会直接导致一些访问请求遇到权限或其他错误。Pyspider的cookie可以直接在爬行请求中设置。

4.IP隐藏。现在互联网上有很多高匿IP代理。所谓高匿IP代理是指IP代理对被访问的服务器完全隐藏其客户端。注:当在互联网上使用高匿IP代理时，您必须首先在您自己的服务器上尝试它，以防止出现假的高匿。如果在Pyspider的Phantomjs中使用IP代理服务器，需要单独启动phantomjs服务，启动命令:爬虫模拟用户行为、设计方法和IP代理软件。

5.登录会话问题:会话问题主要是客户端的cookie问题。如果能做cookie全局模拟，session肯定不是问题。精灵IP代理可以提供海量ip，一键切换电脑/手机ip，帮你有效隐藏真实IP。