爬虫和反爬虫及其原理

成果名称：爬虫和反爬虫及其原理实践活动题目一、实践目的爬虫和反爬虫及其原理实践内容Web是一个开放的平台，这也奠定了Web从90年代初诞生直至今日将近30年来蓬勃的发展。然而，正所谓成也萧何败也萧何，开放的特型、搜索引擎以及简单易学的HTML、CSS技术使得Web成为了互联网领域里最为流行和成熟的信息传播媒介；但如今作为商业化软件，Web这个平台上的内容信息的版权却毫无保证，因为相比软件客户端而言，你的网页中的内容可以被很低成本、很低的技术门槛实现出的一些抓取程序获取到，这也就是这一系列文章将要探讨的话题——网络爬虫。有很多人认为Web应当始终遵循开放的精神，呈现在页面中的信息应当毫无保留地分享给整个互联网。然而我认为，在IT行业发展至今天，Web已经不再是当年那个和PDF一争高下的所谓

“超文本”信息载体

了，它已经是以一种

轻量级客户端软件

的意识形态的存在了。而商业软件发展到今天，Web也不得不面对知识产权保护的问题，试想如果原创的高质量内容得不到保护，抄袭和盗版横行网络世界，这其实对Web生态的良性发展是不利的，也很难鼓励更多的优质原创内容的生产。实践过程、什么是爬虫？如何工作？1.爬虫开始先要搞清楚什么是爬虫。其实本质上来说爬虫就是一段程序代码。任何程序语言都可以做爬虫，只是繁简程度不同而已。从定义上来说，爬虫就是模拟用户自动浏览并且保存网络数据的程序，当然，大部分的爬虫都是爬取网页信息（文本，图片，媒体流）。但是人家维护网站的人也不是傻的，大量的用户访问请求可以视为对服务器的攻击，这时候就要采取一些反爬机制来及时阻止人们的不知道是善意的还是恶意的大量访问请求。2.如何工作要做一只爬虫，首先就得知道他会干些什么，是怎样工作的。所以得有一些关于HTML的前置知识，这一点做过网页的应该最清楚了。HTML(超文本标记语言)，是一种标记性语言，本身就是一长串字符串，利用各种类似<a>，</a>这样的标签来识别内容，然后通过浏览器的实现标准来翻译成精彩的页面。当然，一个好看的网页并不仅仅只有ＨTML，毕竟字符串是静态的，只能实现静态效果，要作出漂亮的网页还需要能美化样式的CSS和实现动态效果的JavaScipt，只要是浏览器都是支持这些玩意儿的。嗯，我们做爬虫不需要了解太多，只需要了解HTML是基于文档对象模型（ＤＯＭ）的，以树的结构，存储各种标记，3、个人爬虫实践示例见到花花绿绿的HTML代码不要害怕，一个一个点，直到找到需要的信息就行了，可以看到所有电影名都是在这样：<divclass="pl2">（一）、爬虫的角度最简单的爬虫，是几乎所有服务端、客户端编程语言都支持的http请求，只要向目标页面的url发起一个httpget请求，即可获得到浏览器加载这个页面时的完整html文档，这被我们称之为“同步页”。作为防守的一方，服务端可以根据http请求头中的User-Agent来检查客户端是否是一个合法的浏览器程序，亦或是一个脚本编写的抓取程序，从而决定是否将真实的页面信息内容下发给你。这当然是最小儿科的防御手段，爬虫作为进攻的一方，完全可以伪造User-Agent字段，甚至，只要你愿意，http的get方法里，requestheader的

Referrer

、

Cookie

等等所有字段爬虫都可以轻而易举的伪造。此时服务端可以利用浏览器http头指纹，根据你声明的自己的浏览器厂商和版本（来自

User-Agent

），来鉴别你的httpheader中的各个字段是否符合该浏览器的特征，如不符合则作为爬虫程序对待。这个技术有一个典型的应用，就是

PhantomJS

1.x版本中，由于其底层调用了Qt框架的网络库，因此http头里有明显的Qt框架网络请求的特征，可以被服务端直接识别并拦截。除此之外，还有一种更加变态的服务端爬虫检测机制，就是对所有访问页面的http请求，在

httpresponse

中种下一个

cookietoken

，然后在这个页面内异步执行的一些ajax接口里去校验来访请求是否含有cookietoken，将token回传回来则表明这是一个合法的浏览器来访，否则说明刚刚被下发了那个token的用户访问了页面html却没有访问html内执行js后调用的ajax请求，很有可能是一个爬虫程序。如果你不携带token直接访问一个接口，这也就意味着你没请求过html页面直接向本应由页面内ajax访问的接口发起了网络请求，这也显然证明了你是一个可疑的爬虫。知名电商网站amazon就是采用的这种防御策略。以上则是基于服务端校验爬虫程序，可以玩出的一些套路手段。(二)、基于客户端js运行时的检测现代浏览器赋予了JavaScript强大的能力，因此我们可以把页面的所有核心内容都做成js异步请求

ajax

获取数据后渲染在页面中的，这显然提高了爬虫抓取内容的门槛。依靠这种方式，我们把对抓取与反抓取的对抗战场从服务端转移到了客户端浏览器中的js运行时，接下来说一说结合客户端js运行时的爬虫抓取技术。刚刚谈到的各种服务端校验，对于普通的python、java语言编写的http抓取程序而言，具有一定的技术门槛，毕竟一个web应用对于未授权抓取者而言是黑盒的，很多东西需要一点一点去尝试，而花费大量人力物力开发好的一套抓取程序，web站作为防守一方只要轻易调整一些策略，攻击者就需要再次花费同等的时间去修改爬虫抓取逻辑。此时就需要使用headlessbrowser了，这是什么技术呢？其实说白了就是，让程序可以操作浏览器去访问网页，这样编写爬虫的人可以通过调用浏览器暴露出来给程序调用的api去实现复杂的抓取业务逻辑。其实近年来这已经不算是什么新鲜的技术了，从前有基于webkit内核的PhantomJS，基于Firefox浏览器内核的SlimerJS，甚至基于IE内核的trifleJS，有兴趣可以看看这里和这里是两个headlessbrowser的收集列表。这些headlessbrowser程序实现的原理其实是把开源的一些浏览器内核C++代码加以改造和封装，实现一个简易的无GUI界面渲染的browser程序。但这些项目普遍存在的问题是，由于他们的代码基于fork官方webkit等内核的某一个版本的主干代码，因此无法跟进一些最新的css属性和js语法，并且存在一些兼容性的问题，不如真正的release版GUI浏览器。这其中最为成熟、使用率最高的应该当属

PhantonJS

了，对这种爬虫的识别我之前曾写过一篇博客，这里不再赘述。PhantomJS存在诸多问题，因为是单进程模型，没有必要的沙箱保护，浏览器内核的安全性较差。如今GoogleChrome团队在chrome59release版本中开放了headlessmodeapi，并开源了一个基于Node.js调用的headlesschromiumdirver库，我也为这个库贡献了一个centos环境的部署依赖安装列表。headlesschrome可谓是headlessbrowser中独树一帜的大杀器，由于其自身就是一个chrome浏览器，因此支持各种新的css渲染特性和js运行时语法。基于这样的手段，爬虫作为进攻的一方可以绕过几乎所有服务端校验逻辑，但是这些爬虫在客户端的js运行时中依然存在着一些破绽，诸如：1.基于plugin对象的检查2.基于language的检查3.基于webgl的检查4.基于浏览器hairline特性的检查5.基于错误imgsrc属性生成的img对象的检查基于以上的一些浏览器特性的判断，基本可以通杀市面上大多数headlessbrowser

程序。在这一点上，实际上是将网页抓取的门槛提高，要求编写爬虫程序的开发者不得不修改浏览器内核的C++代码，重新编译一个浏览器，并且，以上几点特征是对浏览器内核的改动其实并不小。更进一步，我们还可以基于浏览器的

UserAgent

字段描述的浏览器品牌、版本型号信息，对js运行时、DOM和BOM的各个原生对象的属性及方法进行检验，观察其特征是否符合该版本的浏览器所应具备的特征。这种方式被称为

浏览器指纹检查

技术，依托于大型web站对各型号浏览器api信息的收集。而作为编写爬虫程序的进攻一方，则可以在headlessbrowser

运行时里预注入一些js逻辑，伪造浏览器的特征。另外，在研究浏览器端利用jsapi进行

robotsbrowserdetect时，我们发现了一个有趣的小技巧，你可以把一个预注入的js函数，伪装成一个nativefunction，来看看下面代码：爬虫进攻方可能会预注入一些js方法，把原生的一些api外面包装一层proxyfunction作为hook，然后再用这个假的jsapi去覆盖原生api。如果防御者在对此做检查判断时是基于把函数toString之后对[nativecode]的检查，那么就会被绕过。所以需要更严格的检查，因为bind(null)伪造的方法，在toString之后是不带函数名的。（三）、反爬虫的银弹目前的反抓取、机器人检查手段，最可靠的还是验证码技术。但验证码并不意味着一定要强迫用户输入一连串字母数字，也有很多基于用户鼠标、触屏（移动端）等行为的行为验证技术，这其中最为成熟的当属GooglereCAPTCHA。基于以上诸多对用户与爬虫的识别区分技术，网站的防御方最终要做的是封禁ip地址或是对这个ip的来访用户施以高强度的验证码策略。这样一来，进攻方不得不购买ip代理池来抓取网站信息内容，否则单个ip地址很容易被封导致无法抓取。抓取与反抓取的门槛被提高到了ip代理池经济费用的层面。（四）、机器人协议除此之外，在爬虫抓取技术领域还有一个“白道”的手段，叫做robots协议。你可以在一个网站的根目录下访问/robots.txt，比如让我们一起来看看github的机器人协议，Allow和Disallow声明了对各个UA爬虫的抓取授权。不过，这只是一个君子协议，虽具有法律效益，但只能够限制那些商业搜索引擎的蜘蛛程序，你无法对那些“野爬爱好者”加以限制。（五）、反爬虫机制1.检验数据头User-Agent反爬虫机制解析：当我们使用浏览器访问网站的时候，浏览器会发送一小段信息给网站，我们称为RequestHeaders,在这个头部信息里面包含了本次访问的一些信息，例如编码方式，当前地址，将要访问的地址等等。这些信息一般来说是不必要的，但是现在很多网站会把这些信息利用起来。其中最常被用到的一个信息，叫做“User-Agent”。网站可以通过User-Agent来判断用户是使用什么浏览器访问。不同浏览器的User-Agent是不一样的，但都有遵循一定的规则。但是如果我们使用Python的Requests直接访问网站，除了网址不提供其他的信息，那么网站收到的User-Agent是空。这个时候网站就知道我们不是使用浏览器访问的，于是它于是它就可以拒绝我们的访问。2.访问频率限制或检验大多数情况下，我们遇到的是访问频率限制。如果你访问太快了，网站就会认为你不是一个人。这种情况下需要设定好频率的阈值，否则有可能误伤。如果大家考过托福，或者在12306上面买过火车票，你应该会有这样的体会，有时候即便你是真的用手在操作页面，但是因为你鼠标点得太快了，它都会提示你:“操作频率太快…”。另外,还可以检验访问频率是否每一次都相同,如果都相同,那么一定是爬虫了.3.蜜罐技术蜜罐这个词，最早是来自于网络攻防中。一方会故意设置一个或者几个服务器，故意留下漏洞，让另一方轻易的入侵进来。这些被故意设置的服务器，就叫做蜜罐。里面可能安装了监控软件，用来监控入侵者。同时，蜜罐还可以拖延入侵者的时间。在反爬虫的机制中，也有一种蜜罐技术。网页上会故意留下一些人类看不到或者绝对不会点击的链接。由于爬虫会从源代码中获取内容，所以爬虫可能会访问这样的链接。这个时候，只要网站发现了有IP访问这个链接，立刻永久封禁该IP+User-Agent+Mac地址等等可以用于识别访问者身份的所有信息。这个时候，访问者即便是把IP换了，也没有办法访问这个网站了。给爬虫造成了非常大的访问障碍。实践体会首先我觉得很难，不是为了实践报告，我不会学爬虫的，爬虫对网页内容的抓取与反制，注定是一个魔高一尺道高一丈的猫鼠游戏，你永远不可能以某一种技术彻底封死爬虫程序的路，你能做的只是提高攻击者的抓取成本，并对于未授权的抓取行为做到较为精确的获悉。java当中，爬虫主要通过httpclient向服务器发送请求，然后通过Jsoup来解析对方接口给我们返回