网络爬虫技术论文.docx

网络爬虫技术浅析在当今社会，越来越多的人使用互联网看视频，听音乐，查资料等等，使得网络上的数据越来越多。人们想从海量的数据中获取到自己想要的知识，靠人力浏览很难实现查找到需要的东西，除非运气相当好。这个时候搜索引擎就出现了，搜索引擎可以通过关键字，查找网页并显示在用户面前，用户可以得到有用的信息。在搜索引擎中非常关键的数据来源来自一种很神奇的技术：网络爬虫技术，它构成了搜索引擎的基础部分。网络爬虫的基本概念网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。一、 网络爬虫的历史1994年的1月份，第一个既可搜索又可浏览的分类目录EINetGalaxy上线了。它之后才出现了雅虎，直至我们现 在熟知的Google、百度。但是他们都不是第一个吃搜索引擎这个螃蟹的人。从搜索FTP上的文件开始，搜索引擎的原型就出现了，那时还未有万维网，当时人们先用手工后用蜘蛛程序搜索网页，但随着互联网的不断壮大，怎样能够搜集到的网页数量更多、时间更短成为了当时的难点和重点，成为人们研究的重点。1994年7月20日发布的Lycos网站第一个将 “蜘蛛”程序接入到其索引程序中。引入“蜘蛛”后给其带来的最大优势就在于其远胜于其它搜索引擎的数据量。自此之后几乎所有占据主导地位的搜索引擎中，都靠“蜘蛛”来搜集网页信息。通用网络爬虫和聚焦网络爬虫的工作原理网络爬虫是搜索引擎的重要组成部分，它是一个自动提取网页的程序，为搜索引擎从网上下载网页.传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。与传统爬虫相比，聚焦爬虫的工作流程则较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存起来，进行一定的分析、过滤，并建立索引，为了方便之后的查询和检索网页搜索策略目前网络上面主流网页搜索策略有三种，即：深度优先，广度优先，最佳优先。A）深度优先，即从起始网页开始，选择一个URL，进入，分析这个网页中的URL，选择一个再进入。如此一个链接一个链接地深入追踪下去，处理完一条路线之后再处理下一条路线。该算法的缺点：该类爬虫设计时较为简单。然而深度优先型网络爬虫存在一个问题：门户网站提供的链接往往最具价值，PageRank也很高，而每深入一层，网页价值和PageRank都会相应地有所下降。这暗示了重要网页通常距离种子较近，而过度深入抓取到的网页却价值很低。B）广度优先，即从起始网页开始，抓取其中所有链接的网页，然后从中选择一个，继续抓取该网页中的所有链接页面。该算法的优点，在于其设计和实现相对简单，且这种策略的基本思想是：与种子在一定距离内的网页重要度较高，符合实际。在聚焦爬虫的应用中，广度优先策略可以与网页过滤技术结合，即先用广度优先抓取一些网页，再将其中与主题无关的过滤掉。但这种方法的缺点是随着抓取网页的增多，算法的效率会变低。C）最佳优先策略，即按照某种网页分析算法预测候选URL与目标网页的相似度，或主题的相关性，并选取其中评价最好的一个或几个URL进行进一步的爬取。这种策略的缺陷是可能会有很多相关网页被忽略，但相对的，这种策略可以将无关网页数量降低30%90%。网页分析方法网页分析算法可以归纳为基于网络拓扑、基于网页内容和基于用户访问行为三种类型。网络拓扑的分析算法基于网页拓补，即通过已知的网页或数据，对其有间接关系的网页或网站做出评价的算法，这种算法广泛应用于实时搜索，其中又包括：网页粒度分析算法、网站粒度分析算法、网页块粒度分析算法三种。1. 网页粒度分析法PageRank和HITS算法是最常见的链接分析算法，两者都是通过对网页间链接度的递归和规范化计算，得到每个网页的重要度评价。PageRank算法虽然考虑了用户访问行为的随机性和Sink网页的存在，但忽略了绝大多数用户访问时带有目的性，即网页和链接与查询主题的相关性。针对这个问题，HITS算法提出了两个关键的概念：权威型网页（authority）和中心型网页（hub）。2.网站粒度分析法网站粒度的资源发现和管理策略也比网页粒度的更简单有效。网站粒度的爬虫抓取的关键之处在于站点的划分和站点等级(SiteRank)的计算。SiteRank的计算方法与PageRank类似，但是需要对网站之间的链接作一定程度抽象，并在一定的模型下计算链接的权重。网站划分情况分为按域名划分和按IP地址划分两种。讨论了在分布式情况下，通过对同一个域名下不同主机、服务器的IP地址进行站点划分，构造站点图，利用类似PageRank的方法评价SiteRank。同时，根据不同文件在各个站点上的分布情况，构造文档图，结合SiteRank分布式计算得到DocRank。文献18证明，利用分布式的SiteRank计算，不仅大大降低了单机站点的算法代价，而且克服了单独站点对整个网络覆盖率有限的缺点。附带的一个优点是，常见PageRank 造假难以对SiteRank进行欺骗。3.网页块粒度分析法在一个页面中，往往含有多个指向其他页面的链接，这些链接中只有一部分是指向主题相关网页的，或根据网页的链接锚文本表明其具有较高重要性。但是，在PageRank和HITS算法中，没有对这些链接作区分，因此常常给网页分析带来广告等噪声链接的干扰。在网页块级别(Block?level)进行链接分析的算法的基本思想是通过VIPS网页分割算法将网页分为不同的网页块(page block)，然后对这些网页块建立page?to?block和block?to?page的链接矩阵，?分别记为Z和X。于是，在page?to?page图上的网页块级别的PageRank为?W?p=XZ；?在block?to?block图上的BlockRank为?W?b=ZX。已经有人实现了块级别的PageRank和HITS算法，并通过实验证明，效率和准确率都比传统的对应算法要好。网页分析算法基于文本的网页分析算法1) 纯文本分类与聚类算法很大程度上借用了文本检索的技术。文本分析算法可以快速有效的对网页进行分类和聚类，但是由于忽略了网页间和网页内部的结构信息，很少单独使用。2) 超文本分类和聚类算法根据网页链接网页的相关类型对网页进行分类，依靠相关联的网页推测该网页的类型。网络爬虫的效率单线程的爬虫由于页面的分析和下载不能同时而效率较低，因此出现了多线程爬虫。有一个例子可以帮助理解多线程的意义：现在很多下载软件都支持多线程同步下载，即将下载内容分成几部分同步下载，速度比单线程要快上很多。爬虫采用线程进行循环，但这存在一定弊端：一旦发生网络阻塞，整个线程就一直处于等待状态而导致死亡。一般采取线程监控的方法来解决，即存在一个主线程和一个监控线程，监控线程每隔一段时间去访问一次主线程并与其分享的变量，一旦发现超时，就认为网络阻塞，这时终止主线程并重新启动，由此避免了网络阻塞导致线程一直等待的问题。网页更新对于搜索引擎而言，评价网络爬虫效率的一个重要标准是爬虫的开销。爬虫开销 = 重复抓取的老页面数 / 发掘的新页面数即是说，爬虫应当尽量发掘新页面而减少重复页面的爬取，而决定对某个网页的更新频率涉及到时间更新控制。一般做法是将这次抓取到的页面上的数据与上一次相比较，如果进行连续五次这样的比较都没有变化，则将以后爬取该网页的时间扩大为原来的2倍；如果进行连续五次这样的比较都有变化，则将以后爬取该网页的时间缩短为原来的1/2。另外，爬虫在更新网页内容时，不需要将网页重新抓取一遍，只需对网页的一些属性加以判断（如日期），并与上次结果相比即可，如果相同则无需更新。实时搜索设想当用户查询一个热门话题，而爬虫还未抓取相关网页，这时就不能在用PageRank来评价网页重要性了。PageRank的计算对象是已经抓取下来的网页，即，在计算PageRank过程中不会有新页面加入，这种方法被称为“离线”（off-line）的计算方法。这种方法适合于对结果的排序，但不适用于爬虫的调度（即动态决定URL的抓取顺序），因而诞生了一种OPIC (On-line Page Importance Computation)的新型算法策略。OPIC的基本思想是：每个页面有一个初始cash，在抓取过程中，通过前向链接将cash平均分给该网页指向的所有页面（分配过程一次完成），而爬虫在爬取过程中只需优先抓取cash较多的页面。网络爬虫的未来发展趋势随着马上迈入web3.0时代，网页的形式越来越多样化，各种音频，各种广告，各种无用的信息无时无刻的干扰着网络爬虫的搜索精度。这也使得我们的搜索策略必须得适应多变的网络时代。我们的搜索策略重点应该放到从各种网页中抓取最有用的信息，最有效，最及时的信息。参考文献*基本资料来自于网络/zh-cn/%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E/zh-cn/Robots.txt/doc/282164