几种网络爬虫的优缺点

几种网络爬虫的优缺点搜索引擎的实现过程，可以看作三步：1.从互联网上抓取网页2.对网页进行处理，建立索引数据库3.进行查询。因此无论什么样的搜索引擎，都必须要有一个设计良好的爬虫来支持。Heritrix优点：Heritrix是SourceForge上基于Java的开源爬虫，它可以通过Web用户界面来启动、设置爬行参数并监控爬行，同时开发者可以随意地扩展它的各个组件，来实现自己的抓取逻辑，因其方便的可扩展性而深受广大搜索引擎爱好者的喜爱。缺点：虽然Heritrix功能强大，但其配置复杂，而且官方只在Linux系统上测试通过，用户难以上手。根据网上来看这个软件还没有完善。2.WebSPHINX优点：比较简单缺点：只能找一个字段锁。

MetaSeeker中的网络爬虫就属于后者。

如果从怎样提取数据上分，还可以分成两类，我们只说定题爬虫，普通爬虫要简单的多，网上大把。这两类是：

1，通过正则表达式提取内容，HTML文件就是一个文本文件，直接使用正则表达式在指定地方提取内容即可，指定地方不一定是绝对定位，例如，可以参照HTML的标签定位，更准确

2，利用DOM提取内容，HTML文件先转成DOM数据结构，在遍历这个结构提取内容。

MetaSeeker中的网络爬虫还属于后者。

有人会问，为什么还要用DOM方式，转了一道？有很多原因决定DOM方式的存在理由：

首先，DOM结构的分析都不用自己做，有现成的库，编程并没有变复杂；

第二，可以实现很复杂但是很灵活的定位规则，而正则表达式很难写；

第三，如果定位是要考虑HTML文件结构，用正则表达式不容易解析，HTML文件经常有错，如果将这个任务交给现成的库，要容易很多。

第四，假设还要解析Javascript的内容，正则表达式无能为力了，当然DOM方式自己也无能为力，但是可以利用某个平台的能力，就有可能提取AJAX网站内容。

还有很多原因。MetaSeeker工具包利用Mozilla平台的能力，只要是Firefox看到的东西，它都能提取。

爬虫的变种很多，仅讲这两个方面。

MetaSeeker工具包是免费使用的，下载地址：/cn/node/download/front下载和安装下载和安装方式有两种：下载的同时进行安装：在下载弹出窗口中选择“运行”，并指定运行程序Firefox下载保存后安装：在下载弹出窗口中选择“保存”，以后安装下面将讲解使用第二种方式下载后怎样安装。运行Firefox后，只要将两者的程序包文件（分别是metastudio_xxx.xpi和datascraper.xpi）拖到Firefox上即可启动安装过程。安装完成后，如果在Firefox状态栏的右下角显示“MetaStudioInstalled”和“DataScraperInstalled”，表示两者安装成功。如果安装成功，在Firefox的“工具”菜单上会出现“MetaStudio”和“DataScraper”两个菜单项。初始运行安装完成后，第一次运行MetaStudio和DataScraper时，会提示输入MetaSeeker在线用户帐号和口令信息，用户可以选择将输入的信息存储在本地，这样以后