网络数据采集工作方式--Web信息检索与数据抓取-对等式分布式采集_第1页
网络数据采集工作方式--Web信息检索与数据抓取-对等式分布式采集_第2页
网络数据采集工作方式--Web信息检索与数据抓取-对等式分布式采集_第3页
网络数据采集工作方式--Web信息检索与数据抓取-对等式分布式采集_第4页
网络数据采集工作方式--Web信息检索与数据抓取-对等式分布式采集_第5页
已阅读5页，还剩2页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、对等式分布式采集概念在对等式分布爬虫体系中，服务器之间不存在分工差异，每台服务器承担相同的功能.各自负担一部分URL的抓取工作。2对等式分布式采集原理 由于没有URL服务器存在，每台抓取服务器的任务分工就成为问题。在下图所示体系结构下，由服务器自己来判断某个URL是否应该由自己来抓取，或者将这个URL传递给相应的服务器.至于采取的判断方法，则是对网址的主城名进行哈希计算，之后取模(即hash域名%m，这里的m对应服务器个数)，如果计算所得的值和抓取服务器编号匹配，则自己下载该网页，否则将该网址转发给对应编号的抓取服务器。 3对等式分布式采集4对等式分布式采集以上图的例子来说，因为有3台抓取服务

2、器，所以取模的时候，设定为3，图中的1号抓取服务器负责抓取哈希取模后值为1的网页，当其接收到网址 时，首先利用哈希函数计算这个主城名的哈希值，之后对3取模，发现取模后值为1,属于自己的职责范围，于是就白己下载网页: 如果接收到网址，哈希后对3取模，发现其值等于2.不属于自己的职责范畴，则会将这个要下载的URL转发给2号抓取服务器，由 2号抓取服务器来进行下载。通过这种方式，每台服务器平均承担大约1/3的抓取工作5对等式分布式采集由于没有URL分发服务器，所以此种方法不存在系统瓶颈问题，另外其哈希函数不是针对整个URL,而只针对主域名，所以可以保证同一网站的网页都由同一台服务器抓取，这样一方面可以提高下载效率(DNS域名解析可以缓存)，另外一方面也可以主动控制对某个网站的访问速度.避免对某个网站访问压力过大。 61.网络数据采集 王伟 电子制作 , 2014 (6) :173-1742.WEB数据采集系统 百度文库 网址：https:/ 百度文库 网址：https

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论