付费下载
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
浅析搜索引擎爬虫抓取原理
1:从种子站点开始抓取基于万维网的蝴蝶型结构,这种非线性的网页组织结构,就会出现一个抓取顺序的问题,这种抓取顺序的策略必须保证尽可能地抓取所有网页。一般来说,爬虫选择抓取蝴蝶型左边的结构为抓取出发点,典型的如和这样的门户网站的主页,每次抓取网页之后分析其中的URL,这种字符串形式的链接是指向其他网页的URL,它们指引着爬虫抓取其他网页。(基于这点我们可以初步理解引擎先左后右,先上后下的抓取原因了)a:深度优先的策略(Depth-FirstTraversal)深度优先的遍历策略类似家族继承策略,典型的如封建帝王的继承,通常为长子,如果长子去世,长孙的优先级大于次子的优先级(这点大家多多仔细分析琢磨下),如果长子和长孙都已经去世,那么次子继承,这种继承上的优先关系也称深度优先策略。(从这点上我们可以了解到蜘蛛的抓取栏目页先后顺序)b:宽度优先的策略(Breadth-FirstTraversal)宽度优先我们又称为广度优先,或者叫层次优先,例如:我们在给祖辈和父辈还有平辈敬茶的时候先给最年长的祖辈,其次为父辈,最后为平辈,在爬虫抓取上也采取了这样的策略。基于使用宽度有限的策略主要原因有三点:1>首页重要的网页往往离种子比较近,例如我们打开新闻站的时候往往是最热门的新闻,随着不断的深入冲浪,PV值增加,所看到网页重要性越来越低。2>万维网的实际深度最多能达到17层,到达某个网页的路径深入很多,但是总存在一条很短的路径。3>宽度优先有利于多爬虫的合作抓取(Mozk是根据前辈的资料分析和IIS日志分析,暂且认为,有不同见解,欢迎讨论交流),多爬虫合作通常先抓取站内连接,遇到站外连接然后开始抓取,抓取的封闭性很强。附:链接的优化,避抓取链接的死循环,同时也避免该抓取的资源没有得到抓取,浪费大量的资源做无用功。(如何建立合理的内部链接可以参照小站)。2:网页抓取优先策略网页的抓取优先策略也称为“面页选择问题”(pageselection),通常抓取重要性的网页,这样保证有限资源(爬虫,服务器负载)尽可能的照顾到重要性高的网页,这点应该很好理解。那么哪些网页才是重要性的网页呢?网页的重要性判断因素很多,主要有链接欢迎度(知道链接的重要性了吧),链接的重要度和平均深度链接,网站质量,历史权重等主要因素。链接的欢迎度主要是由反向链接(backlinks)的数量和质量决定,我们定义为IB(P)。链接的重要度,是一个关于URL字符串的函数,仅仅考察字符串本身,比如认为“.com”“home”的URL重要度比“.cc”和“map”较高(这里是比方不是绝对,就如我们通常默认首页index.**一样,要定义其他名称也可以,另外排名是个综合因素,com的不一定排名就好,只是其中一个很小的因素而已),我们定义为IL(P)平均连接深度,个人鄙见,根据上面所分析的宽度优先的原则计算出全站的平均链接深度,然后认为距离种子站点越近重要性越高。我们定义为ID(P)我们定义网页的重要性为I(P)那么:I(p)=X*IB(P)+Y*IL(P)ID(P)由宽度优先的遍历规则保证,因此不作为重要的指标函数,为了保证
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 九年级数学《中位数和众数》教学设计(苏科版上册第四章第二节)
- 初中七年级道德与法治“劳动创造人生价值”教学设计
- 高中英语必修三Unit 2 Making a difference单元起始课教学设计
- 高三化学一轮复习教学设计:基于观念建构的“电化学原理及其应用”专题整合
- 七年级语文上册第六单元古诗文诵读教学设计
- 初中九年级数学《一元二次方程及其应用》专题复习教学设计
- 小学四年级信息技术《输入文字》教学设计
- 八年级化学“碳达峰与碳中和”项目式教学设计
- 初中八年级道德与法治主题班会团结就是力量教学设计
- 高中语文高三议论文并列式与层进式结构教学设计
- 2026年烟花爆竹经营单位主要负责人考试题库及答案
- 复盘的讲解课件
- 外协加工工艺统一规范细则
- 超声造影剂安全使用专家共识(2026版)
- 太原铁路面试题目及答案
- DB53-T 1137-2023 公路建设项目电子文件与电子档案管理系统建设指南
- 股骨颈骨折患者护理 2
- TCECS-628-2019-石材粘贴工程技术规程
- 2025年人教版中考英语复习:2022年版课标核心词汇1600词 英汉+汉英 默写练习(含答案)
- 23G409先张法预应力混凝土管桩
- 2024年甘肃省职业院校技能大赛(高职学生组)财经商贸类互联网+国际经济与贸易赛项样卷3
评论
0/150
提交评论