已阅读5页,还剩28页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1 闽江学院 本科毕业论文 题 目几种常见的搜索引擎性能比较与分析 学生姓名 吴宽富 学 号 120081003154 系 别 物理系与电子信息工程系 年 级 2008 级 专 业 电子信息工程 指导教师 林宏 职 称 讲师 完成日期 2012-5-10 2 声明 闽江学院毕业论文(设计)诚信声明书闽江学院毕业论文(设计)诚信声明书 本人郑重声明: 兹提交的毕业论文(设计) 几种常见的搜索引擎的性能比较与 分析 ,是本人在指导老师 林宏老师 的指导下独立研究、撰写的 成果;论文(设计)未剽窃、抄袭他人的学术观点、思想和成果, 未篡改研究数据,论文(设计)中所引用的文字、研究成果均已在 论文(设计)中以明确的方式标明;在毕业论文(设计)工作过程 中,本人恪守学术规范,遵守学校有关规定,依法享有和承担由此 论文(设计)产生的权利和责任。 声明人(签名): 年 月 日 3 摘 要 本文研究的目的是为了让我们更好的理解目前常见的几种搜索引擎,熟悉 它,认识它,用好它,让它们成为我们工作生活、学习和工作的好帮手。 本文主要是对搜索引擎的初显、发展做大概的叙述,对搜索引擎的技术原 理、工作的原理、系统构架等做简单分析,希望大家可以对搜索引擎有进一步 的了解,同时对我们常用的几种搜索引擎进行分类,并对搜索结果的排序方法 进行研究。最后通过几个指标对常见的几种搜索引擎做性能比较与分析,并通 过实例来说明搜索引擎的应用,从而让大家对搜索引擎有更深的认识,让搜索 引擎更好地为我们学习、生活和工作服务。 关键词:搜索引擎 排序方法 性能比较 性能分析 刷红色处 要用书面语 刷紫色处是我改好的 英文翻译要一并跟上 4 Abstract This thesis is about to ultimately make people have a detailed knowledge of some common search engines at present. With knowing them, be familiar with them and taking advantage of them well, we can have them as good helpers in our daily lives, study and work. This thesis mainly to narrate the general appearance and development of search engines, and analyse particularly search engines technique principle, work principle, system architecture and so on. It is hoped that people would be able to know better about the search engines. Meanwhile, some common search engines are sorted, and their results-basically-sorted methods are analysed. With the comparison and analysis among the common search engines and showing how to make use of them effectively, this paper is attempt to help people understand search engines more deeply, and make search engines serve our study, daily lives and work better. Key words:Search engines; Sorting method ; Performance comparison ; Performance analysis 5 目目 录录* *(这里头有误吧这里头有误吧) 声明声明.2 摘摘 要要.3 ABSTRACT.4 第一章第一章 课题背景知识课题背景知识.1 1.1 搜索引擎的初显.1 1.2 搜索引擎的发展.2 第二章第二章 常见几种搜索引擎常见几种搜索引擎.3 2.1 搜索引擎的原理.3 2.2 搜索引擎的分类.5 第三章第三章 常用搜索引擎的结果排序方法常用搜索引擎的结果排序方法.6 3.2DirectHit算法.7 3.3 PageRank算法.7 3.2 竞价排名法.9 第四章第四章 常用的几种搜索引擎的性能比较及性能分析常用的几种搜索引擎的性能比较及性能分析.10 4.1 数据库.11 4.2 检搜结果.12 4.3 用户界面.13 第五章第五章 常用的几种搜索引擎实际应用与性能分析常用的几种搜索引擎实际应用与性能分析.16 参考文献参考文献.25 感谢感谢.27 1 第 1 章 课题背景知识 近几年,随着网络的不断发展和壮大,搜索引擎越来越成为人们生活中重要的一 部分,找资料、查地图、听音乐,只有想不到的,没有搜索不到的。中国二十多年来 互联网的不断发展,造就出 5 亿的网民,搜索引擎也出现空前的火热。各种分类的行业 网站也慢慢的兴起,使得搜索引擎越来越成为人们生活中必不可少的实用工具。 搜索引擎的出现,整合了众多网站信息,恰恰起到了信息导航的作用。通用搜索 引擎就如同互联网第一次出现的门户网站一样,大量的信息整合导航,极快的查询, 将所有网站上的信息整理在一个平台上供网民使用,于是信息的价值第一次普遍的被 众多商家认可,迅速成为互联网中最有价值的领域。大家熟知的搜索引擎 Google、百 度、雅虎等是通用搜索引擎现如今的杰出代表,他们为互联网的发展做出了重要的贡 献。 总而言之搜索引擎改变了人们的生活,给人们的生活工作学习带来了巨大的帮助。 1.1 搜索引擎的初显搜索引擎的初显(刷白什么意思?!)(刷白什么意思?!) 搜索引擎从 1990 年原型初显,进过三十多年的发展,现在成为人们生活中必不可 少的一部分,它经历了太多技术和观念的变革。 搜索引擎出现之前,互联网上就已经存在很多旨在让人们共享的信息资源了。这 些资源当时主要存在于各种允许匿名访问的 FTP 站点。为了便于人们在分散的 FTP 资 源中找到他们所需的东西,1990 年,加拿大麦吉尔大学(McGillUniversity)的几个 大学生开发了一个软件 Archie。它是一个可搜索的 FTP 文件名列表,用户必须输入精 确的文件名搜索,然后 Archie 会告诉用户哪一个 FTP 地址可以下载这个文件。Archie 实际上是一个大型的数据库,再加上与这个大型数据库相关联的一套检索方法。 Archie 虽然还不是搜索引擎,但是从它的工作原理上看,它是所有搜索引擎的祖先。 当万维网(WorldWideWeb)出现以后,人们可以通过 html 传播网页信息,网络上 的信息开始成倍增长。人们纷纷使用各种方法将网络上的信息搜集来,进行分类、整 2 理,以方便查找。现在人们很熟悉的网站雅虎(Yahoo)就是在这个环境下诞生的。还 在 Stanford 大学读书的美籍华人杨致远和他的同学迷上了互联网。他们将互联网上有 趣的网页搜集过来,与同学一起分享。后来,1994 年 4 月,他们俩共同办了雅虎。随 着访问量和收录链接数的增长,雅虎目录开始支持简单的数据库搜索。但是因为雅虎 的数据是手工输入的,所以不能真正被归为搜索引擎,事实上只是一个可搜索的目录。 1.2 搜索引擎的发展搜索引擎的发展 当“蜘蛛”程序出现时,现代意义上的搜索引擎才初显端倪。它实际上是一种电 脑“机器人”(ComputerRobot),电脑“机器人”是指某个能以人类无法达到的速度 不间断地执行某项任务的软件程序。由于专门用于检索信息的“机器人”程序就象蜘 蛛一样在网络间爬来爬去,反反复复,不知疲倦。所以,搜索引擎的“机器人”程序 就被称为“蜘蛛”程序。 这种程序实际是利用 html 文档之间的链接关系,在 Web 上一个网页一个网页的爬 取(crawl),将这些网页抓到系统来进行分析,并放入数据库中。第一个开发出“蜘 蛛”程序的是 MatthewGray,他于 1993 年开发了 WorldWideWebWanderer,它最初建立 时是为了统计互联网上的服务器数量,到后来发展到能够捕获网址。现代搜索引擎的 思路就来源于 Wanderer,后来很多人在此基础上对蜘蛛程序进行了改进。 1994 年 7 月 20 日发布的 Lycos 网站第一个将“蜘蛛”程序接入到其索引程序中。 引入“蜘蛛”后给其带来的最大优势就在于其远胜于其它搜索引擎的数据量。自此之 后几乎所有占据主导地位的搜索引擎中,都靠“蜘蛛”来搜集网页信息。Infoseek 是 另一个重要的搜索引擎,于 1994 年年底才与公众见面。起初,Infoseek 只是一个不起 眼的搜索引擎,它沿袭 Yahoo!和 Lycos 的概念,并没有什么独特的革新。但是它友善 的用户界面、大量附加服务使它在用户中赢得了口碑。1995 年 12 月,它与 Netscape 的战略性协议,使它成为一个强势搜索引擎:当用户点击 Netscape 浏览器上的搜索按 钮时,弹出 Infoseek 的搜索服务,而此前由 Yahoo!提供该服务。1995 年 12 月 15 日, AltaVista 正式上线。它是第一个支持高级搜索语法的搜索引擎,成功地整合了此前人 类所有的信息检索技术,解决了包括字根处理、关键词检索、布尔逻辑,以及通过向 量空间模型的查询排名等关键问题。正式公开之前,AltaVista 就已经拥有 20 万访问 3 用户,在短短三个星期之内,到访人数由每天 30 万次增加到 200 万次。它的成功在于 满足了用户三个方面的需求:网上索引范围超过了此前任何一家搜索引擎;短短几秒 钟内便可从庞大的数据库中为用户返回搜索结果;AltaVista 小组从一开始就采用了一 种模块设计技术,能够跟踪网站的流行趋势,同时不断扩大处理能力。在当时许多搜 索引擎之中,AltaVista 脱颖而出,成为网络搜索的代名词。Google 就是站在这样的 巨人的肩膀上颠覆并创造着。“上网即搜索”改变了人们上网方式的,就是现在鼎鼎 大名的 Google。Google 并不是搜索引擎的发明者,甚至有点落后,但是它却让人们爱 上了搜索。 1998 年 9 月,在佩奇和布林创建 Google 之时,业界对互联网搜索功能的理解是: 某个关键词在一个文档中出现的频率越高,该文档在搜索结果中的排列位置就要越显 著。这就引出了这样一个问题,如果一个页面充斥着某一个关键字的话,那么它将排 在很显著的位置,但这样一个页面对于用户来说,却没有任何意义。佩奇和布林发明 了“网页级别”(PageRank)技术,来排列搜索结果。即考察该页面在网上被链接的 频率和重要性来排列,互联网上指向这一页面的重要网站越多,该页面的位次也就越 高。当从网页 A 链接到网页 B 时,Google 就认为“网页 A 投了网页 B 一票”。Google 根据网页的得票数评定其重要性。然而,除了考虑网页得票数的纯数量之外,Google 还要分析投票的网页,“重要”的网页所投出的票就会有更高的权重,并且有助于提 高其他网页的“重要性”。Google 以其复杂而全自动的搜索方法排除了任何人为因素 对搜索结果的影响。没人能花钱买到更高的网页级别,从而保证了网页排名的客观公 正。除此之外,动态摘要、网页快照、多文档格式支持、地图股票词典寻人等集成搜 索也都深得网民的喜爱。其他众多搜索引擎也都紧跟 Google,推出这些服务。 Fast(Alltheweb)公司发布的搜索引擎 AllTheWeb,总部位于挪威,其在海外的风头 直逼 Google。Alltheweb 的网页搜索支持 Flash 和 pdf 搜索,支持多语言搜索,还提 供新闻搜索、图像搜索、视频、MP3、和 FTP 搜索,拥有极其强大的高级搜索功能。而 中国的百度更是凭借“更懂中文”而吸引着中国的网络受众,它拥有超过 10 亿的中文 网页数据库,并且,这些网页的数量每天正以千万级的速度在增长。 搜索引擎就越来越成为人们生活中重要的一部分。 4 第二章 常见的搜索引擎的原理和分类 2.1 搜索引擎的原理搜索引擎的原理 搜索引擎,应该被定位成一个计算机应用软件系统,或者是一个网络应用软件系 统。从网络用户的角度看,它根据用户提交的类自然语言查询词或者短语,返回一系 列很可能与该查询相关的网页信息,供用户进一步判断和选取。为了有效地做到这一 点,它大致上被分成三个子系统;即网页搜集,网页预处理和查询服务。 网页搜集主要负责网页的抓取,由 URL 服务器、爬行器、存储器、分析器和 URL 解析器组成,爬行器是该部分的核心;网页预处理主要负责对网页内容进行分析,对 文档进行标引并存储到数据库里,由标引器和分类器组成,该模块涉及许多文件和数 据,有关于桶的操作是该部分的核心;查询服务主要负责分析用户输入的检索表达式, 匹配相关文档,把检索结果返回给用户,由查询器和网页级别评定器组成,其中网页 等级的计算是该部分的核心。 搜索引擎的主要工作流程是:首先从蜘蛛开始,蜘蛛程序每隔一定的时间自动启 动并读取网页URL服务器上的URL列表,按深度优先或广度优先算法,抓取各URL所 指定的网站,将抓取的网页分配一个唯一文档,存入文档数据库。并将当前页上的所 的超连接存入到URL服务器中。在进行抓取的同时,切词器和索引器将已经抓取的网 页文档进行切词处理,并按词在网页中出现的位置和频率计算权值,然后将切词结果 存入索引数据库。整个抓取工作和索引工作完成后更新整个索引数据库和文档数据库, 这样用户就可以查询最新的网页信息。查询器首先对用户输入的信息进行切词处理, 并检索出所有包含检索词的记录,通过计算网页权重和级别对查询记录进行排序并进 行集合运算,最后从文档数据库中提取各网页的摘要信息反馈给查询用户。 5 URL 服务器 爬行器 存储服务器 资源库 页级别评定器 URL 解析器 标引器 查询器 分类器 锚库 词典库 索引库 链接库 桶 桶 桶 桶 桶 桶 Web页搜索 标引入库 用户查询 图 1-1-1 搜索引擎通用总体系统结构图 2.2 搜索引擎的分类搜索引擎的分类 搜索引擎按其工作方式主要可分为三种,分别是全文搜索引擎 (FullTextSearchEngine) 、目录索引类搜索引擎(SearchIndex/Directory)和元搜索引擎 (MetaSearchEngine) 。 2.2.1 全文搜索引擎全文搜索引擎 全文搜索引擎是名副其实的搜索引擎,国外具代表性的有 Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut 等,国内著名的有百 度(Baidu) 。它们都是通过从互联网上提取的各个网站的信息(以网页文字为主)而 建立的数据库中,检索与用户查询条件匹配的相关记录,然后按一定的排列顺序将结 果返回给用户,因此他们是真正的搜索引擎。 图 1-2-1 全球著名全文搜索引擎 LOGO 2.2.2 目录索引目录索引 目录索引虽然有搜索功能,但在严格意义上算不上是真正的搜索引擎,仅仅是按 6 目录分类的网站链接列表而已。用户完全可以不用进行关键词(Keywords)查询,仅 靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于大名鼎鼎的 Yahoo 雅虎。其他著名的还有 OpenDirectoryProject(DMOZ) 、LookSmart、About 等。国内的 搜狐、新浪、网易搜索也都属于这一类。 图 1-2-2 全球著名目录索引 LOGO 2.2.3 元搜索引擎元搜索引擎(METASearchEngine) 元搜索引擎在接受用户查询请求时,同时在其他多个引擎上进行搜索,并将结果返 回给用户。著名的元搜索引擎有 InfoSpace、Dogpile、Vivisimo 等,中文元搜索引擎中 具代表性的有搜星搜索引擎。在搜索结果排列方面,有的直接按来源引擎排列搜索结 果,如 Dogpile,有的则按自定的规则将结果重新排列组合,如 Vivisimo。 2.2.4 其他其他 除上述三大类引擎外,还有以下几种非主流形式: (一)集合式搜索引擎:如 HotBot 在 2002 年底推出的引擎。该引擎类似 META 搜索引擎,但区别在于不是同时调用多个引擎进行搜索,而是由用户从提供的 4 个引 擎当中选择,因此叫它“集合式”搜索引擎更确切些。 (二)门户搜索引擎:如 AOLSearch、MSNSearch 等虽然提供搜索服务,但自身 即没有分类目录也没有网页数据库,其搜索结果完全来自其他引擎。 (三)免费链接列表(FreeForAllLinks,简称 FFA):这类网站一般只简单地滚 动排列链接条目,少部分有简单的分类目录,不过规模比起 Yahoo 等目录索引来要小 得多。 (四)垂直搜索引擎:有针对性的搜索引擎。一次搜索的结果可能有成千上条,而 在这过于庞大的信息群中,有用信息只是其中的小部分。通用搜索引擎的弊端在网络 信息的急剧膨胀下突显起来,搜索越来越难以控制,用户需求和市场服务间的巨大反 差产生了强大的“搜索噪音” ,垂直搜索引擎的应运而生,成为搜索引擎发展史上的一 块里程碑。 第三章 常见的搜索引擎的结果排序方法 3.1 词频位置加权排序算法词频位置加权排序算法 7 词频位置加权排序算法是一种只从关键词出现次数和位置考虑进行排序的方法, 它是计算机情报检索中最基础的排序算法。该方法以一个关键词与网页的相关度大小 作为排序标准,而关键词在网页中的相关度则由它在网页中出现的频次和位置两方面加 权计算得出。在这种方法中,词对网页的相关性与词在该网页中的权值成正比。一个词 在网页中出现的次数决定词对网页的相关度,这种想实际上来自于卢恩自动标引的方法。 卢恩认为,过一些无检索意义的词后,一个词在一篇文献中出现的频次越高,那么它对这篇 文献的重要性就越大,这是目前研究自动标引的一个基本理论基础。许多搜索引擎都以索 引项的词频和位置作为相关度的判定标准,采用前述的词频加权方法来计算相关度。一个词在网页 文档中出现的频率越高,它代表该文档主题的程度就越大,其作为索引项的准确性也就越高,权值 就越大。在与查询词匹配时,它所代表的文档与查询请求的相关度就越高。 除词频外,一个词在文档中的位置也对索引器选词和计算词的权值产生影响。例如在网页 title 标签、链点标签、Meta keyword 标签、Meta description 标签中选词并按词频计算权值时,或索引项 出现在网页标题、文章前几段、段首等位置时,其权值会加大。虽然大多数搜索引擎都以词频和词 的位置来计算相关度,但在细节上又各有不同。在计算网页的相关度时,其中各词的关系和词间的 相对位置也是影响因素。网页中各词的相互距离越近则结果排序越靠前。以词频和词位置计算相关 度的方法是较为客观准确的,它是应用最为广泛也是最成熟的方法,各大搜索引擎迄今仍以它作为 计算相关度的基本方法。 这种算法的主要优点就是简单、易实现。该方法的缺点也很明显,虽然词的频次和 位置是决定排序结果的要素,但并不是唯一要素。该算法过于依赖词的重要性,而忽视了 络信息的另一个特点,即网络信息内容的质量无法得到保证。因此较易为人利用来实现不 良竞争,轻易地把其网页设计修改成“含有关键词的网页”,从而在搜索引擎结果中排在前面。这使 搜索引擎结果的客观性和准确性受到侵害,检索的查准率受到影响。 3.2DirectHit 算法 与其它的算法相比,Askjeeves 公司的 directhit 技术则是一种注重信息的质量和用户 8 反馈信息的排序方法。 用户输人检索词提交给搜索引擎后,搜索引擎将查询到的相关信息以 web 页面形式 反回给用户时,一般提供相关 URL、title 网页的、标签和来自于 body 标签,类似于要 的一段少量的文字。用户浏览返回的结果、查找自己需要的信息实际是一个过滤无用 信息、进行二次检索的过程。用户在二次检索中得到的结果应该是相关性较高的结果, 排名应该靠前。 DirectHit 算法就是一种按照上述用户的反馈结果进行排序的技术。其算法基本思 想如下搜索引擎将查询的结果返回给用户,DirectHit 开始跟踪用户在该搜索引擎检索结 果的点击如果返回结果中排名靠前的网页被用户点击后,浏览时间较短,用户又重新返回 搜索引擎击其他的检索结果,那么可以认为其相关度较差,系统将降低该网页的相关性另 一方面,如果网页被用户点击打开进行浏览,并且用户在该网页浏览的时间较长,那么该网 页的受欢程度就高,相应的,系统就会增加该网页的相关度。由于相关度在不停地变化,对 于同一个词在不同的时间进行检索,得到结果集合的排序也就有可能不同,即 DirectHit 排 序是一种动态排序。 从上面的分析可以看出,在该算法排序中,网页排序结果是由两部分决定的,即网页被 点击次数和被浏览的时间长度。 很显然,用户点击反馈越多则该算法的准确度就越高,因此 DirectHit 与一些搜索引擎 建立了合作伙伴关系,即这些引擎使用 DirectHit 技术进行结果排序,而用户在使用这些搜 索引擎查询点击后,搜索引擎将点击的结果反馈给 DirectHit,DirectHit 将这些收集这些结 果再计算相关度。 同时,该算法带来了新的问题,即有些网站为了提高自己的排名,多次从的伙伴中点 击自己的网站,来获取靠前的排名结果。对此,Askjeeves 公司也采用相关的技术来屏蔽 一些重复的点击,从而保证排名的相对准确性。 该算法是建立在用户点击的基础上的,因此该算法又被称为受欢迎程度来决定算 法。同时分类目录进行排序时是各搜索引擎编辑者已经排好的,与之相比,该算法又称为 用户控制排序算法,而分类目录的排序则称为编制控制排序算法。 该算法的优点是它利用了用户的反馈信行排序,充分满足了“用户保障原则” ;但是,该 在 70%的用户是不会浏览检搜结果中第三页以后的信息,因此,对一些排名靠后或者新登 录的网站很难有机会获得击,从而一直无法提高自己的排名。 9 3.3 PageRank 算法 PageRank 算法是由 google 的创始人之一、斯坦福大学计算机系的 Lawrencepage 博士等设计的一种对网页进行排序的算法。PageRank 不仅是 google 成为全球最成功的 搜索引擎的重要因素之一,同时它还带动了超链接分析技术的发展。随着 PageRank 的 成功,越来越多的研究单位和商业组织开始涉足超链接分析技术这一领域的研究与开发。 PageRank 采用的一种独特的表示网页重要度大小的数值。在 google 收集的网页 数据库中,每一个网页都有一个自己的 PageRank。用户使用 google 进行查找后,google 按照关键词匹配进行查找,首先根据词频位置加权排序算法将查找结果排序,然后再 PageRank 值的大小对排序进行调整,将调整好的排序结果返回给用户。PageRank 的计 算公式如下: 假设一个由 4 个页面组成的小团体:A,B,C 和 D。如果所有页面都链向 A,那么 A 的 PR(PageRank)值将是 B,C 及 D 的和。 继续假设 B 也有链接到 C,并且 D 也有链接到包括 A 的3个页面。一个页面不能投票2次。 所以 B 给每个页面半票。以同样的逻辑,D 投出的票只有三分之一算到了 A 的 PageRank 上。 换句话说,根据链出总数平分一个页面的 PR 值。 最后,所有这些被换算为一个百分比再乘上一个系数 q。由于下面的算法,没有页面的 PageRank 会是0。所以,Google 通过数学系统给了每个页面一个最小值1-q 所以一个页面的 PageRank 是由其他页面的 PageRank 计算得到。Google 不断的重复计算每个 10 页面的 PageRank。如果给每个页面一个随机 PageRank 值(非 0) ,那么经过不断的重复计算,这些 页面的 PR 值会趋向于正常和稳定。这就是搜索引擎使用它的原因。 PageRank 算法优点点:是一个与查询无关的静态算法,所有网页的 PageRank 值通过离线 计算获得;有效减少在线查询时的计算量,极大降低了查询响应时间。 不足:人们的查询具 有主题特征,PageRank 忽略了主题相关性,导致结果的相关性和主题性降低;另外,PageRank 有 很严重的对新网页的歧视。 3.2 竞价排名法竞价排名法(怎么编号的)(怎么编号的) 上述 3 种排序主要是从技术出发来寻求好的排序结果,接下来我们讨论的是从商业 利润出发的一种排名方法竞价排名法。这种方法开始于原来的 overtune 公司,该公 司目前已经为这项服务申请了专利。在我们国内,百度的竞价排名服务就做的非常的出 名。 竞价排名(payperclick)是指一些商业网站购买关键字排名,搜索引擎公司按照客 户点击或者按照时间段对它们进行收费的一种服务。下面我来举例子说明竞价排名过 程:设有一商业网站 R 为了取得关键词 E 在搜索引擎 F 中的第 N 位排名,它首先向 F 申请 E 的竞价排名服务,F 对其网站进行审核(包括是否合法等),然后给出 N+1、N-1 两 个排名的价格,R 交给 F 的服务费必须在上面两个价格之间才能获得第 N 位排名。在拿 到服务费以后,F 将对 R 的内容进行一定的审查,审查完毕后,R 将获得在 F 中进行词检索 E 的第 N 位排名。当然,如果以后有新的商业网站出 R的服务费高于 R,则 R 的排名将会 后退。此后,如果用户在检索 B 时在检索结果中点击了 R 的链接,那么 R 将向 F 付服务 费。 笔者认为,竞价排名主要在以下两个方面出现,一方面,从商业网站来说,上文已经说 过,搜索引擎每次检索反馈的结果集合太大太多,需分很多页来显示,而大部分用户都不 愿意浏览第 3 页以后的信息,因此导致一些排名靠后的网页根本就没有机会被浏览。而 在互联网时代,对于一些商业网站来说,点击就意味着就有商机,排序靠前对他们来说非常 重要。因此,他们愿意付出一定的代价来换取商机。这实际上也就是商业网站的一种广 告投资。另外一方面,从搜索引擎来说,各搜索引擎公司也需要赢利方式。互联网在遭遇 泡沫经济后,各种互联网服务提供商,如 e-mail 服务等都开始寻找自己新的赢利模式,收 11 费服务便在这时应运而生。作为 internet 第二大应用项目的搜索引擎服务,能够获取效 益的一种手段就是在检索结果时将一些付费商业网站排名前面,为它们做广告宣传,自己 则获取广告收人。这种收费方式甚至被业界誉为最成功的互联网收费模式。上述从需 求和供求两方面的结合,就诞生了竞价排名这个检搜结果排序方式。 在实施竞价排名时,由于是用户他们自己选择关键词,因此只要他们申请了这项服务 的排序,搜索相关度还是比较高的。另外搜索引擎本身也会做审查的过程,检搜出来信息 的质量也得到了一定的保证。而且,这种方式确实给商业网站和搜索引擎都带来了收益。 该服务的缺点是对于一些没有申请服务而相关度大的网站,其排名将会相对靠后,这样 就不利于用户找到最合适的资料。 第四章 常常见见的几种搜索引擎的性能比较及性能分析的几种搜索引擎的性能比较及性能分析 搜索引擎的评价主要是指检索性能的评价。从用户的角度来考虑,用户追求的是 搜索引擎的检索效率,即在最短的时间内找到他们最需要的结果。怎样才能达到这个 目的呢?首先,网站登录时间、检索响应时间、检索式构建时间、检索结果查阅时间 都希望应尽可能的短;其次,要得到最需要的结果,离不开搜索引擎网站中数据库的 规模,检索式构建的合理与否等因素。结合以上两种指标体系,以上述检索效率的影 响因素为依据,我们以数据库、检索结果和用户界面作为搜索引擎检索性能的评价标 准。 4.1 数据库数据库 网上信息量呈几何级数增长,为提高查全率,各搜索引擎都在努力扩大自己的数据 库,google 所收网页已号称有 50 亿个;数据库数据的更新周期影响着查准率,百度的 更新周期已号称部分日更新,总量周更新。但各搜索引擎的数据库规模,数据更新周 期等均为其商业秘密,具有不可得性。本文通过网站 得出以上几个搜索引擎的日访问量数据,然后分 12 析其数据库规模。 常用中文搜索引擎日访问量统计表 平均日访问 IP(周平均) 日平均访问 PV(周平 均) 网站在中国 访问量排名 网站在世界 访问量排名 访问速率 google300720000347030880081568ms/44 分 雅虎1356600008600844002542214ms/26 分 百度67500000116505000015874ms/76 分 搜狐搜狗577800020916360231132201ms/26 分 网易有道3144000723120039259718ms/84 分 新浪28,380,000167,725,8004161,871Ms/34 分 上述数据是 2012 年 4 月 15 号到 4 月 21 号的数据。 (这个数据是真实的吧) 为提高查全率,各搜索引擎总是尽最大努力去收集尽量多的网页。据最新资料, google 所收网页已达 50 亿,收藏 15 亿个网址,在同行中首屈一指。而百度则号称收 有十多亿个中文网页,并以每秒 2.3 个网页的速度增长,它的数据更新周期已达一周一 次。而上述三大门户网站则侧重于收藏网站,并把收藏网站作为一种商业行为,即对 所收网站进行收费,否则不予收藏。因此,它们所收的网页数量远远不如 google 和百 度。 4.2 检检搜搜结果结果 检索结果的评价主要是查全率和查准率。查准率高可以减少重复检索,节省用户 13 的检索时间;查全率高可以提高用户命中结果的可能性。对各搜索引擎检索结果的比 较,笔者建立了一个比较模型,然后选取关键词进行检索,并对检索结果进行数据统 计。 模型说明:第一,统计总命中记录数和前 20 个结果所在站点总数,进行查全率比 较;通过前 20 个结果中重复数和前 20 个结果中相关度等级分布情况进行查准率统计; 第二,选取含义明确、较新出现的词汇作为检索词。本次数据统计选用的五个关键词 为:A1:房地产市场,A2:电子商务,A3:通货膨胀,A4:打破垄断,A5:中国股票市场; 第三,检索结果与检索词的相关度分为三个等级,分别为 K1、K2、K3(K1表示相 关状况较好,K2表示内容部分相关,K3表示内容不相关);第四,在每个具体的检 索数据栏里列出该检索词的检索响应时间。 表 2 前 20 个结果中相关等级为 K1/K2/K3 的命中个数(无重复)(居中) 表 3 总命中数/前 20 个结果所在站点总数/20 数前个结果重复数/响应时间(单位:秒) Google 中文 雅虎中文百度搜狐搜狗网易有道新浪 A171800000 /18/1/0.08 12375744 2/18/1/0.7 6 33400000/ 20/0/0.18 3 1210170/ ?/0/0.26 9 45100/20/ 0/? 773684/1 8/1/? A21850000014336554100000002767291/12900000246421/2 Google 中文 雅虎中文百度搜狐搜狗网易有道新浪 A111/8/314/5/29/11/013/6/010/8/011/7/0 A213/6/115/4/116/4/013/5/212/5/214/4/3 A311/8/117/2/09/2/014/3/014/6/012/6/2 A414/3/016/4/06/14/014/3/012/6/111/10/0 A515/2/416/3/014/6/116/5/113/6/015/3/2 14 0/20/1/0.1 2 1/20/0/0.4 7 0/20/0/0.3 1 ?/0/0.25 3 0/19/0/?0/0/? A333700000 /17/1/0.14 44243475 /19/1/0.18 45100000 /19/0/0.24 6900000/ ?/0/0.09 430000/18 /1/? 291949/1 5/2/? A45260000/ 17/1/0.30 6493278/ 18/1/0.15 2980000/ 20/0/0.28 373785/ ?/0/0.11 614000/20 /0/? 14434/16 /3/? A51700000/ 20/0/0.12 60790374 /18/1/0.14 2770000/ 19/1/0.37 1208509/ ?/0/0.00 5 8250000/1 9/0/? 7692/18/ ? 注:搜狐栏中的“?”是因为搜狐搜索结果中没有网站网址显示;网易和新浪栏中 “?”表示这两个网站没有显示搜索时间 4.3 用户界面用户界面(这点其实可以抓点儿图(这点其实可以抓点儿图 更直观更具说服力)更直观更具说服力) 不管是搜索引擎服务商还是用户,对用户界面的要求都是美观、实用。搜索引擎 界面的美观性主要表现在简洁上, “实用”则体现在界面所提供的功能、内容等方面。 首页简洁能节省网站的登录时间,并能让用户尽快地找到检索入口;结果输出界面要 求简洁而不简单,简洁能缩短网页响应时间,让用户更方便地查阅输出结果。页面的 实用性主要体现于显示的结果内容和页面友好性上,包括首页中给用户提示的帮助系 统,结果输出页中“网页快照”和提供二次检索的“在结果中搜索”及检索结果的摘 要等方面。因此,用户界面数据主要从这几个方面来统计。 主要内容有网页快照否是否支持“在 结果中检搜” 是否提供相关 检搜词参照 google 中文非常简洁,首 页页面文字 11 行 有内容详细提供图像、网 页目录搜索和 网上论坛服务 无 百度非常简洁,首 页页面文字 有内容详细提供图片、新 闻、MP3、网 无 15 10 行站搜索和贴巴 服务 雅虎中文较为简洁,首 页页面文字 11 行 有内容非常简 单 提供分类网站、 图片、新闻搜 索 无 网易 有道 繁杂,分为六 大块:搜索框、 分类搜索目录 等 无提供分类网站、 图片搜索 有,较少(在 网页上部有一 小网站的广告) 搜狐 搜狗 繁杂,分为七 大块:(两大 部分为医疗广 告) 有内容详细提供新闻、 MP3、商业企 业、分类目 录搜索服务 有,多(两大 部分的医疗广 告占了整个网 页页面的四分 之一) 新浪较为简洁,分 为检索框、分 类目录、专题 搜索等四大块 有,内容较详 细 提供全部网站、 分类目录、新 闻、图片、 MP3、旅游、 等搜索服务 有,少(网页 顶部有一个演 唱会的广告) 由于各网站侧重点不同,所设主页的链接数也不相同。雅虎、搜狐、新浪、网易 都是门户网站,它们提供多项服务,首页有上百个链接;而 google、百度由于专注于 搜索主业,网页做得极为简洁,链接数都很少。这样有两个好处:第一,由于打开网 站的负担轻(链接少),用户能迅速登录;第二,网页页面简洁,不会给用户眼花缭乱的 感觉,能让用户在最短的时间内找到检索入口。百度和 google 的首页的友好性很强, 有详细的帮助文档。 google 和百度检索结果输出界面具有很强的实用性。首先,它们在检索结果输出 时能显示更多、更详细的信息。其他网站显示内容不全:搜狐检索结果不显示所搜索 到的网址,而网易、新浪不显示搜索响应时间、搜狐只显示标题和摘要两项,网易只 有标题、摘要和网址三项。此外,百度和 google 还把丰富的检索技巧放在结果输出页 的醒目位置,如:在每条检索结果后附上“网页快照” ,在网页顶部或底部附有“在结 16 果中检索” 、 “相关检索词” 。 第五章第五章 实例说明实例说明常常见的见的几种搜索引擎的应用几种搜索引擎的应用 所有的搜索引擎都是服务人,为人解决问题,帮助人获取互联网的信息是搜索引 擎存的最大的价值,下面笔者从学习、生活和工作中选取三个例子具体分析搜索引擎 是的应用。 (下面这个表太大 同时也可以抓图说明问题) 搜索对 象 搜索引 擎种类 信息相关性评价和信息价 值评价 是否存在商业推 广 性能比较与分 析 六度空 间理论 百度信息相关性较高,查看了 前十条搜索记录,有九条 都是关于此理论的,关于 六度空间各百科,论坛, 博客等资料。信息价值度 较高,在百度前十条中, 有七条有价值 存在为百姓网, 58同城,慧聪网, 赶集,起点中文 网做推广 百度搜索引擎 拥有目前世界 上最大的中文 信息库,总量 达到6000万页 以上,并且还 在以每天几十 万页的速度快 速增长。由于 后台应用了高 效的信息索引 算法,大大提 高了检索时的 响应速度和承 受大访问量时 的稳定性,百 度搜索引擎对 17 超过6000万网 页检索一次的 本地平均响应 时间小于0.5秒。 谷歌信息相关性高,查看了前 十条搜索记录,除了一条 死链接,其他都是与之相 关并且很有价值的信息。 信息价值度高,在十条信 息中
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 会展策划与管理标准化
- 贵州省毕节市2027年高三下第一次测试高考物理试题(含答案解析)
- 智能电梯控制系统赋能零售综合体:提升客流转化的新引擎
- 智能除螨吸尘器与量子计算交叉:海量传感器数据的高效处理
- 下沉市场之王 2026年广东省功能性食品种子轮融资加盟扩张方案
- 2026年珠宝首饰行业消费趋势报告及自救策略
- 2026年新材料行业即时消费模式研究报告
- 2026年旅游住宿行业市场分析报告及创新模式
- 2026年云计算行业技术发展与应用报告
- 2026年游戏行业私享游戏服务市场分析报告
- 中煤电力社会招录笔试试题2026
- 2026年溶剂油行业洞察报告及未来五至十年发展趋势报告
- 2026年初级会计资格考试《初级会计实务》真题+答案解析
- 高校外籍留学生管理安全培训
- 高三思想政治教学设计:必修四哲学原理举例说明的情境关联词教学实践
- T/QLMZ 19-2024化妆品用原料 海藻酸钠
- 幼儿同伴交往能力评估量表(PAS)实施规范
- 2026年退管人员测试题及答案
- 商会招聘笔试题及答案
- 癫痫诊疗指南(2025年版)
- 年中小学教师正高级职称评聘答辩试题附答案
评论
0/150
提交评论