文献检索-07网络信息搜索引擎及使用方法

第十章 网络信息搜索引擎及使用方法,第一节搜索引擎概述第二节搜索引擎的分类 第三节 搜索引擎的工作方式第四节 搜索引擎的工作原理第五节 搜索引擎的使用第六节 常用的搜索引擎简介,第一节搜索引擎概述,一、搜索引擎的产生和发展,1990年以前，没有任何人能搜索互联网。所有搜索引擎的祖先，是1990年由Montreal的McGill University学生Alan Emtage、Peter Deutsch、Bill Wheelan发明的Archie(Archie FAQ)。Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。,二、搜索引擎的概念,搜索引擎是用来对网络信息资源管理和检索的一系列软件，是一种在Internet网上查找信息的工具。,它将各站点按主题内容组织成等级结构。用户可以依照这个目录逐层深入，直至找到所需信息。,也可以键入要查找的关键词，引擎就会在自己的数据库中找到与该词相匹配的URL，并将结果显示给用户，用户可以根据显示的结果选择并访问相关的站点。,（1）收集信息建立索引数据库，并自动跟踪信息源的变动，不断更新索引记录，定期维护数据库。（2）提供网络的导航与检索服务（最主要的功能） （3）提供其它多种信息服务,三、搜索引擎的功能,第二节、搜索引擎的分类,1、据信息覆盖范围及适用用户群分（1）综合搜索引擎 主要以Web网页和新闻组为搜索对象，信息覆盖范围广，适用用户广泛。如：Yahoo!、AltaVista、Infoseek等。（2）专用搜索引擎 针对特定用户群，也称专题搜索引擎，可供查找某一特定领域的信息。如： Softseek提供软件查找，MapBlast查找地图信息,2、根据组织信息方式分类（1） 目录式搜索引擎 提供等级式主题目录，用户通过主题目录的指引，逐层浏览信息，直到找到与自己需求相关的。特别适合希望了解某一方面或范围内信息但又没有明确搜索目的的用户使用。最具代表性的目录式搜索引擎是Yahoo！。优点： 由于网络目录中的网页是由专家人工精选所得，因此有较高的查准率。缺点：其查全率较低，搜索范围较窄。,提供对关键词或自然语言的查询，用户在检索框中输入检索词或检索式，搜索引擎会返回一组指向相关站点的超链接。也称全文搜索引擎，能够对网站的每个网页中的每个单字进行搜索的引擎。典型代表是AltaVista。优点：查全率高，搜索范围较广缺点：查准率低，缺乏清晰的层次结构，查询结果中重复链接较多。,（2）全文搜索引擎,（3）分类全文搜索引擎 通常是在分类的基础上再进一步进行全文检索。很多搜索引擎同时提供分类和主题两种方式的检索，以更好满足用户需求。（4） 智能搜索引擎 具备符合用户实际需要的知识库，搜索时根据已有的知识库来理解检索词的意义并以此产生联想，从而找出相关网站或网页。同时，具有一定的推理能力，能根据知识库的知识，运用人工智能方法进行推理。,3、根据搜索范围分类（1）独立搜索引擎 常规搜索引擎，建有自己的数据库，搜索时通常只能在自己搜集的信息或者数据库中查找用户所需信息。目前的WWW搜索引擎基本上属于此类，如Yahoo!、AltaVista、Lycos、Infoseek等。缺点：查询范围有限，不能利用其它工具搜集信息。,（2）多元搜索引擎 也称元搜索引擎。与一般搜索引擎的不同之处在于它本身并不搜集信息和数据，而是利用其它搜索工具（包括搜索引擎、数据库等）搜集信息。元搜索引擎在查询时调用其他多个搜索引擎，对结果简单合并和去重后返回给用户。 常用的元搜索引擎有万纬搜索引擎()和搜星搜索引擎，英文的有Mamma（）等。优点：可以获得更多、更全面的网址缺点：查询时间较长,元搜索引擎，它可以同时搜索7个大型搜索引擎，如中文Google，百度，中文雅虎，搜狐，新浪网，中华网和TOM等，其搜索出的结果可以过滤掉重复的网站，并将结果用同样的格式反馈在同一个页面上。对网民来讲，非常方便、 实用。,第三节、搜索引擎的工作方式,1、分类目录搜索 网络目录（Web Directory）即网络分类目录，提供Internet上其他站点的列表，通常按主题目录和子目录方式组织，可从分类目录顶层逐步向下浏览查询子目录。 网络目录采用传统的信息收集、分类、存储、组织和检索的方法，主要由专业人员对网站进行调查、筛选、分类、存储，手工建立关键字索引，再将索引信息存入相应的数据库中。网页内容丰富，学术性较强。,2、关键词搜索 用户访问搜索引擎的Web站点，在输入表格中输入感兴趣主题的关键词，站点检索以前建立的索引，返回包含这些关键字的站点列表。 信息的收集由搜索程序（如：robot、spider、harvest、pursuit等）自动完成。搜索程序定期在Internet上漫游，自动而系统地访问尽可能多的Web页面，对它们进行分析，建立起能够查找到相关单字的页面的URL地址的索引，并通过网页间的链接顺序搜索新的地址，当遇到新的网页时，就给该页做上索引，把它加到搜索引擎的数据库中，使得搜索引擎的数据库得以定期更新。,第四节 搜索引擎的工作原理,搜索引擎的原理，可以看做三步：从互联网上抓取网页建立索引数据库在索引数据库中搜索排序。,从互联网上抓取网页,利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。,2.建立索引数据库,由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。,3.在索引数据库中搜索排序,当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。 最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。,第五节 搜索引擎的使用,搜索引擎是网络信息检索的主要工具，其使用实际上是一种数据库检索。两者比较：相同点：都可以提供布尔逻辑检索、位置逻辑检索（邻接运算）、截词检索、字段检索、字符串检索、限制检索等方法。不同点：(1)搜索引擎提供的结果通常为超文本格式，并以与检索要求相关的链接网址为主要内容，而不直接提供全文； (2)提供的相关网址检索结果过多,1、 选择合适的搜索引擎 检索大量网址信息、广泛性信息、扩大检索范围，可用目录式搜索引擎；检索细节性问题、具体问题、缩小检索范围，多选索引式搜索引擎。参见下表：,2、确定搜索途径 主要是两种搜索途径：分类浏览、关键词检索。根据不同的检索目的选择正确的搜索途径，才能达到较好的检索效果。 3、选用搜索选项 搜索引擎的搜索选项，一般用以限定搜索范围，使查找相关内容更加容易。4、选用准确的关键词 选择关键词时，不使用常用词和泛指词，尽量使用专指词、下位词。,5、构造恰当的检索式 注意阅读搜索引擎操作、运算符和使用规则的说明有助于有效的检索。6、使用多种方法，优化检索结果为提高查准率，可缩小检索范围：使用搜索引擎的词组检索、邻近检索、二次检索、限定字段等。为提高查全率，可扩大检索范围：使用同义词、近义词，以尽可能全面覆盖检索范围；尝试其它搜索引擎；使用多种搜索引擎；使用多元搜索引擎，以弥补单个搜索引擎数据库容量不足的缺陷。,第六节 常用搜索引擎简介,1. 百度（http：/）,概述,百度公司（B，Inc）于1999年底成立于美国硅谷，它的创建者是在美国硅谷有多年成功经验的李彦宏先生及徐勇先生。2000年1月，百度公司在中国成立了她的全资子公司-百度网络技术（北京）有限公司。,百度的起名，源于众里寻她千百度和突破事儿做到九十九度就是做到头的西方说法，百度就是想要力争做到一百度，做到顶上开花的境界。目前全国已有36家大型网站采用了百度引擎，包括新浪、搜狐、263，Tom，炎黄在线，Chinaren，赛迪网，清华大学，21CN,硅谷动力，PC-online，腾讯等， 可见其影响力。我也注意到，目前百度搜索中文有时较Google还有一定的优势。更新速度要快些。,搜索方法,百度的检索方法非常简单，只要在框中输入查询内容既可。输入的查询内容可以是一个词语、多个词语、一句话。如无限定，默认以关键词精确匹配方式搜索例如：可以输入李白、mp3下载、蓦然回首，那人却在，灯火阑珊处。,多个检索词之间支持逻辑组配检索，空格表示“and”关系，“|”表示并列关系，“”表示排除关系。例如：“广州 暂住证”、“武侠小说古龙”、“图片|写真”,在指定网站内搜索,在一个网址前加“site:”，可以限制只搜索某个具体网站、网站频道、或某域名内的网页。例如， 电话 site: 表示在网站内搜索和“电话”相关的资料；竞价排名 site: 表示在网站内搜索和“竞价排名”相关的资料；intel site: 表示在域名以结尾的网站内搜索和intel相关的资料；,注意：搜索关键词在前，site:及网址在后；关键词与site:之间须留一空格隔开；site后的冒号“:”可以是半角“:”也可以是全角“：”，百度搜索引擎会自动辨认。,在标题中搜索,在一个或几个关键词前加intitle:，可以限制只搜索网页标题中含有这些关键词的网页。 例如， intitle:南瓜饼 表示搜索标题中含有关键词南瓜饼的网页；intitle:百度 互联网 表示搜索标题中含有关键词百度和互联网的网页。,在URL中搜索,在inurl: 后加url中的文字，可以限制只搜索url中含有这些文字的网页。 例如， inurl:mp3 表示搜索url中含有mp3的网页；inurl:网页 表示搜索url中含有网页的网页；inurl:china news 表示搜索url中含有china和news的网页。,Flash搜索,百度Flash搜索（），可搜索约五万个Flash，只需输入关键词，就可以搜到各种版本的相关Flash。,2、GOOGLE(),两位斯坦福大学的博士生Larry Page 和 Sergey Brin 在1998 年创立了Google。通过对30多亿网页进行整理，Google可为世界各地的用户提供适需的搜索结果，现在，Google每天需要提供2亿次查询服务，每次搜索时间通常不到半秒。 2000年7月份，Google替代Inktomi成为Yahoo公司的搜索引擎，同年9月份，Google成为中国网易公司的搜索引擎。98年至今，GOOGLE已经获得30多项业界大奖。,概述,Google是目前最优秀的支持多语种的搜索引擎之一,Google提供了网站、图像、新闻组等多种资源的查询。从文种来看，包括中文简体、中文繁体、英语等35个国家和地区的语言文字的网络资源。,Google最大的检索特性，还在于提供了丰富的字段检索功能，而且为不同资源类型提供了不同字段的限定检索功能。可以从语言、日期、字词位置、网域等方面对网页检索内容作限定检索；从图像大小、文件类型、图像色调等对图像资源作限定检索；从新闻组、留言者名、留言代码、语言、留言时间等对新闻组进行限定检索，从而达到缩小检索范围的目的。,搜索方法,第一次进入Google，它会根据你的操作系统，确定语言界面。需要提醒的是，Google是通过cookie来存储页面设定的，所以，如果你的系统禁用cookie，就无法对Google界面进行个人设定了。你也可以通过其“使用偏好Preferences”来设定。Google的首页很清爽，LOGO下面，排列了四大功能模块：“所有网站 | 图像 | 网上论坛 | 网页目录”。默认是网站搜索。,基本搜索,多个检索词之间支持逻辑组配检索，空格表示“and”关系，“OR”表示并列关系，“”表示排除关系。,不支持“通配符”(*) 搜索,不区分英文字母大小写，所有的字母均当做小写处理,Google 的特殊功能,1. 对搜索的网站进行限制。“site:指令”表示搜索结果局限于某个具体网站或者网站频道，如“”、“”，或者是某个域名，如“”、“com”等等。如果是要排除某网站或者域名范围内的页面，只需用“ -网站/域名”（切记要在减号前留一个空格位。）。注意：site后的冒号为英文字符，而且，冒号后不能有空格，否则，“site:”将被作为一个搜索的关键字。此外，网站域名不能有“http”以及“www”前缀，也不能有任何“/”的目录后缀；网站频道则只局限于“频道名.域名”方式，而不能是“域名/频道名”方式。诸如“site:/people/”的语法是错误的。,【示例】搜索“天府茶馆”网站关于诸葛亮的信息。,搜索：“site: 诸葛亮”结果：已在搜索有关 诸葛亮的简体中文网页。 共有 25 项查询结果，这是第 1 - 10 项。 搜索用时 0.13 秒。,2. 查询某一类文件（往往带有同一扩展名）。“filetype:”，这是个尚在测试阶段的Google特色查询，不过功能已经非常强大，可以做很多意想不到的事情哦。,【示例】搜索关于电子商务（ECOMMERCE）的PDF文档。,搜索：“filetype:pdf 电子商务结果：已向英特网搜索filetype:pdf 电子商务.共有 443 项查询结果，这是第 1 - 10 项。 搜索用时 0.22 秒,3. 搜索的关键字包含在URL链接中。“inurl”语法返回的网页链接中包含第一个关键字，后面的关键字则出现在链接中或者网页文档中。有很多网站把某一类具有相同属性的资源名称显示在目录名称或者网页名称中，比如“MP3”、“image”等，于是，就可以用INURL语法找到这些相关资源链接。然后，用第二个关键词确定是否有某项具体资料。INURL语法和基本搜索语法的最大区别在于，前者通常能提供非常精确的专题资料。,【示例】查找MIDI曲“沧海一声笑”。,4.搜索所有链接了某个URL地址的网页。如果你拥有一个个人网站，很想知道有些什么网站对你的网站作了链接。而“link”语法就能让你迅速达到这个目的。,【示例】搜索所有含指向“”链接的网页。,搜索：“link:”结果：搜索有链接到的网页.共有 3 项查询结果，这是第 1 - 3 项。 搜索用时 0.48 秒注意：“link”不能与其他语法相混合操作，所以“link:”后面即使有空格，也将被Google忽略。,5.图片搜索,在 Google首页点击“图像”链接就进入了Google的图像搜索界面。你可以在关键字栏内输入描述图像内容的关键字，如“九寨沟”，就会搜索到大量的中文网站中有关“九寨沟”的图片。搜索方法跟网站搜索一致。,Google给出的搜索结果具有一个直观的缩略图（THUMBNAIL），以及对该缩略图的简单描述，如图像文件名称，以及大小等。点击缩略图，页面分成两祯，上祯是图像之缩略图，以及页面链接，而下祯，则是该图像所处的页面。屏幕右上角有一个“Remove Frame”的按钮，可以把框架页面迅速切换到单祯的结果页面，非常方便。,6.网页快照,Google 在访问网站时，会将看过的网页复制一份网页快照，以备在找不到原来的网页时使用。单击“网页快照”时，您将看到 Google 将该网页编入索引时的页面。Google 依据这些快照来分析网页是否符合您的需求。,7.类似网页：寻找与这一网页相关的网页。,单击“类似网页”时，Google 侦察兵便开始寻找与这一网页相关的网页。,Google 侦察兵可以“一兵多用”。如果您对某一网站的内容很感兴趣，但又嫌资料不够，Google 侦察兵会帮您找到其他有类似资料的网站；如果您在寻找产品信息，Google 侦察兵会为您提供相关信息，供您比较，使您尽可货比三家；如果您在某一领域做学问，Google 侦察兵会成为您的助手，帮您快速找到大量资料。,8.手气不错,按下“手气不错”按钮将自动进入 Google 查询到的第一个网页。您将完全看不到其它的搜索结果。使用“手气不错”进行搜索表示用于搜索网页的时间较少而用于检查网页的时间较多。,例如，要查找 Stanford 大学的主页，只需在搜索字段中输入“清华”，然后单击“手气不错”按钮。Google 将直接带您进入清华大学的官方主页 /chn/index.htm,9.Google 网页目录,Google 网页目录按主题对网页进行组织整理，这样，您就可以通过浏览分类主题来查找用于搜索的关键词。您也可以一步步单击分类链接，直至找到您所需要的资料。 中文目录是/Top/World/Chinese_Simplified/,示例：查找一下关于癌症治疗以及护理方面的中文资料 搜索：先进入中文简体分类目录，再进入“健康”子目录，确定选中“只在健康中搜索”单选项目。在搜索栏内填入“癌症”进行搜索。,9.Google 的网上论坛,新闻组有详尽的分类主题，某些主题还有专人管理和编辑，具有大量的有价值信息。由于新闻组包含的信息实在是海量，因此不利用工具进行检索是不大可能的。DEJA一直是新闻组搜索引擎中的佼佼者。2001年2月份，GOOGLE将DEJA收购并提供了所有DEJA的功能。现在，除了搜索之外，GOOGLE还支持新闻组的WEB方式浏览和张贴功能。,有两种信息查找方式。一种是一层层的点击进入特定主题讨论组，另一种则是直接搜索。现在，我们进行一个最简单的搜索试验，查找一下新闻组中关于SRAS在中国的讨论信息。,搜索结果默认按照“留言内容”排列，但是你也可以点击“依照日期”按钮，让帖子按照发布日期排列。,因为新闻组中的帖子实在是多，而且又涉及一些普通搜索所没有的语法，所以建议使用“高级群组搜寻”进入高级搜索界面。新闻组高级搜索提供留言内容、分类主题、标题、留言者、留言代码、语言和发布日期作为条件进行搜索。其中作者项指作者发帖所用的唯一识别号电子信箱。,高级搜索,通常，只需在范围较广的查询中添加词语就可以缩小搜索范围。此外Google还提供了很多不同的搜索功能，利用这些功能可以：将搜索范围限制在某个特定的网站中 排除某个在某个特定的网站中 排除某个特定网站的网页 将搜索限制于某种指定的语言 查找链接到某个指定网页的所有网页 查找与指定网页相关的网页,3、中国搜索联盟（/,概况,中国搜索联盟成立于2002年9月，由中国互联网新闻中心、慧聪国际共同发起的一个以搜索引擎应用为核心的开放型联合体，联盟号召各成员网站使用共同的搜索引擎，通过搜索引擎技术应用寻求共同有效的经营模式，整合优势资源真正实现资源共通共享，进而推动各成员的网站发展。,它是的新一代综合搜索引擎，由慧聪软件公司提供先进技术,包含网页、网站、新闻等各类信息的搜索，最大程度地满足用户的不同检索需求；其真正智能化的全文检索，为用户提供了准确、全面、详实、快捷的搜索服务。,经过半年多的发展，中国搜索联盟已经逐步发展壮大，成员包括中国网、新华网、国际在线、中国日报网、中青网、中国广播网在内的国家级新闻网站，千龙网、东方网、南方网、北方网、红网、四川新闻网在内的国内顶级区域门户网站，263等商业网站以及20家慧聪资深行业网站，并与新浪网、3721和全国近200家信息港结成紧密的战略性合作关系，成为目前国内最大的“搜索引擎服务平台”。,搜索方法,基本检索,基本搜索的使用简洁方便，当用户输入查询内容后，按回车键或点击 “搜索”按钮，即可得到所查寻的信息。,支持多个关键词使用的逻辑操作符组配查询。“与”关系用空格、“+”或“,”表示。例如：查询关于女歌手的信息，则输入关键词“女性 歌手”或“女性+歌手”或“女性,歌手”。 使用字符“/”表示“或”关系。例如：查询关于乒乓球或网球方面的信息，则输入关键词“乒乓球/网球”。 使用字符“-” 表示“非”关系例如：查询关于北京的信息，但不包含“奥运”一词，则输入关键词“北京-友好”。,进阶式查询检索,在网页检索的结果页面中继续查找信息，可有四种选择:重新查询、在结果中再查、在结果中去除和分类下更多结果。,“在结果中再查”：在上一次的查询结果中再次输入关键词进行查询，相当于两次输入的关键词之间“并且”的关系，其查询结果将同时包含这两个关键词；“在结果中去除”：在上一次的查询结果中去除再次输入的关键词进行查询，相当于两次输入的关键词之间“非”的关系，其查询结果将只包含上一次的关键词同时一定不包含再次输入的关键词。,搜索结果的排列顺序,中国搜索联盟搜索引擎的网页检索结果是根据关键词与页面或文章标题的相关程度进行排列，相关度高的被排在前面。新闻检索的结果则是按照日期顺序呈倒排序，日期最近的新闻被排在最前面。当您输入一个关键词，查询结果页会分为两个部分，第一部分为新闻信息，第二部分为网页信息。,4.搜狐（http：/）,搜狐于1998年推出中国首家大型分类查询搜索引擎，到现在已经发展成为中国影响力最大的分类搜索引擎。每日页面浏览量超过800万，可以查找网站、网页、新闻、网址、软件、黄页等信息。,网站网页黄页新闻软件商品高级,如何使用搜狐中文检索系统,如果你很清楚你要找的网站(或新闻)主题，你可以在检索框内键入关键字(Keyword)，并单击旁边的搜索按纽，搜狐中文检索引擎会返回以下四方面的检索结果。你可以在以下四个分类中任意切换，得到你需要的检索结果。,如果你从搜狐分类中检索：检索结果页列出相关的搜狐中文检索类目。如果你从搜狐新闻中检索： 检索结果页列出包含你输入的关键字的相关新闻。 如果你从搜狐网站中检索： 检索结果页列出网站名称或网站简介或网站关键字中含有与你键入的关键字相匹配的内容的相关网站。 如果你从全球网页中检索： 检索结果页列出整个Internet上的相关网站。 请注意，如未特别指定,系统默认你从搜狐网站中进行检索。搜狐中文检索的默认检索方式是精确查询方式，查询包含完全符合关键字串的网站。例如：键入“中国北京”，会找出包含“中国北京”的网站、但是会忽略包含 “中国首都北京的网站。,5北大天网(),由北京大学计算机系网络与分布式系统研究室研制开发的“天网”中英文搜索引擎系统是国家“九五”重点科技攻关项目“中文编码和分布式中英文信息发现”的研究成果，于1997年10月29日正式在CERNET上向广大Internet用户提供Web信息导航服务()，受到学术界广泛好评。 有简体中文、繁体中文和英文三个版本。提供全文检索、新闻组检索、FTP检索（北京大学、中科院等FTP站点）。目前大约收集了100万个WWW页面（国内）和14万篇Newsgroup（新闻组）文章。支持简体中文、繁体中文、英文关键词搜索，不支持数字关键词和URL名检索。,搜索方法,在“天网”主页上，用户在文本框中输入想要查询的关键词，并回车（Enter），(或者点击 “搜索网页”按钮)即可。逻辑与关系用“空格”代替。如果搜索所有包含关键词“北大”和“校庆”的网页，只需在的搜索框中输入“北大 校庆”。,提供FTP文件搜索功能,天网ftp搜索的现状每日点击量约七万、数据库约1千多万。数据库中，电影约2万部、mp3音乐约21万首、图片约一百万、程序约25万、源代码20万，文档60万。检索时间一般在100毫秒内，Cache命中情况下30毫秒。,是目前国内数据量最大的ftp搜索引擎,天网将FTP文件分成电影、动画片，mp3音乐，程序下载，开发资源共四大类，用户可以象目录导航式搜索引擎那样层层点击下去查找自己需要的FTP文件,按类别搜索文件。在输入框里输入如上说明的匹配串，点击“分类搜索”下的各种类型，如“图像”、“声音”、“视频”、“压缩