网络信息检索

第3章网络信息检索

主讲人：盛芳Email：shengfang@电话：

67791306地址：

图文信息中心535室2023/2/43.1网络信息检索3.2搜索引擎3.3学术搜索3.4开放存取主要内容2023/2/43.1网络信息检索特点检索范围广用户界面友好且操作方便检索途径灵活且速度快捷人机交互检索效率不高主要检索技术智能代理技术网络信息挖掘技术信息推送技术2023/2/43.2.1搜索引擎技术的发展3.2.2搜索引擎的工作原理3.2.3搜索引擎的分类3.2.4Google小窍门3.2.5Baidu小窍门3.2搜索引擎2023/2/43.2.1搜索引擎技术的发展

第一代——门户成为终点

第二代——以超链接分析为基础的机器抓取技术为基础

第三代——综合性技术的应用2023/2/4第一代搜索引擎第一代的搜索引擎公司都变成了门户网站，垂直化的搜索引擎也应运而生，如，专门做图形图像或MP3文件的搜索引擎。而最新的技术是动态的网页搜索和实时内容的检索，网络上越来越多的网页是根据程序生成的，而不是静态地存在。这些页面都是根据时间变化而变化的，比如查询股票的价格等。而实时的内容多是新闻与金融信息，这也是广大网民迫切需要的。

2023/2/4Excite()

Excite是斯坦福大学的6位计算机系的本科生创办的。“免费让人搜索，用广告收入来补贴”，这是Excite率先提出来的。Excite搜索技术研发人员的计算机功底扎实，但对信息检索的认识不是很深，提出的概念搜索(ConceptSearch)，即用同义词推断来增加搜索的结果很快就宣告失败。2002年被Infospace收购，改用元搜索引擎Dogpile。

2023/2/4Altavista诞生于DEC研发中心，第一个支持自然语言检索，第一个实现高级搜索，它也是Yahoo!最早的搜索引擎技术的提供者。特点：速度快，可以提供许多不同格式内容，如音频、视频与多国语言的检索，可以说处于世界领先地位。缺点：更新频率不是很快。Altavista()

2023/2/4Lycos（）Lycos是早期搜索引擎中唯一诞生于美国东部的，其余的搜索引擎都在硅谷。它脱胎于卡耐基·梅隆大学的一位博士生的一套互联网搜索程序，此后被风险投资集团CMGI看中，并且在波士顿成立了公司。其搜索技术一直比较落后，但在商业上比较成功，Lycos很早就投资做社区网站。2023/2/4Infoseek()

Infoseek以检索的相关程度高而知名。Infoseek请一位华人工程师WilliamChang设计了第一代Infoseek搜索引擎Ultraseek，其特点是速度快，检索结果的相关程度也很高。产品一推出在搜索引擎领域与华尔街都引起了很大的震动。1999年，Infoseek被Disney所购买，发展方向与定位都做了调整。Disney将其做为入门网站G的搜索引擎，在技术上的革新比较少，主要是做娱乐方面的索引。

2023/2/4Yahoo！（）创办于1994年，创办人为美籍华人杨致远和DavidFilo。因为数据为手工输入，只能支持简单的数据库搜索。2002年采用Google的搜索结果，2004年正式推出自己的全文搜索引擎。2023/2/4第二代搜索引擎第二代搜索引擎厂商的特点是只做后台技术的提供者，这是美国互联网发展的教训。因为作为一个公司，同时肩负两个任务，一是创建门户类的平台，二是开发搜索引擎，这两方面没有什么共同点，使得网站精力分散，不能全力投入搜索引擎技术的改进；而且两者合一意味着自己的产品不能卖给别人，搜索引擎的开发的成本相当高，又只能少数几家使用，这就不符合软件通用化的潮流与模式。第一代网站中，只有Yahoo!不自己开发搜索引擎，所以它成功了。

2023/2/4Inktomi（）

Inktomi是加州大学伯克利分校EricBrewer的教授最先研究，这位教授是并行处理研究的专家。后来他将技术卖给了Hotbot，作为后台技术的提供商。

EricBrewer完成Inktomi的时候，市场竞争已经相当激烈，做门户已经不可能，所以他决定只做背后技术的提供商。Yahoo！以前使用的是Altavista的技术，但Altavista本身也是门户，与

Yahoo!处于竞争关系，所以Inktomi很快成了Yahoo!后台技术的提供商。目前已无此网站。

2023/2/4Askjeeves()

从技术上讲，Askjeeves是一个比较简单的系统，但从创意来说是相当出色的，它维护了问题与答案相联系的数据库。从结构上说它比较简单，因为提问后并不是立即返回问题的答案，而是用逼近式的方法让你选择他知道的所有问题，再由用户分类来选择答案。这一点从技术上讲非常容易解决，但从实践来说需要大量的人力来干预，即问题与结果的数据库规则基本是靠人工来建立的。但由于它建立了一套可以让人以自然语言提问的系统，很多网民喜欢这样的形式。但由于其规则库太小，真正使用的人不是很多。

2023/2/4Goto()从本身技术来说，G使用了超链分析与根据用户的点击行为来分析与重排序，搜索得到的结果相关性程度较高，而且比较符合用户的点击习惯。专攻手机应用。截止2013.9.23，已无此网站。2023/2/4Google()

Google由LarryPage和SergeyBrin设计，于

1998年9月发布测试版，一年后正式开始商业运营。使命：整合全球信息，供大众使用，使人人受益。

由于对搜索引擎技术的创新而获奖无数，如美国《时代》杂志评选的“1999年度十大网络技术”之一、《个人电脑》杂志授予的“最佳技术奖”、TheNet授予的“最佳搜索引擎奖”等。Google现为全球80多家门户和终点网站提供支持，客户遍及20多个国家。特点：实用性、便利性和高相关性。

2023/2/4Google提供一系列革命性的新技术，包括完善的文本对应技术和先进的PageRank排序技术，后者可以保证重要的搜索结果排列在结果列表的前面。含义：“Googol”是一个数学名词，表示一个1后面跟着100个零。这个词汇是由美国数学家EdwardKasner的外甥MiltonSirotta创造的，随后通过Kasner和JamesNewman合著的“MathematicsandtheImagination”一书广为流传。Google使用这一术语体现了公司整合网上海量信息的远大目标。2023/2/4搜索的网页：80亿+图片：10亿+Usenet信息：10亿+Google界面的可用语言：100多种Google搜索结果所采用的语言：35种国际域名：112个员工：全球54604人（2012）价值观：永不满足，力求最佳2023/2/4第二代搜索引擎的问题第二代搜索引擎比第一代在搜索速度、针对多种语言信息的扩展等方面有所改进，在以自然语言为查询语言方面也做了一些探索。一般的公共搜索引擎只能查到HTML格式的网页。这意味着，在企业内部的局域网上，任何没有使用HTML格式的信息将无法被外部的搜索引擎查到。这就是为什么像PPT、Word、PDF、电子邮件等文件，以及ERP、CRM等应用软件的数据库的信息会长期的“沉没”在信息的海底中。

2023/2/4第三代搜索引擎为了解决第二代搜索引擎的问题，第三代搜索引擎应运而生。第三代搜索引擎用到了信息检索、数据库、数据挖掘、系统技术、多媒体、人工智能、计算机网络、分布式处理、数字图书馆、自然语言处理等许多领域的理论和技术，成为一种综合性的技术。新的标准、新的应用也促进着现代搜索引擎的发展。如，XML的出现及广泛使用，P2P(peertopeer,点对点)及网格计算的发展等。2023/2/43.2.1搜索引擎技术的发展3.2.2搜索引擎的工作原理3.2.3搜索引擎的分类3.2.4Google小窍门3.2.5Baidu小窍门3.2搜索引擎2023/2/43.2.2搜索引擎的工作原理运行特定的网络搜索程序，定期搜索Internet的各个站点，送回收集到的文献信息（包括Web页面和新闻组文章等），并利用索引软件对这些这些文献进行自动标引，加入集中管理的索引数据库；然后在其Web站点上提供检索界面，由用户输入提问检索式，通过特定的检索软件，查找其索引数据库，给出与检索式相匹配的查询结果，供用户浏览。搜索引擎的运行，需要网络搜索软件、索引软件和检索软件的协同工作，它们是决定搜索引擎特性的最重要方面。2023/2/4搜索引擎工作原理示意图客户端浏览器检索软件Web服务器索引软件

数据库

搜索软件

Web站点

Web站点Web站点浏览Web页面检索过程更新数据库2023/2/4搜索引擎之搜索软件搜索引擎的Web数据库增加新文献的来源有二：其一，由Web站点的创建者，在搜索引擎的站点上登记其页面URL（UniformResourceLocator，统一资源定位器）地址，以便搜索引擎去发现并加入数据库；其二，定期执行搜索引擎的网络搜索软件，自动收集网上的新文献。网络搜索软件，常被称为Web“蜘蛛（Spider）”、“爬虫（Crawler）”或“机器人（Robot）”常规蜘蛛（NormalSpider）运行周期一般为1～3月；即时蜘蛛（InstantSpider）则随时运行。2023/2/4搜索引擎之索引软件索引软件的主要任务是，对网络搜索软件收集并送回的文献信息进行自动标引（倒排），建立Web索引数据库。这种数据库的文献记录一般由文献标题、摘要或简短描述（通常是文本的前几行）、URL、文件大小、语种等构成。索引软件的处理方法，对于搜索引擎的检索性能具有决定性的影响。一般情况下，Web搜索引擎对每个页面索引的文本范围越大，其查全率就越高；反之，查准率就越高。另外，从每个页面中抽取的索引词越多，每个页面的检索点就越多，使查全率相对较高，查准率相对较低。2023/2/4搜索引擎之检索软件检索软件主要与索引软件相配合，作为用户提问与数据库的接口，提供特定的检索功能，执行每一次的检索输入，并向用户返回检索结果。检索软件决定了搜索引擎的检索功能特性，如检索手段是否灵活多样，检索界面是否亲切友好，是否提供足够的字段限制，能否选择检索对象或范围，能否支持各种不同语种的检索等。2023/2/4Google查询全过程3.瞬间返回用户需要的搜索结果。

1.网络服务器将查询发送到索引服务器。索引服务器所包含的内容与书本末尾的索引目录相似，即说明哪些网页包含与查询匹配的文字。

2.查询传输到文档服务器，由后者实际检索所存储的文档。然后，生成描述每个搜索结果的摘录。

2023/2/4百度搜索引擎体系结构图百度搜索引擎由蜘蛛程序、监控程序、索引数据库、检索程序组成。2023/2/43.2.1搜索引擎技术的发展3.2.2搜索引擎的工作原理3.2.3搜索引擎的分类3.2.4Google小窍门3.2.5Baidu小窍门3.2搜索引擎2023/2/43.2.3搜索引擎的分类综合性搜索引擎元搜索引擎多媒体搜索引擎垂直搜索引擎2023/2/4综合性搜索引擎谷歌G.hk百度Baidu即刻搜索

搜狗

网易有道

必应

天网

2023/2/4Google：图片警告：使用该功能查询到的结果可能包含儿童不宜的内容。2023/2/4Google：更多Google博客搜索：从博客文章中查找您感兴趣的主题；

Google学术搜索：站在巨人的肩膀上，搜索学术文章；

Google图书搜索：对书籍进行全文搜索，并发现新书；2023/2/4Google：高级搜索2023/2/4Google基础须知忽略词：Google会忽略最常用的词和字符，这些词和字符称为忽略词。Google自动忽略“http”，“.com”和“的”等字符以及数字和单字，这类字词会大大降低搜索速度。英文双引号：可将这些忽略词强加于搜索项，例如，输入“柳堡的故事”时，加上英文双引号会使“的”强加于搜索项中，同时可用于短语检索。简繁转换：Google运用智能型汉字简繁自动转换系统，运用简体和繁体文本之间的“翻译”转换。搜索所有中文网页时，Google会对搜索项进行简繁转换后，同时检索简体和繁体网页。2023/2/4Google基础须知词干法：Google会同时搜索关键词和与关键词相近的字词。词干法对英文搜索尤其有效。例如，搜索“dietaryneeds”,Google会同时搜索“dietneeds”和其它该词的变种。用于搜索的原来用词的任何变化都将在搜索结果的简述文字中标示出来。不区分英文字母大小写自动使用“and”进行查询：不需要在关键词之间加上“and”或“+”。如果想缩小搜索范围，只需输入更多的关键词，只要在关键词中间留空格就行了。2023/2/4Google基础须知拼音汉字转换：Google运用智能软件系统对拼音关键词能进行自动中文转换并提供相应提示。例如，搜索“shangwutong”,Google能自动提示“您是不是要找：商务通”。如果您点击“商务通”，Google将以“商务通”作为关键词进行搜索。对于拼音和中文混和关键词，系统也能做有效转换。最好在多个拼音中加空格能提高转换准确率和速度。由于汉语的多音字和方言众多，Google的拼音汉字转换系统能支持模糊拼音搜索，为用户提示最符合的中文关键词，具有容错和改正的功能。2023/2/4Google查询结果的组成部分统计行网页标题2023/2/4百度百度（B，Inc）于1999年底成立于美国硅谷，它的创建者是资深信息检索技术专家、超链分析专利的唯一持有人――百度总裁李彦宏，及其好友――在硅谷有多年商界成功经验的徐勇博士。百度是目前全球最优秀的中文信息检索与传递技术供应商。中国所有提供搜索引擎的门户网站中，超过80%以上都由百度提供搜索引擎技术支持。2023/2/4百度：音乐2023/2/4百度：更多2023/2/4元搜索引擎元搜索引擎是搜索引擎之引擎，也称为多元搜索引擎、集合搜索引擎。一般没有自己的数据库，只提供一个统一界面，每次将用户的提问转换成适合不同搜索引擎的检索式，并在这些搜索引擎中检索，最后整合从不同引擎得到的检索结果，由统一的用户接口反馈给用户。因此，可大大提高查全率。

2023/2/4元搜索引擎Ixquick

Dogpile

Mamma2023/2/4多媒体搜索引擎图像搜索引擎：

GOgraphwww.图像、影像、声音搜索引擎

(audio/video)

2023/2/4垂直搜索引擎垂直搜索是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸。特点针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是“专、精、深”，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。2023/2/4生活类搜索引擎团购搜索-团800机票搜索-去哪儿行业类搜索引擎纺织搜索B2B垂直搜索引擎搜商网职位人才类（职友集）跳哪？论坛社区类奇虎Ftp搜索引擎更多…垂直搜索引擎索引垂直搜索引擎2023/2/43.2.1搜索引擎技术的发展3.2.2搜索引擎的工作原理3.2.3搜索引擎的分类3.2.4Google小窍门3.2.5Baidu小窍门3.2搜索引擎2023/2/43.2.4Google小窍门网页快照：即当搜索内容站点或网页不存在时，用户可以调用Google事先为用户储存的大量应急网页，经Google处理后，搜索项均用不同颜色标明，另外还有标题信息说明其存档时间日期，并提醒用户这只是存档资料。实际上Google将检索的网页都做了一番“快照”然后放在自己的服务器上，这样，不仅下载速度极快，而且可以获得互联网上已经删除的网页。指定网域：其中有一个词是“site:”。要在某个特定的域或站点中进行搜索，可以在Google搜索框中输入“site:”。2023/2/4Google小窍门查找不同类型文件：Google已经可以支持13种非HTML文件的搜索。除了PDF文档，Google现在还可以搜索MicrosoftOffice(doc,ppt,xls,rtf）、ShockwaveFlash(swf)、PostScript(ps)和其它类型文档。例如，查找Flash文件，只需搜索“filetype:swf”。货币转换：Google有内置货币转换器，只需在Google搜索框中键入需要完成的货币转换。例如，3.5USD=?GBP

又如，10新加坡元等于多少印度卢比

2023/2/4Google小窍门计算器：Google为用户提供了一个内置计算器。这个计算器可以用来做所有简单的计算，一些复杂的科学计算，单位换算，以及提供各种物理常数。相关搜索：Google能够提供与原搜索相关的搜索词。这些相关的搜索词是根据过去Google所有用户的搜索习惯和Google提供的计算两个搜索词之间相关度的独家技术而产生出来的。这些相关的搜索词一般比原搜索词更常用，并且更可能产生相关的结果。2023/2/4Google小窍门类似网页：单击“类似网页”时，Google侦察兵便开始寻找与这一网页相关的网页。如果对某一网站的内容很感兴趣，但又嫌资料不够，Google侦察兵会找到其他有类似资料的网站；如果在寻找产品信息，Google侦察兵会提供相关信息，供用户比较；如果在某一领域做学问，Google侦察兵会成为得力助手，快速找到大量资料。手气不错：按下“手气不错™”按钮将自动进入Google查询到的第一个网页，完全看不到其它的搜索结果。例如，要查找Stanford大学的主页，只需在搜索字段中输入“Stanford”，然后单击“手气不错”按钮即可。2023/2/4Google小窍门错别字改正：Google的错别字改正软件系统会对输入的关键词进行自动扫描,检查有没有错别字。如果发现用其他字词搜索可能会有更好的结果，它能提供相应提示来帮助纠正可能有的错别字。多种语言翻译：语言工具的翻译功能天气查询例如，查找上海地区的天气状况，shanghaitq

或上海天气股票查询：只需输入一个关键词（“股票”,“gp”和“GP”任选其一）和想查询的股票证券名称或是其六位数代码。2023/2/4Google小窍门邮编区号：查询邮政编码或长途电话区号，只需输入关键词（“邮编”,“yb”和“YB”任选其一；“区号”，“qh”和“QH”任选其一）和要查的城市地名或邮政编码或电话区号即可。例如，查找拉萨地区的邮编区号或邮编100000，电话区号0891的归属地，可以输入：拉萨邮编区号或者邮编100000

或者0891qh

手机号码：用Google查询手机电话号码归属地，只需直接输入要查的号码即可。搜索技巧参考/websearch/?hl=zh-Hans&p=highlights2023/2/43.2.1搜索引擎技术的发展3.2.2搜索引擎的工作原理3.2.3搜索引擎的分类3.2.4Google小窍门3.2.5Baidu小窍门3.2搜索引擎2023/2/43.2.5百度小窍门百度快照：相当于google的网页快照。不过，百度只保留文本内容，所以，那些图片、音乐等非文本信息，快照页面还是直接从原网页调用。如果无法连接原网页，那么快照上的图片等非文本内容，会无法显示。相关搜索拼音提示错别字提示英汉互译词典结果页上有“词典”链接计算器和度量衡转换

3.5USD=?GBP

（无空格）2023/2/4百度小窍门把搜索范围限定在网页标题中——intitle

使用方式，把查询内容中特别关键的部分，用“intitle:”领起来。

例如，找林青霞的写真，查询：写真intitle:林青霞

注意，intitle:和后面的关键词之间，不要有空格。把搜索范围限定在特定站点中——site

使用方式，在查询内容的后面，加上“site:站点域名”。例如，天空网，查询：msnsite:

注意，“site:”后面跟的站点域名，不要带“http://”；另外，site:和站点名之间，不要带空格。2023/2/4百度小窍门把搜索范围限定在url链接中——inurl

实现方式，是用“inurl:”，后跟需要在url中出现的关键词。

例如，找关于photoshop的使用技巧，查询：photoshopinurl:jiqiao

注意，inurl:和后面所跟的关键词，不要有空格。专业文档搜索股票、列车时刻表和飞机航班查询精确匹配——双引号

当输入的查询词很长，百度在经过分析后，给出的搜索结果中的查询词，可能是拆分的。如果要让百度不拆分查询词，则给查询词加上双引号。2023/2/4

百度小窍门精确匹配——书名号

书名号是百度独有的一个特殊查询语法。在其他搜索引擎中，书名号会被忽略，而在百度，中文书名号是可被查询的。加上书名号的查询词，有两层特殊功能，一是书名号会出现在搜索结果中；二是被书名号扩起来的内容，不会被拆分。

例如，查名字很通俗和常用的那些电影或者小说。查电影“手机”，如果不加书名号，很多情况下出来的是通讯工具——手机，而加上书名号后，《手机》结果就都是关于电影方面的了。2023/2/43.3学术搜索Google学术搜索Scirus科学搜索2023/2/4学术搜索简介：2004年底推出的专门面向学术资源的免费搜索工具，能够帮助用户查找包括期刊论文、学位论文、书籍、预印本、文摘和技术报告在内的学术文献，内容涵盖自然科学、人文科学、社会科学等多种学科。

按相关度排序，考虑全文、作者、出版物及被引情况。采取自动分析与抽取引文的方法。了解有关某一领域的学术文献；某一作者的著述，并提供书目信息。2023/2/4

网址:.hk对网上的信息进行了过滤，更适合搜索学术文章。Google学术搜索2023/2/4搜索结果图书在参考文献中找到全文(一般为PDF格式)2023/2/4搜索结果2023/2/4Scirus科学搜索/

是由荷兰ElsevierScience出版公司开发的搜索引擎。不同于一般的搜索引擎，它只检索网站上的学术信息，包括大学的网站，作者的个人主页，还有大量免费或限制访问的期刊网站的信息。有人说Scirus是目前互联网上最全面、综合性最强的科技文献门户网站之一。近年来，Scirus荣获多项国际大奖，包括最佳专业搜索引擎的搜索引擎守望奖，以及最佳搜索引擎/目录指南的网络奖。2023/2/4Scirus覆盖的内容目前Scirus已将5.75亿个与科学有关的网页编入索引中。除此之外，它还包括425,000篇美国物理学会的文章、492,000篇Arxiv的预印本资源、