中科大《信息检索》讲义第7讲 网络信息概论

第七讲网络信息概论第一节INTERNET概述Internet的前身是美国国防高级研究计划局（APPA）于1968年主持研制的用于支持军事研究的计算机实验网络ARPANET。建网的最初宗旨在于帮助为美国军方工作的研究人员通过计算机交换信息。ARPANET是一个较完善的分布式跨国计算机网络。在ARPANET模式中，通讯总是产生在一台发送计算机和一台接受计算机之间。1982年Internet由ARPANET、MILNET等几个计算机网合并而成，作为Internet的早期主干网和发展的基础。与此同时，局域网和其它广域网的产生对Internet的进一步发展也起了重要作用。在这些新建立的广域网中，最引人注目的是美国国家科学基金会NSF（NationalScienceFoundation）建立的美国国家科学基金网NSFNET。1985年，NSF提供巨资建造了全美五大超级计算中心。为了使全国的科学家和工程师能够共享这类以前只供军事部门和少数科学家使用的超级计算设施，NSF首先想到可否利用ARPANET的通信能力，当这个设想因种种原因无法实现时，NSF决定建立自己的基于IP协议的计算机通信网络NSFNET。最初，NSF使用56KB/S的电话线进行通信。但这根本不能满足各个大学与超级计算机中心联机的要求。NSF决定在全国建立按地区划分的计算机区域网，并将这些区域网与超级计算中心相联。最后再将这五大超级计算中心相连。这一成功的设计使NSFNET在1986年建成后取代ARPANET，成为Internet的主干网。NSFNET对推广Internet的重大贡献是使Internet对全社会开放，而不像以前那样仅供计算机科学家、政府职员和政府项目承包商使用。随着网上通信量的激增，NSF对网络技术进行了几次更新。每次更新都大幅提高了网速，进而吸引了更多的用户，使通信量增长更快。除了主干网外，Internet可以应用现有的各种通信线路设施。因此，在通信发达的国家中加入Internet投资是不高的，这也是Internet能够迅速发展的原因之一。中国国家计算与网络设施(TheNationalComputingandNetworkingFacilityofChina，简称NCFC)，又称中关村地区教育与科研示范网络，代表中国于1994年4月正式连入Internet，建立本国最高域名服务器，能全功能访问Internet上的资源。早期Internet不允许用户在网络上进行商业活动。NSF曾有明文规定，禁止用户在NSF的主干线上进行赢利性质的活动，同时反对在NSFNET的主干线上进行过分的纯属个人性质的活动。恰恰是Internet的商业应用，使Internet得到如此迅猛的发展。第二节信息环境的数字化、网络化趋势进入九十年代以来，全世界Internet用户呈现急剧增长的势头，1993年底中国的网络用户2000人，1995年底为8万人，到1997年7月，全国的因特网用户数量达到62万。2000年7月27日，中国互联网络信息中心（CNNIC）在京发布最新《中国互联网络发展状况统计报告》显示：截止2000年6月30日，我国上网用户达1690万。另一方面，由于传统的信息服务以搜集、加工整理并提供纸质信息资源为主。信息的提供服务受到地域的局限；同时，又因其服务工作流程基本采取手工方式，速度慢且效率低。所以越来越多的企业选择在网络上公布自己的信息，为自己的产品做文告；越来越多的报纸、期刊出版商选择在网络上出版自己的报纸或期刊；越来越多的检索工具出版商建立网络数据库提供给联机服务商或自己经营。近年来，作主网络信息重要组成部分的数字图书馆也获得了迅速的发展。我国在1998年以前实现了与Internet和CERNET联接的大学图书馆有100家，而这个数字在2000年已经超过了200家。信息环境网络化提高了人们的信息能力，但是信息能力提高了的同时，也制造了大量的信息垃圾。因特网的特色之一就是帮助人们实现自由出版之梦，任何一个人都可以很容易地在网上发表论文和观点，而且信息的发布没有经过严格的审查程序。信息环境网络化带来了新问题是：（1）资料越来越多，信息浓度却越来越低，消化、吸收越来越困难。（2）网络信息质量不一，真伪难辩。这些问题给有效利用网络信息造成了极大的障碍。解决问题的方法就是对网络信息进行评估，充分利用网络信息的导航服务：（1）普通网络对网络信息的导航与推介；（2）图书情报机构对网络信息的导航与推介。第三节网络信息的类型网络信息按时效性分类有如下几种：1网上出版物：包括报纸、期刊，其中很多是免费向用户提供的。2动态信息：如政府机构发布的消息、政策法规、会议消息、论文集、研究成果、项目进展报告、产品目录、出版目录、广告、网站新闻等。3联机馆藏书目数据库：网上有6000多个电子图书馆，包括美国国会图书馆在内的600多个著名公共图书馆、大学图书馆及4000多个学术机构的馆藏机读书目数据库，通过网络对外开放。4国际联机数据库：许多国际联机检索系统都开设了与Internet的接口，用户通过远程登录或万维网进行付费检索，如著名的Dialog、OCLC的firstsearch等国际联机检索系统。而有的著名数据库亦在网上设置网页，并提供一定时间的免费检索，如EiVillage、Medling、专利文献等。按人类信息交流方式将网络信息资源进行分类，可以分为：1正式出版信息是指受到一定的产权保护、信息质量可靠，利用率较高的知识性、分析性信息。如各种网络数据库、书目信息、文件文档等。2半正式出版信息，也称“灰色”信息是指受到一定产权保护但没有纳入正式出版信息系统中的信息，如各种学术团体、教育机构、企业和商业部门、国际组织和政府机构、行业协会等单位介绍宣传自己或产品的描述性信息。3非正式出版信息指流动性、随意性较强的信息，信息质量难以保证和控制的动态信息。网上电子信件、电子公告、专题讨论栏目等形式的非正式信息发布活动及所产生的大量信息内容。这类信息内容庞杂，涉及社会知识各个层面的信息。第四节网络信息资源的分布根据上网机构发布信息的站点看网络信息资源的分布1公司、企业站点资源这类资源站点以com为一级或二级域名注册。信息资源的内容主要是公司、企业的组织机构、发展规划、产品宣传、联系方式等。这类资源一般以初始源信息和动态信息为主。2学校、科研院所站点资源这类资源站点以net、com或gov为一级或二级域名注册，信息资源的内容主要是学校、科研院所的组织机构、学科设置、招生情况、远程教育这类信息以初始源和再生源信息共存，其主要特色是提供学术性强的信息。3信息服务机构资源站点这类资源站点以net\com或gov为一级或二级域名注册，信息资源的内容主要是专业信息检索服务，提供各种类型的全文或文摘型数据查询、代查、代检、各种软件下载、社会热点、调查报告、网上培训等，提供专题文献信息如报刊、图书、专利、会议文献等。4行业机构站点资源这类资源站点一般以上一级主管部门为域名注册，有com、ca、gov等。信息资源主要是新闻报道、企业名录、股票、市场行情、产品介绍、行业论坛、政策、法规资源等。这类资源具有系统性、完整性，面对企业、市场动态性强。以经济类信息为主。5门户网站第五节网络信息的特点第六节搜索引擎----WWW搜索工具一搜索引擎的概念搜索引擎就是一些网络服务商为网络用户提供的检索站点，它收集了网上的各种资源，然后根据一定的规律进行分类，提供给用户进行检索。用户需要查询各种信息而不知道具体网址时，可以求助于搜索引擎。二搜索引擎的分类搜索引擎一般分为以下四类：1全文（网页级）搜索引擎又叫机器人搜索引擎。特点是引擎对各网站的每个主页中的每个词进行搜索。当全文搜索引擎遇到一个网站时，会将该网站上所有的网页全部获取，并收到引擎的数据库中。只要用户输入查询的关键字在数据库中的某个网页中出现过，搜索引擎就会作为匹配结果返回给用户。其优点是检索全而充分，缺点是提供的信息虽然多而全，但可供选择的信息太多，给人一种杂乱的感觉。AltaVista、Infoseek就是这种具有代表性的全文搜索引擎。2目录分类式（网站级）搜索引擎目录式搜索引擎的数据库是依靠专职编辑人员建立。当遇到一个网站时，目录分类式搜索引擎并不像全文搜索引擎那样，将网站上的所有文章和信息都收录过去，而是首先将该网站划分到某个分类下，再记录一些摘要信息，对该网站进行概述性的简要介绍。当用户提出搜索要求时，搜索引擎只在网站的简介中搜索。分类搜索引擎的优点在于将信息系统地分门归类，用户可以方便地查找到某一大类信息。这符合传统的信息查找方式。适合那些希望了解某一方面信息而不严格局限于查询关键词的用户。缺点是其搜索范围较全文搜索引擎要小，搜索速度比较慢，结果也不全。目前Yahoo、OpenDirectory为有代表性的目录分类式搜索引擎。3元搜索引擎元搜索引擎即Meta搜索引擎也叫MultipleSearchEngine。元搜索引擎的特点是具有双层C/S结构的系统，它本身没有存放网页信息的数据库，当用户检索一个关键词时，它把用户的检索请求转换成其他搜索引擎接受的命令格式，并行访问数个搜索引擎来查询这个关键词。并把搜索引擎返回的结果显示给用户。4图形、图像搜索引擎该引擎专门搜索图形、图像、照片。目前这类搜索引擎仍然是通过文本关键词检索相关的图形、图像信息，采用的技术同传统的网站或网页搜索引擎基本相同，惟一区别是多了一些对图形、图像的专门处理技术，目前的图形、图像搜索引擎从信息来源划分主要包括两类：一类是网站提供的图形、图像搜索，比较典型的有InfoseekImageSurfer和AltaVista-ImageSearch，另一类是一些专业图库提供的图形、图像搜索引擎等。三搜索引擎的查询方式和技巧几种搜索方式：1简单检索（simplesearch）指直接输入一个关键词，提交搜索引擎查询，这是最基本的搜索方式。2词组搜索（phrasesearch）指输入两个单词以上的词组（短语），当做一个独立运算单元提交搜索引擎查询，也叫短语搜索。词组搜索要进行严格匹配，以提高检索的精度和准确度。3语句搜索（sentencesearch）指输入一个多词的任意语句，提交搜索引擎查询，也叫任意搜索。即直接采用自然语言中的字、词、甚或整个句子，作提问式进行检索。4目录搜索（catalogsearch）指按搜索引擎提供的分类目录逐级查询，用户一般不需要输入查询词，而是按照查询系统所提供的几种分类项目，选择类别进行搜索，也叫分类搜索。5高级搜索（advancesearch）指用布尔逻辑组配方式查询，也叫定制搜索。*检索技术1、布尔逻辑检索一般的搜索引擎检索所提供的布尔逻辑运算通常有三种：（1）逻辑与（AandB）检索出同时含有检索词A和检索词B的信息资源。（2）逻辑或（AorB）检索出含有检索词A或者含有检索词B或者AB都有的信息资源。（3）逻辑非（AnotB）检索出含有检索词A而不含有B的信息资源。搜索引擎大都采用逻辑组配方式，即用布尔算符（and/AND,or/OR,not/NOT）或直接用符号如&(and),\(or),!(not)进行逻辑运算。2、截词检索“*”在WWW检索工具中，提供右截词法，在键入的关键词后面紧接着键入通用字符“*”，搜索包含以星号前面的关键词开头的单词的网页。如nutri*相当于nutria+nutrient+nutrilitei+nutriment+nutrition，使用截词符可以扩大搜索。3、字段限制检索在搜索引擎中，字段检索多表现为前缀符限制形式，属于主题字段限制的有：“Title:”、“Keywords:”、“Subject：”、“Summary:”等；属于非主题字段限制的：“image:”,“text:”,等。此外，搜索引擎还提供了带有典型网络检索特征的字段限制类型，如主机名限制（host:)；Limk限制（link:)；网址限制（site:)；域名限制（domain:)；新闻组限制（newsgroups:)；URL限制（url:）；E-mail限制（from:)等。这些字段限定了检索词在记录中出现的位置，用来控制检索结果的相关性。由于各个检索引擎在提供这类字段检索时所用的检索格式不同，用户在使用时要实现阅读有关的检索规则，如在Infoseek检索引擎中规定标题字段检索的格式为“title:关键词”，其中的冒号时不能遗漏的。4、位置检索只有AltaVista能提供邻近位置运算（near运算）。以上检索功能在各种搜索引擎中受支持的程度不同，支持最充分的是布尔逻辑检索，其次是截词检索、字段检索和限制检索，而位置检索就很少有支持的。5、指定检索语种提供多语种检索环境供用户选择，系统按指定的语种进行检索并输出检索结果。如AltaVista目前提供有25中自然语言的检索环境供选择。该功能特别适合因特网上不同国家的用户检索不同语种的资源这一特点。6、管道（|）检索即用管道符（|）连接两个或更多个检索词，如dogs|Dzlmatians。先对前一个词进行检索，再在其结果的基础上对后一个词进行检索，依次类推，以达到逐步缩小检索结果，提高查准的目的。7、概念检索用某一检索词进行检索是，能同时对该词同样或累死概念的词，如同义、近义、广义、狭义词进行检索，以达到扩大检索，避免遗漏的目的。8、加/减（＋/—）号检索几乎所有的搜索引擎都支持该功能。＋（加号）：放在检索词前，表明该词在文件中必须出现。－（减号）：放在检索词前，表明该词在文件中不能出现。例如：＋computer＋virus－CIH表明文件内容可包括“computer”和“virus”，但不能包括“CIH”。使用“＋”和“－”可以是关键词字串表达得更加精确，也就是使搜索结果变得更加精确9、区分大小写的检索这主要是针对检索词中含有的人名、地名等专有名词而言的。例如在区分大小写的情况下，RockHudson能被当作人名看待；而rockhudson则被当作两个普通词看待。但在不区分大小写的情况下，则无法区分rockhudson是指专有名词还是两个普通词，从而影响了检索结果的准确性。四几种特殊搜索引擎特殊搜索引擎只收集某一个领域或某个方面的网站或网页，例如文学、医学、体育、MP3等，其提供的信息更有针对性，比通过搜索引擎更好更精。主要有以下几种：1FTP搜索引擎网址：