网络信息资源与利用.ppt

第一章 网络信息膨胀与信息 膨胀问题的解决 1.1 信息与网络信息 1.2 网络信息膨胀及其带来的负面影响 1.3 信息膨胀问题产生的原因分析 1.4 解决信息膨胀问题的基本思路 1.1 信息与网络信息 1.1.1 信息概述 1.1.2 网络信息 1.1.3 网络信息与非网络信息的比较 1.1.1 信息概述 n为了科学地理解信息的本质，必须区分信息、消息、信 号、符号的不同涵义。信息与信号、符号、消息在科学 涵义上是根本不同的。信号是携带信息的各种物理过程 ，同一信息可以用各种信号来携带和传递；符号则是语 言、文字、图像、密码、指令、程序等的统称，是人类 用来表示信息的各种标志，是非物理性的，同样的信息 也可以用不同的符号来表征；各种信号都可以与某种符 号集合建立起对应关系；信号系列和符号系列构成了消 息，消息是信息载体或表达者，消息和信息是形式和内 容的关系。所以，信息是一个社会概念，它是社会共享 的、人类的一切知识、学问以及从客观现象提炼出来的 各种消息的总称，信息反映了客观世界中各种事物的特 征和变化的组合，是一种有用的知识。 信息具有以下几方面的特性： 1. 普遍性 n普遍性是指从空间分布上讲，信息是无处不在的。信息 普遍存在于自然界、人类社会以及人类的思维或精神领 域；从时间上讲，尽管具体的某个信息是有时效的，但 是由于人们对世界的认识是无限的，因此，就整体而言 信息是无限的。从社会学的角度看，信息一开始就直接 联系于社会应用，真正意义上的信息离不开社会。 2. 时效性 n具体的信息都有时效性。在某一特定时刻所获得的关于 某一事物的信息仅仅反映了这一时刻事物自身所处的状 态和环境状况，一般不能反映事物这一时刻之后所产生 的问题。时效性是信息的重要特征。 3. 传递性 n信息可以脱离开某一具体事物而载荷到别的事物 上，从 而可以被转移、被复制、被记录、被存储、被传送。信 息的这种特性使信息借助于一定的载体从一地传递到另 一地，在人们之间进行传播，从而实现信息巨大的潜在 效用。 4. 可替代性 n信息的物质载体形态是可以互相转移变换的。即指信息 的描述可以有多种不同的方法，这些不同的描述方法之 间只需保持某种对应关系， 这种对应关系称为信息变换 关系。 5. 可转化性 n信息中包含有知识，使人们对某个事物的运动状态和其 变化方式由不了解到了解，使知识由少变多。由此，人 们利用信息就可以提高工作效率的质量，从而降低经济 成本。因此说，信息的这种可转化的特性，是信息被正 确利用所产生的社会和经济效益的依据。 6. 共享性 n信息可以同时为众多的接收者共同使用。在信息的扩散 和用户分享信息的过程中，信息载体本身的信息量并不 因此过程而减少，各用户分享的信息不因分享的人的多 少而受影响。这是由于信息不是事物本身，而是事物运 动状态及其变化的描述，信息可以脱离开产生它的那个 事物，从而可以实现信息的转移、传播和复制，达到信 息的共享。 n人类生存与发展离不开信息。信息是人类进化和社会发 展中一种不可缺少的前提和推动社会进步的重要因素， 信息的根本作用在于消除人们认识的不确定性和增强世 界的有序性。 n信息的运行环境，直接影响着人类利用信息的程度。随 着现代信息技术的不断发展进步，先进的信息技术被广 泛应用，促使信息的运行环境、管理技术逐步现代化。 计算机技术、电子技术、通信技术在信息的搜集、存储 、加工、传递、交换、管理等方面的普遍应用，从根本 上改变了信息的存取与传播方式。计算机、网络已成为 传播文化知识，获取信息资源的重要手段。 1.1.2 网络信息 1. 互联网的产生与发展 n互联网的出现是20世纪最伟大的科学成就之一，其发展 速度远远超过世界上其他科学技术的发展速度。互联网 与它所负载的海量信息，正在对社会经济生活、对人们 的价值观念和生存方式产生着强烈的冲击。 n互联网最初起源于arpanet（阿帕网）。目的是通过该 网络把美国的几个军事及研究用计算机主机联接起来， 形成一个新的军事指挥系统。1981年，美国全国科学基 金会开发了有五个超级计算机中心相连的网络。当时的 全国许多大学和学术机构把已经建成的一批地区性网络 与五个超级计算机中心相连，形成了一个新的大的网络 nsfnet，该网络上的成员之间可以互相进行通讯， 从而开始了互联网真正发展的阶段。 n采用internet的名称是在milnet（由arpanet分出来） 实现和nsfnet连接后开始的。随后，其他联邦部门的计 算机网相继并入internet，nsf巨型计算机中心则一直肩 负着扩展internet的使命。 ninternet在20世纪80年代的扩张不单有量的改变，也带来 质的某些变化。由于多种学术团体、企业研究机构、甚 至个人用户的进入，internet的使用者不再限于“纯粹”的 计算机专业人员。新的使用者逐步把internet当作一种交 流与信息传递的工具，而不仅仅只是共享nsf巨型计算 机的运算能力。 n1991年，general atomics、performance systems international、uunet technologies 等3家公司组成了“商 用 internet 协会”（commercial internet exchange association），宣布用户可以把它们的internet子网用于 任何的商业用途。其它internet的商业子网也看到了 internet用于商业用途的巨大潜力，纷纷做出类似的承诺 ，internet商业化服务提供商的接连出现，使工商企业可 以真正地进入internet。 n大量商业机构的进入带来了internet发展史上一次质的飞 跃。到1994年年底，internet已通往全世界150个国家和 地区，联接着3万多个子网，320多万台计算机主机，直 接的用户超过3500万，成为世界最大的计算机网络。 n数据库技术的发展，特别是分布式数据库技术的进步使 得大量的信息内容被放入计算机网络，从而使得人们能 够迅速地从网络上检索和得到他们所需的信息。特别是 环球网技术的出现，人们可以使用超文本格式把文字、 图像等信息汇于一体，放入数据库中，极大地丰富了互 联网中的信息资源。 n目前，互联网上的信息涉及到现代社会生活的各个方面 。通过信息在网上的传播，人们可以方便地从互联网上 获取各种不同需求的信息。对于企业来说，可以从互联 网上获取市场信息，还可以通过创建本企业的主页（ homepage），在网上发布企业信息，宣传企业形象，推 销企业产品，进行技术支持和售后服务等。 2. 网络信息的类型、特点与传播方式 n信息可根据其载体形式和传递方式分为文献信息和网络 信息两大类型。文献信息是指传统的介质（纸张）和现 代介质（如磁盘、光盘、缩微胶片等）记录和存贮的知 识信息。文献信息的载体形式主要有图书、报纸、期刊 ，政府报告、会议资料以及光盘资料和缩微资料等。文 献信息资源具有较强的系统性、连续性和稳定性特点。 网络信息一般可以理解为“通过计算机网络可以利用的各 种信息”，即通过国际互联网可以利用的各种信息，它包 括：科技数据库、时事评论、社会科学、文学艺术、历 史资源等方面丰富的文献资料和一些公用软件。网络信 息具有内容的广泛性、访问的快捷性、搜索的网络性和 资源的动态性等特点。 （1）网络信息的类型 1） 按信息的时效分类： n网上出版物。即在网上出版的报纸，期刊等。 n动态信息。如政府机构发布的消息、政策法规、会议消 息，以及论文集、科研成果、产品目录、新闻及广告、 交通、股市行情等。 n联机馆藏书目数据库。在互联网中，图书馆目录正发展 成为opac（online public access catalog，即联机公 共目录检索系统）。已有上万个电子图书馆的馆藏机读 书目数据库，包括大学图书馆、公共图书馆和专业图书 馆的馆藏。 n联机数据库。许多国际联机检索系统都开设了与互联网 的接口，用户通过远程登录或互联网均可进行检索。 2）按所对应的非网络信息分类： n馆藏书目数据库。 n电子书刊。即完全在网络环境下编辑、出版、传播的书 刊，以及印刷型书刊的电子版。 n参考工具书。这是一些传统的和现代的参考工具书的网 络版。如大不列颠百科全书、牛津大辞典等。 n数据库。指联入互联网的数据库，数据库的内容涉及不 同领域和不同专业。 n其他类型。如个人主页、电子邮件、电子公告、新闻组 、用户组等也成为信息交流的重要渠道，并成为网络信 息的重要组成部分之一。 3） 按人类信息交流的方式分类： n非正式出版信息。如电子邮件、电子会议、专题组和论 坛、电子公告板新闻等。 n半非正式出版物。一些无法从正式出版物查询到的信息 。如各种学术团体和教育机构、企业、国际组织和政府 机构、行业协会等的网址或主页上发布的信息。 n正式出版物。即用户可以查询到的各种数据库、联机杂 志、电子版工具书、报纸、专利信息等。 4） 按信息存取方式分，可分为邮件型、揭示板型（如网络 新闻、匿名ftp等）、广播型、图书馆型以及书目型。 从网络信息检索角度，按信息查询方式对网络信息进行分类： 1） 互联网（www）信息。互联网上的信息是分布于网络各 处的文字、图像、声音和多媒体超文本信息。由于检索方 便、灵活、快捷，因此，发展迅速，已成为互联网信息的 主流。 2） ftp信息。ftp以发布、传递软件和长文件见长。 3） telnet信息。使用telnet用户可以使用远程计算机上对外 开放的信息资源，尤其是图书馆目录系统。 4） usenet/newsgroup信息资源。usenet利用网络环境， 为用户提供专题讨论服务。 5） ustserv/mailing list 信息。即电子邮件群和邮件列表。 6） gopher信息。是一种类似互联网的分布式客户机/服务器 形式的信息资源体系。 （2）网络信息的特征 1） 数据量大，增长迅速。 2） 内容丰富，形式多样。互联网已发展成为当代信息存储 与传播的主要媒介之一,存储着不同学科，不同领域、不 同地域、不同语言的各种信息，是一个巨大的信息资源 库。 3） 变化快，质量参差不齐。互联网上的信息地址、信息连 接、信息内容均具有动态性，信息资源的更迭、消亡无 法预测。 4） 信息分散、无序。互联网是一个基于tcp/ip协议的联结 各国、各机构数以万计的计算机网络的通信网，对网络 信息资源本身的组织管理无统一标准和规范，网络信息 分散于不同国家、不同地区服务器上，采用不同的操作 系统及数据结构，字符界面、图形界面、菜单方式、超 文本方式等缺乏集中统一的管理机制。 （3）网络信息的传播方式 1） 利用环球网传播图、文、音并茂的信息。 2） 利用电子邮件传播信息。 3） 利用远程登录（telnet）使用远程计算机的有关信息资源 。 4） 利用网络论坛usenet传播信息。 5） 利用ftp传播信息。 3. 中国网络信息用户使用分析 n到目前，全世界互联网上的用户已超过6.5亿。20世纪90 年代初，互联网进入中国。从1997年到2002年，上网用 户总数已从62万人达到5910万人，增长了94.3倍。截止到 2002年12月31日，中国www站点数为371600个，和 2001年同期相比增长34.1%。 n在我国，网络用户的范围十分广泛，年龄和受教育程度 有着很大的差别，知识结构、认知能力也不相同；上网 的目的和利用网络信息的种类也存在明显的差异。 年 龄 18岁以下18-2425-3031-3536 -4041- 5050岁以上 比重（%） 1997年10月 5.60%36.30%29%13.20%4.3%6.80%4. 80% 比重（%） 2003年1月 17.5%10.2 %14.9%16.5%14.4%16.7%9.8% （1）用户年龄分布 从1997年10月到2003年1月，中国互联网用户人数已从62万 发展到5910万，其年龄分布如表1-1。 表1-1 中国互联网用户的年龄分布 资料来源：中国互联网络中心.中国互联网络发展状况统计报告, 因特网: （2）用户性别统计 资料来源：中国互联网络中心.中国互联网络发展状况 统计报告, 因特网: 从右表可以看出，女性用 户1999年1月比1998年7月 增长100%，而2003年1月 已增至四成以上。中国女 网民的增加非常明显。一 方面说明近几年来中国女 性对互联网的关注在增多 ，另一方面也说明中国女 性的知识层次和收入水平 也在提高。充分利用这方 面的信息，有利于女性市 场的开拓。 表1-2 中国互联网用户的性别统计 （3）用户文化程度 n在中国互联网用户的文化结构中，从1999年到2003年， 大专、本科学历的用户占60%左右，且变化不大。这说 明，在中国，上网用户主要集中在学历层次较高的人群 中。另外在上网用户中高中及高中以下学历的占10%左 右，它比高学历人数（硕士、博士）还要高出5-10个百 分点，原因是这部分人大多比较年轻，有很强的求知欲 和接受能力。相比之下硕士、博士学历的上网人数仅占 到不足3%，可见，高学历人才在我国数量还很少，这部 分人是我国目前很缺乏的人才。他们大多是从事科研、 教育的工作者，上网的目的也多是为了获取科技、经济 、教育等方面的信息。这也反映出网络没有为高层次人 才提供足够的有用信息，不能满足他们的需求，这是网 络信息亟待解决的问题之一。 （4）用户行业分布情况分析 表1-3用户的行业分布（不包括军人、学生和无业人员） 资料来源：中国互联网络中心.中国互联网络发展状况统计报告, 因特网: 表1-4 用户的职业分布 资料来源：中国互联网络中心.中国互联网络发展状况统计报告, 因特网: （5）用户上网目的 n从cnnic 1999年7月2003年1月以来的统计报告看，占 用户上网目的第一位的是查询信息，占用户的50%左右 。之外主要是用于学习、工作需要及获得各种免费资源 等目的的占到了用户总数的14%左右。所以，在网民中 广泛普及、推广网络信息查询技术，最大限度地利用网 络信息资源，应当成为我国推进信息化建设的一项极为 重要的工作。 （6）用户最常使用的网络服务 n网络服务主要是指互联网提供的一些基本服务，如电子 邮件，专题讨论，远程登录，信息发布，文件传输和信 息检索等。在1999年7月2003年1月cnnic发布的统计 报告中电子邮件始终排在第一位，2003年1月调查显示为 92.6%的用户常用这一服务。搜索引擎排在第二位，有 68.3%的上网用户常用这一服务，排在第四位的是各类信 息查询，使用这项服务的用户占42.2%。这说明，互联网 已经成为继报纸、广播、电视之后，很重要的信息传播 媒体。 （7）用户在网络上主要获取哪方面信息 表1-5 用户在网络上主要获取信息的比例 资料来源：中国互联网络中心.中国互联网络发展状况统计报告, 因特网: 1.1.3 网络信息与非网络信息的比较 1） 信息的发布。与非网络信息相比，网络信息的数量多， 质量也较难控制。 2） 信息的传播。随着光纤技术、交换技术的发展和网络的 迅速普及，使通信速度迅速提高而通信费用显著下降。 这使得计算机网络正在成为人们重要的通信工具，通信 的快速、廉价使人们能够获得超地域的相互沟通能力， 极大地扩大了人们的联系。 3） 信息的变化频率。网络信息，包括信息地址、信息链接 、信息内容经常处于变动之中，非网络信息一般变化较 慢。 4） 信息的扩充性。指已发布的信息的扩充性。非网络信息 一经出版，就有了固定的样式，一般较难加以扩展和扩 充，而网络信息则可以根据实际需要，随时加以扩充。 5） 形式多样性。网络信息在形式上包括了文本、超文本、 图像、声音、软件、数据等多种形式；在存取与利用方 法上也具有多样性。这也是与非网络信息的一个很重要 的区别。 6） 关联程度。非网络信息的关联能力较差，主要通过参考 文献、引用文献等方式来进行关联，而网络信息可以利 用超文本技术，通过链接方式直接指导用户去查阅所引 用的原始文献。 1.2 网络信息膨胀及其带来的 负面影响 1.2.1 网络信息膨胀的含义及表现 1.2.2 信息膨胀带来的负面影响 1.2.1 网络信息膨胀的含义及表现 1. 信息膨胀和网络信息膨胀的含义 n信息量与信息价值存在着正比关系，即信息越多，从中 获得的价值越大。信息量与信息价值的正比关系存在着 一个临界点，到达临界点之后，信息量越大，总体价值 却反而开始降低，这就是信息膨胀。信息膨胀问题已经 成为我们生活中难以避免的一个问题。 n网络信息膨胀是指网络信息随着现代信息技术的发展急 剧增加，过量的“垃圾”信息充斥网络站点，网络信息的 检索成本不断上升，网络信息自身的价值随着网络信息 量的增加而贬值，二者呈现出反比关系。 2. 网络信息膨胀的表现 1） 信息失实 2） 信息冗余 3） 信息超载 4） 信息过时 5） 淫秽信息 6） 电脑病毒 1.2.2 信息膨胀带来的负面影响 1. 查询时间延长 2. 经济损失严重 3. 查询结果不理想 1.3 信息膨胀问题产生的原因分析 1.3.1 信息本身在急剧膨胀 1.3.2 网络信息的传播方式导致信息膨胀 1.3.3 网络信息的发布方式导致信息膨胀 1.3.4 法律规范的滞后导致信息膨胀 1.3.1 信息本身在急剧膨胀 n世界各地的信息通过各种渠道快速的相互传播，全球的 各类信息量都在成数十倍数百倍甚至更多的数量增长。 在这一过程中，大量冗余的、无价值的信息混杂在各类 信息当中。在全球信息系统中，信息垃圾比例不低于 50%，有的学科领域甚至占到80%！同时，由于科学技 术飞速发展，知识更新速度不断加快，知识老化现象明 显。此外，虚假信息传播者有意识地传递的虚假错误信 息，误导、诱骗消费者；甚至还有一些无从证实的传闻 、流言、诽谤等恶意传递的污垢信息；所有这些都充斥 在信息社会中，成为人们信息处理的负担。 1.3.2 网络信息的传播方式 导致信息膨胀 n传播速度快、范围广，是网络传播的最大特点，也是其 最大的优势，然而，又反过来造成了信息的膨胀和过剩 。信息作为一种产品，其最大特点是复制成本极低。并 且在绝大多数情况下，信息产品具有非排他性，具有一 定的公共产品的特征。另一方面，影响信息产品扩散的 还有信息的传播成本，互联网的出现使信息的传播成本 也得到了大幅度的降低。 网络外部性（network externalities） n网络外部性是指一件产品由于其他相同产品的使用而获 得额外的价值。在互联网领域里，网络的外部性表现的 十分明显，特别是在一些侧重与交流的虚拟社区类的网 站中：网站每“销售”出一件信息产品，它就同时获得了 在未来“销售”更多产品的可能。通过对网络外部性的内 部化，使互联网有可能表现出边际收益递增的特征。并 且网站的交互性越强，这种边际收益递增就越明显。边 际收益递增的信息生产也导致了互联网信息产品的生产 过剩。信息过剩不仅仅是过剩，与之相伴随的还有信息 的质量问题，信息的信用问题等等。这些对于互联网的 发展都带来了不利的影响，又反过来对信息使用者带来 不便。 1.3.3 网络信息的发布方式 导致信息膨胀 n互联网可以使人人都成为出版人。一方面是在互联网上 发表一篇文章，由于占用的磁盘空间少，使发布信息的 成本很低，这使得任何人都可以在网上发表自己的作品 或资料，而不会有什么发布上和经济上的困难，这种信 息发布的便利性使得网络信息的数量迅速增加。另一方 面，在互联网上发表任何文章不需要经过任何人或部门 的审查和批准。由于这两方面的原因，各种任意夸大、 缩小、捏造、剪辑、畸弯、拼凑、克隆得到的信息，低 水平重复、老化失效、无限泛滥和内容不健康的无效信 息都可以不受限制的在互联网上发布，这就使得网络信 息的真实性和可靠性无法得到保障。 1.3.4 法律规范的滞后导致信息膨胀 n法制规范的滞后，使得各类网站的建设无法可依，信息 发布处于无序状态，重复信息、无用信息充斥网络，造 成大量信息失实、冗余、超载，信息膨胀问题严重。 n一个健全的网络法律体系应该包括通信与信息服务，电 子商务和知识产权等各方面。在涉及的信息内容方面， 应包括信息采集、处理，互联网信息、电子出版新闻等 ；在网络信息安全方面，包括信息网络安全、信息网络 保密、电子签名与认证等; 既要制订管理性的法律法规， 又要制订促进信息技术发展的法律法规。 1.4 解决信息膨胀问题的基本思路 1.4.1加强网络信息检索新技术的开发 1.4.2网络信息检索机制及应用的研究 1.4.3 本书网络信息检索的解决办法 1.4.4预期达到的效果 1.4.1加强网络信息检索新技术的开发 1. 发展自然语言处理技术 n自然语言，是指作者的书面用语，采用自然语言。可以 减少概念间转换产主的误差，检索入口词多，操作简单 、方便、灵活，也适合专业人员之外的广大用户群。 n对自然语言进行适当控制的方法有事先控制法和事后控 制法。 n由于各种数据库采用的检索语言不同，试图用一种检索 语言统一各种数据库的不同分类体系及叙词法是不现实 的。采用中介语言来实现多种语言的兼容是一种新的尝 试。 n通过标准化手段实现各种检索语言的兼容也是一种尝试 。标准化是检索语言兼容的最高层次。 2. 大力发展智能化检索技术 u智能化是网络信息检索工具的发展方向。实现检索手段 智能化的技术主要包括： u蜘蛛（spiders）软件的智能化。它可以对网页上文献的 相关性及其所含链接的质量作出判断，筛掉不相关的网 页。 u智能搜索引擎技术（如ask jeeves）。其功能是：先通过 模拟传统检索过程的咨询协商，索取有关检索数据，再 到大型知识库中进行检索。 u智能搜索引擎还具有推理能力、调整用户检索策略、提 高检索效率和提供用户定制服务等功能。 3. 建立以用户为核心的技术服务模式 u对现代信息技术的深层次开发，创建和支持以用户为核 心的技术服务模式，是网络检索服务研究的重要内容。 u“推”技术，是指根据网上用户个人需求的特征，运用“筛 选”、“过滤”机制。将信息不断、主动地提供给用户的一 系列软件技术的总称。 u网络信息的查询是一个设计、发现、归纳、总结的过程 。信息的获取，除了必要的技术条件外，还必需有相应 的检索方法与之配合。 u开展网络环境下的信息检索方法研究就成了一项非常的 重要的工作。这项工作做好了，我们就可以建立一套从 实际需要的角度出发，以一定的查询目的为起点，通过 多种检索途径获取所需资料的方法，更快、更多、更准 确地在网络上获取信息，尽可能的减少或避免信息膨胀 所带累的负面影响。 1.4.2网络信息检索机制及应用的研究 u针对www网站资源的组织过程与方式，理论界提出了 检索机制的三个组成部分，即采集标引机制、数据组织 机制和用户检索机制。其中，以robots为核心的网络信 息资源自动采集，旨在以hurl、http为基础，集中不 同类型的信息产品，使全球范围内的各种信息资源能实 时及时地进入信息系统。 u自动采集机制提供的网页样本，为网络检索工具的量化 标引、量化评价提供理论根据。数据组织机制以数据采 集为依据，直接对网上索引数据库系统的动态维护与管 理产生影响。用户检索机制涉及用户界面友好、检索策 略的合理程度、检索执行以及检索结果的相关性处理等 。 u目前，用户可以直接使用的网络检索方法已有很多种类 。现有的检索方法按照信息内容组织方式可以划分为分 类范畴搜索引擎和词语搜索引擎两大类。按照专业范畴 可以划分为通用性和专业性查询引擎两类。按照检索功 能划分为常规（或单一）查询引擎与多元查询引擎。此 外，从功能角度可划分为目录式、