信息管理.ppt

1、第4章 信息存储与检索,4.1 信息存储概述 4.1.1 信息存储方法 4.1.2 信息存储体系 4.2 语义信息编码 4.3 语义网 4.4 信息检索与搜索引擎 4.4.1 信息检索概述 4.4.2 搜索引擎概述,学习目标,（1）理解信息存储的基本概念和作用； （2）了解信息组织、存储与检索的关系； （3）掌握信息存储的主要途径及计算机信息存储体系； （4）理解语义编码的含义； （5）理解语义网的含义、作用、基本结构及其 关键技术； （6）掌握搜索引擎的含义。,信息存储是指通过多种形式记录和排序信息的过程。 4.1.1 信息存储技术 1. 信息的印刷存储 造纸和印刷术的发明，对信息的存储与交

2、流带来了深刻的影响。 纸质文献对信息的揭示和组织的四个基本要素：信息内容、载体材料、记录符号和记录方式。 按照文献编纂方法和出版特点划分，可将纸质文献分为图书、期刊、报纸、会议文献、科技报告、标准文献、专利文献、学位论文、产品说明书等。,4.1 信息存储概述,4.1.1 信息存储技术 2. 信息的磁存储 在现代信息存储技术中，磁存储是信息存储的主 要手段。磁存储信息系统，尤其是硬磁盘存储系统， 是当今各类计算机系统的最主要存储设备。 （1）磁存储的特点： 长久保存、重复使用和重新记录； 多路存储； 存储频带宽广。,4.1 信息存储概述,4.1.1 信息存储技术 （2）几种主要磁存储介质 计算机

3、磁带 硬盘 软盘 移动存储磁盘,4.1 信息存储概述,IBM System Storage TS3100 磁带库,软盘,移动硬盘（U盘、MP3）,台式机硬盘,4.1.1 信息存储技术 3. 信息的缩微存储 信息的缩微存储是用缩微摄影机将文件资料缩小拍摄在感光胶片上，经加工处理后作为信息载体保存起来。,4.1 信息存储概述,缩微胶片阅读器,缩微胶片,缩微胶片扫描仪,4.1.1 信息存储技术 缩微存储技术的特点： （1）缩微品的信息存储容量大，密度高； （2）存储介质占用空间小，可节省大量空间； （3）缩微品忠于原件，不易出差错； （4）保存时间长； （5）便于计算机检索。 主要成就 （1）计算机

4、输出缩微胶片(COM) 技术 （2）计算机输入缩微胶片(CIM) 技术 （3）计算机辅助缩微品检索系统 （4）视频缩微系统,4.1 信息存储概述,4.1.1 信息存储技术 4. 信息的光存储 光存储以激光为光源，以薄膜作为信息存储材料。 特点： (1)数据存储密度高、容量大、盘片可更换、携带方便 (2)存储寿命长、功能多样化 (3)生产成本低廉、数据复制工艺简单、效率高。,4.1 信息存储概述,4.1.2 信息存储体系 计算机信息存储体系是利用计算机对一定范围内的信息集合进行选择、记录和存储，以便用户采用科学手段与技术获取必要和充分信息资源的信息系统。 从整体上看，计算机信息存储系统包括硬件、

5、软件和数据库。 1. 硬件设备 这是计算机信息存储体系用于处理数据的各种硬设备的总称。包括外部设备 、中央处理机、主存储器和外部存储器等。,4.1 信息存储概述,4.1.2 信息存储体系 2. 软件设备 软件设备是计算机信息存储体系中各类程序和各种文件数据的总称，分为系统软件和应用软件。 系统软件是关于组织控制计算机硬件资源协调工作的操作程序。 应用软件通常包括自动标引软件、词表管理软件、各种匹配程序及数据库管理程序等。 数据库管理程序是计算机信息存储体系最基本、最重要的组成部分。,4.1 信息存储概述,4.1.2 信息存储体系 3. 数据库 数据库是计算机信息存储体系的基础，也是用户进行计算

6、机信息存储与检索的对象。 数据库的类型： 从数据的存储方式划分，可以分为层次数据库、网状数据库 和关系数据库。 从数据存储的介质划分，可以分为磁带数据库、磁盘数据库 和光盘数据库。 从数据类型划分，有文献数据库、数据型数据库、事实型数 据库、多媒体数据库和超媒体数据库。,4.1 信息存储概述,4.1.2 信息存储体系 4. 数据仓库 数据仓库（DW）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策，容量一般大于100GB。 （1）数据仓库的特征： 面向主题 集成的 相对稳定 反映历史变化,4.1 信息存储概述,4.1.2 信息存储体系 4. 数据仓库 （2）数据仓

7、库系统体系结构(四个层次) ： 数据源（基础和源泉） 数据的存储与管理（核心） OLAP（在线分析技术）服务器（分析） 前端工具（应用开发）,4.1 信息存储概述,语义编码就是用一组数字或字符描述客观实体或实体 的属性。 1. 语义编码的原则 （1）惟一性原则 将原来不能区分的实体惟一地加以标识。 （2）规范性原则 在遵循惟一性的前提下必须强调编码的规范化。 （3）标准化原则 对信息进行编码应尽量标准化。 2. 语义编码方法 （1）顺序编码：（如01-教授、02-副教授、03-讲师） （2）分段编码： 将数据项分成若干组，每段代表一个组 （3）助记编码：（如电冰箱型号BCD-180W）,4.2

8、 语义信息编码,3. 语义编码的校验 为了保证信息在交流过程中的正确，在编码时往往引入校验位，使其对码值进行校验。 （1）错误种类 误记：如把1记成7； 易位：如把1436变成1346； 双易：如把34567变成36547； 随机：包括上述两种或三种错误或其他错误。 （2）校验方法：模11校验位的确定方法,4.2 语义信息编码,3. 语义编码的校验 （2）校验方法 算术级数法 设原代码为 ，其中 ，各码字 对应的权值分别为 ，则原代码的加权和为： 以11为模去除S,所得余数就是校验码，即校验码为：,4.2 语义信息编码,3. 语义编码的校验 （2）校验方法 几何级数法 设原代码为 ，其中 ，各

9、码字 对应的权值分别为 ，则原代码的加权和为： 以11为模去除S,所得余数就是校验码，即校验码为：,4.2 语义信息编码,3. 语义编码的校验 （2）校验方法 质数法 设原代码为 ，其中 ，各码字 对应的权值为一质数序列 ，则原代码的加权 和为： 以11为模去除S,所得余数就是校验码，即校验码为：,4.2 语义信息编码,1语义网产生的背景及含义 语义网是互联网研究者对下一代互联网的称谓，通 过扩展现有互联网，在信息中加入表示其含义的内容，使计算机可以自动与人协同工作。 语义网中的各种资源不再只是各种相连的信息，还 包括其信息的真正含义，从而提高计算机处理信息 的自动化和智能化。 语义网的建立需

10、要研究者们对信息进行有效的表示，制定统一的标准，使计算机可以对信息进行有效的自动处理。,4.3 语义网,什么是语义网？,semantic（语义的）这个词指有意思的或与之相关的。 语义网是一种使用可以被计算机理解的方式描述事物的网络。 甲壳虫乐队是来自利物浦的著名乐队。 约翰.列农是甲壳虫乐队的成员之一。 唱片 Hey Jude 是由甲壳虫乐队录制的。 如何能够被计算机理解呢？ 陈述是由语法规则构建的。一门语言的语法定义了构建该语言的陈述所需的规则。这就是语义网的本质所在 - 以计算机应用程序可以理解的方式描述事物。语义网和网页之间的链接没有关系。 语义网描述的是事物之间的关系（比方说 A 是

11、B 的一部分，而 Y 是 Z 的成员）以及事物的属性（例如尺寸、重量、使用期限和价格等等）。,资源描述框架,RDF(资源描述框架，Resource Description Framework)是一种用于描述网络上的信息和资 源的的标记语言。 将信息至于 RDF 文件之中，这样的话，这些信息就有可能被计算机程序（web spiders）从网络中搜索、发现、摄取、筛选、分析和处理。 语义网使用 RDF 来描述网络资源。,如何使用语义网？,假如有关音乐、汽车、入场券（或者任何别的东西）的信息被存储于 RDF 文件，智能网络应用程序就会将信息从不同的源中进行摄取，并将其整合，然后以一个有意义的方式将信

12、息提交给用户们。 类似如下内容的信息： 不同经销商的汽车价格 药品信息 航班时刻表 工业备件 书籍信息（价格、页数、编辑、年份） 某人是谁 事件的日期 软件更新,2语义网的体系结构 蒂姆伯纳斯李提出的语义网模型，从下到上分为七 层：Unicode与URI，XML，RDF(S)，本体层，逻辑层， 证明层和信任层，见图4.3。,4.3 语义网,图4.3 语义网的体系结构,第一层：结构的基础,第二层：语法的基础,第三层：描述信息和类型,第四层：语义级的交换,第五层：智能服务基础,第六层：认证,第七层：信任,3. 语义网的关键技术 (1) RDF与RDFS（RDF Schema） RDF提供了资源的通

13、用描述方式。 (2) 本体模型（Ontology） Ontology的含义 概念化：客观世界的抽象模型； 明确：概念及它们之间的联系都被精确定义； 形式化：精确的数学描述； 共享：本体中反映的知识是其使用者共同认可的。,4.3 语义网, Ontology与传统数据库的区别 （1）语言更加丰富； （2）半结构化的自然语言文本； （3）必须公用的术语； （4）提供特定领域的知识模型。 Ontology描述语言 KIF（知识交换格式）、Ontolingua、Loom、 OCML、FLogic等描述语言。,4.3 语义网,(3) XML 一个XML文本包含了一套可嵌套的开关标记，每一个标记可以有许多属

14、性值对。 XML的基本数据模型是一棵标签树，每一个标记对应数据模型中的一个节点，每一个嵌套的子标记是树中的一个孩子。 XML主要用于定义一种语法，只要可以定义它的语法，用XML可以编写任何东西。,4.3 语义网,语义网实例,购买和出售二手车 假设某个语义网系统用于通过因特网管理二手车的销售和购买。 该系统可能包括两个主要的应用程序： 一个针对希望购买汽车的人群一个针对希望出售汽车的人群 让我们把这两个应用程序称为 IBA (I Buy Application) 和 ISA (I Sell Application)。,IBA - I Buy Application 希望购买汽车的人群使用的 IB

15、A 应用程序类似这样：,ISA - I Sell Application,希望出售汽车的人群使用的 ISA 应用程序类似这样：,幕后,在幕后，这个 ISA 应用程序会创建一个带有许多 RDF 指针的 RDF 文件。 它会创建一个指向带有关于 person 信息的文件的指针，一个指向带有关于 Volvo 和 Volvo 型号信息的文件的指针，一个指向带有关于 Volvo 经销商和出售者信息的文件的指针，等等。 RDF 指针是一种指向有关某事物的信息的指针（实际上是 URL），类似知识数据库。 有关于此的优点在于不必对本人或汽车的型号进行描述。这个 RDF 应用程序会为您对信息进行整理。,4.4.

16、1 信息检索概述 1信息检索的概念 信息检索是指从以任何方式组成的信息集合中，查找特定用户在特定时间和条件下所需信息的过程。 实现过程 ： （1）信息标引和存储过程 组织检索系统的过程。 （2）信息的需求分析和检索过程 检索系统的应用过程。,4.4 信息检索与搜索引擎,2信息检索与信息存储的关系 信息检索是通过信息存取系统（即检索工具）来实现的。,4.4 信息检索与搜索引擎,图4.4 信息存储与信息检索关系图,信息检索根据检索的目的和对象不同，可以分为： （1）书目信息检索 从存储有标题项、作者项、出版项或文摘项的检索系统中获 取有关信息线索。 （2）全文信息检索 从存储整篇论文、专利说明书或

17、整本著作的检索系统中获取 全文信息 。 （3）数据信息检索 从存储有大量数据、图表的检索系统中获取数值性信息 。 （4）事实信息检索 从存储有大量事实信息和数据信息的检索系统中获取某一事 项的具体答案 。,4.4 信息检索与搜索引擎,3. 信息检索的效率和检索系统 （1）信息检索效率 信息检索效率是研究信息检索原理的核心，是评价 一个检索系统性能优劣的标准，它始终贯穿于信息 存储和检索的全过程。主要有以下衡量指标： 查全率(R)= 查准率(P)= 漏检率(O)= 误检率(N)=,w: 检索出的相关信息量 x: 信息库中存储的相关信息量 m: 检出信息总量,4.4 信息检索与搜索引擎,（2）信息

18、检索系统 构成： 信息数据库；存储、检索信息的装备；存储、检索信息的方法；系统工作人员；信息用户。 按使用的技术手段可分为： 手工检索系统、机械检索系统和计算机检索系统。 计算机检索系统，按使用的设备和采用的通讯手段，可分为联机检索系统、光盘检索系统和网络检索系统。,4.4 信息检索与搜索引擎,4信息检索语言 检索语言是信息检索系统存储和检索信息时共同使用的，以达到信息存储和检索的一致性，提高检索效率的一种约定性语言。 突出特点:具有必要的语义和语法规则；具有表达概念的惟一性；具有检索标识及提问特征进行比较和识别的方便性；既适用于手工检索系统又适用于计算机检索系统。 主要功能:沟通信息存储检索

19、的全过程，是信息标引存储人员与信息检索人员和用户之间进行交流的媒介。,4.4 信息检索与搜索引擎,5.信息检索技术,信息检索过程中，为了保证检索结果的快、全、准，仅靠一个检索词（关键词、主题词）难以满足检索的需要，有时需要用各种算符将若干个检索词（关键词、主题词）组成检索式进行检索。 主要有： 布尔逻辑符检索 位置算符检索 截词符检索 限制符检索,布尔逻辑检索,用布尔逻辑算符将检索词（关键词、主题词）、短语或代码进行逻辑组配，凡符合逻辑组配所规定条件的为命中文献，否则为非命中文献。它是信息检索中最常用的一种检索方法。 对于一个复杂的逻辑检索式，检索系统的处理是从左向右进行的。在有括号的情况下，

20、先执行括号内的运算；有多层括号时，先执行最内层括号中的运算，逐层向外进行。在没有括号的情况下，And、Or、Not的运算次序，在不同的系统中有不同的规定。,逻辑算符,逻辑算符主要有： 逻辑“与”(AND 或 *) 用于表达两个或两个以上检索词（关键词、主题词）之间的相交关系或限定关系运算。逻辑与检索能增强检索的专指性，使检索范围缩小。 逻辑“或”（OR或 + ） 用于表达两个或两个以上检索词（关键词、主题词）之间的并列关系。运算逻辑或检索扩大了检索范围，提高检索信息的查全率。此算符适于连接有同义关系或相关关系的词。 逻辑“非”（NOT或-） 用于表达两个或两个以上检索词（关键词、主题词）之间中

21、排除不需要的检索词（关键词、主题词）运算，可以缩小检索范围，增强检索的准确性。此运算适于排除那些含有某个指定检索词（关键词、主题词）的记录。但如果使用不当，将会排除有用文献，从而导致漏检。,截词检索,截词检索（Truncation、Wildcard Symbols）：利用检索词（关键词、主题词）的词干或不完整词形进行查找的过程为截词检索。它可以起到扩大检索范围，提高查全率，减少检索词（关键词、主题词）（关键词、主题词）的输入量，节省检索时间。尤其在英文检索系统中检索时，若遇到名词的单复数形式，词的不同拼写法，词的后缀变化时，均可采用此方法。,截词方式：,有限截词 有限后截词主要用于词的单、复数

22、，动词的词尾变化等。将“n”个截词符放在检索词（关键词、主题词）的词干或词尾可能变化的位置上。 中间截词 一般来说，中间截词仅允许有限截词，主要用于英、美拼写不同的词和单复数拼写不同的词。 例如：wom?n woman women 无限截词 截去某个词的尾部，是词的前方一致比较，也称前方一致检索。在检索词（关键词、主题词）干后加1个截词符 “？”或“*”。表示该词尾允许变化的字符数不受任何限制。例如：comput* 可检索出 computer、computing、computers、computering、computeriation 等词的记录。,限定检索,通过限制检索范围，达到优化检索结果

23、的方法。不能完全确定检索词（关键词、主题词）在数据库记录中出现的字段位置，特别在使用自由词进行全文检索时，需要用字段限制检索的范围。 常用的字段代码有标题（TI）、文摘（AB）、叙词（DE）、识别词或自由词（ID）、作者（AU）、语种（LA）、刊名（JN）、文献类型（DT）、年代（PY）等。这些限制符在不同的数据库系统有不同的表达形式和使用规则。,位置检索,即位置算符检索. 这种方法能够提高检索的准确性，当检索的检索词（关键词、主题词）要用词组表达，或者要求两个词在记录中位置相邻/相连时，可使用位置算符。 位置算符是在检索式中表示算符两边的检索词（关键词、主题词）之间位置关系的符号。 （nW）

24、算符：表示两个检索词（关键词、主题词）中间可以插入“n”个词，但他们之间的顺序不能颠倒，但允许有一空格或标点符号。 （nN）算符：表示两个检索词（关键词、主题词）中间可以插入“n”个词，且词序可以颠倒。 （F）算符：表示两个检索词（关键词、主题词）必须出现在同一个字段内，但两词的词序和中间插入的词数不限。 （S）算符：表示两个检索词（关键词、主题词）必须出现在同一个子字段内，但两词的词序和中间插入的词数不限。 在不同的数据库中，位置算符检索功能及算符不同，应参看数据库的使用说明。,4.4.2 搜索引擎概述 搜索引擎的含义 (1)搜索引擎是指对WWW站点资源和其他网络资源进行标引和检索的一类检索

25、系统机制。 (2)搜索引擎是Web中主动搜索信息并将其自动索引的Web网站，其索引内容储存在可供检索的大型数据库中，并建立索引和目录，以提供服务。 2. 搜索引擎的基本构成 狭义：信息检索。由关键词检索和分类浏览两部分 构成。 广义：一是对信息的采集、存储和组织。二是信息 检索。,4.4 信息检索与搜索引擎,3. 搜索引擎的工作原理及主要技术 一个搜索引擎由搜索器、索引器、检索器和用户接口四个部分组成。 搜索器的功能是在互联网中漫游、发现和收集信息。 索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档及生成文档库的索引表。 检索器的功能是根据用户的查询在索引库中快速检出文档，

26、进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。 用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。,4.4 信息检索与搜索引擎,4. 搜索引擎的使用方法 （1）模糊查找（2）精确查找（3）逻辑查找 5. 主要搜索引擎介绍（自学为主） （1）Google搜索引擎（2）百度搜索引擎,4.4 信息检索与搜索引擎,4.5 传统的信息检索工具,题录 文摘 目录 索引,题录,题录是著录信息的一种简单方式，一般将文献的题名（也称为标题、题目）、作者、来源出处等简单信息进行著录，无内容摘要。 题录习惯称为“论文索引”或“索引”。题录具有两重性：从其著录成

27、分的角度看，类似目录；而从著录对象的角度看，则可以说是期刊的索引。其特点是除对论文进行目录著录外，还指出论文的所在位置(出处)，一条题录类似图书目录中的一条分析款目。 用于检索的题录称为题录索引。,文摘,文摘又称摘要。对文献的主要内容所做的简略而确切的叙述，一般不加评论、补充或解释。通常以精练的语言把文献的重要内容、学术观点、数据及结构准确地摘录下来。在数据库中，有文摘的记录均包含题录内容。 论文中的文摘对应于数据库检索的文摘检索字段。 没有全文仅有文摘和题录信息的数据库一般称为文摘数据库。,目录,目录是著录一批相关文献并按照一定的次序编排而成的一种揭示与报导文献的工具。目录又称书目。它对文献

28、的描述比较简单，每一个条目的著录项有书（刊）名、卷（期）数、作者、出版年月、出版地及书（刊）收藏情况等。目录的种类很多，有国家书目、馆藏目录、联合目录等。 目录是检索信息的一种简单工具，主要包含信息的标题和信息的存储位置。,索引,索引是将书刊内容中所论及的篇名、语词、主题等项目，按照一定的排检方法加以编制，注明出处，供读者查检使用的检索工具。索引是对文献内容较深人的揭示。 索引与目录的根本区别就在于著录的对象不同，目录所著录的是一个完整的出版单位，如一种图书、一种期刊等，而索引所著录的除完整的出版物信息外，还可以是其某一部分、某一观点、某一知识单元，因此，索引能解决目录只对文献作整体的宏观著录

29、的不足，满足读者对文献内容单元的微观揭示和检索的要求，提高信息检索的深度和检索效率。,信息资源的开放获取,开放获取运动的概念按照 Open Access News 上的介绍可定义为： 把同行评审过的科学论文或学术文献放到互联网上。使用户可以免费获得，而不需考虑版权或注册的限制。 OA期刊 电子印本（EPINT） 开放获取仓储(OA仓储) 电子图书（EBOOK） 电子杂志,中文社会科学引文索引CSSCI,中文社会科学引文索引（Chinese Social Sciences Citation Index，缩写为“CSSCI”），是由南京大学中国社会科学研究评价中心开发研制的中文人文社会科学文献信息

30、查询系统，用于检索中文人文社会科学领域的论文收录和文献被引用情况。CSSCI遵循文献计量学规律，采取定量与定性相结合的方法从全国2700余种中文人文社会科学学术性期刊中精选出学术性强、编辑规范的期刊作为来源期刊。目前收录包括法学、管理学、经济学、历史学、政治学等在内的25大类的500多种学术期刊.现已开发CSSCI（1998年2009年）12年度数据，来源文献近100余万篇，引文文献600余万篇。,CSSCI可以检索到所有CSSCI来源刊的收录（来源文献）和被引情况。来源文献检索提供多个检索入口，包括：篇名、作者、作者所在地区机构、刊名、关键词、文献分类号、学科类别、学位类别、基金类别及项目、

31、期刊年代卷期等。被引文献的检索提供的检索入口包括：被引文献、作者、篇名、刊名、出版年代、被引文献细节等。其中，多个检索口可以按需进行优化检索：精确检索、模糊检索、逻辑检索、二次检索等。检索结果按不同检索途径进行发文信息或被引信息分析统计，并支持文本信息下载,CNKI中国学术期刊网络出版总库,特点： 根据学术文献检索的需求，提供了快速检索、标准检索、专业检索、作者发文检索、科研基金检索、句子检索、来源期刊检索七种面向不同需要的检索方式； 基于学术文献查全查准的核心需求，提供了“三步骤”的标准检索模式，即首先输入检索控制条件，再输入检索内容条件，最后对检索结果分组筛选，使检索过程规范、标准、高效； 根据学术期刊的特点，在平台首页和检索结果页都提供了“文献检索”与“期刊导航”两个通用菜单，方便用户检索； 通过知网节功能，提供以节点文献为中心的知识网络，可以看到所引用参考文献的记录、被引用情况及相关文献的记录。,检索方式：,快速检索：提供了类似搜索引擎的检索方式，用户只需要输入所要找的关键词，就可查到相关的文献。 标准检索：将检索过程规范为三个步骤：第一步：输入时间、支持基金、文献来源、作者等检索控制条件；第二步：输入篇名、主题、关键词等内容检索条件；第三步：对检索结果的分组排序，反复筛选修正检索式得到最终