数字信息检索的基本原理

第2章信息检索基本原理

黄波2009年9月四川．成都第1页，共55页。检索可分为文献检索（documentsretrieval）和信息检索（informationretrieval）。文献检索是指查找或提供用户所需要的各类型相关的印刷型资料、缩微资料、声像资料和数据库文献的过程；信息检索则是指查找所需事实、数据、图象、理论等未知知识的过程，或者说，通过分析、综合等信息加工后，获取隐含在文献中的知识的过程。第2页，共55页。2.1信息检索的基本概念2.2数字信息检索工具

2.3计算机信息检索技术2.4信息检索的基本步骤第3页，共55页。2.1信息检索概述2.1.1信息检索的含义与实质2.1.2信息检索的类型和特点第4页，共55页。2.1.1信息检索的含义与实质信息检索是指从任何方式组成的信息集合中，查找特定用户在特定时间和条件下所需信息的方法与过程。因此，完整的信息检索应包括以下两个方面：１.信息的标引和存储过程２.信息的检索过程

第5页，共55页。2.1.1信息检索的含义与实质广义地讲，信息检索包含信息储存和信息查找两个过程。狭义地讲，信息检索仅仅指信息查找的过程，即解决特定的信息需求和满足信息用户的需要。信息检索是指从一定结构的信息储存集合中，查找出用户所需的特定信息的方法与过程。第6页，共55页。2.1.1信息检索的含义与实质其实质将描述特定用户所需信息的提问特征，与信息存储的检索标识进行异同的比较，从中找出与提问特征一致或基本一致的信息。第7页，共55页。文献检索一般查找方法文献之间的引证和被引证关系揭示了文献之间存在的某种内在联系，引文法（也有称为跟踪法）就是利用文献后所附的参考文献、相关书目、推荐文章和引文注释查找相关文献的方法。这些材料指明了与用户需求最密切的文献线索，往往包含了相似的观点、思路、方法，具有启发意义。循着这些线索去查找，不仅利用了前人的劳动成果，省却了很多时间和精力，而且可能在原来的基础上有新的发现。第8页，共55页。文献检索一般查找方法越查越新：这种查法主要依靠专门的引文索引，如《科学引文索引》(ScienceCitationIndex)、《社会科学引文索引》(SocialSciencesCitationIndex)。越查越旧：追溯历史。第9页，共55页。文献检索一般查找方法常规法可分为顺查法、逆查法和抽查法。顺查法是以课题研究的起始年代为出发点，利用选定的检索工具如书目、索引、文摘由远及近地逐年查找；逆查法则相反，是由近及远地查找，起点是从最近发表的文献开始，直到设定终止的年代或查到所需资料为止。查全率比引文法高。两种方法适用于研究范围广、研究历史较悠久、课题较大的咨询。也可用于解答那些无法准确确定答案在什么时间范围内的咨询。第10页，共55页。文献检索一般查找方法抽查法是基于这样一个规律来查文献的，即任何一门学科的专题研究兴旺时期发表的文献量大，各种学术观点较为集中，如果针对课题研究处于兴旺时期的若干年查找，则付出较少的时间可获得较为满意的检索结果。交替法就是把引文法和常规法结合起来查找文献的方法：即先利用常规检索工具找出一批有用文献，然后利用这些文献所附的引文进行追溯查找，由此获得更多文献。第11页，共55页。检索步骤：分析问题→选择检索工具→从检索工具中查找所需信息→获取原文(查找原文数据库除外)。分析问题的步骤是：问题的分类→分析“已知”和“欲知”信息→分析需求的主题内容→确定文献类型和时间范围；第12页，共55页。2.1.2信息检索的类型和特点提问特征是指从欲检索课题中选择出能代表信息需求的概面以及涉及到的主题词或关键词等。结论:利用信息的检索系统,查找特指相关信息的过程。第13页，共55页。2.1.2信息检索的类型和特点一般说，所有文献的特征可分两大类：外表特征(题名、著者、序号等)；内容特征(分类、主题、关键词)。所以文献检索的入口途径也分成两个方面。第14页，共55页。一些基本概念字段：字段是文献著录的基本单元，反映文献外部特征和内容特征的每一个项目，如题名字段、著者字段、刊名字段、文摘字段、主题词字段、关键词字段等。第15页，共55页。一些基本概念元数据：是一种在电子资源中使用的著录数据。与传统文献中的著录款目性质相同，不同之处在于传统文献的著录是相对完整的、静止的信息内容进行处理。元数据著录的对象，不仅包括图书、期刊、磁带、录像带、缩微品、论文、科技报告，还包括各种形式的网络信息资源等。著录的数据既书目信息、文摘、索引、综述等，也包括文档名、URL等信息源数据。第16页，共55页。一些基本概念记录：是对某一实体属性进行描述的信息单元。每个信息单元由诸如著者、标题、出版日期等若干个数据元组成。在书目数据库中，被描述的实体是某一特定的文献，这类记录通常被称作文献记录。第17页，共55页。数字信息检索类型文献信息检索数据信息检索事实信息检索。第18页，共55页。数字信息检索类型（1）文献信息检索文献信息检索（DocumentInformationRetrieval）是将存储于数据库中关于某一主题文献的线索查找出来的检索。它通常通过目录、索引、文摘等二次文献信息为工具，以原始文献的出处为检索目的，可以向用户提供有关原文献的信息。文献信息检索是利用检索工具查出相关文献的过程。检索系统不直接解答用户提出的问题，而是提供与之相关的文献名称及出处，供用户筛选使用。例：查找2007年关于“文献信息检索”的所有专著。第19页，共55页。数字信息检索类型（2）数据信息检索数据信息检索（DataInformationRetrieval）是将经过选择、整理、鉴定的数值数据存入数据库中，根据需要查出可回答某一问题的数据的检索。数据信息检索的对象是数值性数据，即具有数量性质并以数值形式表示的量化信息。这些数值型数据各种各样，包括物理性能数据、化学物质数据、环境监测数据、各种统计数据、自然资源数据、经济和社会数据等。数据检索不仅能查出数据，而且能提供一定的运算、推导能力。用户可通过使用经过选择、整理、鉴定的数值数据库检索获得一些量化信息，从而为定量分析提供依据。例：2007年我国的国民生产总值是多少？第20页，共55页。数字信息检索类型（3）事实信息检索事实信息检索(FactInformationRetrieval)是将存储于数据库中的关于某一事件发生的时间、地点、经过等信息查找出来的检索。它既包含数值数据的检索、运算、推导，也包括事实、概念等的检索、比较、逻辑判断。事实信息检索的对象是已经存在的各种事实的有关资料，它是数值信息和系统数据信息的混合。一般先从系统中检索出所需信息后，再加以逻辑推理才能给出结论。例如MIS数据库中包含大量公司管理中有关人员、工资、销售统计预测、产品规模等信息，这类信息主要是用于管理决策的。事实信息检索比数值数据信息检索复杂。例：美国《化学文摘》的概况第21页，共55页。数字信息检索基本原理数字信息检索基本原理，是将用户的检索提问词与数据库文献记录中的标引词进行比对，当提问词与标引词匹配一致时，即为命中，检索成功。由此可见，能否准确地检索出用户所需的信息，关键在于能否准确地选择检索词。这里所谓的“准确”，是指用户所选用的检索词必须与数据库中标引文献记录所用的标引词相一致。检索语言就是为沟通文献标引与文献检索而编制的人工语言，也是连接信息存储和检索两个过程中标引人员与检索人员双方思路的渠道，是用于文献标引和检索提问的约定语言。第22页，共55页。检索语言在标引和检索过程中的作用见下图：第23页，共55页。数字信息检索基本原理分类检索语言：用分类号来表达各种概念，以学科体系为基础，将各种概念按学科性质进行分类和系统排列。《中图法》第24页，共55页。数字信息检索基本原理《中国图书馆分类法》：分五大部22大类。

A马克思主义、列宁主义、毛泽东思想、邓小平理论

B哲学、宗教

C社会科学总论

D-K社会科学各学科

N自然科学总论

O-X自然科学各学科

Z综合性图书第25页，共55页。数字信息检索基本原理主题语言所使用的语词统称为主题词，主题词来自自然语言，多半经过规范化处理，形成主题词表，作为标引与检索的依据。关键词语言是直接选用文献中的自然语言作基本词汇，并将那些能够揭示文献题名或主要意旨的关键性自然语词作为关键词进行标引的一种检索语言。所谓关键词是指那些出现在文献的标题（篇名、章节名）以至摘要、正文中，对表征文献主题内容具有实质意义的语词，亦即对揭示和描述文献主题内容来说是重要的、带关键性的（可作为检索“入口”的）那些词语。第26页，共55页。2.1.2信息检索的类型和特点１.书目信息检索２.全文信息检索３.数据信息检索４.事实信息检索

5.

小结第27页，共55页。书目信息检索以标题、作者、原文来源、摘要及收藏地点为检索对象，是一种相关性检索。特点：检索结果不直接解答课题用户提出的技术问题，只提供与之相关的线索。一般以目录、索引、文摘数据库为检索工具。

例如：查找有关“聚苯硫醚的合成与应用”方面的国内外信息有那些？

检索工具：

中文科技期刊数据库、万方数据资源系统、EI、CAonCD等。

第28页，共55页。全文信息检索以论文或专利说明书的全文为检索对象，也属相关性检索的范畴。特点：是在书目信息检索基础上更深层次的内容检索。例如：检索由王华东等撰写，发表在《高分子材料科学与工程》2003年第3期“高性能结构材料聚苯硫醚砜”一文检索工具：中文科技期刊数据库等第29页，共55页。数据信息检索以具有数量性质并以数值形式表示的数据为检索对象，是一种确定性检索。检索的结果是经过测试和评价过的各种数据，可用于比较分析和定量分析。它一般以数据大全、手册、年鉴等为检索工具。例如：2003年申请中国发明专利和获得授权发明专利最多的国家有哪些？检索工具：中国统计年鉴第30页，共55页。事实信息检索

以事项为检索对象，检索结果是有关某一事物的具体答案，也是一种确定性检索。一般利用字词典、年鉴、百科全书、手册等为检索工具。第31页，共55页。示例：

问题：世界上是谁在什么年代、用什么方法首先合成了聚苯硫醚？

检索工具：工程塑料手册（材料卷）第32页，共55页。小结：书目信息和全文信息检索是利用各种目录、题录、文摘和全文数据库获取有关信息的线索或全文。第33页，共55页。将向同学们推荐实现书目和全文信息检索数据库有：国内数据库中文期刊数据库:中国期刊全文数据库万方数据库:中国专利数据库：中国国家知识产权局专利数据库：第34页，共55页。国外数据库Eivillage2ISIWebofScienceCambridgeScientificAbstractsProQuestDigitalDissertationsElsevierScience美国专利文献数据库:加拿大专利数据库:欧洲专利数据库:日本专利数据库:第35页，共55页。数据和事实检索是利用各种参考工具书获取有关的确定性数据或事实信息。例如：各种百科全书、年鉴、手册等。第36页，共55页。2.2信息检索方法

2.2.1信息需求分析

2.2.2制定检索策略

2.2.3实施检索策略第37页，共55页。2.2.1信息需求分析信息需求是人们在客观或主观上就课题所需信息的要求，是人们检索信息的基本出发点，也是评价检索效果的依据。它主要包括两个方面：1.明确检索的目的和要求

2.对主题进行分析第38页，共55页。示例课题名称：难降解制药废水处理

一、检索目的和要求：目的：科技立项要求：国内有无

1.难降解制药废水处理的研究报道;2.已采用的技术有哪些?第39页，共55页。二、主题分析第一概面：制药第二概面：废水处理—生物法、电化学法、化学氧化、溶剂萃取、光催化等第三概面：难降解—卤代烃类、酚类、醇类、芳香族等

第40页，共55页。示例高性能聚芳硫醚（PAS）树脂的合成本课题涉及的提问特征有两个主要的概面第一概面聚芳硫醚涉及的主题词或关键词有：1.聚芳硫醚2.聚苯硫醚3.聚芳硫醚砜4.聚苯硫醚砜5.聚芳硫醚酮6.聚苯硫醚酮7.聚芳硫醚酰胺8.聚苯硫醚酰胺等第二概面合成涉及的主题词或关键词有：9.合成10.制备11.生产等第41页，共55页。２.3信息检索技术及其应用信息检索技术是指利用现代信息检索系统，如联机数据库、光盘数据库和网络数据库检索有关信息而采用的相关技术，常用的有布尔、词位、截词和限制技术。第42页，共55页。2.3.1布尔检索常用的有：（1）逻辑与（2）逻辑或（3）逻辑非第43页，共55页。逻辑与1.含义：是一种具有概念交叉或概念限定关系的组配。2.算符：“*”或“AND”或“并且”等。3.特点：增强专指度，提高查准率。4.举例：聚甲醛AND增韧，表示两个概念应同时包含在一条记录中。第44页，共55页。逻辑或1.含义：是一种具有概念相同、概念相关或概念并列关系的组配。2.算符：“

+”

或“

OR”或“或者”等。3.特点：扩大检索范围，提高查全率。4.举例：废水OR污水，表示这两个相关概念分别在一条记录中出现或同时在一条记录中出现。第45页，共55页。逻辑非1.含义：是一种具有概念排除关系的组配。2.算符：“

-”

或“

NOT”或“不包含”等。3.特点：提高查准率，影响查全率。4.举例：制药废水NOT放射废水，表示检索出的记录中要排除含有“放射废水”的记录。第46页，共55页。2.3.2词位检索1.含义：具有限定检索词词间位置关系的组配功能，可弥补布尔逻辑组配只是定性规定检索词的范围，2.算符：(W)与(nW)用于Dialog联机和光盘系统，相邻两词词序不能颠倒;

SAME用于ISIWebofScience

系统中，相邻两词在同一句子中，词序任意。3.特点：达到提高检准率的效果。4.举例:gas(w)chromatograph；airSAMEpollution第47页，共55页。2.3.3截词检索1.含义:是指在检索词的合适位置进行截断，然后使用截词符进行处理，可节省输入的字符，又可达到较高的查全率。较常用的是后截词和中截词。按所截断的字符数分，有无限截词和有限截词两种。2.算符:？、*、$等。3.特点:预防漏检提高查全率4.举例:building??、building?、building*、building$第48页，共55页。限制检索1.含义：使用截词检索，仅简化了布尔检索中的逻辑或功能，并没有改善布尔检索的性质。使用词位检索，只能限制检索词之间的相对位置，不能完全确定检索词在数据库中出现的字段位置，需要使用限制检索缩小查找的范围。常用的限制检索有：字段、文献类型、语种以及年代等限制。2.字段限制常用的符号符号:标题（TI）、文摘（AB）、作者（AU）、刊名（JN）等。3.特点:限制查找的范围，满足课题对查全、查准的要求。第49页，共55页。信息检索方法及技术应用实例检索课题：高层建筑结构优化设计1.信息需求分析（1）明确检索目的与要求

1）检索目的：硕士学位论文开题查新

2)检索要求：国内外关于高层建筑结构优化设计方面的相关信息

3)确定检索类型：属书目及全文信息检索（2）主题分析第一概面：高层建筑第二概面

：

结构设计第三概面

：优化设计第50页，共55页。2.制定检索策略

(1)选择检索词根据主题分析确定的主题范围，选择检索词如下：

高层建筑tallbuilding*

高层建筑highrisebuilding*高层建筑highrisebuilding*

结构设计structuraldesign

优化设计optimization第51页，共55页。2.编写检索提问式检索式1高层建筑and结构设计检索式2高层建筑and结构设计and优化检索式3(tallbuilding*orhighrisebuilding*orhighrisebuilding*)andstructuraldesign检索式4building*and(tallor