第二章：信息检索基础.ppt

,第二章信息检索基础,2.1信息检索概述,2.1.1信息检索（InformationRetrieval)定义将信息按一定方式组织和存贮起来,并针对用户的需求找出所需要的信息的过程。,2,1,信息源,信息分析、著录、标引,信息的表示,检索语言,用户需求分析,用户,检索提问,匹配过程,输出检索结果,数据库,2.1.1信息检索原理信息检索基本原理的核心是用户信息需求与文献信息集合的比较和选择，信息检索实质上是两者匹配的过程。,2.1.2信息检索类型,事实信息检索,信息检索类型,2.1.2信息检索的类型数据检索：检索的结果是数据或数值。如某种材料的电阻；某变压器的参数；化学分子式、数据图表等。,事实检索：检索的结果是事实结论。查询某一事物（事件）的性质、定义、原理以及发生的时间、地点过程等。如某产品是哪个厂家生产，哪个牌子的最好；第一颗人造卫星是什么时候升空的。年鉴,文献检索：检索的结果是文献资料。查找相关文献的内容、出处、收藏单位等。如系统地查找数控机床相关方面的文献。论文文献检索是信息检索的核心部分。,从性质上说：文献检索是一种相关性检索，检索的结果是与课题相关的文献或文献线索，而不直接解答用户所提出的技术问题本身；事实检索与数据检索则是确定性检索，检索的结果是用户所需的确切的数据或事实。,2.1.3信息检索的发展简要历程手工检索阶段世界四大检索工具（SCIEIISTPISR),1665年学者周刊计算机联机检索阶段1965年ORBITDIALOG检索系统网络检索方式检索软件的开发信息检索的未来阶段：智能化、高效化、人性化,2.1.4信息检索的意义,知识有两种，一种是我们自己知道的某主题的知识，而另一种则是我们知道什么地方能够找到知识的知识。-赫伯特,信息检索与利用能力的培养，是培养和提高大学生创新能力的前提。,2.2信息检索途径检索途径就是检索文献的出发点及路线，也称“检索点”。信息检索与信息存储是互逆的过程，存储在检索工具和系统中的有些著录项或标引字段是可以提供检索的，这些著录或标引字段就是检索入口。信息检索途径一般包括文献信息的内容特征途径和外部特征途径。,根据信息外部特征和内容特征的不同标识，检索途径可作如下划分：,分类途径以学科性质和内容的相应类目、类号为特征标识的检索方法。分类途经检索与分类法是相对应的。目前，我国通用的分类法主要有三种：A中国图书馆图书分类法（简称中图法）B中国科学院图书馆图书分类法（简称科图法）C中国人民大学图书馆图书分类法（简称人大法）,中图法简介,中图法有22个大类，分类号采用字母与阿拉伯数字相结合的号码；其中字母代表大类，数字代表大类下的细分。,A马克思主义、列宁主义、毛泽东思想、N自然科学总论邓小平理论O数理科学和化学B哲学P天文学、地球科学C社会科学总论Q生物科学D政治、法律R医药、卫生E军事S农业科学F经济T工业技术G文化、科学、教育、体育U交通运输H语言、文字V航空、航天I文学X环境科学、劳动保护科学J艺术Z综合性图书K历史、地理,中图法分类实例,分解为：I文学I2中国文学I24小说I247当代作品（1949年）I247.5新体长篇、中篇小说,主题途径指用户根据所确定的主题词，利用主题词表和主题索引实施检索的途径。特点通过主题途径获取的信息专指性强，但查全率较低，对用户的检索知识要求很高。,查看徐静蕾在新浪的博客,主题途径实例,关键词途径指用表达信息主题内容起关键作用的词组或单词实施检索的途径。特点关键词是一种很灵活的词组或单词，它不需规范化词表，使用比较方便。,关键词途径实例,小新想学习英语，希望在网上找些与他同样需求的人一起学习、交流。,提取关键词：英语、论坛/QQ群/讨论组/博客圈,注意：各种检索途径都有自身的优点和缺点，综合利用多种检索途径，能够提高文献查全率，仅用一种途径去查找，难免产生漏检。,2.3检索语言,检索语言是用于描述信息系统中信息特征和表达用户信息提问的一种专门语言，是信息存储与检索共同遵循的规则。,主题语言,分类语言,标题词语言,关键词语言,叙词语言,检索语言,2.3.1检索词的提取,检索词提取原则选用各学科的专业术语，不能用通俗用语选用意义明确的词汇，不用一般的、通用性的词汇充分利用规范词（叙词或主题词）,提取检索词的方法,提取检索词的方法，通常有：切分删除补充,切分,切分到词对课题语句进行切分，即以词为单位划分句子，切分一定要彻底，必须到词为止，同时也要适度，不能因切分而改变语义。例：基于DSP芯片TMS320DM642开发的虹膜识别系统基于|DSP|芯片|TMS320DM642|开发|的|虹膜|识别|系统,删除,删除虚词删除过分宽泛和过分具体的限定词删除存在蕴涵关系的可合并词例：基于DSP芯片TMS320DM642开发的虹膜识别系统DSP|芯片|虹膜|识别|,补充,补充同义词或相关词补充原词或缩略语例：基于DSP芯片的虹膜识别系统补充DSP的全称：数字信号处理（digitalsignalprocessing）毫米波，补充MMW,补充,补充同一词的不同拼写例1：虹膜识别：irisrecognition或irisidentification例2：3维、3D补充同类词例：第四代飞机（第4代飞机）：补充典型型号，如F-22、F-35等等。,补充限定词一词多义是一个普遍现象，为避免一词多义而导致的误检，应增加限义词，其方法有两种：用逻辑与增加限定词；用逻辑非排除异义词。电子科技大学电子科技大学*成都电子科技大学电子科技大学（西安+杭州）,2.4计算机信息检索技术,计算机信息检索技术是用户信息需求和文献信息集合之间的匹配比较技术。由于信息检索表达式是用户需求与信息集合之间匹配的依据，所以信息检索技术的实质是信息检索表达式的构造技术。检索表达式是运用各种逻辑运算符号、位置逻辑算符、截词符、及其他限制符号等，把检索词连接组配起来，确定检索词之间的关系，准确表达检索课题的内容的算式。,2.4.1布尔逻辑检索,布尔逻辑检索是用布尔逻辑算符将检索词、短语或代码进行逻辑组配指定文献的命中条件和组配次序用以检索出符合逻辑组配所规定条件的记录。是计算机检索系统中最常用的一种检索方法。布尔逻辑组配是现行计算机检索的基本技术，主要通过“与(and,*)”、“或(or,+)”、“非(not,-)”将检索词联络起来。AND*&空格AandB逻辑与。A和B都为真时，结果才为真，即：A*B，逻辑含义用图表示是：,OR+|AorB逻辑或。A或B中只要有一个为真时，结果就为真，即：A+BNOT-!AnotB逻辑非。A为真、B为假时，结果才为真，即：A-B,布尔逻辑运算符的运算次序,括号优先与计算机编程中一样(AORB)ANDCNOTD不同的系统次序有差别，但总的来说一般次序为：NOTANDOR例A:查找有关信息检索的非英文文献信息information检索retrieval英文english(信息and检索)not英文(informationandretrieval)notenglish,分析实例：,上海零售业的现状与发展趋势上海零售业现状发展趋势上海and零售业and(现状or发展趋势),2.4.2截词检索,截词包括后截、中截、前截等。用？作为截词符(有些系统用*)，主要包括下列情形：截词符?中截一字符，后截断n个字符如wom?n可以检索出：woman,women如coumput?可以检索出Compute,Computer,Computing,computable,?后、中截二字符如：transplant?可以检索出：transplant、transplanted、transplanter?后、中截三字符如：comput?可以检索出：compute；computer；computing,%?*后方一致（前截断）:“%国庆”将检索出所有字段为张国庆、欧阳国庆、国庆等的记录。前方一致（后截断）:如：“热电材料%”将检索出热电材料梯度化、热电材料及其梯度化等的记录。,2.4.3词位置检索,位置算符(W)with，(nW)nwith表示检索算符两侧的词不可以颠倒顺序，n表示两个词中间可以插入=n个的词如：control(1w)system可以检索出“controlsystem”“controlinsystem”等的信息。,位置算符(N)near，(nN)nnear表示检索算符两侧的词可以颠倒顺序，n表示两个词中间可以插入=n个的词如：control(N)system可以检索出“controlsystem”“systemcontrol”等的信息。,字段算符(F)(F)-inthesamefield表示检索算符两侧的词必须同时出现在记录的同一字段内。如：air(F)pollution表示air与pollution必须在同一个字段中出现。,自然段算符(P)(P)-inthesameparagraph检索表达式为A(P)B，表示它关联的两个概念A、B必须同时在同一自然段中出现。,句子位置算符(S)(S)-inthesamesentence检索表达式为A(S)B，表示它关联的两个概念A、B必须同时在同一自然句中出现。,2.4.4字段检索,针对特定年代、特定类别、特定检索点等作限制，包括前缀限制符和后缀限制符。,后缀限制符例如：/TI限在题目中查/AB限在文摘中查/DE限在叙词标引中查,前缀限制符例如：AU=限查特定作者JN=限查特定刊名LA=限查特定语种PN=限查特定专利号PY=限查特定年代,如在谷歌和百度搜索引擎中的检索特定的文献类型:“报告filetype:pdf”检索指定网址内的信息:“报告site:”以后会看到一些数据库通常都有年代/类型等的选择,2.4.5其它检索的表述,二次检索/在结果内检索精确检索模糊检索跨库检索/一站式检索扩展检索(类似搜索引擎的概念检索)一般检索/高级检索/专家检索/命令检索还有什么检索?,小结,计算机信息检索技术是用户信息需求和文献信息集合之间的匹配比较技术。布尔逻辑检索、截词检索、邻近检索、短语检索、字段检索网络信息检索几乎所有的检索系统都有布尔逻辑检索、截词检索(模糊检索)和限制检索,而不同的检索系统又会有一些特殊的检索技术和功能。,2.5信息检索流程信息检索是从确立检索需求到用户最终找到所需信息的全过程。,信息检索流程,分析课题选择数据库选择检索方式制定检索策略评估检索结果，优化检索策略获取原文,一、分析研究课题,明确课题的主题概念课题涉及的学科范围（交叉学科的侧重面等）所需信息的文献类型、语种、年代范围等,二、选择检索工具,根据课题内容和数据库的范围和特色确定工具学科属性学科一致性权威性收录范围和特色检索方法和系统功能数据库的易获取性,三、确定检索策略,提取检索词利用检索算符组配检索词构造检索式检索式是检索策略的具体表达，由基于检索概念产生的检索词和各种检索算符构成，检索式的好坏决定着检索质量。,四、评估检索结果，优化检索策略,评估检索结果记录是否提供你对所研究的课题全面的认识和了解记录是否涵盖部分或某些部分的研究课题记录是否涵盖研究课题所包括的国家或地方的情况记录是否涵盖其它国家或地方的情况当检索结果显现太多和研究课题不相关的记录、显现太少和研究课题相关的记录或没有和课题相关记录时，必须重新思考并建立检索命题，对检索策略进行优化，进行缩检或扩检,分析相关性,四、优化检索策略,检索细化：缩小检索范围通过浏览结果选择更专指的词运用逻辑与、逻辑非、位置算符进行限定指定检索字段从年代、地理、语言及文献类型上限制,四、优化检索结果,检索扩展对已确定的检索词进行其同义词、相关词、缩写、全称检索利用规范词，进行上、下位词扩检使用截词符利用论文所引参考文献,五、信息检索效果评价,检索效果（retrievaleffectiveness）是指检索系统检索的有效程度，主要从质量、费用和时间三方面衡量。主要包括6个方面：收录范围、查全率、查准率、响应时间、用户负担及输出形式。其中两个主要的衡量指标是查全率（Recallratio）和查准率（precisionratio），分别用R和P大写字母表示。,相关文献非相关文献总计检出文献a(hit)b(noise)a+b未检出文献c