计算机基础信息检索PPT

1 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 1信息检索的概念信息检索 InformationRetrieval 是指信息按一定的方式组织和存储起来 并根据信息用户的需要找出有关信息的过程和技术 信息检索的全称是信息存储与检索 InformationStorageRetrieval 其过程如图7 1所示 20世纪50年代以前 信息的存储和传播主要是以纸介质为载体 信息检索活动主要围绕着相关文献的获取和利用展开 因此 文献检索 成为信息检索的同义词而被广泛地使用 20世纪50年代以后 信息传播与存储呈多元化发展 人们不再拘泥于载体研究信息检索 开始更多地使用 情报检索 这一术语 近年来 由于英文词汇 Information 既可以翻译为信息 又可以翻译为情报 而汉语中信息一词要比情报的含义更为丰富 因此人们更倾向于使用信息检索这一术语 7 1信息检索概述 2 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 1信息检索的概念 7 1信息检索概述 3 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 1信息检索的概念信息检索包括两个层次的含义 广义的信息检索和狭义的信息检索 广义的信息检索包括信息的存储和查找两个过程 如图7 1所示的全部过程就是广义的信息检索 信息的存储就是将大量无序的文献信息进行搜集 整理 归类 采用规范的方法进行编排 编制出各种检索系统 信息查找必须先有信息存储 而信息存储就是为了更快捷地查找信息 信息查找则是信息存储的逆向过程 是人们根据特定需要 运用已有的检索系统 有序查询并找出符合要求的信息 狭义的信息检索是指信息的查找过程 只包括图7 1中的后半部分 本书中讨论的信息检索就是狭义的信息检索 7 1信息检索概述 4 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 2信息检索的类型1 根据检索对象划分根据检索对象的不同 信息检索分为文献检索 事实检索和数据检索三种 1 文献检索 文献检索以文献为检索对象 查找含有用户所需信息的文献 文献检索是一种相关性检索而非确定性检索 系统不直接回答用户所提出的问题本身 它提供的是与用户信息需求相关文献的线索或原文 2 事实检索 事实检索以特定的事实为检索对象 是存储有关课题 如机构 人物等 的指示性描述 或关于某一事件发生的时间 地点 经过等信息 并将其查找出来的检索 属于确定性检索 3 数据检索 数据检索以数据为检索对象 属于确定性检索 它是将经过选择 整理 鉴定的数据存入数据库中 根据需要查出可回答某一问题的数据的检索 例如 查找公式 数据 图表 成分 性能等都属于数据检索的范畴 7 1信息检索概述 5 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 2信息检索的类型2 按检索方式划分按检索方式的不同 信息检索可以分为手工检索 机械检索和计算机检索三种方式 1 手工检索 手工检索就是以人工的方式直接查找所需的信息 多利用各种检索工具的印刷版来实现 例如印刷的目录 题录 文摘 索引等 手工检索直观 不需要辅助设备 但速度慢 漏检严重 2 机械检索 机械检索也称机电式检索 是指运用打孔机 分类机及光电感应设备等进行的检索 机械检索过分依赖设备 成本较高 检索效果和质量都不太理想 3 计算机检索 计算机信息检索是将大量的文献资料或数据进行加工整理 按一定格式存储在数据库中 利用计算机对数据库进行检索的信息检索方式 与手工检索相比 计算机检索速度快 效率高 查全率高 不受时空限制 检索结果输出方式多样 除上述两种主要的分类方式外 信息检索还有另外多种分类方式 例如按照检索对象的信息组织方式可以分为全文检索 超文本检索和超媒体检索 按照检索对象的形式可分为文本检索和多媒体检索 按照检索要求可分为强相关检索和弱相关检索 按检索的时间跨度可分为定题检索和回溯检索 7 1信息检索概述 6 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 3信息检索模型1 布尔检索模型布尔检索模型是基于集合论和布尔代数的一种简单检索模型 由于集合是一个相当直观的概念 所以布尔检索模型为信息检索系统的普通用户提供了一种易于掌握的框架 在布尔检索模型中 查询被描述为具有精确语义的布尔表达式 因为该模型的简单性和易于表示的形式方法 在很长一段时间内都受到重视 然而 布尔检索模型的缺点也是相当明显的 首先 该模型的检索策略是基于二值决策准则 即一个文档只被判别为相关的或无关的 而没有任何等级变化 难以提高检索性能 因此布尔检索模型主要用于实现数据检索模型 而不是信息检索模型 其次 这种方法将构造一个合适的查询的责任推到用户身上 用户必须详细规划自己的查询 其复杂程度不亚于编写程序 普通用户无法用布尔表达式描述他们的查询请求 于是一些研究人员改进了布尔模型 提出了向量空间模型 7 1信息检索概述 7 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 3信息检索模型2 向量空间模型向量空间模型是一种基于代数理论的检索模型 在向量空间模型中 一个文档被描述成由一系列关键词组成的向量 每一个关键词都是这个向量空间中的一维 同样道理 来自用户的查询也可以用向量来表示 当进行一个查询时 向量空间模型将计算查询和文档表示之间的相似度 例如可以用两个向量之间的欧氏距离或两个向量之间的余弦夹角表示二者之间的相似度 然后对检出的文档按照相似度进行降序排列 以实现文档与查询项的部分匹配 于是查询结果集中文档的排列顺序要合理的多 与布尔检索模型相比 向量空间模型改善了检索性能 其部分匹配的策略允许所检索的文档与查询条件相近似 同时还能够按照文档与查询的相似度对文档进行排序 但在向量空间模型中 各索引项之间是互相独立的 无法对文档中的索引项提供相关性信息 而在实际中 需要考虑各索引项之间的相关性才能得到满意的查询结果 向量空间模型适合一般的文档集的相似性排序 通过查询扩展或相关反馈 可以改善模型产生的结果集 向量空间模型与其他检索模型相比较 即使不是最优的 其性能也相当好的 因此该模型是目前普遍采用的信息检索模型 7 1信息检索概述 8 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 3信息检索模型3 概率检索模型概率检索模型是一种基于概率论的检索模型 试图在一个概率框架内处理信息检索问题 概率检索模型假设给定一个用户的查询 则有一个只包含相关文档且不包含无关文档的理想结果集 如果能够给出这个理想结果集的描述 检索文档时就十分方便了 最初我们并不能精确给出理想结果集 但猜测允许我们产生一个初步的对理想结果集的概率描述 用于检索出初始的文档集 然后引入用户的交互 以改善理想结果集的概率描述 用户浏览检索出文档 并决定哪些文档是相关的 哪些是无关的 然后信息检索系统利用这个信息 修改理想结果集的描述 通过多次重复这个过程 不断修改描述并逐步接近理想结果集的真实描述 从理论上讲 概率检索模型检出的文档将按照相关的概率降序排列 这符合我们的查询要求 但在该模型中 需要最初将文档分为相关的和无关的两个集合 并且与向量空间模型一样 各索引项之间是独立的 无法对文档中的索引项提供相关性信息 7 1信息检索概述 9 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 4信息检索效果的评价检索效果 RetrievalEffectiveness 是指用户利用检索系统实施检索的有效程度 也是某次检索满足用户信息需求的程度 它直接反映了检索系统的性能和本次检索的成败 判定信息检索效果的主要标准包括查全率 查准率 漏查率 误查率等 1 查全率查全率 RecallRatio 又称检全率 是指用户进行某次检索时 系统检索出的所有信息量与检索系统中相关信息总量的比率 具体可用下面的公式表示 7 1信息检索概述 10 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 4信息检索效果的评价2 查准率查准率 PrecisionRatio 又称检准率 是指用户进行某次检索时 系统检索出的符合课题需要的相关信息量与检索出的信息总量的比率 具体可用下面的公式表示 3 漏查率漏查率 OmissionRatio 又称漏检率 是指用户进行某次检索时 系统未检索出的相关信息量与检索系统中相关信息总量的比率 具体可用下面的公式表示 7 1信息检索概述 11 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 1 4信息检索效果的评价4 误查率误查率 MissRatio 又称误检率 是指用户进行某次检索时 系统检索出的不相关信息量与检索出的信息总量的比率 具体可用下面的公式表示 7 1信息检索概述 12 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 1Internet网络信息检索方法1 网络浏览网络浏览是Internet上发现和检索信息的最原始方法 在日常的网络阅读中 人们都有过意外发现有用信息的体验 尤其是网页中提供的超链接 使用户可以在Internet中 顺链而行 从一个网页转到另一个网页 追踪某个网页的相关链接有些类似于传统文献检索中的 追溯检索 即根据文献后所附的参考文献追溯相关文献 一轮一轮地不断扩大范围 这种方式可以在很短时间内获得大量相关信息 但也可能会偏离检索目标 因此搜索的结果可能带有某种偶然性和片面性 严格地说 网络浏览并不是一种真正的网络信息检索方法 当我们在网络浏览中发现有价值的信息后 应及时收藏这些信息页面 为今后的使用提供方便 7 2Internet网络信息检索 13 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 1Internet网络信息检索方法1 网络浏览网络浏览是Internet上发现和检索信息的最原始方法 在日常的网络阅读中 人们都有过意外发现有用信息的体验 尤其是网页中提供的超链接 使用户可以在Internet中 顺链而行 从一个网页转到另一个网页 追踪某个网页的相关链接有些类似于传统文献检索中的 追溯检索 即根据文献后所附的参考文献追溯相关文献 一轮一轮地不断扩大范围 这种方式可以在很短时间内获得大量相关信息 但也可能会偏离检索目标 因此搜索的结果可能带有某种偶然性和片面性 严格地说 网络浏览并不是一种真正的网络信息检索方法 当我们在网络浏览中发现有价值的信息后 应及时收藏这些信息页面 为今后的使用提供方便 7 2Internet网络信息检索 14 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 1Internet网络信息检索方法2 使用搜索引擎检索信息搜索引擎作为主要的Internet网络信息检索工具 能够向用户提供关键词 词组或自然语言检索 在网络信息检索中具有重要的地位 在进行信息检索时 由户提出检索要求 搜索引擎代替用户在数据库中进行查找 并将检索结果反馈给用户 一般情况下 搜索引擎具有布尔检索 词组检索 截词检索 字段检索等多种功能 利用搜索引擎实施检索省时省力 简单方便 检索速度快 能及时获取新增网络信息 但由于搜索引擎使用计算机程序自动进行信息的加工 处理 检索软件的智能性不是很高 会造成检索的准确性不是很理想 与人们的检索需求及对检索效率的期望存在一定的差距 7 2Internet网络信息检索 15 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 1Internet网络信息检索方法3 使用网络资源指南检索信息开发网络资源指南的目的是可实现对网络信息资源的智能性查找 为了对Internet上的信息资源加以组织和管理 使大量有价值的信息纳入一个有序的组织体系 便于用户全面掌握网络资源的分布 专业人员基于对网络信息资源的产生 传递与利用机制的广泛了解 以及对网络信息资源分布状况的熟悉 使用采集 组织 评价 过滤 控制 检索等各种手段 开发出用于快速检索信息的网络资源指南 网络资源指南会根据网络信息的主题内容进行分类 并以等级目录的形式进行组织 在Internet上 综合性的网络资源指南广受欢迎 最著名的就是Yahoo目录 而专业性的网络资源指南也很普遍 几乎每一个学科专业 重要课题 研究领域的网络资源指南都可以在Internet上找到 例如中国高等教育文献保障系统CALIS 7 2Internet网络信息检索 16 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 1Internet网络信息检索方法4 使用在线数据库检索信息使用Internet上的在线数据库进行查询 是用户获取学术性信息的最有效方法 目前 Internet上在线数据库有很多 比较著名的有维普数据库 CNKI中国期刊网 万方数据库资源系统 超星数字图书馆等 5 使用其他类型的网络信息检索工具在Internet发展的初期 相继开发了一系列的网络信息查询工具 例如 使用Telnet远程登录到各类图书馆的公共目录系统 信息服务机构的综合信息系统等进行查询 使用分布式数据库检索系统Archie在FTP文件服务器中查询信息 使用USENET新闻组在Internet上读取新闻组消息并开展讨论 使用基于菜单驱动的Internet信息查询工具检索文本信息 使用广域信息查询工具WAIS在Internet上检索信息资源 需要注意的是 由于WWW系统的快速发展 成为Internet网络信息发布的主流 随着时间的不断推移 在上述网络信息查询工具中 有些还在继续使用 有些已无人问津 7 2Internet网络信息检索 17 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 2Internet搜索引擎1 搜索引擎的工作原理搜索引擎通常由搜索器 索引器 检索器 数据库和用户接口五个部分组成 搜索器是一个自动运行的程序 人们通常也将其称为蜘蛛 Spider 机器人 Robot 网页爬行者 WebCrawler 等 搜索器的功能是在Internet中自动漫游 发现信息并生成信息摘要 它日夜不停地运行 尽可能多 尽可能快地搜集各种类型的新信息 同时还要定期更新已经搜集过的旧信息 避免无效链接的出现 索引器也称标引器 它的主要功能是对搜索器捕获的信息进行分析 从中抽取出索引项 建立文档的索引表 索引器的标引方法因系统的不同而异 大多数都采取自动标引技术 可以建立对WWW网页内容的全文索引 也可以按某些分类或特征从网页中抽取信息 数据库是搜索引擎所包含信息资源的集合 它不仅存放搜索器从网络中收集的信息摘要 同时还存放了索引器对这些信息摘要建立的索引项 以备将来用户查询时使用 检索器是根据用户的查询要求在信息数据库中快速匹配文档 对将要输出的结果进行排序 并实现某种用户相关性的反馈机制 用户接口供用户输入查询 显示匹配结果 主要目的是方便用户使用搜索引擎 高效率 多方式地从搜索引擎中得到有效及时的信息 7 2Internet网络信息检索 18 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 2Internet搜索引擎1 搜索引擎的工作原理在搜索引擎中 首先利用搜索器从Internet上收集各网络站点的摘要信息 再使用索引器对网页上的某些关键词建立索引 并存放到本地数据库中 当用户在检索时 通过搜索引擎的用户接口访问摘要信息数据库 检索器根据用户的查询条件快速检索出文档 并对将要输出的结果进行排序和相关性处理 最后再通过用户接口将检索结果反馈给用户 7 2Internet网络信息检索 19 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 2Internet搜索引擎2 搜索引擎的基本检索功能搜索引擎使用输入的检索关键词进行检索 一般地 可以将搜索引擎的检索功能分为基本检索功能和高级检索功能两类 搜索引擎支持的基本检索功能主要有字符串检索 布尔逻辑检索 截词检索 字段限制检索等 1 布尔逻辑检索搜索引擎大都支持布尔逻辑检索 即用布尔算符AND OR NOT连接检索关键词进行逻辑运算 例如检索关键词 计算机AND数码相机 表示查询既含有计算机又含有数码相机的信息内容 而检索关键词 计算机OR数码相机 则表示查询含有计算机或含有数码相机的信息内容 需要注意的是 不同的搜索引擎对逻辑检索支持的程度不同 逻辑运算符的表示也不相同 使用时应参考具体的搜索引擎 2 字符串检索字符串检索是一种精确的查找方式 它将一个字符串当成一个独立的运算单元进行严格地匹配 字符串检索不仅规定了检索关键词中各个具体的检索词及其相互的逻辑关系 而且规定了检索词之间的位置关系 几乎所有的搜索引擎都支持字符串检索 而且都采用双引号 来代表字符串 例如在搜索引擎中使用字符串 计算机软件 作为检索关键词 就等于告诉搜索引擎只检索网页中含有 计算机软件 的信息内容 而忽略哪些包含有 计算机软件行情 的信息内容 7 2Internet网络信息检索 20 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 2Internet搜索引擎 3 截词检索截词检索是能够有效防止漏检的检索技术 尤其在西文检索中应用更加广泛 截断技术可以扩大检索范围 具有方便用户 增强检索效果的特点 但一定要合理使用 否则会造成误检 大多数搜索引擎都支持截词功能 一般提供右截断 有些搜索引擎采用自动截词 有的搜索引擎则是在一定条件下才能截词 常用的截词符有 和 例如在搜索引擎中可以输入检索关键词 comput 则搜索引擎可以检索出包含computer computers computing等的信息内容 4 字段限制检索在搜索引擎中 字段检索一律表现为前缀符限制的形式 如属于主题字段限制的有Title Keywords Subject Summary等 属于非主题字段限制的有Image Text Applet等 此外搜索引擎还提供了带有典型的网络检索特征的字段限制类型 如主机名限制Host 网站地址限制Site 域名限制Domain 新闻组限制Newsgroups URL限制URL等 例如希望限制在新浪网中检索信息 可在检索关键词后添加字符串 Site 7 2Internet网络信息检索 21 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 2Internet搜索引擎3 搜索引擎的高级检索功能搜索引擎的高级检索功能包括自然语言检索 模糊检索 概念检索 区分大小写的检索 管道检索 相关信息反馈检索等 1 自然语言检索自然语言检索即直接采用自然语言中的字 词 句作为检索关键词进行检索 例如可以使用 什么是信息检索 或 当前计算机的发展趋势如何 这样的语句充当检索关键词 自然语言检索使网络检索变得简单 直接 目前大多数的搜索引擎都支持自然语言检索 因而备受广大用户的欢迎 2 模糊检索模糊检索是一种常用的检索技术 当输入一个检索关键词时 搜索引擎就把与关键词相关的词条同时检索出来供用户加以选择 例如使用关键词 搜索引擎 进行检索时 模糊检索就会同时检索出包含搜索引擎 搜寻引擎 引擎等相关词条的信息内容 3 概念检索概念检索主要是同义词和近义词检索 即使用某检索关键词时 概念检索技术会同时对与该词概念类似的同义词和近义词进行检索 以达到扩大检索 避免漏检的目的 例如用户使用 计算机 作为检索关键词时 模糊检索就会检索出包含有 计算机 电脑 PC机 等相关词条的信息内容 7 2Internet网络信息检索 22 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 2Internet搜索引擎 4 区分大小写的检索区分大小写的检索有助于提高查准率 为此许多搜索引擎都可以让用户选择是否要求区分英文字母的大小写 在检索含有的人名 地名等专有名词的关键词中经常使用 5 管道检索管道检索即用管道检索符号 连接两个或更多检索关键词 先使用前一个关键词进行检索 再在查询结果的基础上对后一个关键词进行检索 以此类推 以达到逐步缩小检索结果 提高查准率的目的 6 相关信息反馈检索搜索引擎往往能进一步提供与检索结果类似的结果 这称为相关信息反馈检索 7 2Internet网络信息检索 23 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 2 3常用搜索引擎介绍目前 在Internet上用户常用的搜索引擎有百度 谷歌 雅虎 必应 爱问和搜搜等 下面列出了它们的其网络地址 百度 7 2Internet网络信息检索 24 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 3 1CNKI知识网络服务平台中国知识基础设施 ChinaNationalKnowledgeInfrastructure CNKI 是以建设社会化的知识基础设施为目标的国家级大规模信息化工程 该项目由清华大学发起 1999年6月开始实施 目前已建成世界上全文信息量最大的CNKI知识网络服务平台 涵盖了期刊 报纸 专利文献 学位论文 会议论文等各类文献 使我国教育 科研 政府 企业 医疗卫生等各行业获取与交流信息的能力达到了国际先进水平 CNKI以网络形式发布信息 因而又称为中国知网 其主页如图7 8所示 7 3网络文献检索系统 25 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 3 1CNKI知识网络服务平台 7 3网络文献检索系统 26 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 3 1CNKI知识网络服务平台CNKI目前已建成并投入使用的数据库主要包括 中国学术期刊网络出版总库中国博士学位论文全文数据库中国优秀硕士学位论文全文数据库中国重要会议论文全文数据库中国重要报纸全文数据库中国专利全文数据库高等教育文献总库中国基础教育知识仓库医院知识仓库中国城市规划知识仓库 7 3网络文献检索系统 27 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 3 1CNKI知识网络服务平台1 中国学术期刊网络出版总库简介中国学术期刊网络出版总库是在 中国学术期刊 光盘版 的基础上开发的基于Internet的一种大规模集成化 多功能 动态学术期刊全文检索系统 全文收录国内7400多种重要的学术类期刊 内容覆盖自然科学 工程技术 农业 哲学 医学 人文社会科学等各个领域 累积的学术期刊文献总量超过2400万篇 中国学术期刊网络出版总库收录的内容共分为10个专辑 分别是基础科学 工程科技I辑 工程科技II辑 农业科技 医药卫生科技 信息科技 人文与社会科学文献 社会科学I辑 社会科学II辑 经济管理科学 共168个专题文献数据库 7 3网络文献检索系统 28 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 3 1CNKI知识网络服务平台 7 3网络文献检索系统 29 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 3 1CNKI知识网络服务平台3 CNKI的检索方式在如图7 8所示的页面中 右边列出了学科领域分类细目 用户可根据需要逐级选择使用 下方列出了各类数据库 用户可以选择中国学术期刊网络出版总库 中国博士学位论文全文数据库及其他用于检索的数据库 CNKI提供了包括简单检索 标准检索 高级检索 专业检索 引文检索 学者检索 科研基金检索 句子检索等在内的多种检索方式 1 简单检索简单检索界面如图7 10所示 提供了类似搜索引擎的检索方式 用户只需要输入所要找的检索关键词 单击 简单检索 按钮就能查到相关的文献 7 3网络文献检索系统 30 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 3 1CNKI知识网络服务平台 2 标准检索标准检索是CNKI检索系统默认的检索方式 标准检索界面如图7 11所示 7 3网络文献检索系统 31 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 3 1CNKI知识网络服务平台 3 高级检索高级检索界面如图7 12所示 用户应首先输入范围控制条件 再输入文献内容特征信息 最后对检索得到的结果分组排序 7 3网络文献检索系统 32 46 青岛大学公共计算机基础教学中心 第7章信息检索 7 3 1CNKI知识网络服务平台4 专业检索专业检索面向从事图书情报检索工作的专业用户 用户需要使用逻辑运算符和关键词构造检