信息存储与检索第7章.ppt

第七章 人工智能与自然语言检索 本章目录 第一节 引言 第二节 人工智能技术 第三节 智能检索 第四节 自然语言检索 第五节 跨语言检索 信息存储与检索 第一节 引言 v人工智能技术在信息检索领域的应用，使其检索系 统的智能化水平得到了显著提高。以自然语言理解 技术为基础的信息检索系统将把信息检索从目前基 于关键词层面提高到基于知识层面，对知识有一定 的理解与处理能力。 信息存储与检索 第二节 人工智能技术 7.2.1 专家系统1 7.2.2 数据挖掘2 7.2.3 知识发现3 3 7.2.4 信息抽取与知识抽取4 信息存储与检索 7.2.1 专家系统 （一）专家系统的特征 v（1）具备某个应用领域的专家级知识； v（2）能模拟专家的思维； v（3）能达到专家级的解题水平。 信息存储与检索 7.2.1 专家系统 （二）专家系统的工作原理 v专家系统的工作方式可简单地归结为：运用知识， 进行推理。专家系统的组成部分包括知识库、推理 机、知识获取、人机接口、数据库和解释机构。 信息存储与检索 7.2.2 数据挖掘 （一）数据挖掘的含义与标准 数据挖掘是从大量的、不完全的、有噪声的、模糊 的、随机的实际应用数据中，提取隐含在其中的、 人们事先不知道的、但又是潜在有用的信息和知识 的过程。 目前，数据挖掘的标准化包括以下三个标准： CRISP-DM；PMML；OLE DB For DM。 信息存储与检索 7.2.2 数据挖掘 （二）数据挖掘的功能 v自动预测趋势和行为。 v关联分析。 v聚类。 v概念描述 v偏差检测 信息存储与检索 7.2.2 数据挖掘 （三）数据挖掘的主要技术 v决策树法，输出结果容易理解，实用效果好，影响 也较大。 v神经网络法，更适合用于非线性数据和含噪声的数 据，在市场数据分析和建模方面有广泛的应用。 v遗传算法，适合于聚类分析，它简单而且优化的效 果好。 v统计分析方法是利用统计学、概率论的原理对数据 库中的信息进行统计分析，从而找出它们之间的关 系和规律。 信息存储与检索 7.2.2 数据挖掘 v粗集方法，适合于不精确、不确定、不完全的信息 分类和知识获取。 v可视化方法，是一种辅助方法，它用比较直观的图 形图表方式来表现挖掘出来的模式，大大拓宽了数 据的表达和理解力，使用户更加了解挖掘出的数据 。 信息存储与检索 7.2.3 知识发现 （一）知识发现的定义 v知识发现是从大量数据集中辨识出有效的、新颖的 、潜在有用的、并可被理解的模式的高级处理过程 。 信息存储与检索 7.2.3 知识发现 （二）知识发现的过程 v知识发现过程可以归纳为三个步骤：数据准备、数 据挖掘、结果解释和评价。 信息存储与检索 7.2.3 知识发现 （三）知识发现平台 vSPSS为用户提供揭示客户关系、预测客户行为的 解决方案，并把客户关系管理和商业智能有机的结 合在一起，建立与客户之间的互动关系。 vIntelligent Miner具有典型数据集自动生成、关联 发现、序列规律发现、概念性分类和可视化显示等 功能。 vClementine提供了一个可视化的快速建立模型的 环境。它由数据获取、探查、整理、建模和报告等 部分组成。 信息存储与检索 7.2.3 知识发现 vMSMiner是一种多策略知识发现平台，能够提供快 捷有效的数据挖掘解决方案，提供多种知识发现方 法。 vSAS Enterprise Miner通过收集分析各种统计资 料和客户购买模式，帮助企业发现业务的趋势，解 释已知的事实，预测未来的结果，并识别出完成任 务所需的关键因素，以实现增加收人、降低成本的 目标。 信息存储与检索 7.2.4 信息抽取与知识抽取 （一）信息抽取 v信息抽取是从一段文本中抽取信息，并将其形成结 构化、规范化的数据 。 v信息抽取和信息检索有本质的区别：信息检索的目 的是根用户的查询请求从文档库中找出相关的文档 ，用户必须从找到的文档中提取自己所要的信息； 而信息抽取直接从文档中取出相关信息点，不需要 用户对文档做进一步分析。这两种技术是互补的， 若结合起来可以为文本处理提供强大的工具。 信息存储与检索 7.2.4 信息抽取与知识抽取 （二）信息抽取技术的评测指标 v抽全率可粗略地看成是测量正确抽取的信息比例， 而抽准率用来测量抽出的信息中有多少是正确的。 计算公式如下： vR=抽出的正确信息点数/所有正确的信息点数 vP=抽出的正确信息点数/所有抽出的信息点数 信息存储与检索 7.2.4 信息抽取与知识抽取 （三）知识抽取 v知识抽取是从现有的信息（尤其是非结构化的文本 ）中抽取结构化的、上下文依赖的知识的过程。 v知识抽取起源于传统信息抽取而又有别于信息抽取 ：传统的信息抽取并不试图从内容上全面地、深层 次地理解文档，而知识抽取则建立在信息抽取的基 础之上，使用了语义网技术，从知识表示和推理的 角度来实现知识的自动(半自动)抽取。 信息存储与检索 7.3.1 智能检索接口1 7.3.2 智能检索技术2 7.3.3 智能检索系统与应用 3 第三节 智能检索 信息存储与检索 7.3.1 智能检索接口 v智能检索接口用于完成智能检索系统的信息输入输 出工作，它是系统和用户交流的界面，它能理解、 分析用户的自然语言提问，并产生适合用户的结果 ，还具有解释功能，对自己的行为做出解释。 v智能检索接口能向用户提供友好的界面，完成各种 交互活动；检验用户输入和系统输出的正确性、一 致性；控制程序流程，对用户输入作出快速反应或 者控制其它设备正确有效地工作。 信息存储与检索 7.3.2 智能检索技术 （一）自然语言处理技术 v信息检索中常常使用到的自然语言处理技术包括去 除禁用词，取词根，词性标注，词义消歧，句法分 析，命名实体识别，指代消解等。 （二）基于概念的语义智能检索技术 v系统基于对概念内涵的理解以及用户提交的关键词 所表达的概念作为搜索依据，能同时对该词的同义 词、近义词、广义词、狭义词进行检索。 （三）基于Agent的智能检索技术 v基于多Agent的智能检索体系主要包括User Agent、Spider Agent和Collector Agent。 信息存储与检索 7.3.3 智能检索系统与应用 （一）智能检索系统的组成和功能 v智能信息检索系统由知识库、文本处理和智能接口 三部分组成 。 v智能检索系统一般具有以下功能： （1）能理解自然语言，允许用自然语言提出各种询 问。 （2）具有推理能力，能根据存储的事实，演绎出所 需要的答案。 （3）系统拥有一定常识性知识，以补充学科范围的 专业知识。 信息存储与检索 7.3.3 智能检索系统与应用 （二）几种典型的智能信息检索系统 vSavvySearch系统是一个应用了元搜索技术的中 介搜索系统，它采用基于经验学习的优化选择搜索 引擎方法，具有智能地选择多个远程搜索引擎以及 与其交互的能力。 vExcite应用了检索词“智能概念提取”技术，对用户 输入的关键字进行扩展。 v一些用户个性化信息检索系统,如WebWatcher、 ShoPBot、Fab等，都是一些基于Agent的智能化 的程序，主要通过学习用户的历史关联信息，在线 引导用户检索感兴趣的信息。 信息存储与检索 7.4.2 基于语法分析的自然语言检索 2 第四节 自然语言检索 7.4.1 自然语言理解 1 7.4.3 基于语义分析的自然语言检索3 3 7.4.4 基于本体的自然语言检索 4 信息存储与检索 7.4.1 自然语言理解 （一）自然语言理解的原理 v自然语言理解分为语音理解和书面理解两个方面 。 v语音理解是指用口语语音输入，使计算机“听懂”语 音信号，用文字或语音合成输出应答 。 v书面理解是指用文字输入，使计算机“看懂”文字符 号，也用文字输出应答 。 信息存储与检索 7.4.1 自然语言理解 （二）自然语言理解的层次 （1）语音学层次，对语言声音的识别、理解和合成 。 （2）词形学层次，对各种词形和词的可识别部分的 处理。 （3）词汇学层次，重点在于对词操作和词汇系统的 控制。 （4）句法层次，它与语言结构单元的鉴别有关 。 （5）语义层次，对自然语言文本意义的识别、理解 和表示 。 （6）语用学层次，涉及上下文和语言交际环境以及 背景意义和联想意义的语义分析。 信息存储与检索 7.4.1 自然语言理解 （三）自然语言理解在信息检索中的应用 自然语言理解在信息检索中的应用可以体现在一个 或多个语言处理层次上，既可以仅应用于查询，也 可以同时应用于查询和被检索的文本。由于语言的 各个层次都包含了一定的含义，能够传递一定的信 息，每个层次上的自然语言理解都能对提高检索效 率有一定程度的帮助。 信息存储与检索 7.4.2 基于语法分析的自然语言检索 （一）基于词法分析的自然语言检索 v词法分析方法对文本、网页首先进行词语切分，然 后通过词频统计和词出现位置的判断，在文本和网 页中提取主题词和概念词，作为索引。同样从用户 提问中筛选出有检索意义的一个或多个词单元，各 个单元词之间构建相应的逻辑关系。 v基于词法分析的方法主要包括加权统计法、N元法 、统计学习方法。 信息存储与检索 7.4.2 基于语法分析的自然语言检索 （二）自然语言检索中的句法分析 句法分析是对句子和短语的结构进行分析。句法分 析的方法有很多，有短语结构语法、格语法、扩充 转移网络和功能语法等。句法处理，即根据文字的 语法知识，通过对句型结构的分析，自动抽取复杂 的标识单元来代替由统计方法得到的关键词进行标 引。 信息存储与检索 7.4.3 基于语义分析的自然语言检索 （一）语义分析理论 v语义分析理论涉及到语义分析方法的语义关系类型 和语义关系的形式化表示等内容。语义关系类型是 指某种标准归纳句子内各部分之间的语义关系共性 ，语义关系的形式化表示是指从各种句子的具体语 义中抽象概括出共同的语义关系适用的符号表示。 信息存储与检索 7.4.3 基于语义分析的自然语言检索 （二）自然语言检索中的语义分析 v在自然语言检索中，语义分析是在词法分析和句法 分析的基础上进行的，这三个分析步骤的组合方式 有语义解释方式、语义分析方式、句法语义混合方 式和语义驱动方式。 信息存储与检索 7.4.4 基于本体的自然语言检索 （一）本体在自然语言检索中的作用 本体在自然语言检索系统中的作用体现在三个方面： v改善对信息源的处理； v优化用户界面； v辅助自然语言处理过程。 信息存储与检索 7.4.4 基于本体的自然语言检索 （二）基于本体的自然语言检索实现方法 v基于本体的自然语言检索系统整体上由本体管理模 块、问题处理模块、文本预处理模块、信息检索模 块、库文件管理模块组成，实现算法概括如下： （1）在领域专家的帮助下，建立相关领域的本体。 （2）参照已建立的本体，把收集来的数据按规定的 格式存储在元数据库中。 （3）按照本体把查询请求转换成规定的格式，从元 数据库中匹配出符合条件的数据集合。 （4）检索的结果经过定制处理后，返回给用户。 信息存储与检索 7.5.2 跨语言检索中的语言资源 2 7.5.1 跨语言检索实现模式1 7.5.3 跨语言检索的关键技术3 3 7.5.4 提问式翻译的几种方法 4 第五节 跨语言检索 信息存储与检索 7.5.1 跨语言检索实现模式 （一）提问式翻译方法 v在信息检索之前,将提问式的语种转化翻译成所要检 索信息的信息语种。 （二）文献翻译方法 v不对提问式进行翻译，而是把数据库中用目标语言 描述的文献翻译成与提问描述相一致的源语言形式 （三）提问式文献翻译方法 v首先将源语言提问式翻译成目标语言提问式，然后 与目标语言描述的信息库进行匹配，再把检索结果 的全部或部分翻译成源语言描述的信息。 信息存储与检索 7.5.1 跨语言检索实现模式 （四）中间翻译方法 v将源语言翻译成中间语言（可以是一种或多种）， 然后再将中间语言翻译成目标语言（利用多种中间 语言时需要合并）。 （五）不翻译方法 v不需要词典、词表和机器翻译系统, 也不存在翻译 过程中消除歧义问题, 具有很高的灵活性和适应性 信息存储与检索 7.5.1 跨语言检索实现模式 （六）专有名词音译法 v音译方法根据处理的方向可以区分成正向音译与反 向音译。 （七）基于本体的转换方法 v基于本体的模型主要分为三个部分：基于字典的翻 译模块、基于本体的语义模块以及单一语种的信息 检索模块。 信息存储与检索 7.5.2 跨语言检索中的语言资源 （一）机器词典 v与相比，具有高度的形式化、信息的确定性、规则 描述的一致性等，以利于计算机快速检索与处理。 （二）语料库 v将同一主题的信息用多种语言进行描述，并由人工 或机器建立不同语言间的联系，在跨语言检索的翻 译中可以参考这些联系信息进行提问或文档的翻译 。 （三）混合工具 v将上述两种方法进行整合的一种提问翻译方法。 信息存储与检索 7.5.3 跨语言检索的关键技术 （一）计算机信息检