改进的基于关系的IR技术分析.docVIP

改进的基于关系的IR技术分析 摘要:基于关系的信息检索技术或基于语义的IR技术仍存在显而易见的缺陷,即不能明确关系本身。本文介绍了一种改进的基于关系的IR技术,明确关系的取值和属性,整合概念对和关系的信息为三元组表达式,通过适当的匹配方法获取未知信息。 关键词:信息检索技术;基于关系;IR 一、引言 在众多的文本信息处理技术中,IR技术是最常用,也是大规模文献数据挖掘技术中的重要部分。随着社会发展,IR几乎涉及到了每一个人的每一天,如使用web搜索引擎或查找邮件。IR技术在巨大需求下迅猛发展,压倒传统的数据库搜索方式,成为占统治地位的信息获取途径。 二、基于语义的IR技术 随着科学技术和通信技术的发展,人们开始重视符号背后代表的语义信息。现实世界中每一个事物总存在着基于广泛共识的本质的区别于其它事物的特征和属性,即一个事物的概念,用概念代表事物而不是用符号,可以避免通信或科研中由多词同义和一词多义带来的歧义问题,有利于人们对事物达成统一的认识。事物、概念和符号的联系和区别。 概念一般是公认的准确全面的描述,却不易使用,如果给每个概念一个唯一的ID标识,则会带来极大的方便。基于语义的IR技术使用UMLS, WordNet等本体库作为语义的基础和标准,在语义层面上理解和处理查询或文本。例如,在一次信息检索过程中,用户输入的查询是:计算机(符号),可知他的查询本意是查找名叫“计算机”或“电脑”(符号)的“用来计算的仪器,尤指可进行高速数学或逻辑运算或汇编、存储、整理或处理信息的可编程的电子机器”(概念)对应的相关文本。如果上述概念有一个公认的唯一的概念ID: 1234(概念与概念的ID的对应关系一般由本体库收录),则用户输入“计算机”作为初始查询时,系统确定对应的概念ID,并应用这个唯一ID进行检索。 三、改进的基于关系的IR技术 传统的IR用词汇项表示文本,后来改进为基于语义的方法,用概念(concept)表示文本,近年来的基于关系的IR技术有了重大突破,考虑了概念间的关系,把IR技术提高到新的层次。但是这种被称为基于关系的IR技术不是真正意义上的“基于关系”,因为系统根本不能提取出“关系”本身。关系获取(capture)是极富挑战性的。事实上,我们所有的工作都是基于对关系(relationship)的以下认识: 1)关系分为固有关系或长久关系(intemal/permanent relationship)和临时关系(temporaryrelationship)。 2)IR领域的关系抽取有别于IE的关系抽取,由于二者的功能和目的不同,后者偏重于固有关系或者长久关系,在抽取出的实体的基础上,在脱离文本的情况下,通过一定的手段,如知识库或机器学习,获取实体间的关系,其中关系的类型可采用ACE测评给出的预先定义。 3)在LTMLS, WordNet中记录的一般为固有关系,不同于文本中出现的概念之间的直接关系(一般由动词表达),是经过专家论证过的确实存在的知识。UMLS中的关系是定义在语义类型上的关系(如:ISA);WordNet中定义的关系是相对于词性的(例如名词存在反义、上下位、部分整体、属性关系)。 4)在文本中多数的概念对(指在一个句子中的两个概念)间的直接关系(指与概念在同一个句子中的关系)为临时关系,这类关系还未得到专家的验证,还未固化为长久或固有关系。IR主要用于发现和检索后这一种关系,固有关系可以作为有益的补充。 (一)基于关系的查询与文本的表示 (1)查询与文本的类型 1.查询具有多样性: 1)项查询(term query):这种查询方式还在普遍使用,其特点为多个(>=1)查询项(term) 组成一个查询,项之间可能会存在较强的关联。 2)问句查询(question query):问句查询是近年来应用的趋势,很多解释叙述型查询都可以转化为问句形式。 (2)查询与文本的三元组表示 1)概念的表示:鉴于基于关系的IR系统要在概念的基础上定义关系,所以应该支持对概念的表示格式,其中CUI (Unique Identifier of concept)是概念的唯一识别码, TUI(Unique Identifier of Semantic Type)是概念的语义类型的唯一识别码,STR(String)记录文本中出现的字符串,Attribute记录文本中概念的属性(不同于UMLS定义的Attribute), Location用来记录概念在文本语句中的偏移量,用以定位概念对(concept pair)之间的关系;是需要检索的未知(unknown)信息,未列出的概念和关系的参数取值为空。 2)关系的表示:其中关系是原子关系(atomic relation),即关系中无并列成分,是保证完整语义的最小单位;RCUI(Unique Identifier of Relation)是关系作为某种意义上的概念在WordNet中的唯一识别码,RCUI(Unique Identifier of RelationsHypernymy)。 (二)关系的抽取与整合 1、抽取关系 首先,动词也存在同义词和近义词,但是对于名词的同义词和近义词,某些领域本体库已经给出了它们对应的概念及其编号(UMLS中记为CUD,大大减少了多词同义、多词近义而词形不同带来的麻烦,但是这些本体库并不涉及动词;其次,有些其他词性的词,如某些特殊的名词代表某种动词的涵义。如果将此类情况忽略,一定会影响检索性能。但是,如果可以根据同义近义将关系归类编号,压缩为数量不多(UMLS中有50多个)的语义关系,就可以很好的解决上述问题,这也是处理体现关系的动词的最实用的方法。幸运的是WordNet提供了可以解决以上问题的机制,我们的系统就是将领域本体库UMLS和广泛本体库WordNet结合起来用于概念和关系的抽取。 2、表示关系 获取关系的工作完成后就要用适当的方式表示关系,关系表示的正确性和简便性直接影响了IRIR系统实现的复杂度,也关系到检索的性能。 (三)关系的整合 首先计算概念对的中心位置;关于概念配对,我们采用关于实体一实体关系生成的方法。概念对(Concept Pair)与关系列表(Relation List)中第n个的关系组合形成三元组,即表明该关系与概念对在同一个句子中,并且距离概念对的中心位置最近。在得到triple三个分量的值以后,就可以应用不同的策略界定与triple对应的文字段(passage)的偏移量和长度了。文字段的界定策略有多种,本文使用的是以句子为最小单位组成文字段的策略,即文字段的起始(offset)是关系所在的句子的偏移量,文字段的长度(length)是该句的长度。 (四)相关判定一排序机制 相关判定一排序原则:1)匹配最佳优先原则:文本triple匹配上查询triple的分量越多排序在前:2)概念匹配优先原则:概念包含的专业信息更丰富,因此匹配时概念较多的文本triple排序在前,只有关系分量匹配上的不判定为相关;3)当topic处理为多个triple,每个triple按相同权重(=1)分别进行检索。 相关判定一排序(judginges ranking)方法将第k个文本triple比对第i个topic的第J个查询triple,根据匹配上的分量类型和数量打分,概念分量匹配上多的分值较高(=文本triplek分值*加权值0.4,文本triple分值即为该triple在语料库中出现的次数),关系分量匹配上的分值较低(-文本triplek分值*加权值0.2):对于查询triple中关系是多义的情况,首词义(a)或次词义匹配上时文本triple的排序计算公式(见算法2中式(1)的加权值(weight)分别为1和0.4,对于关系是单义的情况,排序计算同(a);合并处在同一文字段的不同triple,累加其排序权值(rankValue),最后按分值高低提交triple对应的文字段(即tripl