（模式识别与智能系统专业论文）基于领域本体的信息检索研究.pdf

摘要信息检索( i n f o r m a t i o nr e t r i e v a l ，i r ) 是从数据集中提取相关文档和信息的过程。随着数字信息量的不断增加以及用户对查询质量的要求的提高，传统的信息检索技术已经很难满足高质量的检索任务。本体作为一种论点新颖、起点较高的知识组织体系，它所涉及的相关技术对于促进信息检索技术在知识管理中发挥作用十分重要。作者在研究了信息检索技术的相关理论和本体技术的相关知识后，针对目前信息检索大都只是对用户的检索请求进行简单的关键字匹配的问题，进行了深入的研究。通过分析传统的信息系统结构模型，本文构建了一个基于本体的信息检索系统结构模型，借助于本体，探讨了在检索过程中如何利用本体的领域知识实现基于概念的查询。系统模型分为文档处理和文档检索两个部分。与传统的信息检索系统结构不同的是，该模型中加入了本体服务器。在本体的帮助下，文档处理器对检索对象进行语义标注，建立基于概念的索引；文档检索部分的查询转换模块对用户需求进行部分的语义化处理，利用查询表达式中包含的概念的上位词、下位词、同义词以及概念的义项对初始查询表达式进行了查询转换；检索代理模块利用转换后的查询到信息源中查询。在具体的实现过程中，作者针对检索过程中的关键部分查询扩展进行了深入的研究，并对扩展结果使用a p r i o r i 算法进行修剪，最后实现了一个基于w o r d n e t 查询扩展的信息检索系统。关键词本体，领域本体，查询扩展，信息检索，概念a b s t r a c ti n f o r m a t i o nr e t r i e v a li sap r o c e d u r et h a te x t r a c t sr e l a t e di n f o r m a t i o na n dd o c u m e n t sf r o mt h ed a t as e t s a l o n gw i t ht h ei n c r e a s i n ga c c u m u l a t i o no fd a t aa n dt h er i s i n gd e m a n do fh i g hq u a l i t yo fr e t r i e v a lr e s u l t s ，i th a sb e e nv e r yd i f f i c u l tf o rt h et r a d i t i o n a li rt e c h n o l o g i e st om e e tt a s ko fh i g h q u a l i t yi n f o r m a t i o nr e t r i e v a l a san e w l ye m e r g e dk n o w l e d g eo r g a n i z a t i o ns y s t e mw i t hh i l g hs t a r t i n gp o i n t ，o n t o l o g yt e c h n o l o g i e sa r ep l a y i n gav e r yi m p o r t a n tr o l ei np r o m o t i n gt h ef u n c t i o no fi ri nk n o w l e d g em a n a g e m e n t a tp r e s e n t ，m o s ti rs y s t e m sa r ej u s tb a s e do nk e y w o r d - m a t c h i n gf o rt h en e e d so fu s e r s i nt h i st h e s i s ，a f t e rt h ei n v e s t i g a t i o no nt h ec o n c e r n e dt h e o r yo fi rt e c h n o l o g i e sa n dt h ek n o w l e d g eo fo n t o l o g yt e c h n o l o g i e s ，i tc o n d u c t sa ni rs y s t e mc o n s t r u c tm o d e lb a s e do nd o m a i no n t o l o g y w i t ht h eh e l po ft h ed o m a i nk n o w l e d g ei nd o m a i no n t o l o g y , i te x p l a i n sh o wt or e a l i z ec o n c e p t - b a s e dr e t r i e v a l t h es y s t e mm o d e lc o n t a i n st w op a r t s ：d o c u m e n tp r o c e s s o ra n dd o c u m e n tr e t r i e v a l i nt h ei rm o d e l i ta d d s 舭o n t o l o g ys e r v e r , w h i c hi sd i f f e r e n tf r o mt h et r a d i t i o n a li rs y s t e mc o n s t r u c t w i t ht h eh e l po fo n t o l o g y , n ed o c u m e n tp r o c e s s o rt a g sa n di n d e x e st h er e t r i e v a ls o u r c e sb a s e do no n t o l o g y ；t h eq u e r yc o n v e r s i o nm o d u l ed o e ss o m es e m a n t i cp r o c e s s i n go nu s e l n e e d sa n de x p a n s e st h ei n i t i a lq u e r yo ni t ss y n o n y m 、h y p e r n y m 、h y p o n y ma n di t ss e n s e s ；t h er e t r i e v a la g e n tm o d u l eu $ e st h ec o n v e r s i o no fq u e r i e st or e t r i e v a lt h ei n f o r m a t i o ns o u r c e s i nt h es p e c i f i cr e a l i z a t i o np r o c e s s ，i tm a k e sa ni n - d e e ps t u d yo ft h ek e yp a r ti nr e t r i e v a lp r o c e s s - - q u e r ye x p a n s i o na n dp i n c h i n gt h er e s u l t su s i n gt h ea l g o r i t h ma p r i o r i ，a n da tl a s tc o n d u c t sf i l li n f o r m a t i o nr e t r i e v a ls y s t e mb a s e do nw o r d n e t i n f o r m a t i o nr e t r i e v a l ，c o n c e p t sd o m a i no n t o l o g y , q u e r ye x p a n s i o n ，原创性声明本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在在论文中作了明确的说明。作者签名：! 翌垒日期：迦，2 年月j 工日关于学位论文使用授权说明本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文；学校可根据国家或湖南省有关部门规定送交学位论文。硕士学位论文第一章引言1 1 研究意义第一章引言信息检索所要研究的问题是如何在海量信息中寻找到需要的有用的信息。它以一定的策略搜集、发现信息，并对信息进行理解、提取、组织和处理，为用户提供检索服务，从而起到信息导航的目的。随着计算机技术和i n t e r a c t 的迅猛发展，全球信息化时代已经到来，各类信息急剧增长，信息检索技术的研究就被推上了浪尖，引起了世界各国计算机科学界和信息产业界的高度关注，目前的研究、开发十分活跃。人们一方面面临海量信息，另一方面又很难找到自己需要的信息。如何在这无边无际的信息海洋中获取需要的信息，的确是一件相当复杂和困难的工作。这也是信息检索技术存在和发展的根本原因。目前流行的信息检索工具几乎都不能对特定信息进行有效的检索与发现。要么检索出大量的无关信息，要么根本不能检索到任何信息。可见，有效地检索到满足需要的信息是一个急需解决的问题。利用现有信息检索技术来进行信息检索，经常返回大量无关的信息，使用户大量的时间都花费在排除无关的信息上，同时又可能丢失重要的信息。寻求新的、智能化的检索方法也就成为研究热点。近年来，o n t o l o g y 受到研究者的广泛重视。本体作为一种论点新颖、起点较高，并且哲学悠久的知识组织体系，在理论上具备很多优越性和潜在功能。在知识经济时代，本体技术对于促进信息检索技术在知识管理中发挥作用十分重要。同时，本体技术和相关技术领域的开发与研究也是数字图书馆研究中的关键技术。1 2 研究现状o n t o l o g y ( 本体) 的概念最初起源于哲学领域，它在哲学中的定义为“对世界上客观存在物的系统地描述，即存在论”，是客观存在的一个系统的解释或说明，关心的是客观现实的抽象本质。近一二十年来，o n t o l o g y 的概念和方法被计算机学科采用，最早出现在人工智能领域，现在o n t o l o g y 在计算机的许多领域得到了广泛的应用，如知识工程、软件复用、数字图书馆、w e b 上异构信息处理、语义w e b 、信息检索等。目前，o n t o l o g y 在企业管理、生命科学、地理空间科学、农业科学等专业领域的信息组织中发挥着重要作用。要搞清本体研究的发展趋势，就必须了解国外的本体研究现状。w 3 c 致力于硕士学位论文第一章引言本体的研究始于2 0 0 1 年，几乎和对语义网的研究同步开始。德国卡尔鲁厄大学的应用情报学和规范描述方法研究所( a i f b ) 对本体理论和本体的数学表达进行了深层次的研究i i j ，他们目前从事的研究重点是构建基于本体的知识门户和语义门户。美国斯坦福大学的知识系统实验室( k s l ) ，无论是在本体建模工具领域，还是在本体应用层面的研究方面，都站在了知识工程领域的最前沿。除此之外，国外研究基于本体检索加工的学者和机构还有西班牙萨拉戈萨大学的e d u a r d o 和巴斯克大学的胁n t z ai l l a r r a m e n d i i ，以及美国佐治亚大学大规模分布式信息系统实验室【2 】和美国德克萨斯大学计算机系的基于知识系统研究小组等。与国外相比，国内无论是在理论研究、实证研究，还是在技术手段的实现和应用方面都相对落后，与国外高水平的研究相比存在很大差距。国内对于本体的研究大约始于2 0 世纪9 0 年代。“十五”期间，8 6 3 中技术研究发展计划已将本体的研究纳入“计算机软硬件技术主题申请指南a 类”，作为重点研究项目。目前，国内进行本题研究的主要有三支科研力量。一是中国科学院计算所、数学所、自动化所的若干实验室，代表人物是陆汝钤院士、金芝博士、武成岗等人；二是浙江大学人工智能研究所，代表人物是博士生导师高济教授。此外，北京大学计算机科学与技术系、北京大学视觉与听觉处理国家重点实验室、北京理工大学计算机科学工程系人工智能研究所、国防科技大学管理科学与工程系、北京邮电大学智能研究中心等单位的科研人员，也在潜心研究这方面的课题。目前，较为知名的本体系统中，w o r d n e t 和知网可以作为早期进行本体系统开发的雏形。g u m 、s e n s u s 和m i k r o k o s m o s 是较w o r d n e t 更为成熟的语言本体系统，主要用于机器翻译。c y c 和o n t o s e e k 是具有推理功能的最为完备的本体系统。尤其是c y c 本体系统，不仅具备完整的开发工具和表示语言，还具备大型的自主开发的知识库，使之成为开发领域本体的概念基础。而用于专业领域的本体系统有：由英国爱丁堡大学和i b m 等三家公司联合开发的企业本体( e n t e r p r i s eo n t o l o g y ) 项目、基因本体联盟( g o c ，t h eg e n eo n t o l o g yc o n s o r t i u m ) 开发研究的基因本体( g e n eo n t o l o g y ) 项目、地理空间科学著名的o n t o g e o 项目等。综观国内外的研究现状，可以发现：国外的本体理论研究日趋成熟，理论体系正在逐步完善。国内的研究水平相对滞后，大都还停留在翻译、综述国外研究的水平上，具有独立创新性的研究很少。现在，虽然本体构建工具和方法体系已比较多，但没有一个完全成熟的、可以进行真正的自然语言检索的、基于本体的语义检索工具。即使是具有较佳推理功能的c y c 本体系统，也只能识别用c y c l 写成的断言，而后才可以进行推理。目前，本体技术在信息检索中的应用研究主要存在的问题可以归纳为以下几点：2硕士学位论文第一章引言( 1 ) 缺乏构建领域本体的成熟流程、方法和标准规范。( 2 ) 研究本体构建的技术体系与研究检索的技术体系之间存在脱节问题。使得本体对检索系统的嵌入( 登录) 成为难点。这导致了本体工程的生命周期不能顺利进行。( 3 ) 直到目前为止，国内还没有基于本体检索系统投入运行和使用的报道，本体技术在信息检索中的应用研究大都停留在综述，翻译的层次上。( 4 ) 构建基于本体的检索系统，其瓶颈在于基于本体的语义标引仍然只能采用极为耗时的手工标引才能保证标引的精确性。某些自动化或半自动的标引手段未能达到人工标引的精细水平。只有突破这一瓶颈，才有可能进行大规模的本体工程。( 5 ) 多语种问题仍然困扰着围绕本体系统所进行的各种开发、继承和复用。在词汇层面：不同语种的概念之间没有严格的对应关系，只能近似对应。在本体中，概念被看做一个集合，因此要求概念的外延明确，这在多语言环境下尤其难以做到。在语境层面：不同的语种产生于不同民族的生活环境，生活环境既决定了词汇，也决定了语境，因此不同语种中的语境也难以完全相互对应。：”( 6 ) 国外的研究学者更加注重交流与合作，充分的交流合作是形成良好研究氛围和良性循环基础。本领域的国内学者对自己的研究成果宣传力度不够，交流合作较少，在研究中很难掌握别人成果的精华实质，因此很难产生同感，所以这一领域良好的研究氛围还未形成。综上所述，本体研究目前仍处于理论研究日趋成熟，应用研究相对滞后的阶段。1 3 研究的主要内容本课题以研究本体( o n t o l o g y ) 的理论和技术为基础，研究如何在领域本体的基础上提高信息检索查询质量，并针对现有的非结构化或半结构化的信息，在基于传统的信息检索系统结构的基础上，本文提出了一个基于领域本体的信息检索系统结构模型，详细阐述了基于领域本体的语义标注、索引、概念检索和主要的算法。然后详细研究了概念检索中的关键部分一查询扩展技术，并实现了基于本体w o r d n e t 的信息检索系统。本文内容共分六章。第一章，提出了将本体应用到信息检索技术中的必要性和客观需要性。第二章，探讨了信息检索的基本原理，详细阐述了信息检索技术涉及的信息表示、信息检索过程和信息检索结果三个方面。第三章，阐述了本体技术的定义、构成、表示语言和构建工具四个方面，以及本体在信息检3硕士学位论文第一章引言索中的应用。第四章，构建了基于领域本体的信息检索系统结构模型，阐述具体实现过程和主要算法。第五章，对查询扩展进行了深入的研究，并实现基于w o r d n e t 的信息检索系统。第六章，对研究内容进行总结与对未来研究的展望。4硕十学位论文第二章信息检索技术第二章信息检索技术2 1 信息检索模型的概念信息检索是信息资源与信息需求的匹配过程，是通过一定的算法寻找信息资源与信息需求的交集的过程( 如图2 1 所示) 。由于信息资源空间和信息需求空间的不确定性，信息检索是信息需求向信息资源不断靠近的过程，是一个摸索的过程，是一个逐步求精的过程 3 1 。匹配结果图2 - 1 信息检索逻辑模型信息资源是实现信息检索的基础，原始的文档中包括文本、图像、视频、音频等数据，不能直接进行检索，需要从这些原始数据中抽取逻辑视图，支持信息检索。用户用查询来表示他的信息需求。检索系统根据查询的表示，搜索文档集，获取与用户查询相关的文档。信息检索的匹配是相似度匹配，查询的结果按序返回。以上过程实际上涉及3 个重要的处理：文档集和查询的表示、相似匹配及排序。对这些检索的因素和过程建模，我们把信息检索模型定义为：一个信息检索模型是将文档表示、查询以及它们之间的关系进行建模的框架，它由三元组f 【d ，q ，r ( q i ，由) 】( 2 1 )表示。其中，d 是文档集中的一组文档逻辑视图( 或称为文档的表示) ；q 是一组用户信息需求的逻辑视图( 查询的表示) ，这种视图( 表示) 称为查询；r ( 冯) 是一个排序函数，该函数输出一个与查询q i q 和文档表示d i e d 有关的函数。这样在文档之间根据查询q i 定义了一个顺序。为了建立一个检索模型，必须首先考虑文档的逻辑视图和用户的信息需求，给出这些后，就可以构造一个模型框架，由此设计一个检索策略。所以说，在构造信息检索模型时，首先要考虑信息表示( 信息资源和信息需求的表示)2 2 信息资源和需求表示在信息检索中，信息资源和信息需求的表示对信息检索的效率有十分重要硕士学位论文第二章信息检索技术的影响。因此，信息资源和信息需求表达的不确定性是信息检索系统中的一个重要问题。如何控制和协调信息资源和信息需求的表达的一致性是信息检索中至关重要的工作。信息资源的表示包括信息资源外部特征描述、信息资源内容特征描述和信息资源自表示( 全文或多媒体信息) 。信息资源的表示在不同的语义空问中受到不同的方式和规则控制。对信息资源的描述程度就是对信息资源的揭示程度，揭示信息资源的程度越深就能够提供越丰富的检索途径。信息需求可以说是一个模糊的不确定的内容需求，通过需求者自身的知识、经验和学习，能够逐步明确和清晰化。信息需求的描述过程就是信息需求逐步求精的过程，同时在这个过程中可能产生信息需求的转移和转化。信息需求的表示就是在特定的语义空间中描述信息需求的外部( 线索) 特征和内容特征。没有控制的信息资源和信息需求表达方式是今后信息检索的主要方向。人工语言和自然语言的界限将逐步淡化和消失。2 3 信息检索过程信息检索过程是对不同的信息资源和需求不同层次的描述信息，进行比较和匹配的过程。信息检索过程主要涉及两个方面：信息检索的数学模型和特征内容处理。2 3 1 信息检索的数学模型信息检索的数学模型在很大程度上决定了信息系统性能，指导系统如何从海量的数据源中查询出符合用户需要的信息。到目前为止，检索技术有很多不同的数学模型。最常见的信息检索模型是布尔逻辑模型、矢量空间模型和概率模型( 4 , 5 1 。目前的m 模型把每个文档都看成一组索引词的集合，这些索引词从语义上代表了文档的内容。索引词主要是名词，虚词不能代表文档的真正内容，而且文档中不同索引词对文档内容的贡献是不同的。比如，某个词在一个文档集合中几乎每个文档中都出现过，那么这个词对于文档的贡献几乎为零，因为它的出现并不能把各个文档间的异同区分开来。相反，如果某个索引词仅仅在几个文档内出现，那么它对于该文档内容的表达则非常重要。在实际的r a n k 公式中，每个索引词都有一个权重值，用来表示它对文档内容的重要程度。设k i 是一个索引词，也是一个文档，w i | j = 0 是二元组( k i ，d j ) t 搬 w e i g h t ) ，它定义了l 【i 对d i 语义内容的重要性。令t 是整个取系统中全部的索引词个数，k 芦 k l ，k t 是所有索引词的集6硕士学位论文第二章信息检索技术合。如果一个索引词没有在一个文档中出现，那么眦i = o 。文档d j 由关键词矢量j ，表示：d = ( w u ，w 2 j 。w 3 j ，w 0 ( 2 - 2 )以上的定义对于布尔模型、矢量空间模型、概率模型，以及它们的扩展模型提供了总的模型框架。下面就详细的介绍三种信息检索的数学模型。( 1 ) 布尔( b o o l e a n ) 模型布尔模型是建立在集合和布尔代数基础上的最简单的信息检索模型1 6 】，在早期的i r 系统中被广泛使用。标准布尔逻辑模型为二元逻辑，即可以用一系列二元变量( 其值为0 或1 )来表达信息资源和信息需求。对于文献集d 中任意一篇文献d j 用索引词集合k就可以表示如为( d l j ，d 2 j ，d 0 ) ，其中d i l i ( n = 1 ，2 ，t ) 的值为：f1( 如果该文献包含词k _ )。1( 2 3 )lo ( t n 果该文献不包含词k )在布尔检索系统中，用户可以根据检索项在信息资源中的布尔逻辑关系递交查询。如将一个用户需求表示为以下运算式q = ( 七l n k ：) u ( k 3 n 缸) ( 2 - 4 )则根据布尔运算，系统将检索出被索引词k l 和k 2 标引的所有文献，以及被索引词k 3 和l 【i 标引的所有文献。匹配函数由布尔逻辑的基本法则确定。所检索出的文档或者与查询相关，或者与查询无关。查询结果一般不进行相关性排序。布尔模型的优点是计算简单，但它的缺点也很明显：二值化相似度函数很难表达文档和查询之间的相关程度，这种没有中间值的方法在应用中不是检索到很少的文档，就是检索到大量的文档。众所周知，索引词的加权将有效提高检索的性能，一些研究者提出了改进的布尔模型。针对索引项权重的选择，引出了矢量空间模型。( 2 ) 矢量空间模型矢量空间模型 7 , s l 通过分派非二值权重给查询和文档中的索引词，把文档和查询之间的匹配程度从离散值进化到连续值，这样做的明显效果就是，它可以更精确地描述文档间的关系。在矢量空间模型里，与二元组( 1 【i ，d i ) 相关联的权重w i ，j ，它是一个正的非二值的连续值。查询中的索引词汇同样也以权重表示，令吼q 是与( 1 【i ，q ) 相关联的权重，且w 垧0 ，这样查询矢量q 可以定义为：g = ( w l q ，w 2 , q 。帆q ) 。同7硕十学位论文第二章信息检索技术样道理，文档d j 的矢量可以表示为d ，2 ( w 0 ，w 2 j , , w t j ) 。这样文档d = i 和用户查询q 都被表示成了一个t 维矢量。矢量模型通过计算它们之间的关系来确定文档d j 和查询q 之间的相似度。这种关系可以定量表示，一般用这两个矢量的余弦夹角来计算。相似度s i m ( 咄q ) 的计算公式为：洲卜编2w t w 1 4jt2f ，2、善w ，一。1 善一( 2 5 )从上式可以看出，s i m ( d i ，q ) 的值从0 到1 之间变化，矢量模型按照文档与查询的相似度对文档排序。这样可以预先定义一个阀值v ，当大于v 的时候可以认为目标文档与查询相关，否则认为无关。前面提到过，文档中的每个索引词对文档内容的贡献是不同的，可以把索引词的重要程度看成一个聚类问题。索引聚类包括类| 日j 相似度和类内相似度。类内相似度是通过测算k i 在文档d i 出现的频率得到的，一般用咀t e 蚰f r e q u e n c y )来表示，仃越大说明这个词越能表示出文档的内容倾向。类间相似度计算一个索引词在整个文档集合出现的倒频率，一般用i d f ( i n v e r s ed o c u m e n tf r e q u e n c y )表示。矢量模型需要同时兼顾t f 和i d f 这两个参数并进行折衷考虑。设n 为系统文档集合中文档总数，n i 是索引词k i 出现过的文档数。令f r e q i i是k i 在文档d i 中的频率( 即出现的次数) 。那么，k i 的归一化频率丘。在d j 为：z ，=生竺垡( 2 6 )m a x ( f r e q u )m a x ( f r e q i d ) 是文档吗中出现频率最高的词频。令i 觚是k i 的文档倒频率，有：硼：= l o g ( w n 。)( 2 - 7 )那么标准的关键词权值可以表示成：彬= z l o g ( n n ，)( 2 8 )上式也成为瓜模型的t f - i d f 方法。在实际应用中，为避免因文档长度引起的频数变化，对权值函数进行规范化处理形j =船l o g ( 警蝴厣雨( 2 - 9 )向量空间模型克服了布尔模型二值评价的缺点，可以计算出文档与查询的相关程度。很容易进行检索结果的排序，也能够实行用户相关反馈机制。向量8硕士学位论文第二章信息检索技术空间模型假定的是关键词向量是两两正交的，即认为关键词之间是相互独立的，没有考虑它们之间存在语义联系。3 ) 概率模型概率模型【9 1 0 1 克服了向量空间模型中假设关键词都为正交的局限性，考虑了关键词，文档之间的内在联系，利用它们的概率相依性进行信息检索。二值独立检索模型( b i n a r yi n d e p e n d e n c er e t r i e v a l ，b i r ) 是一种实现简单并且效果较好的概率模型。假设文档d 和用户提问式q 都可用二值词条向量( x l ，x 2 ，x n ) 表示，如果关键词k i d ，则x i = l ，否则x i = o 。利用b a y e s 公式经过简化得到文档与提问式间的相关函数s i m ( d ，g ) = l 。g j j 占：j ；号2 - l o )其中，p i = r i f ，q i = ( f i - - r i ) ( f r ) ，f 表示训练文档集中的文档总数，r 表示训练文档集中与用户查询相关的文档数，毛表示在训练文档集中包含关键词l 【i的文档数，r i 表示r 个相关文档中包含关键词k 的文档数。2 3 2 特征内容处理信息检索的第一步就是对原始的文档数据进行处理，提取文档的逻辑结构和特征，按照文档的内容模型进行组织，支持信息的检索。此处的文档是指广义的文档，包含文本、图像、视频和音频等媒体。由此，文档数据的内容处理就是指文本、图像、视频和音频数据( 文本和多媒体) 的特征内容处理。文本数据内容的处理，首先需进行词汇分析，设别出文本词汇，同时对数字、连字符、标点和字母的大小写进行处理。然后去除虚词，过滤掉那些对检索来说作用不大的词。接着对剩下的词抽取词干，去除前后缀，这样就可以检索到查询项的语法变异词，最后选择索引项，确定哪些词( 或词干、词组) 用作索引元素。音频数据需通过声音识别技术，提取声音信息的特征信息。首先，进行帧级听觉特征分析，获得音强、基音、倒频率等听觉特征。然后对上述获得的听觉特征，再进行统计计算，获得诸如高斯分布、直方图分布特征的分布特征；同时在帧级听觉特征分析的基础上，再进一步分析出音乐事件、节奏、旋律等音乐特征。其次，音频特征有时域特征和频率特征。音频时域特征包括声音的平均强度、过零率( 信号值通过零值的次数) 和静音比。声音频率特征包括与声音频率有关的带宽、谐音和频率等。最后，所有这些音频内容分析，分别从低到高，得到不同颗粒度的音频特性的表示( 逻辑视图) ，支持音频信息的检索【l l 1 3 1 。9硕士学位论文第二章信息检索技术数字图像是由像素组成的，但是像素不能直接表达图像的内容，因此需要从中提取颜色、纹理、形状和布局等特征信息，作为视觉特征的表示，支持信息检索。另外就是对图像信息的特征进行语义描述，充分揭示图像信息的内容特征【1 扣1 引。视频信息可以看作是连续的图片信息和连续的声音信息的结合，因此视频信息、检索可以分解为声音信息检索和图像信息检索。但是，仅仅使用这种扩展技术是不够的，因为视频的时基特性，使得视频比图像包含更丰富的内容，例如故事情节、事件和行为等，因此还需要在空间和时间两个方面对视频内容进行分析【1 9 - 2 2 。2 4 信息检索结果分析检索结果是信息检索的最终目的，直接关系到信息检索的性能。对检索结果进行分析可以为语义空间技术、信息表示技术和信息匹配技术提供有效的反馈信息，从而提高信息检索的性能。信息检索结果分析涉及到信息检索结果排序、信息检索结果的性能分析。2 4 1 影响检索结果排序的因素信息检索结果的排序是以不同的顺序把信息检索的结果呈现给信息用户。关联度最高的检索结果显示在最前面，这样可以帮助信息用户更容易地获取所需信息，节约用户时间，提高检索效率。在对检索结果进行排序时，涉及到词频、关联、引用和访问量等因素( 后两种主要针对网络信息资源) 。词频是即关键词在文献中出现的频率，它是文献内容的一种体现形式。直观上，若信息资源包含的某一检索词越多，则该文献与信息需求的相关度就越高。基于词频的检索通常是基于词匹配，而不是语义匹配，有可能检索出大量的无关信息。同时，有个别信息资源的信息生产者，由于某种目的可能有意加大某些关键词的使用量。这种欺骗行为同样给用户带来信息垃圾。总的来说，基于词频排序的相关程度比较高，是一种比较满意的排序方法。关联排序是一种联系关系的排序方法。根据信息资源和信息需求的学科内容属性，对检索结果进行再匹配，剔除与信息需求学科属性不相关的结果，进一步精简( r e f i n e ) 结果。也可以是预先处理信息资源，把信息资源根据内容的不同分成不同的簇，簇内信息资源密切相关，与簇外信息资源尽量不相关。这样与信息用户信息需求相关的文章可能会尽量的靠近某些簇，因此可以剔除检索到的其他不在这些簇的信息资源。基于关联的排序方法也与语义的理解密切相关。语义的理解程度越高排序的结果越准确。1 0硕十学位论文第一二章信息检索技术超链接和文献引用都是一种引用关系。w e b 中蕴含着丰富的结构信息，页面之间的超链接反应了某种引用关系。一个页面被其它站点引用的次数基本上反映了该页面的受欢迎程度( 重要性) 。超链中的标记文本( a n c h o r ) 对链宿页面也起到了概括作用。这种概括在一定程度上比链宿页面作者所作的概括( 页面的标题、关键字、摘要) 要更为客观、准确。可以通过构造w e b 页面引用关系图，综合考虑页面的被引用次数以及所引用页面的相关度来判断本页面的重要性。例如，以p a g e r a n k 为核心技术的搜索引擎g o o g l e 能够查询与用户请求相关的“权威”页面。对超链接的有效性的确定是基于超链接排序的难点和重点。文献引用体现了文献间的某种联系，同时也体现了被引用文献在该主题的重要性影响因子，被引用得越多，说明该文献在该主题上越重要。根据文献的重要性确定文献在读者检索结果上的排序位置，把学科领域中具有重要意义的文献优先提供给读者，改变目前检索结果排序单一按照时间因素排列的模式 2 3 。2 4 。访问量即信息资源的使用频率，是一种语用关系，它可以衡量信息资源的重要程度。信息的使用频率越高，信息的重要程度就越高。许多站点都设有自己的访问量计数器，以此显示自己的重要性与吸引力。搜索引擎会记录它所搜索到页面的被点击次数，从而判断该页面被访问和使用的频率。这是一种由公众集体确认信息资源重要性的方法，具有一定的客观性与公众性。访问量也有可能存在欺骗，也就是信息资源的信息生产者故意按照某种算法增加访问量，或者是发起很多无效的访问。2 4 2 检索系统评价检索系统评价包括检索性能和检索效能两个方面瞄】。检索性能是指检索系统对用户查询请求响应的准确度的评价，其指标分为查准率( p r e c i s i o n ) 和查全率( r e c a l l ) 1 2 6 - 2 5 1 。查全率是指系统在进行某一检索时，检出的相关文献量与系统文献库中相关文献总量的比率，它反映该系统文献库中实有的相关文献量在多大程度上被检索出来。查全率= 【检出相关文献量，文献库内相关文献总量】1 0 0 例如，要利用某个检索系统查某课题。假设在该系统文献库中共有相关文献为4 0 篇，而只检索出来3 0 篇，那么查全率就等于7 5 影响查全率的因素从文献存储来看，主要有：文献库收录文献不全；索引词汇缺乏控制和专指性；词表结构不完整；词间关系模糊或不正确；标引不详；标引前后不一致；标引人员遗漏了原文的重要概念或用词不当等。此外，从情报检索来看，主要有：检索策略过于简单；选词和进行逻辑组配不当；检索途径和方法太少；检索人员硕士学位论文第二章信息检索技术业务不熟练和缺乏耐心；检索系统不具备截词功能和反馈功能，检索时不能被全面地描述检索要求等。查准率是指系统在进行某一检索时，检出的相关文献量与检出文献总量的比率，它反映每次从该系统文献库中实际检出的全部文献中有多少是相关的。查准率= 【检出相关文献量检出文献总量】x1 0 0 例如检出的文献总篇数为5 0 篇，经审查确定其中与项目相关的只有4 0 篇，另外l o 篇与该课题无关。那么，这次检索的查准率就等于8 0 。显然，查准率是用来描述系统拒绝不相关文献的能力，有人也称查准率为”相关率”。查准率和查全率结合起来，描述了系统的检索成功率。影响查准率的因素主要有：索引词不能准确描述文献主题和检索要求；组配规则不严密；选词及词间关系不正确；标引过于详尽；组配错误；检索时所用检索词( 或检索式) 专指度不够，检索面宽于检索要求；检索系统不具备逻辑”非”功能和反馈功能；检索式中允许容纳的词数量有限；截词部位不当，检索式中使用逻辑”或”不当等等。检索效能是对系统所耗时问和空间的评价，主要涉及用户负担、系统的可靠性和响应速度四。用户负担是指用户在信息检索过程中所花费的时间和精力的总和，包括具体的时间花费、学习的代价以及历史知识的掌握。一个好的检索系统应该尽可能减少信息用户的负担。检索系统的可靠性，指检索系统的稳定性和健壮性。检索系统应该在时间上连续运行，同时在相当短的时间范围内，不同的信息用户输入相同的检索内容，获得的检索结果应该尽量相同和相似。检索系统的响应速度，指信息用户输入检索内容到输出检索结果的花费时间，包括检索准备时间、检索过程时间、获取文献时间等。提高检索速度应该分析信息用户检索表达式的使用额度，加速在子集里检索的速度，因为信息用户经常只在某领域内查找：无论数据库多大，检索词的检索速度均应在相当短的时间之内，因为信息用户使用检索词查找的概率较大；应该采用高级缓存技术，因为网络环境下信息用户使用相同检索表达式的概率较大。2 5 当前信息检索的不足信息检索技术，包括商用化的产品已经问世很多年了，这些年年来在检索关键技术、系统结构设计和查询算法等方面都有了很大的进步，一大批商用检索系统目前正广泛使用着。与这些进步相对应的是，数据信息的急剧增加在某种程度上弱化了在信息检索研究方面取得的成绩，海量的数据量和频繁的更新速度带来了全新的挑战。目前，信息检索存在着以下几个方面的不足( 后两种硕十学位论文第一二章信息检索技术主要针对网络信息资源) 。( 1 ) 查询质量不商查询质量低表现在返回大量的结果页面，然而真正符合用户需求的数量很少，而且这些相关链接很多都没有出现的查询结果的前面。用户需要不停的尝试、翻页才能找到有价值的信息，这个过程耗费了大量的时间。在信息量指数增长的时代，这个问题显得尤为突出。提高查询质量是目前智能化信息检索研究中最关键的一个问题，在结合了数据挖掘技术后，信息检索的查询质量可以得到很大改善。( 2 ) 基于关键词的查询缺乏用户行为理解力从检索技术发展的角度看，基于关键词的查询将是现在以及相当长的一段时间内最重要的检索方法。基于关键词的查询是以关键词的布尔组合来实现复杂的检索。而现有的搜索引擎提供给用户的提问函数是相当有限的，大多数的搜索引擎只提供关键词间最基本的布尔连接。只提供a n d 和o r 两种逻辑运算符，并且强制一个逻辑运算符应用于所有的关键词。在很多情况下，要构建一个有效的查询组合是非常困难的。另一方面，即使是相同的关键词，不同的用户的查找目标也有可能是不同的，它和用户的个人偏好、当前查找的上下文环境、以前的查找历史等因素密切相关。在了解了这些参数的基础上，可以设计出更符合用户需要的搜索引擎。( 3 ) 查询更新速度慢有两个原因造成了查询结果更新速度慢：一个是搜索引擎的c r a w l e r 系统效率不高，每次文档收集的周期过长，完成索引后的内容已经和最新的页面产生了差别；- - 是文献更新速度越来越快。现在很多网站都包括了动态页面，这些页面是由后台数据库驱动的，数据库的交化直接导致这些动态页面的改交。部分静态页面的更新速度也在加快，在w 曲c r a w l e r 连续两次访问的间隔中，很多w e b 页面的变化次数会远大于两次，而这些变化的内容用户通过查询是无法得到的。( 4 ) 缺乏有效的信息分类目前绝大部分搜索引擎的查询结果都是用列表和分页的方式提供的，所有相关和不相关的链接没有关联的放在一起，这对于查找目的明确的用户来说非常的不方便，因为必须在各个链接之间不断的跳过或者选择。将查询页面进行分类或者聚类是改变用户导航质量的有效途径，它可以让用户快速的选择某个分类并在该分类中进一步细化查找目标。硕士学位论文第二章信息检索技术2 6 小结本章节阐述了信息检索的逻辑模型，对当前信息检索技术包含的几个重要部分一检索模型，检索过程，检索结果，进行了详细的分析。在章节的最后，还提出了当前信息检索存在的_ 二些不足，为后续工作的开展做好铺垫，后面章节系统模型的研究和系统的实现中主要是探讨查询质量的解决问题，分析和实现一定程度上的概念检索。1 4硕士学位论文第三章本体相关理论和技术3 1 本体的定义第三章本体相关理论和技术在计算机界，明确本体的定义经历了一个过程。1 9 9 3 年，g r u b e r d o l 给出了本体的一个最为流行的定义，即“本体是概念模型的明确的规范说明”。后来，b o r s t 3 l 】对此稍做修改，提出：“本体是共享概念模型的形式化规范说明”。s m d e r 3 2 】等对上述两个定义进行了深入的研究，认为本体是共享概念模型的明确的形式化规范说明，这个定义包含了4 层含义：概念化( c o n c e p t u a l i z a t i o n ) 、明确( e x p l i c i t ) 、形式化( f o r m a l ) 和共享( s h a m ) 。“概念化”指通过抽象出客观世界中一些现象的相公概念而得到概述模型，即概念系统所蕴涵的语义结构，是对某一事实结构的一组非正式的约束规则，可以理解或表达为一组概念( 如实体、属性、过程) 、定义和关系。概念模型所表现的含义独立于具体的环境状态，可以用一个简单的例子来说明：假定用气b 来表示两本书，用o n 来表示它们之间的关系，o n ( 八b ) 表示a 在b 之上，o n ( b ，a ) 表示b 在a 之上。无论是o n ( a ，b ) 还是o n ( b ，a ) ，概念o n 的意思保持不变。“明确”是指所使用的概念及使用这些概念的约束都有明确的定义。“形式化”指本体是能被计算机处理的。“共享”指本体中体现的是共同认可的知识，反映的是相公领域中公认的概念集合，即本体针对的是社会范畴而非个体之间的共识。除上述定义以外，不少文献从不同的问题域和研究角度出发，对本体又给出了各种各样的定义。对本体的种种不同定义，都是从不同角度给出的相应解释。这些定义之间是相互补充的，并且不断扩充本体的应用范畴。它们有一个共同点，即都包含o r u b e r 定义中所指出的事实：“本体是反映客观存在的概念模型，是对概念模型的明确描述”。总而言之，本体的目标是获取、描述和表示相关领域的知识，提供对该领域知识的共同理解，确定领域内共同认可的词汇，并从不同层次的形式化模式上给出了这些词汇( 术语) 和词汇间相互关系的明确定义。一般来说，本体具有两个特征：静态性和动态性静态性指的是它反映的概念模型，没有涉及动态的行为；动态性指的是它的内容和服务对象是不断变化的，针对不同的领域，可以定义和构造不同的本体。硕七学位论文第j 章本体相关理论和技术3 2 本体的构成本体的体系结构应该包括3 个要素：核心元素集、元素间的交互作用以及这些元素到规范语义间的映射关系。i s o7 0 4 标准【3 3 l 和o k b c 模型( 开放的知识底层的连通性模型，它是向本体中的基本元素即那些能够被机器加工的语义信息，提供规范语义的模型) 刚是现有的有关本体体系结构的规定。i s o7 0 4认为本体的体系结构应含概念、定义和术语3 部分。i s o7 0 4 建议，一个概念应该用一个自然语言的术语得到理想的表达。对于本体的具体构造过程，可以用公式3 - 1 形象地给出【3 5 】：本体= 概念( c o n c e p t ) + 属性( p r o p e r t y ) + 公理( a x i o m ) + 取值( v a l u e )+ 名义( n o m i n a l )( 3 - 1 )p e r e z 等人用分类法组织了o n t o l o g y ，归纳出5 个基本的建模元语( m o d e l i n gp r i m i t i v e s ) ：类( c l a s s e s ) 或概念( c o n e e p t s ) 、函数( f u n c t i o n s ) 、公理( a x i o m s )和实例( i n s t a n c e s ) 3 6 1 。概念指任何事务，如工作描述、功能、行为、策略和推理过程，从语义上讲，它表示的是对象的集合，其定义一般采用框架( f r a m e )结构，包括概念的名称，与其他概念间的关系的集合，以及用自然语言对概念的描述；关系是在领域中概念之间的交互作用，形式上定义为n 维笛卡儿积的子集：r ：c j