已阅读5页,还剩37页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
东南大学硕十学位论文基于本体的问答盎啪系统关键技术的圳究与实现 摘要 随着网络技术的发展,远程教育越来越受到人们的关注。答疑系统作为网络教育平台的 1 个重要组成部分,在老师和学生之间的交流方面发挥着重要的作_ | j = | 。传统的替疑系统比较 集中在答凝方式和答疑系统的实时交互方面,对其中的关键部分一语义的理解涉及的不是 很多。 针对上面的问题,本文提出用领域本体作为语义理解的基础。本体( o n t o l o g y ) 是一种 用来描述概念以及概念和概念之间关系的模型,领域本体是本体的一种,它包含该领域的比 较完整的知识和丰富的语义关系,把这些资源通过一种方法应用到问答查啕系统中,使得一 定程度上解决目前答疑系统中语义的理解不足的问题成为可能。 本文首先简要地阐述了本体的相关概念,接着根据特定领域自动同答系统的特点介绍了 领域本体的构建过程。第三章通过对常用的问句的语法成分进行分析,找出几种常用的问题 模式,从而利用转移网络处理并直接在本体中搜索答案。第四章主要是讨论词语之间语义相 似度的计算方法,提出使用基于本体的计算方法取代基于语义树的计算方法。最后介纠了系 统原型的实现并通过对试验数据的分析,从而证明算法的正确性和有效性。 关键字:本体,转移网络,向量空间模型,相似度计算,问题模式,答疑系统 东南人学坝i 学位娩殳捧卡奉体的问答查砌系统关键技术的斜究1 j 实j i ! i l a b s t r a c t w i t ht h ed e v e l o p m e n to f n e t w o r k t e c h n o l o g y a n di t sb r o a da p p l i c a t i o n ,r e m o t ee d u c m i o nh a s b e e np a i dm o r ea n dm o r ea t t e n t i o n a so n ep a r to fi t ,q u e s t i o na n s w e rs y s t e mp l a y sa ni m p o r t a n t r o l ea tc o m m u n i c a t i o nb e t w e e nt h et e a c h e ra n ds t u d e n t t i l et r a d i t i o n a l a n s w e r s y s t e m s c o n c e n t r a t eo nt h ew a yo fa n s w e r i n ga n dt h er e a l t i m eo ft h es y s t e m s e m a n t i cu n d e r s t a n d i n g ,t h e m o s ti m p o r t a n to f a n s w e r s y s t e mh a s n o tb e e ni n v o l v e d t os o l v et h i s p r o b l e mo fa b o v e ,t h i sp a p e rr e g a r d s f i e l d o n t o l o g y a st h ef o u n d a t i o no f s e m a n t i cu n d e r s t a n d i n go n t o l o g yi sak i n do fm o d a lt h a ti su s e dt od e s c r i b et h ec o n c e p t sa n dt h e r e l a t i o n so ft h e m f i e l do n t o l o g yi s ak i n do fo n t o l o g y i ti n c l u d e sa b u n d a n c ek n o w l e d g ea n d s e m a n t i cr e l a t i o n so ft h i sf i e l d ,t h r o u g ha p p l y i n gt h e s er e s o u r c e st oq u e s t i o na n s w e rs y s t e mb ya c e r t a i nw a yi ti si m p o s s i b l et os o l v et h ep r o b l e mo fs e m a n t i cu n d e r s t a n di n s u f f i c i e n c yi naw a y t h i sp a p e rf i r s t l yi n t r o d u c e st h ec o r r e l a t e do n t o l o g yc o n c e p t s t h e ni n t r o d u c e st h eo n t o l o g y b u i l d i n gp r o c e s sb a s e do nt h ec h a r a c t e r i s t i co fq u e s t i o na n s w e rs y s t e m i nt h ef o l l o w i n gw e l o o k u p s o m ec o m m o nq u e s t i o nm o d a l sb ya n a l y z i n gq u e s t i o ng r a m m a r , s ow ec a nu s et r a n s i t i o n n e t w o r kt od e a lw i t ht h e ma n dd i r e c t l ys e a r c ha n s w e ri no n t o l o g y ;d i s c u s st h ec o m p u t i n gm e t h o d o fs e m a n t i cs i m i l a r i t yb e t w e e nw o r da n dw o r d ,b r i n gf o r w a r dac o m p u t i n gm e t h o db a s e do n o n t o l o g yi np l a c eo f b a s e d 0 ns e m a n t i ct r e e f i n a i l yw ei n t r o d u c ear e a l i z a t i o no f p r o t o t y p es y s t e m t h r o u g ht h ea n a l y s i so fe x p e r i m e n t a t i o nd a t a ,i tp r o v e s t h a to u ra r i t h m e t i ci sr i g h ta n df e a s i b l e k e y w o r d s :o n t o l o g y , t r a n s i t i o nn e t w o r k ,v e c t o rs p a c em o d e l ,s i m i l a r i t yc o m p u t e ,q u e s t i o n p a t t e r n ,q u e s t i o na n s w e rs y s t e m 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写 过的研究成果,也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 研究生签名: 匙蚤日 期: 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档,可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸 质论文的内容相一致。除在保密期内的保密论文外,允许论文被查阅和借阅,可以公布( 包 括刊登) 论文的全部或部分内容。论文的公布( 包括于u 登) 授权东南大学研究生院办理。 研究生签名:崖生燮 导师签名: 翻鲨莹 日 期:加唯; 东南大学硕士学位论文 基于本体的问答查询系统关键技术的研究与实现 1 1 研究背景与现状 第一章引言 随着社会的发展以及网络的普遍应用,远科教育逐渐发展起来,替疑系统作为网络教育 平台一个重要组成部分,它在加强教师平学生的交流,帮助学生理解问题和提高教学质姑方 面起到积极作用。 目前国内答疑系统的研究比较集中在答疑方式和系统实时交互方面,涉及自然语言语义 理解方而并不多。其中文献中提出使用语义树的方法,通过对语义树中的不同概念进行语 义相似度的计算和问题间的模糊匹配计算,在语义的理解上取得了一定的效果。但由于其中 所用的语义树是根据概念在一本教材的章节目录山现的次序而自动生成的,相对比较粗糙、 简单,另外语义相似度计算模型也比较简单,计算出的相似度值有时不能很好地真实反映概 念之问的语义关系,在系统返回的答案中有可能出现一些与所提问题毫不相关的内容。因此 有必要对上述方法进行改进。 本体( 0 n t o i o g y ) 是一种用来描述概念以及概念和概念之间关系的模型,通过概念之 间的关系来描述概念的语义。作为一种有效表现概念层次结构和语义的模型,本体被广泛地 应用到计算机科学的众多领域。本体自从提出来后就引起国外众多科研人员的关注,并在解 决语义方面展开了广泛的应用,例如在异构数据源的集成上解决不同数据源之间的语义冲 突、在语义w e b 方面解决x m l 利r d f 所不能解次的语义理解问题,另外在信息抽取、软 件复州等等方而都充当_ :r 关键的角色。目前国内对本体的研究还刚月4 起步。 为了解决问答布| 甸系统的语义问题,我例利用r 本体的技术来构建领域本体,这种领域 本体( d o m a i no n t ol o g y ) 能提供完整的关下某一特定领域中概念以及概念和概念之间的关 系的描述。因此领域本体作为一种基础资源,应该包含该领域的比较完整的知识和丰富的语 义关系。把这些资源通过一种方法应用到问答查询系统中,使得一定程度上解决目前答疑系 统中语义的理解不足的问题成为可能。 1 2 研究内容与目标 为了对已有的答疑系统进行改进,提出领域本体作为语义理解的信息基础如何建立本 体以及如何充分利用本体中的信息是我们研究的重点。因此基于领域本体的问答查询系统主 要致力丁以f 二个方面内容的研究: ( 1 ) 问答系统中领域本体的构建方法 这是答疑系统的基础部分,也是关键部分,领域本体构建的好坏将直接影响到答疑系统 的准确率。因此在建立的过程中,我们从领域本体所涉及的范围,应用领域本体的目的和答 疑的特点等方面来进行考虑。开发一个本体的过程一般包含:定义本体中的概念、安排本体 中的概念以及概念与概念之间的关系、然后定义概念的属性并描述其属性的值。这样就可以 形成一个较完整的知识库。 ( 2 ) 用户问题的模式分析 用户的问题表述形式多种多样,同一个意思可以用不同的提问方式来表达,但是它们大 多数都是遵从固定的模式。例如主谓语模式、主谓宾模式等。可以结合本体中存储的信息对 一般问题模式进行分析研究,每种模式分别对应着一种答案奇找规则,组成一个奁找规则库。 东南人学7 女3 - i :学位论文 基于奉体的问答硷询系统关键技术的研究与实现 当然我们这里所提的问题模式与上面说的主谓语模式、主谓宾等不尽相同,而是针对本体中 所存储的信息提出的一种特定的模式概念。 ( 3 ) 模糊匹配算法的研究 不是所有的问题都遵从i 乱定的模式,对这些问题借用文献【1 1 中的向量空间模式进行模 糊匹配计算。但对其中的所用到的模糊匹配算法进行了大量的改进。充分利用本体中的语义 结构信息,并对目前的比较常用的算法进行分析的基础上,提山个针对问答查询系统的模 糊匹配算法。 1 3 论文内容和结构 本论文旨在对问答系统中用户的问题从语义层面上进行理解,提出自己的解决方法,并 通过实验进行验证,论文的结构安排如下: 第一章:“引言”,介绍论文的研究背景、研究目标、研究内容阻及论文的结构。 第二章:“本体的相关概念以及本体的构建方法”,对本体的概念和建模语言进行详细的 阐述以及针对答疑系统特点提出领域本体的构建办法。 第三章:“问题模式的匹配与推理”,对常见的几种问题结构进行分析,提出用转移网络 的方法来对问句的文法进行分析。 第四章:“基于本体的语义相似度模糊匹配”,介绍关于语义相似度计算的数学模型。对 本体中不同概念之间的语义相似度计算进行了详细的研究提出了一种基于本 体的语义相似度计算模型。 第五章:“基丁本体问答奄淘系统中关键技术的实现”,对原删系统实现过程中所涉及到 的关键技术进行详细的介蜊。 第六章:“基丁本体问答杏淘系统性能分析”根据答疑系统的实际测试结果,分析各各 项性能指标,从而证明本文提出的技术和算法的正确性和有效性。 第七章:“总结与展望”,总结全文,并对论文中需要进一步研究的地方进行阐述。 2 东南大学烦i 1 学位论文 基于本体的问粹查 0 系统关黜技术的圳宄l ,实现 第二章本体的概念以及领域本体的构建 本体( o n t o l o g y ) 是概念的一个清晰的规范说明该词是从哲学的领域借用过来的。在 哲学中它的基本意思是对本质和存在的一个系统的描述。本章介绍本体以及本体相关概念、 本体的构建方法以及本体的形式化描述语言。 2 1 本体的定义 在人工智能界,虽甲给山本体定义的是n e c h e s 等人j ,他们将本体定义为“给出构成相 关领域词汇的基本术语和关系,以及利用这些术语和关系构成的规定这些词汇外延的规则的 定义”。 1 9 9 3 年,g m b e r 给出了本体的一个最为流行的定义 l 、即“本体是概念模型的明确的规 范说明”。后来,b o r s t 在此基础上,给出了本体的另外种定义pj :“本体是共享概念模型 的形式化规范说明”。 s t u d e r 等对上述两个定义进行了深入的研究,认为本体是共享概念模型的明确的形式化 规范说明。这包含4 层含义1 4 1 :概念模型( c o n c e p t u a i i z “o n ) 、明确( e x p l i c i t ) 、形式化( f o r m a l ) 和共享( s h a r e ) 。“概念模型”指通过抽象出客观世界中一些现象( p h e n o m e n o n ) 的相关概念而 得到的模型。概念模型所表达的含义独立于具体的环境状态。“明确”指所使用的概念及使 用这些概念的约束都有明确的定义。“形式化”指本体是计算机可读的( 即能被计算机处理) 。 “共享”指本体中体现的是共同认可的知识反映的是相关领域中公认的概念集,即本体针 对的是团体而一1 1 个体的共识。本体的目标是捕获相关领域的知识,提供对该领域知识的共同 理解,确定该领域内共同认可的词汇,并从不同层次的形式化模式上给山这些词汇( 术语) 雨i 词汇间相互关系的明确定义。 2 2 本体的描述语言 i - i 前在具体应用中本体的表示方式主要有4 类”1 : ( i ) 非形式化语言 ( 2 ) 半非形式化语言 ( 3 ) 半形式化语言 ( 4 ) 形式化语言 可以用自然语言来描述本体,也可以用框架、语义网络或逻辑语言来描述。 目前普遍使用的方法列表如下: 东南大学硕士学位论文基于本休的问答查询系统关键技术的j j 】| 究0 实现 名称方法描述特点 一种基于k i f ( k n o w l e d g e v , 为构造和维护本体提供了统一 i n t e r c h a n g ef o r m a t ) 的提供统 的、汁算机可读的方式; 一的规范格式来构建本体的 由其构造的本伴可以方便地转 语言。换刨各种知识表示和推理系统 o n t o l i n g u a( p r o l o g 、c o r b a l 拘i d l 、 c l i p s 、l o o m 、e p i k i t 、a l g e r n o n 和k i f ) ,从而将本体的维护与使 用它的目标系统隔开; 主要用于本体服务器。 c y c 系统的描述语言,一种体 在一阶谓词演算的基础上扩充 系庞大而非常灵活的知识描了等价推理、缺省推理等功能: c y c l 述语言。 具备一些二阶谓词演算的能力; 其语言环境中配有功能很强的 可进行推理的推理机。 o n t o s a u r u s 的描述语言,一种 提供表达能力强、声明性的规范 基于一阶谓词逻辑的高级编 说明语言; 稗语言,属于描述逻辑体系。 提供强人的演绎推理能力: l o o m后来发展为p o w r l o o m 语言 y , 提供多种编科风格利知识席服 ( 采州前后链规则( b a c k w a r d 务。 a n df o r w a r dc h a i n e r ) 作为推理 机制) 。 2 3 本体的研究和应用 本体的研究和应用主要包括以下三个方面: 理论上的研究,主要研究概念及其分类,本体上的代数,其中最有代表性的是g u a r i n o 等人对概念及其分类进行的研究工作。 信息系统中的应用,主要包括处理信息组织、信息检索和异构信息系统互操作问题。目 前本体应川在信息检索中的著名项目n n ( o n t o ) 2 a g e n t l 5 j 、o n t o b l o k e r l 6 1 和s k c ”1 。这3 个项目也分别代表了3 个方向。( o n t o ) 2 a g e n t 的目的是为了帮助用户检索到所需要的w w w 上已有的本体。o n t o b i o k e r 面向的是w w w 上的网页资源,目的是为_ | _ h 户检索到所 需要的网页,这些网页含有用户所关心的内容。s k c 是一个正在进行的项目,其目标 是解决信息系统语义异构的问题,实现异构的自治系统之间的互操作。 本体作为一种能在知识层提供知识共享和重用的工具应用在语义w e b 中。诰义w e b 由 八层组成u n i c o d e 、u r i 、x m l 、r d f 、o n t o l o g y 、l o g i c 、p r o o f , i :it r u s t 。其中第五 层的o o t 0 1 0 9 y 就是为了解决x m l 和r d f 在处理语义上的不足。本体通过对概念的严 格定义和概念与概念之间的关系来确定概念精确定义,表示共同认可的、可共享的知识。 2 4 本体的种类 为了对本体进行有效的分类,g u a r i n o 在文献8 1 中提出以详细程度和领域依赖度两个维 度作为对本体划分的基础。详细程度是相对的、较模糊的一个概念,指描述或刻画建模对象 4 东南大学t 女i d :学位论文 摹于本体的问答查询系统关键技术的研究与实现 的程度。详细程度高的称作参考本体( r e f e r e n c eo n t o l o g i e s ) ,详细程度低的称为共享本体 ( s h a r eo n t o l o g i e s ) 。依照领域依赖程度,可以细分为通用( t o pl e v e l ) 本体、领域( d o m a i n ) 本体、任务( t a s k ) 本体和应用( a p p l i c a t i o n ) 本体等4 类。 通用本体:独立丁特定的领域,对人们所碰到的所有类目构造一个通川的知识框架通 常也称之为核心本体。通用本体一般非常巨火,但不够详细。像国外的w o r d n e t 、c y c 利 国内的h o w n e t 都可以看成是通用本体的例子。 领域本体:对特定类型领域( 如电子,生物,机械,医药等) 的相关知识进行描述。领 域本体比通用本体小,但比通用本体详细。 任务本体:描述的是特定任务或行为中的概念及概念之问的关系。 应用本体:描述的是依赖于特定领域和任务的概念及概念之间的关系。 1 9 9 9 年,p e r e z 和b e n j a m i n 在分析和研究了各种o n t o l o g i e s 分类法的基础上,归纳出 1 0 种本体:知识表示本体、普通本体、顶级本体、核心本体、领域本体、语言本体、任务 本体、领域任务本体、方法本体和应用本体。这种分类法是对g u a r i n o 提出的分类法的扩充 和细化,但是这1 0 种本体之间有交叉,层次不够清晰。 2 5 领域本体的构造 在问答奇找系统中,针对特定领域的答疑,需要建立相应的领域本体。领域本体一般是 由该领域的专家来建立。领域本体定义了该领域的一组术语这些术语称之为概念。概念和 概念之间的关系描述了该领域的概念结构。 2 5 1 领域本体构造所遵循的规则 目前已有的领域本体很多,出于对各自问题域和具体工程的考虑构造领域本体的过程 也是各不相同的。由于没有一个标准的构造方法,不少研究人员从实践出发提出了不少有 益于构造本体的标准,其中最有影响的是g r u b e r 于1 9 9 5 年在文献 9 1 中提出的5 条规则: ( 1 ) 明确性和客观性:本体应该用自然语言对术语给出明确、客观的语义定义。 ( 2 ) 完全性:所给出的定义是完整的,完全能表达所描述的术语的含义。 ( 3 ) 一致性:由术语得出的推论与术语本身的含义是相窬的,不会产生矛盾。 ( 4 ) 最大单调可扩展性:向本体中添加通用或专用的术语时,不需要修改已有的内容。 ( 5 ) 最小承诺:对待建模对象给出尽可能少的约束。 当前对构造本体的方法和性能评估还没有一个统一的标准,这是一个需要进一步研究的 方向。目前对于特定的应用,本体的构造方法不完全相同。但在构造特定领域本体的过程中, 有一点是得到大家公认的,那就是需要该领域专家的参与。下面,针对我们的答疑应用,采 h j 语义网络的描述方法来构造领域本体,具体构造方法在f 节详细介绍。 2 5 2 构造领域本体的方法 领域本体的开发和完善是一个反反复复不断补充的过程。领域本体中的概念应该贴近于 要研究的专业领域中的客观实体和关系法则。它的构造要经过六个步骤: ( 1 ) 确定领域本体的专业领域和范畴 可以通过确定专业领域和范畴作为开发领域本体的起点。首先,耍明确构建的领域本体 东南人学预:学位论文 接于本体的问答奄啕系统关键技术的研究与实现 将覆盖的专业领域、应用本体的目的、本体戍该在哪些方面发挥作用以及它的系统维护者与 应崩对象。 假如问答系统是针对数据库知识进行答疑,那么,领域本体覆盖的专业领域是数据库。 应用本体的目的是为了解决问题匹配中的语义理解问题,也就是第三章和第四章中的问题模 式匹配和模糊匹配方法。 ( 2 ) 复用现有的本体 如果系统需要和其它的应用平台进行互操作,而这个应用平台又与特定的领域本体或 相关概念联系在一起,那么复用现有的本体是行之有效的方法。许多现成的本体,例如前面 提到的o n t o l i n g u a 的本体文库、d a m l 的本体文库u n s p s c 、和d m o z 等,可以导入到本 体开发系统中,本体的格式转换也并不困难。 ( 3 ) 列出本体涉及领域中的重要术语以及术语的属性与属性值 领域本体是描述概念以及概念与概念之间的关系,首先要列举出该领域中的所有概念以 及对该概念的详细解释,在特定领域,这些概念就是有关的专业术语。除此之外,针对每个 概念,要列出它所有可能的属性,每个属性都有对应的属性值。例如:在关于数据库的领域 本体中有以f 术语:“数据模型”,“关系数据模型”,“网状数据模型”“层次数据模型”, “模式”,“内模式”“外模式”,“内模式”,“数据库管理系统”,“关系数据库管理系统”等。 其中概念“数据库管理系统”有功能、组成、优缺点等属性属性“功能”所对应的属性值 为“提供高级_ l = | 户接口查| 旬处理和优化,数据目录管理”。 ( 4 ) 定义关联结点 为了对概念和概念之间的关联关系进行详细的说明,需要对概念定义关联结点。例如, 为了说明概念“内模式”和“外模式”的区别,在概念“内模式一f 存在一个关联结点:区 别,该结点关联另外一个概念“h 模式”。并需要对该关联结点详细说明。 ( 5 ) 定义概念之间的各种关系。 在领域本体中,概念和概念之间通过关系来交互。在知网i 】中,一共描述了概念之间 的8 种关系:上下位关系、同义关系、反义关系、对义关系、属性一宿主关系、整体一部分 关系、材料一成品关系、事件一角色关系。 知网可以看成是一个庞火的通用本体,构建这样的本体是件非常费时费力的事情。针对 特定领域答疑系统的特点,在我们构建的领域本体中使用了四种关系:继承关系、部分关系、 相关关系和同义关系l ”】,其中的继承关系可以看成是知网中的上r 位关系。 1 继承芙系( i s a ) 继承表示概念之间的包含和被包含关系,也可以看成是概念之间的泛化和特化关系。如 果概念c 。是c 的一种特殊概念,那么我们说概念c 是概念c ,的特化,概念c ,是概念c 的 泛化,概念c 继承丁二概念c ,。例如:层次数据模型是一种特殊的数据模型,所以概念“数 据模型”是概念“层次数据模型”的泛化。相反,概念“层次数据模型”是概念“数据模型” 的特化。即,“层次数据模型”继承于“数据模型”。如图2 1 所示。 继承关系 图2 6 东南大学硕士学位论文 基于本体的问答查询系统关键技术的驯究与实现 1 昏县斗 图2 1 中,概念“数据模型”和概念“层次数据模型”、“关系数据模型”、“网状数据模 型”等之间存在继承关系。图中用带箭头的实线表示,箭头的方向是由泛化概念指向特化概 念。 概念都有它自己的属性。如果两个概念问存在继承关系,那么继承的概念将拥有被继承 概念的所有属性。例如,概念c j 继承于概念c 。那么概念c ,将拥有概念c 的所有属性,另 外还可能有它区别t 概念c j 的特殊属性。 如果概念c 同时继承于c 和c k 。这是一种多重继承( 与面向对象的概念1 i 常相似) 。 在领域本体中,同一个词语有时既可看作是概念,同时又可看作是属性。如果这个属性 能够清楚地单独表示一个具体意思,那么就可以把它同时作为一个概念。例如概念“原子性”, 它既可以看成是概念“事务”的一个属性,同时它又能够单独的表示一个意思。 2 整体一部分关系( p a r t o f ) 概念和概念之间存在着整体一部分关系。如果概念c ,是概念c 。的一个组成部分,那么 我们说概念c ,和概念c ,之间存在整体一部分关系。在图2 4 中,在数据库领域中,概念“前 像”、“后像”都是概念“运行记录”的组成部分,所以“运行记录”和“前像”、“后像”之 间是整体一部分关系,如图2 2 所示,用带箭头的虚线表示这种关系,箭头的方向是由整体 指向部分,如图2 ,2 所示。 。,一,一荤、一一 。:鸯。一奄、:;! i : 整体一部分 幽22 3 相关关系( r e l e v a n to f ) 相关关系表明概念和概念由于某个主题而相互关联。例如在图2 2 中:概念“前像” 和“后像”由于都是“运行记录”的一部分而存在一种相关关系。相关关系可由继承关系和 部分关系中导出所以图中可以不画出来。 4 同义关系( s y n o n y m y o f ) 在一个领域中,一个概念可能有几种不同的表示方式,也就是可以用不同的词语来表示 一个相同的概念。例如:“数据库管理系统”和“d b m s ”、“聚集”和“簇集”都是同一概 念的两种不同的说法所以这两个概念之间存在同义关系。在图中,同义芙系用一根不带箭 头的实线相连,如图2 3 所示。 同义关系 图2 _ 3 继承关系和部分关系是两种最主要的关系,相关关系可以从继承关系和部分关系中体现 出来。出现同义关系的概念不是很多。 应用上面的四种关系,我们可以把领域中的概念构建成一个具有等级的网络结构。构建 7 东南大学烦i j 学位论义 基于奉伴的问答奁洵系统关键挫术的_ f i 】究j 实现 级网络体系有3 种可行的方法。 白顶向f 法:由某一领域中最大的概念开始,通过逐层的添加子概念将这些概念 细化。最终得到本体的等级网络结构。 白底向上法:由最底层、最细小的概念定义开始,将这些细化的概念一层一层的组织在 更加综合的概念之下,形成一个等级网络结构。 综合法:首先定义很多非常显而易见的概念,然后分别将它们向上层进行恰当地归纳利 向下层进行细化,构成一个等级网络结构。 至于具体在实践中采取什么方法构建等级网络结构,主要取决于于开发人员对专业领 域的个人观点。由于综合法是从一些最普通的概念入手,比较符合人的习惯,所以综合法对 本体开发者而言最便捷。 2 6 本体网络的形式化描述 一个构建完成的领域本体可以看成一个无环的有向网络o ( s ,v ) : g = g ( s ,矿) 其中: s = ( c 1 ,c 2c 3 ,一,cr ,c ,c ) 矿= ( c 。一c j ) l0 i m a x ,0 属性: ) 9 东南大学硕士学位论文 基于本体的问答查询系统关键技术的研究与实现 第三章问题模式的匹配与推理 在基于自然语言的答疑系统中,首先需要对学生所提出的问题进行分析处理。对于同一 个问题,学生可能有多种提问方式。因此,需要对这种一个问题多种提问方式的情况进行分 析,以便能够得到一个统一的表示方式,这种表示方式称之为问题模式,方便于答疑系统的 处理。基于这种想法,提出用问题模式抽取的方法。 3 。1 问题模式 在人们的提问过程中,虽然问题的形式多种多样,但是很多问题都会遵循一些固定的 模式。对于答疑来说,模式类似于通常语法意义上的句型。 语义学研究中的句型通常有3 种不同类型l l “,即功能句型、结构句型和语义格句型。 功能句型的组成成分有主、谓、宾、补等;结构句型的组成成分有名词短语、动词短语、介 词短语、形容词短语和副词短语等:语义格句型的组成成分有施事者、受事者、时间、结果 与目标等。 学生一般是针对领域中的一个或多个概念而提出相关的问题,这种概念称之为该问题 的主概念。例如:问题“什么是数据库管理系统的功能”,“什么是数据库系统”,“内模式与 外模式有什么区别”分别是针对概念“数据库管理系统”,“数据库系统”,“内模式”和“外 模式”进行提问。对问题除了要分析出问题的主概念外,还要分析它是针对该主概念的哪些 方面进行提问的,例如属性或者事件。例如上面的第一个问题就可以看成是对概念“数据库 管理系统”的属性“功能”进行提问的:对于第三个问题中“区别”可以看成是概念“内模 式”的一个关联关系,该关系涉及另外一个概念“外模式”。通过对这几种典型类型问题的 分析,可以得出下面三个问题模式: 1 主概念 问题只涉及到领域中的一个概念。 2 主概念( 属性) 问题是针对领域中概念的一个属性进行提问 3 关联关系( 主概念1 ,主概念2 ) 问题是针对主概念1 的关联关系进行提问,该关联关系涉及另外个主概念2 。 通过对更多类型的问题进行分析可以得到更多的问题模式,这里不再讨论。所有的模式 组成一个问题模式库。 3 2 问题的规范化 从各种问题中得出问题模式过程叫做问题的规范化。问题的规范化主要考虑以下 两个方面: 1 问题模式的确定 2 同义词的统一 上面两个方面的问题需要结合第二章所建的本体和问题模式库进行分析。分析之前,首 先需要对问题进行分词处理,具体的分词方法,在第五章有详细介绍。 1 0 东南大学硕士学位论文基于本体的问答查询系统关键技术的研究与实现 3 , 2 1 问题模式的确定 对问题进行分词处理后,可以得到一组词语的组合,过滤掉起中与领域和问题不相关的 词汇,可以得到一组关键词语。通过借助本体中的信息和问题模式库对这组关键词语进行分 析,可以确定问题的问题模式。下面分别讨论如何从问题得到上面提到的三个问题模式。 如果只有一个关键词语,通过本体中的信息判断如果它是一个概念,那么其模式就是上 面所列出的第一个问题模式,该概念也就是该问题的主概念。 如果存在两个关键词语,借助本体进行判断关键词的性质,如果其中一个是概念,一个 是属性词那么它们就符合上面列出的第二个问题模式,其中的概念就是该问题的主概念。 如果两个都是主概念或者都是属性词,那么就和问题模式库中的模式不匹配因此是个不规 则问题。 如果存在两个以上的关键词语,同样利用上面的方法来确定问题的问题模式,同刚确定 每个关键词的性质,例如主概念、属性或者关联关系等。 如果问题模式库中有很多问题模式的话,一个问题有可能会对应着多个问题模式。 如果一个问题与模式库中的任何一个模式都不匹配,那么我们说该问题是不规则问题, 对于这种问题我们使用后面一章提到的模糊匹配法米处理。 问题模式的确定流程可以用下图来描述。 问题 3 2 2 同义词统一 图31 问题的 闯题模式 在一个领域中,同一个意思可能可以用几种不同的词语米进行表达,印同义异名问题。 为了使系统能够理解这些词语表示的是同一个意思,需要对这些词语做统一处理。例如在数 据库领域中:“聚集”和“簇集”表示同一个概念;“数据库管理系统”和“d b m s ”表示一 个概念等。在我们所建本体中,对每一个概念都收集到它可能的同义词。系统给问题寻找答 案时,同义词语也参与匹配。 3 。3 问题模式的推理以及答案的查找 得到问题的模式后,怎么通过这些信息找到该问题所对应的答案呢,这需要一个推理的 过程。在这里我们用转移网络来对问题以及问题模式进行推理。 东南大学硕士学位论文 接于奉体的问答查询系统关键技术的研究与实现 3 3 1 转移网络的概念 转移网络是自然语言处理中常用的自动机,和图论中的有向图十分相似。用转移网络来 表示问题的文法,则每个转移网络由一个状态集和一个标号集组成,构造方式表示为: 状态x 标号- + 状态 含义是:给定当前状态和当前状态的标号后,可以求得下一步的状态。在识别语言时, 状态给出当前的句子分析到哪一步,标号给出当前面临的语法成分是什么。 例如,设有q o ,q - ,q 2 ,q 3 四个状态: o o :代表语句分析开始, q t :代表主语分析完毕, q :代表谓语分析完毕, q 3 :代表全句分析完毕。 以及名词、动词两个标号,则图3 2 表示一个简单的转移网络。 图3 2 在这里q o 是初始状态,q 3 是终结状态。利用转移网络司以分析许多简单旬,如图3 , 3 我l 爱 f 中华人民共和国 l 小明i 打扫 i 教室 l q oq 1q 2q 3 图3 3 只要给定足够的标号信息,转移网络可以描述很复杂的自然语言语句。 3 3 2 用转移网络进行推理并查找答案查找 利用转移网络的概念并对其进行扩充,转移网络就可以用来分析复杂的自然语句。一般 来说,标号的类型越多,转移网络能够处理的句型也就越复杂。但由于目前本体中所存储的 结点类别只有概念、属性和关联关系,相应的在转移网络中也只能有主概念、属性和关联关 系三种标号类型。因此能够处理的问题类型不多。 在基于本体的问答查询系统中问题模式中的主概念、属性以及关联关系可以看成转移 网络中的三种标号类型。针对现有的三种问题模式,可以设计出对应的转移网络,如图3 4 所示。一般,转移网络的复杂度随着问题模式的增加而变得复杂化。 1 2 东南大学硕士学位论文基于本体的问答查询系统关键技术的研究与实现 图3 4 在图3 4 中,共有五个状态。s t a r t 是初始状态:a 、c 、e 是可终结状态;b 、d 是中 间状态。其中,可终结状态说明如果标号输入完毕,转移网络刚好到达该状态,则正常终止; 如果还有标号继续输入,则继续向下一个状态转换。转移网络不能在中间状态终止。可终结 状态用同心圆表示,中间状态用单圆表示。每个可终结状态对应一个问题模式,每个可终结 状态对应着上面定义的三个问题模式之一。每输入一个标号,转移网络就从一个状态转换到 另外一个状态。 对于上面的每一个可终结状态,都有一个相应的在本体中查找答案的规则。例如对于a 状态,只需要直接在本体中查找该概念的描述。对于c 状态只要查找概念所对应的属性, 如果存在该属性,那么返回该属性的属性值。 为了起到启发式查找的作用,在找到正确答案的前提下,利用本体中的相关信息同时可 以返回一组与用户问题相关的答案。例如对于可终结状态a ,除了返回主概念的解释外,还 可以返回与主概念属性相关的属性值、与主概念相关的子概念或者父概念的解释等。 例如,用户提问:“什么是数据库管理系统? ”。这里的主概念是“数据库管理系统”, 系统经过查找给出正确答案:“数据库管理系统是管理数据库的软件,它实现数据库系统的 并种功能。”,同时给出“数据库管理系统的功能”、“什么是数据库系统”等相关答案,这里 “功能”是主概念“数据库管理系统”的属性,而“数据库系统”是“数据库管理系统”的 父概念。 本章中的相关内容可以阅读文献i l 4 j 【l ”【”。 3 4 问题模式匹配与推理的算法描述 上面描述了问题模式匹配与推理的关键技术以及相关概念,下面对整个的过程用f 面的 算法进行描述如下: 1 由用户输入一个用自然语言描述的问题。 2 应用问题模式库和本体库来确定用户问题对应的模式,同时得到相应的语法成分, 也就是转移网络中所需要的标号。如果是不规则问题,则转到步骤6 进行处理。 3 把状态转移网络的状态置为s t a r t 状态。 4 依次输入标号,转移网络的状态进行变迁,最后得到一个可终结状态。 5 对于每一个可终结状态依据查找规则在本体中查找答案,如果找到答案,那么在返 回答案的同时,可以根据本体网络中的关系返回一组相关的答案;如果没有找到答案,则转 东南火学硕士学位论文耩于本体的问答查询系统关键技术的研究与实现 到步骤6 进行处理。 6 问题是不规则的,不能由该转移网络解析:或者在本体中找不到相应的答案,则转 入下一章介缁的模糊匹配进行相应的处理。 4 东南大学硕七学位论文 基于奉体的问答查询系统关键技术的研究与实现 第四章基于本体的语义相似度模糊匹配 在第三章中提到,由于不规则河题的存在,不能通过转移网络对问题模式进行推理得到 答案,对于这样情况,我们采用模糊匹配方法一把用户所提的问题和已经整理好的问题一 答案库进行语义相似度计算,得出与用户所提的问题最接近的一组问题一答案对返回给用 户,在这一章中,介绍模糊匹配过程中所采用的向量空间模型。 向量空间模型( v e c t o rs p a c em o d e l ) 是目前信息检索最常用的数学模型【l ”。在该模型 中将查洵问题表示成一个多维的向量。同时将问题一答案库也表示成一个多维的向量,通过 一种数学上的计算方法计算出两个向量的相关度的具体的值,把这个值就作为两个问题语义 相似度的量化结果。在具体的向量空间模型中,对两个向最的语义相似度计算有着各种不同 的数学实现模型。 4 1 问题的向量表示 在考虑用向量表示问题之前,需要考虑使用字、词语或者短语中的哪一个作为向量空间 中的维向量的维的选取也可称为向量特征项的选取。 选择特征项时应该注意以下三个原则: 1 应当选择包含语义信息较多,对文本的表示能力较强的语言单位作为特征项: 2 文本在这些特征项上的分布应当有比较明显的统计规律性; 3 比较容易实现,时间和空间的开销都不应当太大。 根据实验结果,普遍认为选取词语作为特征项要优于字和短语【】”。因此,我们采用词 语作为向最中的特征项。通过对问题进行分词,得出一组关键词语,这组关键词语组成一个 向量。假没对问题d 分词,得出一组关键词为t ,t 2 ,t 3 ,t 。,这样它可以用下式表 示: d = ( 正,正,l ,l ,) 4 2 语义相似度的计算 在基于本体的模糊匹配算法中问答系统的核心计算模块是问题与问题一答案库的匹配 计算模块。向量空间模型中用相关度( r e l e v a n c e ) 这个量来表示问题与答案的匹配程度。也 有文献用相似度( s i m i l a r i t y ) 。在本文中选择用相似度这个词。 4 2 1 词语之间的语义相似度 在向量模型中,向量中的元素是单独的关键词语。要计算两个向量之间的相似度的大小, 首先应该考虑关键词语和关键词语之间的相似度的计算。在基于本体的答疑系统中,这些关 键词语可以对应为本体中的一个相应的概念。在论文的以后部分,把关键字的相似度称之为 概念之间的相似度。在一个领域中概念和概念之间在语义上存在一定的相关性。怎样把这 种语义上的相关性用具体的数字给以量化,这就是概念问的语义相似度的计算。 概念之间的语义相似度在信息检索、信息抽取、词义排歧等领域都有广泛的应用。它是 东南大学硕士学位论文 基于率体的问答查询系统关键技术的研究与实现 一个主观性很强的概念,在各个具体的应用中含义各不相同。在诸如机器翻译的应用中,概 念之间语义相似度主要用于衡量文本中的概念的可替换程度,对于这里的答疑系统来说,它 主要反映用户问题在意义上的符合程度。因此,语义相似度的计算是我们向量模型模糊匹配 的一个重要环节。 第二章所建
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 高中化学选择性必修2“分子结构与性质”单元复习教学设计(高二化学)
- 小学三年级科学《鸟与昆虫》探究教学设计
- 小学二年级道德与法治教学设计坚持才会有收获第二课时课堂实践方案
- 九年级化学口诀教学设计与应用策略探究
- 抢占心智空白 功能性食品赛道 2026-2027年中国功能性食品内部创业孵化加盟扩张方案
- 双碳约束下:无线演示器能否成为绿色办公第二增长曲线
- 第三单元-主题活动三《三维手机架我设计》教学设计-2026-2027学年内蒙古版小学综合实践活动四年级上册
- 向合作伙伴通报市场拓展计划函(4篇范文)
- 企业行政部财务管理指南
- 酒店总经理服务品质与工作效率绩效考核表
- 交通标志标线工程施工组织设计方案
- 儿保生长发育偏离识别
- 肿瘤患者免疫治疗相关心肌炎诊疗
- 2025成都农业科技职业学院教师招聘考试题目及答案
- 2025年棉花加工辅助工三级安全教育(班组级)考核试卷及答案
- 精神科药物依从性管理
- 中小学以体育强化为核心落实“健康第一”教育理念实施方案
- 间羟胺药物课件
- 整县屋顶分布式光伏项目绿色施工方案
- GB/T 4337-2025金属材料疲劳试验旋转弯曲方法
- 手术室精益管理汇报
评论
0/150
提交评论