（控制科学与工程专业论文）通用数据库自然语言接口的设计方法.pdf

国防科学技术大学研究生院学位论文 摘要 数据库自然语言接口允许用户以自然语言的方式和数据库系统交互，是新一代的智能 接口。数据库自然语言接口是自然语言处理技术在数据库领域的具体应用。 自然语言接口设计的传统方法包括模板匹配、句法分析、语义语法和中间表述语言等。 这几种方法各有优缺点，但均无法快速地构造出一个健壮的、通用的的自然语言接口。 本文提出了一系列新方法来克服传统设计方法的不足，运用这些方法能够快速的构造 出一个健壮、并且在不同自然语言、应用领域和数据源之间均可移植的通用自然语言接口。 首先，根据人类理解事物的模式，本文对“意义”做了形式化的描述，并以此为基础 提出了一种语义相容分析的思想。语义相容相容分析具有简单、高效、健壮，并且和具体 的自然语言语法无关等优点，适用于多语种自然语言接口的快速开发。另外，为解决系统 在不同应用领域的移植问题，我们将本体方法学引入到上述语义相容分析方法中，形成了 一种体系完备的本体语义相容分析方法。我们完成了该方法的形式化工作，设计了该方法 实现的流程，并对该方法作了定性的评估。 其次，为了能让系统具备在不同数据源之间的移植特性，本文提出了虚拟本体数据源 的概念。虚拟本体数据源屏蔽了底层数据源的实现细节。为上层应用提供了一致的数据访 问接口。我们具体讨论了从关系数据库系统至虚拟本体数据源的转换( 也称为数据库深度 注解) ，定义了关系数据库的结构知识描述语言和通用的映射规贝描述语言，给出了多元 关系建模的解决方案。 最后，本文设计了一个基于本体语义相容分析和虚拟本体数据源的通用自然语言接 口，具体实现了一个数据库自然语言接口，并通过一个实例对该系统的性能进行了评估。 关键词：自然语言接口；本体语义相容；虚拟本体数据源：深度注解 国防科学技术大学研究生院学位论文 a b s t r a c t n a t u r a l l 柚g t i a g e 妇髓ef o rd a t 西船e ( n l d b ) ，w h i c hi s an c w l y “n do fi 1 1 t e l l i g t i n t e r f k e ，a l l o w s t h e u s e r t o i n t e r a c t w i t l l d a t a b a s e s ys t e m i n n a f u r a l la i l g 岫喀e n l d b i s t h e s p c c i 五ca p p l i c a t j o no f n a t 删l 锄g u a g ep m c e s s i n gt e c h i l i q u ei nd a t d b 器ef i e l d t h e 仃a d i t i o n a lm 础o d so fn l id e s i g 【l i n g 沁l u d ep a n e n l - m a t c l l i n g ，町m t a ) c a n a l y s i s ， s e m a n t i c 簪a m m a r ，锄di n t n c d i a t er 印鸺s e n t a t i o nl a i l g i l a g c s e ho fm e s em 咖o d sh 踮 瓤k a n t a g ea n dd i s a d v 趾t a g e ，b u tn o n eo f 也锄c a nc o n s 弧l c tar o b u s ta l l d 心m s p o r t a b l en l i s y s t e ma t l o wc o s t t om e e tt h i s ，w et l l i n ko u t1 0 t so fn e wm e m o d s ，、v i t hw h i c hw ec 锄b u i l dar o b l l s t ，n a t i l m l l a i l g u a g e i n d e p c n d c n t ，d o i m i i i l - i n d t ：p l 胁d ta n dd a t a l l r c e i n d e p e n d e n ts y s t 锄q u i c k l y f i r s t ，w e 百v ean e wd c 蠡f l i t i o nt o n e a 茄n g a c c o r d i n gt ot l l eu n d e r s t a n d i n 哥p a n c r i lo f h u m 柚b e i n g b a s c d t l l a t ，w ef i n d 伽tas e i n 删cc o l l 锄c em 甜l o d ，w 扯c hi ss i h l p l e ，e 瓶c i 铋t ， b u s t锄di n d 印血d e n to fs p 锄船t i l m l l 锄g g e t om e e tt h e r e q u i 搬n 翎to f d a a i n i n d 印e n d t ，w ei i i 昀d u c c d t o l o g ym e t l l o d o b 盱t os 锄卸t i cc o h 锄c e 锄dp r e n ta s y s t e m i co n t o l o g ys 锄删cc o h e r c e 印p f o a c h w eh a v ec o m p l e t e dt l l ef b 肋a l i z a t i o nw o r ko f t l l i s 印p r o a c h ，d e s i 印e dt h ea l g 耐t l 】| n 粕dm a d e 趾“a l u a t i o no f i t s e c o n d ，w ep f e s e n tan e wk i n dc o n c e p t - 、r i m m lo n t o l o g yd a t as o u r c et os 0 1 v et l l e p m i b l 锄o fd a t as o u r c e - i n d e p c n d e m v i r h l a lo n t 0 1 0 盯d a t as o u es l l i e l d sm ed e t a i lo fl o w l e v e l d a t as o u r c e ，a i l dp r o “d e sac 叫s i s t e n t c e s si n t e m 屺ef o r t o p p e r1 1 s e r s w ed i s c u s dt 1 1 em e t l l o d o f 仃a n s 硒栅i n gr e l a t i o nd a t a b a s et ov i r t u a lo n t 0 1 0 9 yd a t as o u r c e ( w h i c hi sa 】s oc a l l e dd a t a b a s e d e 印枷o t a f i o n ) w ed 船i 印e dt h ed a l a b 踞es c h 锄ad e 踮r i p t i 1 锄g t l a g e 蛐dm 印p i n gn 1 1 e s d e s c 订p t i o nl a n g u a g e ，吼dg a v eaf e s o l v tf o rr e l a t i o nm o d e l i n g a tl a s t ，w eb r i n go u ta 胁e w o r ko fg e r a ln a t u r a ll 锄g u a g ei n t e r f 她e ，a i l di i n p l e m c n ta d a t a b 髂en a t u r a ll a i l g u a g ci n t 剜知e m d 虹n gu s eo f as p e c i 6 ce 】( 锄p l e ，w em a d ea ne v a l u a t i o no f m i ss y s t 锄 k e y w o r d s ：n a t u r a ii a i l g u a g ei m e r 如c e ；o n t o i o g ys 锄a n t i cc o h c r e n c e ；v i 咖a lo m 。i o g yd a t a s o u r c e ；d e e p 籼o t a t i o n i i 独创性声明 本人声昵所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：重旦熬量虚宣筮直适整望的选i 土左洼 学位论文作者签名：色鱼丑b 日期：加f 年胁月f 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：显屈熬i 鹾宦鉴宣适接望煦遮盐左造 学位论文作者签名：蒸鱼b ! 蛀 日期：护y 年协月1 日 作者指导教师签名： li 鉴主 日期：知。r 年1 2 月2 日 国防科学技术大学研究生院学位论文 第一章绪论 1 1 数据库自然语言接口( n l i 腿) 定义 自然语言接口( n u ，n a 时a lh g l l a g ch t c d k e ) 是一种人机接口，它允许用户以自 然语言的方式和机器交互，是一种人性化的智能界面。自然语言接口是自然语言理解在人 机接口方面的延伸，它基本上是随着自然语言理解技术的发展而发展的，同时每一次自 然语言理解在n l i 中的具体应用又反过来促进自然语言理解本身的发展。 数据库自然语占接口( n l b ，n 砒u r a ll a n g l l 8 9 e h t e r 丘屺e t o d a t a b 鹅e ) 则是自然语言 接口在数据库领域的具体应用，它是指允许用户以某种自然语言( 如汉语) 的形式访问存 储在数据库中的信息的系统i “。通用( t i 孤印哝a b l e ) 数据库自然语言接口是指具有可移植 特性的n l d b 系统。本文所讨论的移植特性主要针对语言、应用领域和数据源三个方面 而言。语言移植性是指n l b 系统从一种自然语言( 例如汉语接口) 移植到另一种自然 语言( 例如英语接口) 的能力：应用领域移植性是指n l b 系统从一个特定应用领域( 如 化学实验数据管理) 移植到另一个不同的应用领域( 如武器装备管理) 的能力；数据源移 植性是指n l b 系统从一种数据库系统( 如关系数据库) 移植到另一种数据库系统( 如 面向对象的数据库) 的能力。如不特别说明，本文的数据库特指关系数据库。 1 2n l i d b 研究的历史和现状 n u d b 系统的原型在六十年代术和七十年代初的时候便已经出现了其中最著名的一 个系统是i i 肘a r l 2 j 。i i n a r 是一个数据库前端查询系统，该数据库包含阿波罗月球之旅 带回来的岩石样本。l l 玎q a r 系统中的很多技术至今仍在使用，它还是第一个在真实应用 领域中具有广泛覆盖度的自然语言系统。然而，u 肘a r 等早期的系统都是针对特定数据 库设计的，不能很好的移植到其他数据库。 七十年代晚些时候，出现了更多的n l i d b 系统。l a d d e r 3 】专门针对大型数据库而设 计，并能配置用于不同的d b m s 。l a d d e r 除在d b m s 层具有通用性外，还使用了一种 叫做语义语法( 在第二章讨论) 的设计方法。语义语法将语法和语义揉和在一起，能快速 构建出一1 个健壮的系统。但语义语法有个致命弱点：当系统移植到新的应用领域时，不得 构建出一个健壮的系统。但语义语法有个致命弱点：当系统移植到新的应用领域时，不得 篇l 页 国防科学技术大学研究生院学位论文 不重新设计语法，因而系统的可移植性极差。这个时期出现的其他系统有 r e n d e z v o u s i 啦、p l a n e s l 5 1 、p h i l l 0 a l l 6 】。 c h a t - 8 0 【7 1 是八十年代初最具影响力的一个系统。它由p m l o g 语言实现，将英语问句 转化为p m l o g 的内部表达式，对p r o l o g 数据库进行查询。c h a t 一8 0 的代码广为流传，成 为其他一些试验型系统( 例如m a s o u e ( 删) 的基础。 八十年代中期，n l i d b 成为一个热门的研究领域，涌现出一大批原型系统，如 t e a m 【1 0 ，】，a s k 【1 2 l ”，j a n u s 【1 舢，d a t a l o g 口5 1 ，e u f y 们，l d c 17 j ，t o a l l 引，t e l i f l 9 】 等等。曾有人预言“到1 9 8 7 年，自然语占接口将成为d 恻s 和信息中心类软件的标 准选项”。然而，虽然对系统的可移植性问题进行了大量的研究，并取得了一定成果，但 还是没有从根本上解决系统的通用性问题。同时，其他一些语言方面的因素也制约着 n l d b 系统的发展。 从八十年代末开始，n l d b 的研究逐步进入低谷。但n l d b 仍在不断地吸收着自然 语言处理领域的最新研究成果或另辟新径，缓慢地向前发展。九十年代初的c l e 【2 0 0 1 1 是一 个通用目的的自然语言理解系统，它能将大部分的英语句子转化为一种内部逻辑表达形 式。只要在这个通用的前端系统中挂接一个将内部表示式转化为s q l 语句的模块，便能实 现一个n l b 系统。另外，p i 也c i s e 【2 2 壕统借用图匹配的思想，通过最大流算法生成s o l 语句，实现了一个“可靠”的自然语言接口。【2 3 ，2 4 】通过浅层分析口5 1 并结合信息检索技 术，提出了一种“松耦合”系统的框架。 国内对n l d b 的研究始于上世纪七十年代末期，但由于汉语的特殊性，一直以来发 展都很缓慢。截至目前，已公布的系统有：基于受限汉语的数据库自然语言接口n l c q i 【2 6 】， 基于e r 模型和受限汉语的关系数据库汉语查询语言的计算模型r c h i q l 【2 7 1 ，数据库汉语 查询接口系统w t c d i s 【2 酊，高校信息自然语言查询系统c 玳l i s 2 9 】，以及其他一些系统3 0 ， 3 1 ，3 2 1 。 1 3 目前n l i d b 达到的性能状况及存在问题 目前，n l d b 系统在受限领域的表现还是令人满意的，并且许多n l d b 系统具有话 语分析和推理机制，能够回答一些省略旬式和需要进行简单推理的间接问题。 然而，使用自然语言接口还存在着一些突出的也是最基本的问题：用户不知道系统能 提供哪些服务；能回答哪些问题；能识别哪些句型。因而，用户和系统存在着一个磨合期， 第2 页 国防科学技术大学研究生院学位论文 对于不熟悉系统机制的用户来说这个磨合期可能很长；其次，当系统移植到另外一个应用 领域时需要进行大量繁琐的配置工作，也就是说系统的移植性能或通用性能并不理想，很 多时候，对于一个相差较大的领域可能需要对系统进行重新设计；再者，系统对一些隐含 知识和复合概念的识别能力较差。另一方面，自然语言处理中的许多难题也制约着n l i d b 的性能。 作者认为n l d b 主要应该在以下几方面加强： ( 1 ) 加强通用性研究。这也是制约n l i d b 系统具体应用的瓶颈，近年来几乎所有和 n u d b 相关的研究都集中在如何提高系统的通用性方面，虽然取得了一定的成果，但仍然 没有一种方法能从根本上解决系统的移植性问题； ( 2 ) 进一步降低系统的复杂度，缩短系统的构建时间。虽然对于通用性系统这一点 不是特别重要，因为我们完全可以举全国之力实现一个通用系统，一劳永逸，但一个具有 简洁结构和简单思想的系统更具生命力，简单就是美： ( 3 ) 加强系统健壮性。这也是限制n l d b 系统应用的一个重要方面，因为用户不希 望使用只能理解特定句式的系统，也不希望使用一个由于自己疏漏少输入一个字就不能正 常工作的系统； ( 4 ) 增强系统的推理能力。一个具有推理能力的系统具有强大的吸引力； ( 5 ) 加强对隐含知识、复合概念的识别。能够识别隐含知识和复合概念的系统将变 得善解人意，这正是用户所需求的。 1 4 本文的研究目标及主要工作 本课题的目标是探索出一种能用于快速构建通用n u d b 系统乃至通用自然语言接口 的方法。研究的指导思想是：通用、简单、可重用、可移植、可配置。本文具体拟完成以 下几方面的工作： ( 1 ) 句法分析技术加大了系统的复杂性，同时也使得系统呆板，本文拟研究一种纯 语义分析技术语义相容分析，它绕过了传统系统所使用的句法分析技术，直接对自然 语言进行语义分析，在降低系统复杂度的同时，也增强了系统的健壮性。语义相容分析的 思想源自于作者对人类理解自然语言机理的研究，其中心思想是有意义的便是合法的： ( 2 ) 探索本体方法学和自然语言理解的结合途径。现有的自然语言语义模型包括逻 辑表达式、蒙特鸠语法何语义语法等，但它们的一个共同缺点就是描述性不好。为适应通 第3 页 国防科学技术大学研究生院学位论文 用n l i d b 系统的构建要求，需要一种描述性较强的语义建模语言，本文参考描述逻辑的 思想，尝试使用本体语言来对自然语言的语义进行描述： ( 3 ) 语义相容分析面临的一个主要问题是如实将自然语言输入直接转换为语义模 型，转换方法要求简单、高效，否则就无法从根本上降低系统的复杂度。本文拟研究一种 三元组生成规则，它能将自然语言文本快速地转换为以三元组描述的语义片断； ( 4 ) 语义相容分析需要解决的另外一个问题是如何将数据库转换为本体描述，本文 将对数据库转换为本体描述的深度注解方法展开研究，并尝试将深度注解运用于任何数据 源，构建虚拟本体数据源系统： ( 5 ) 设计并实现通用n i 皿) b 系统的原型： ( 6 ) 跳出数据库领域的限制，研究一种基于本体的能够用于快速构建强壮、通用自 然语言接口的方法：如此一来，使得本文的研究工作不只局限于数据库系统，而能够 为任何格式的信息系统提供自然语言接口服务。 1 5 论文内容安排 第一章：为绪论部分，简单介绍n l d b 的概念，n u d b 系统的意义，n l d b 技术发 展的历史，发展现状，所达到的效果；在本章的最后，介绍了论文拟完成的主要工作以及 论文的内容安排。 第二章：为n u d b 相关问题的介绍，系统的介绍用于自然语言接口设计的各种技术， 包括模板匹配、句法分析、语义语法和中间表述语言。 第三章：为本体相关知识的介绍。介绍了本体的概念以及本体的描述语言o w l 。 第四章：提出了一种基于本体语义相容( o s c ，0 啊t o l o g yb 嬲c ds 啪a i l t i cc o h e r 髓c e ) 的自然语言接口设计方法。o s c 结合了本体方法学和语义相容的优点，能快速构建出一个 健壮的、通用的自然语言接口。详细介绍了o s c 的思想和系统框架，讨论了o s c 在健壮 性和通用性方面体现出的优势。 第五章：为解决自然语言接口在不同数据源之间的移植性问题，提出了虚拟本体数据 源的概念，并给出了我们自己的数据库深度注解方案。 第六章：设计了一个基于本体语义相容分析和虚拟本体数据源的通用自然语言接口， 并论述了此模型在语言、应用领域和异质数据源之间的移植特性。具体实现了一个数据库 自然语言接口，并通过一个实例对该系统的性能进行了评估。 第4 页 国防科学技术大学研究生院学位论文 第七章：对全文进行总结和展望。首先对本文的研究做了一个简短的总结，然后列 出了作者在理论方面的创新和已经实现的部分系统，最后是后继的研究和展望。 第5 页 国防科学技术大学研究生院学位论文 第二章自然语言接口相关技术 2 1 序言 本章主要介绍构建自然语言接口的一些常用方法和技术，包括模板匹配、句法系统、 语义语法和中间表述语言。其中模板匹配技术最为简单，系统首先用一系列预先定义好的 模板对用户的输入进行匹配，一旦找到一个匹配结果，便执行和目标模板相联系的行为 ( a c 6 ) ，2 2 节举了一个具体的例子对模板匹配的思想进行阐述。 与模板匹配技术不同，句法系统通常先对用户输入进行形式化的句法分析，句法分析 的依据是句法规则或称文法。形式文法的开创性工作主要是乔姆斯基完成的，包括有结构 短语文法、上下文相关文法、上下文无关文法和正规文法。自然语语言通常使用上下文无 关文法进行描述。由于基于句法分析的系统对用户输入进行了严格的形式化分析，所以很 容易排除不符合文法的输入，而不会像模板匹配系统那样将胡言乱语也当作合法输入进行 分析。引入形式文法的一个副作用就是无形中增加了系统的复杂度，首先，构造一个特定 语言的文法描述并不是件容易的事情；其次，句法分析器也并不好实现，而且句法分析器 的结果通常是有歧义的，在这些歧义集中筛选出和用户的意图相符合的结果也很困难。句 法分析的另外一个缺点就是健壮性不够，用户只能按照系统预先定义的文法规则和系统交 互，不容许有丝毫偏差。最后，基于句法的系统要求把句法分析结果( 通常是句法分析树) 直接转换为数据库查询语句，这通常很难做到，除非使用特别定制的数据库系统。2 1 3 节 列举了一个纯句法系统的例子。 上面提到，将句法分析树直接转换为数据库查询语句非常困难，其中主要的原因是句 法分析树是关于一般语法范畴或词性( 如动词、名词) 的描述，而数据库查询语句贝4 需要 使用和特定领域相关的术语描述。例如一个查询学生成绩的语句，其中可能包含了 s n j d e n t 关系表和s c o r e 字段等，而在分析树中这些都被解析为名词，因而它们之间 的语义差别太大，转换工作也就特别困难。使用语义语法技术能很好的解决上述问题。语 言语法直接使用特定领域的语义标签作为语法范畴，其文法也是构建在这些语义标签之上 的，这也是语义语法这个称呼的由来。由于只针对特定的领域，所以大大降低了系统的复 杂度：另一方面。由于语法和语义融合在一起，所以系统基本上不可移植。 第6 页 国防科学技术大学研究生院学位论文 基于中间表述语言的技术企图构建一个一般意义上的通用系统，它在句法分析模块的 后面附加了一个语义解释模块，其输出不再是没有语义的一般语法范畴，或只针对特定领 域的语义标签，而是一个通用意义上的语义表达式，上层用户( 软件或模块) 可以直接对 语义表达式进行分析、推理、归纳等一些高层的运算。这样一个系统是很具诱惑力的，但 它的实现过于复杂，据作者所知，从自然语言处理技术发展至今，仅仅实现了c l e 一个基 于中间表述语言的系统。另一方面，基于中间表述语言系统的跨语言移植代价也是很大的， 从一种语言移植到另一种语言意味着不得不重构攘个句法分析模块和庞大的句法规则库。 2 2 模板匹配 模板匹配虽然是自然语言接口设计最简单的技术，但有时候却也最有效。使用模板匹 配技术开发的系统往往能给入特别深刻的印象。从二十世纪六十年代中期麻省理工学院的 e u z a 【3 3 1 到现在流行的q q 聊天机器人小自，都是基于模板匹配技术开发的。 早期的n l m 旧系统也多使用模板匹配技术回答用户的问题。假设有如下保存国家信 息的数据库： 基于模板匹配的系统可能会使用如下规则： 模板： 膨”首都” 行为：输出( 肪的首都 模板： 占勤移”语言” 行为：输出 英语 上面的例子声明了h t i p ：w w w “锄p l e o 舭t l l d e 州张三( 主语) t a l ( o u 培e ( 谓语) 英 语( 宾语) 这样的事实。但是，m ) f 所提供的都是一些非常基本的建模原语。例如，上面 的例子中并没有阐述“t a k e c o t l r s e ”这个词汇应该有哪些约柬以及 “h t t p ：，、) | w 鼯锄p l e o r 酢她d t 张三”是人，“英语”是课程的实例这样的事实。要描述 这样的事实，需要有更多能够表达语义的原语( p r i m i t i v e ) ，肋f s c h e m a 规范用r d f 进一步 定义了建模原语。 3 3 2 ) fs c h 锄a 简介 砌) f 所提供的建模原语非常基础，只是提供了一个模型，因此需要对其作进一步扩展。 r d fs c h e m a 在r d f 基础上增加了许多语义原语，用来更进一步增加对资源语义上的描 述能力，如类、属性、类和属性之间的隶属关系等。常用的r d fs c h e m a 原语包括： r d f 1 k s o u r c e 、r d 6 ：c 1 a 韶、r d f s ：l i t 锄a 1 、础p r o p e n ”r d 如：r a n g e 、r d f s ：d o m a i n 、r d f _ t y p e 、 r d f s ：s u b c l 勰s o f 、r d f s s u b p r p p 哪f 等。这些描述机制是单纯的r i ) f 所不具备的。 ) fs c h e m a 机制提供了r d f 模型中使用的一个基本类型系统。这个类型系统有些 类似于面向对象的编程语言。从描述逻辑的观点来看，r j ) f s 相当于t b o x ( t e 腓i n o l o g y b o x ) ，而) f 相当于a b o x ( a 龉e i t i o nb o x ) 。如果对3 3 1 节中的声明加入) f s 描述， 可得图3 2 。 引入i u ) f s 虽然部分解决了语义模型和部分通用语义的问题，但是i f s 描述语义的 功能非常有限，它没有足够的词汇来表示完整意义上的知识本体，需要进一步扩展。 第1 6 页 里堕型堂垫查奎主竺茎竺堕堂垡笙茎 r d