（计算机应用技术专业论文）基于本体的异构数据集成研究与实现(1).pdf

摘要 摘要 随着w e b 技术的发展，信息表示格式越来越多，以及分布式技术和系统集 成的应用，需要对已经存在的大量异构数据进行集成处理。而如何处理这些异 构数据的集成，已成为当今研究的热点之一。数据的异构性主要表现为：结构 异构、语法异构、系统异构和语义异构，现有的结构化集成方法大多解决的是 语法和系统的异构问题，而本体具有作为对象概念模型和查询推理的特点，本 文对已存在的异构数据库数据集成过程中，引入了本体的概念用以解决异构数 据集成中的语义异构问题。 异构数据集成的目的即是屏蔽底层数据源和系统的差异，给用户一个统一 的查询视图，即主要通过本体概念间的推理关系得到各个数据源的不用语义表 达方式以解决语义异构问题，最后结果以统一的格式返回给用户。 作为语义w e b 的描述语言o w l 已经成为本体的标准描述语言，本文利用 o w l 提供的语法来实现对本体和本体映射的构建，在此基础上设计了本体推理 的规则，j e n a 推理机利用设计的本体规则来实现本体推理，找到需要查找的概 念和属性，实现全局统一查询处理，从而屏蔽底层各个数据源的语义异构性。 本文的主要研究工作有如下几个方面： 一、在总结了异构数据特点的基础上，调研了异构数据集成的特点和方法 和当前本体的研究发展状况。 二、结合本体的特点和当前己存在的异构数据库特点，设计了一种基于本 体的异构数据集成架构，并分析了各层的主要功能和作用。 三、对数据集成中的关键技术，如本体的构建、本体映射的构建方法进行 了详细的介绍，分析了o w l 语法实现构建的具体步骤。 四、对查询处理功能中的全局查询分解和局部查询转换进行了详细的分析， 并结合实例进行了解释和说明。 在以上研究的基础上，实现了该异构数据集成系统中的查询应用功能，并 通过一个查询实例来分析验证系统的可行性。 关键词本体；异构数据集成：本体映射；查询处理 a b s t r a c t a b s t r a c t a l o n g 、砘t ht h ed e v e l o p m e n to fw e bt e c h n o l o g y ，t h ee x p r e s s i n gf o r m a t o f i n f o r m a t i o ni sd i v e r s e a sw e l la sd i s t r i b u t e dt e c h n o l o g ya n dt h ea p p l i c a t i o no f s y s t e mi n t e r g r a t i o n w en e e dt om a n a g e t h em a s s i v eh e t e r o g e n e o u sd a t a a n dh o wt o m a n a g et h ei n t e r g r a t i o no ft h e s eh e t e r o g e n e o u sd a t ah a sb e c o m et h eh o to f r e s e a r c h n o w d a y s t h eh e t e r o g e n e o u sd a t aa r ed i f f e r e n to na s p e c ti n c l u d i n g ：h e t e r o g e n e o u s c o n f i g u r a t i o n ，h e t e r o g e n e o u ss y n t a x ，h e t e r o g e n e o u ss y s t e m ，h e t e r o g e n e o u ss e m a n t i c n o w a d a y s ，t h ee x i s t i n gm e t h o d so fs t r u c t u r a ls o l u t i o nf o ri n t e g r a t i o na r em o s t l yt o s o l v et h ep r o b l e m so fh e t e r o g e n e o u so fs y n t a xa n ds y s t e m t h eo n t o l o g yh a st h e c h a r a c t e r i s t i c so fb e i n gac o n c e p tm o d e la n dq u e r yr e a s o n i n g t h i sp a p e rr e s e a r c ho n t h ep r o c e s so fi n t e r g r a t i o no ft h ee x i t i n gh e t e r o g e n e o u sd a t a b a s e i n t r o d u c et h e c o n c e p t i o no fo n t o l o g ya st os o l v et h ep r o b l e mo fh e t e r o g e n e o u ss e m a n t i c t h ep u r p o s eo fi n t e r g r a t i o no fh e t e r o g e n e o u sd a t ai ss h i e l d i n gt h ed i f f e r e n to f b o t t o md a t a s o u r c ea n ds y s t e m g i v i n gau n i f o r mv i e wf o rq u e r y i n g t h r o u g ht h e r e a s o n i n gt h ec o n n e c t i o n ga m o n gt h eo n t o l o g i e s 醛t o k n o wt h ed i f f e r e n t p r e s e n t a t i o nf o rd i f f e r e n t d a t a s o u r c e st os o l v et h e p r o b l e mo fh e t e r o g e n e o u s s e m a n t i c r e t u r nt h eu n i f o r mf o r m a to ft h er e s u l tt oc l i e n t s a sad e s c r i p t i o no fs e m a n t i cw e bt h el a n g u a g e - o w lh a sb e c o m et h es t a n d a r d o n t o l o g yd e s c r i p t i o nl a n g u a g e t h i sa r t i c l eu s et h es y n t a xp r o v i d eb yo w lt o a c h i e v et h em a p p i n go fo n t o l o g yc o n s t r u c t i o no fo n t o l o g y ，o nt h i sb a s i sd e s i g nt h e o n t o l o g yr e a s o n i n gr u l e s ，j e n ai n f e r e n c ee n g i n eu s i n g t h er u l e sd e s i g n e dt oa c h i e v e o n t o l o g yr e a s o n i n g ，f i n dt h ec o n c e p t sa n da t t r i b u t e st h a tw en e e d ，a c h i e v eg l o b a l u n i t yq u e r yp r o c e s s i n g ，t h e r e b ys h i e l d i n gs e m a n t i ch e t e r o g e n e i t yo fe a c hb o t t o m d a t as o u r c e t h e m a i nr e s e a r c ha r e a sa r ea sf o l l o w s ： 1 i ns u m m i n gu pt h ec h a r a c t e r i s t i c so ft h eh e t e r o g e n e o u sd a t a , r e s e a r c ht h e c h a r a c t e r i s t i c so fh e t e r o g e n e o u sd a t ai n t e g r a t i o na n dm e t h o d sa n dt h ed e v e l o p m e n t o fo n t o l o g y 2 c o m b i n et h ec h a r a c t e r i s t i c so fo n t o l o g ya l r e a d ye x i s t sa n dt h ec u r r e n t c h a r a c t e r i s t i c so ft h eh e t e r o g e n e o u sd a t a b a s e s ，d e s i g na l lo n t o l o g y b a s e df r a m e w o r k f o rh e t e r o g e n e o u sd a t ai n t e g r a t i o n ，a n da n a l y s i so ft h em a i nf u n c t i o n sa n dr o l e so f d i f f e r e n tl e v e l s 3 k e yt e c h n o l o g i e si nd a t ai n t e g r a t i o ns u c ha sb u i l d i n go n t o l o g ya n db u i l d i n g i i i 北京工业大学工学硕士学位论文 m a p p i n go fo n t o l o g ym a k ed e t a i li n t r o d u c t i o no nt h e m ，m a k ea n a l y s i so nt h es t e p s t h a tr e a l i z e d 谢血o 、 4 m a k ead e t a i l e da n a l y s i so fq u e r yp r o c e s s i n gc a p a b i l i t i e so ft h eg l o b a lq u e r y d e c o m p o s i t i o na n dp a r t i a lq u e r yc o n v e r s i o n , a n de x p l a i n e dw i t he x a m p l e sa n dn o t e s i nt h eb a s i so ft h ea b o v er e s e a r c h , r e a l i z a t i o nt h eq u e r ya p p l i c a t i o nf u n c t i o n si n t h eh e t e r o g e n e o u sd a t ai n t e g r a t i o ns y s t e m ，t h r o u g ha ne x a m p l eo faq u e r yv e r i f i e d t h ef e a s i b i l i t yo ft h i ss y s t e m k e yw o r d so n t o l o g y ；i n t e g r a t i o no fh e t e r o g e n e o u sd a t a ；o n t o l o g ym a p p i n g ；q u e r y p r o c e s s i n g i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：塑! 眨 日期：竺呈! ： 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 同期 第1 章绪论 1 1 研究背景 第1 章绪论 近年来随着数据库和网络技术的广泛应用，数据的存储和表示呈现出分布性、 异构性的特点。这些数据包括企业内外的关系数据库等传统的结构化数据， x v l i 。、i - i t m i 。文档等半结构化数据，以及图像、视频等非结构化数据等。由于它 们可能分布在不同的服务器，而各个数据源采用不同的存储方式，使用不同的概 念、属性和关系来描述数据，因而阻碍了数据的交换与共享，形成了“数据孤 岛”【l 】。为了更好地利用网络上浩如烟海的信息，以及不造成企业应用系统的重 复建设和数据资源的浪费，人们迫切需要集成这些地理上分布、管理上自治、模 式上异构的异构数据源，因此集成问题吸引了众多关注。 目前信息集成的方式主要有两类：结构方法和语义方法。结构方法使用仅有语 法和一定结构规则的描述手段来定义领域的数据模型，提供给用户供查询使用的 统一结构模式。语义方法则使用具有语义的描述手段来构建领域的概念集和数据 模型，以及概念之间的关系，即使用共享概念集作为集成手段，实现信息集成。 信息集成可以最大程度地利用已有知识成果，屏蔽数据的半结构性、异构性和分 布性，为用户提供统一的模式，实现异构数据源之间的信息交互及从异构数据源 中有效获取信息。 异构数据集成的目的1 2 l 就是提供一个统一的查询接口，屏蔽底层数据源的不 同，使得用户不必再考虑底层数据源的数据模型、物理位置和语义异构等问题， 能够通过一个统一的查询界面实现对分布的异构数据源的灵活访问。集成系统提 供模式转换与集成、全局查询处理等功能，将从多数据源取得的数据以统一的方 式呈现给用户。这样就使得对多数据源的操作就像操作单独的数据源一样简单。 其中的关键是如何以一种统一的数据模式描述各数据源中的数据，屏蔽它们的平 台、数据模式和语义等异构性，实现数据的无缝集成。 1 2 国内外研究现状 构建信息集成系统一般有两种方法，一种被称为数据仓储方法或实体化方 法，另一种被称为虚拟方法或被动方法。前一种方法【3 1 将各信息源的数据事先 装载到数据仓库中，所有的查询针对数据仓库中的数掘进行。这种方法最大的 优点在于能够保证快速高效的查询，但查询的数据缺乏时效性。而在虚拟方法 中数据仍保存在各本地信息源中，集成系统仅提供一个虚拟的集成视图以及对 北京工业大学工学硕士学位论文 这个集成视图的查询处理机制。系统通过各信息源的封装程序，包装器生成 一致的本地信息视图( 应用视图) ，在此基础上生成虚拟全局集成视图。系统能 自动地将用户对集成视图的查询请求转换成对各个信息源的查询，并将各局部 查询的结果整合重组后以统一的方式提供给用户。这种方法中数据没有被事先 复制，可以充分保证数据的时效性。虚拟方法不需要重复存储大量信息，更适 应于处理信息源数目多、各局部信息源自治性高、异构性强且信息经常动态变 化的网络信息空间。本课题就是在虚拟方法的前提下，对异构信息源的集成问 题展开研究。 按照研究所采用的信息模型和研究出发点来分，虚拟视图信息集成方法目 前主要有两类【4 1 ：结构化方法和语义方法。 结构化方法是从同一信息的结构入手来进行信息集成，解决所要集成信息 的基于本体的信息集成框架及应用结构异构，对于所要集成信息的语义关联不 做考虑。 语义方法是从所要集成信息的语义关联入手( 直接体现为从各信息源的局部 语义模式入手) ，通过对信息的语义和语义关联进行一致的描述，进而协调生成 全局信息视图，基于全局信息视图实现信息查询和信息共享等服务。 采用结构化方法的典型代表有美国s t a n f o r d 大学和i b ma l m a d e n 研究中心联 合开发t s i m m i s ( t h es t a n f o r d i b mm a n a g e ro fm u l t i p l ei n f o r o m a t i o ns o u r c e s ) p j 系统。该项目主要从解决异构信息的结构异构入手，提出了一种具有自描述性、 面向对象的描述性模型o e m t 6 l ( o b j e c t e x c h a n g em o d e ) 同时给出了应用于该模型 的语- 言- l o r e l ( l i g h t w e i g h to b j e o tr e p o s i t o r yl a n u a g e ) 。o e m 模型是早期比较有 代表性的半结构化数据模型此后，很多集成系统均使用o e m 的变体【7 j 。s t a n f o r d 大学的l o r e i 作组在o e m 模型的基础上开发了半结构化数据库管理系统l o r e 。在 x m l 逐渐兴起后，他们就将l o r e 系统移植到完全基于x m l 的数据模型上，并相 应地扩展了其查询语言。 采用语义方法的典型代表有意大利m o d e n a 大学和m i l a n o 大学联合开发的 m o m i s ( m e d i a t o re n v i r o m e n tf o rm u l t i p l ei n f o r m a t i o ns o u r c e s ) i s j 系统。他们提出 了一种基于语义的异构信息描述模型o d m 及相应的建模语言0 d l ( o b j e c t d e f i n t i o nl a n g u a g e ) 。o d l 语言是为了适应异构信息集成的需要从d m g ( o b j e c t d a t a b a s em a n a g e m e n tg r o o u p ) 的o d l 语言扩展而来。o d m 是一种面向对象的 信息模型，它独立于信息源的语义，可被用来描述结构化和半结构化信息源的 异构模式。 与国外所开展的研究工作相比较，国内关于信息集成技术的研究起步较晚， 但是发展很快。目前该领域关键技术的研究倍受国内各大学和科研院所人员的关 注，正逐渐成为信息管理和应用领域研究的热点和焦点。在国内，东南大学计算 第1 苹绪论 机科学与工程系的研究人员在紧密跟踪t s i m m i s 项目研究的基础上，采用结构 化集成方法，开发了一个基于c o r b a 的半结构化信息集成系统原型一v e r s a t i l e l 1 9 】，该原型底层信息模型采用类似于o e m 的o i m ( m o d e lf o ro b j e c ti n t e g r a t i o n ) 模 型。该模型基于带根连通有向图理论建立，其o i m 对象代数提供并、差、选择、 投影、粘贴及切i 与t j 6 种操作。v e r s a t i l e 采用的集成方法为结构化方法。中国人民大 学信息学院的孟小峰教授等就w e b 数据管理的若干问题进行了研究，重点就w e b 查询问题、半结构化数据模式和w e b 信息集成方法进行了研究。他们提出了一个 基于x m l 的w e b 数据管理系统框架【1 0 j ，首先将各异构信息源转换载入到x m l 数 据中心，然后对数据中心的x m l 数据进行管理和查询。目前研究工作仍处于进 一步探索阶段。国内与异构信息集成研究相关的主要项目有国家重点基础研究发 展规戈1 j ( 9 7 3 规划) 的“网络环境下海量信息组织与处理的理论与方法项目”和“万维 网上的数据集成、数据仓储及知识发现的有效算法与软件系统”，国家数据库重 大专项课题( 8 6 3 项目) 的“基于x m l 的数据集成、共享与交换”以及本课题组主持 的国家自然科学基金项目“分布式智能异构数据集成支持系统的研究”等。通过这 些专项课题的研究，培养了大量的科研、开发、应用人员，并突破了异构信息集 成中的许多重大关键技术i l 。 1 3 课题来源 本课题来源于北京市科委先进制造北京市技术转移中心“一站四库”系统 建设课题。其中来自北京市先进制造领域的各个高校的专家和成果信息存储在 各个系统的不同数据库当中，我们需要对所有的数据信息进行统一整合在技术 转移中心的信息发布系统中，这就要求对不同系统中的异构数据的整合，而各 个数据源之间存在着系统、语法以及语义的异构。 本课题针对数据异构问题进行了较深入的研究。通过本体技术对异构数据 的语义集成进行了研究分析，提供了一种集成解决实现方案。 1 4 课题研究意义 随着信息网络时代的发展，用户对信息的要求越来越严格，全面性、准确 性、实时性变得十分必要。与此同时，信息的提供者也希望将自己的资源提供 给更多的用户。因此我们需要构建一个集成平台，能够使信息提供者方便地发 布自己的信息，同时为用户全面查询信息提供一个简单统一的接口。但是目前 这样的系统平台面临着很多问题，其中一个主要的难题就是信息源异构问题。 通过对国内外信息集成研究现状的研究可知，现有结构化信息集成方法解 决了硬件和操作系统的异构、语言和数据表示造成的语法异构与数据模型造成 北京工业大学工学硕士学位论文 的结构异构问题，但当用户在这些集成平台上获取信息的时候，仍很难得到充 足、有效的信息。究其原因，主要在于这些集成平台在集成异构系统的过程中 只考虑了数据的语法、结构的描述，而忽略了很重要的一个方面一语义描述， 即语义异构，例如，对语义异构中的异名同义问题，虽然异构数据源中的元素 命名不同，但有着相同的潜在意义，在集成过程中，需要标识出这些元素实际 相同的概念，而现有的信息集成技术却不能识别它们，在集成中仍会把它们当 作不同的概念，这就使得信息集成的收效大大降低引。 近年来，信息集成研究的焦点从解决信息语法、信息结构层面的异构逐渐 发展到致力于消除信息语义层面的异构。信息环境的变化和信息集成技术的发 展要求人们探讨更有效、更适用的信息描述方法。描述采用的模型必须具有完 备性和合理性，采用的技术须建立在公认的、可供遵循的标准支持基础之上， 描述的结果要易于发布和交换“引。而另一方面，新的技术新的标准不断涌现， 如x m l 与r d f 、本体技术、人工智能技术、a g e n t 技术等等，这些为信息集成和 信息描述提供了新的方法和思路，促使人们在该领域进行更深入的研究。 本体是共享概念模型的明确的形式化规范说明，其目标是捕获相关领域的 知识，提供对该领域知识的共同理解。本体通常基于特定的领域定义，确定该 领域内共同认可的词汇( 术语) ，并从不同层次的形式化模式上给出这些词汇和 词汇间的相互关系的明确定义。因此，本体作为特定领域内的概念以及概念之 间关系的集合，能够有效地表达特定领域内的通用知识，具有描述数据源语义 和解决异构的潜力，非常适合作为面向语义的异构信息集成中的通用语义模型。 在信息集成中使用本体有几个方面的优势。首先，本体提供了一个丰富的、预 定义的词汇库，可作为与数据源的稳定的概念接口，并且独立于数据模式。第 二，本体表示的知识足够支持所有相关信息源的转换。第三，本体支持一致的 管理和非一致数据的识别等n 引。 总之，基于本体的信息集成技术解决了在信息集成中的语义异构性问题， 大大提高了信息系统间的互操作性和协同性。因此，本文选题研究基于本体的 异构数据集成，解决异构数据库数据集成中存在的语义异构问题。 1 5 本文研究的主要内容 结合课题背景，本文主要研究基于本体的异构数据库数据集成方法研究， 提出了一种数据集成构架，基于该架构所实现的系统能够完成基本的查询功能， 以达到异构数据集成的目的。具体研究内容有如下几点： 1 在总结相关数据集成结构资料的基础上，结合当前存在的异构数据库系 统设计出一种基于本体的异构数据集成架构，并对架构的基本组成和功能进行 第l 章绪论 了分析介绍。 2 对基于本体的异构数据集成中的本体构建、本体映射以及查询处理等关 键技术进行了研究。 3 利用存在的异构数据库数据，通过本体的查询处理实现了数据集成的基 本应用功能。 本文的章节具体安排如下： 第一章：绪论。介绍了本课题的研究目的和意义，总结了当前国内外数据 集成技术的发展现状和趋势，并说明了本课题研究的主要内容和本论文的结构。 第二章：综述性介绍了基于本体的信息集成方法研究和应用，主要是本体 的概念定义以及本体在信息集成中的作用、功能等，并确定了采取的数据集成 方法。 第三章：提出了基于本体的异构数据集成系统架构，并对系统架构的各个 组成部分和采用的关键技术和方法进行了研究分析。 第四章：给出了语义查询处理的过程。首先需要构建全局查询语句，利用 局部本体和全局本体的映射关系推理得到针对各局部本体的子查询语句，再转 化为对各个异构数据库的实际查询s o l 语句，最后将得到的查询结果统一返回。 第五章：介绍系统具体实现的方法。包括实现的关键技术和系统用例测试 运行结果分析等。 第六章：总结了本文的研究工作，并给出了进一步的展望。 第2 章异构数据集成及本体概述 第2 章异构数据集成及本体概述 2 1 异构数据集成概述 2 1 1 异构数据集成简介 异构数据是一个含义丰富的概念，不仅指不同的数据库系统之间的数据是 异构的，如o r a c l e 和s q ls e r v e r 数据库，还包括不同结构的数据之间的异构， 如结构化的s q ls e r v e r 数据库数据和半结构化的文档数据，更重要的是数据表 示的语义上的差异。数据集成的一个重要任务就是屏蔽各种异构数据间的差异， 对各种异构数据提供统一的操作，使集成后的异构数据对用户来说是统一的和 无差异的。 异构数据库集成的核心目标是要将互相关联的分布式异构数据源集成到一 起，使用户能够以统一透明的方式访问这些数据源。集成是指维护数据源整体 上的数据一致性、提高信息共享利用的效率：统一透明的方式是指用户可以使用 统一的查询接口对异构的数据源进行访问，而无需关心底层数据模型、存储位 置、查询语言等问题，集成系统会提供模式转换与集成、全局查询分解、查询 结果的重组等功能，将从多个数据源获取的数据以统一的方式提供给用户制。 而数据源的异构性、自治性和分布性则是异构数据库集成中的主要难点。 自治性是指各个数据源是独立于其它数据源，也独立于集成系统的，数据 源的自治性，使得它们可以在不通知集成系统的前提下改变自身的结构和数据， 给数据集成系统的协同性提出挑战。 分布性是指数据源是异地分布的，依赖网络传输数据来进行相互通信，这 就存在网络传输的性能和安全性等问题。 数据源的自治性和分布性带来的问题在多数据库、分布式数据库领域均有 较为深入的研究，而异构性则是数据集成中的一个最大的挑战，也是数据库系 统的设计中的一大难题。 异构性是由于被集成的数据源通常是独立开发而产生的，它是一个很丰富 的概念，在不同的层次上有不同的体现，主要包括以下三个方面引： 1 系统异构 系统异构主要指数据所依赖的应用系统，如数据库管理系统、硬件平台、 操作系统、并发控制、访问方式和通信能力的不同等。具体细分如下：按计算 机体系结构的不同，即数据可以分别存在于大型机、小型机、工作站、p c 或嵌 入式系统中；按照操作系统的不同，数据存在的操作系统可以是w i n d o w s 系列 北京7 - 业大学工学硕士学位论文 或者u n i x 等。 2 数据模式异构 数据模式异构主要指数据在存储模式上的差异。一般的存储模式包括关系 模式、对象模式、对象关系模式和文档嵌套模式等几种，其中关系模式为主流 存储模式。需要注意的是，即便是同一类存储模式，它们的模式结构可能也存 在着差异。例如o r a c l e 所采用的数据类型与s q ls e r v e r 所采用的数据类型并 不是完全一致的。 3 语义异构 信息资源之间存在着语义上的区别，这些语义上的不同可能引起各种冲突。 例如，从简单的命名冲突( 如同名异义，同义异名) ，到复杂的结构语义冲突 ( 不同的模式表达同样的信息) ，语义冲突将会使数据集成变得复杂化。所以 如何尽量减少语义冲突是数据集成的一个研究热点和难点。语义冲突可以分为 概念模糊、命名冲突、域冲突三类： ( 1 ) 概念模糊 概念模糊是指看上去是相同的概念表示不同的实体。例如“最新的汇率 在不同的时间指不同的实体。概念模糊一般需要自然语言处理技术来解决。 ( 2 ) 命名冲突 命名冲突是指同名异义，同义异名。广义的命名冲突包括概念抽象程度不 同等。 ( 3 ) 域冲突 域冲突是指同一个值用不同的尺度衡量。例如一个数据源中的价格用人民 币表示，另一个可能是用美元来表示。 2 1 2 异构数据集成系统分类 异构数据库集成系统主要可以分为两类：模式集成方法和数据复制方法引。 模式集成方法也称为虚拟视图方法，它的主要思想是，将各数据源的局部模式 集成为一个全局模式，使用户能够按照全局模式透明地访问各数据源的数据。 全局模式描述了数据源共享数据的结构、语义及操作等。用户直接在全局模式 的基础上提交请求，由数据集成系统处理这些请求，转换成各个数据源在本地 数据视图基础上能够执行的请求。在模式集成方法中，集成的各数据源的局部 模式，而共享的数据仍然物理存放在局部数据源中，由各自的数据库管理系统 进行管理。典型的模式集成方法有：联邦方法和中间件包装器方法。 与模式集成方法不同，数据复制方法则是将各个数据源的数据复制到与其 相关的其它数据源上，并维护数据源整体上的数据一致性、提高信息共享利用 第2 章异构数据集成及本体概述 的效率。数据复制可以是整个数据源的复制，也可以是仅对变化数据的传播与 复制。典型的模式集成方法是数据仓库方法，即将各个数据源的数据都复制到 同一处一数据仓库，用户可以像访问普通数据库一样直接访问数据仓库以获得对 各个数据源的数据访问。 模式集成方法和数掘复制方法各有优劣。模式集成方法为用户提供了全局 数据视图及统一的访问接口，透明度高，且该方法并没实现数据源间的数据交 互，局部数据源的维护和管理较为简单，但是在用户查询时通常需要访问多个 分散的数据源，因此该方法的查询效率很大程度上依赖于网络的性能，同时， 模式集成方法需要提供模式映射和查询分解机制，实现算法较为复杂。 而数据复制方法将来自多个数据源的数据副本都存储在一个或少量的几个 数据库中，供用户查询，用户使用时不需访问分散的诸多数据源，这会大大提 高系统处理用户请求的效率：但是由于系统所有的查询都是针对少量数据库进 行，这些数据库的性能往往会成为整个系统的瓶颈，同时该方法需要定期从数 据源过滤数据，然后装载到数据仓库中，而数据复制通常存在延时，所以用户 查询到的数据可能不是最新的，保证数据源之间数据的实时一致性将耗费很大 的开销。 从实际应用的角度出发，异构数据库集成通常应用于企业或组织中大量分 布异构数据的共享访问，而这些应用具有数据量巨大，数据更新频繁，对数据 的实时性要求高等特点，因此，适合采用模式集成方法。 2 1 3 数据集成结构方式 现有的信息集成的方式大多是基于数据库的这种方式，使用多个数据库信 息源的信息并利用这些信息构成一个新的数据库，这个数据库可能是逻辑上的 包含来自所有这些信息源的信息，因此可以作为一个数据单元来访问信息源，可 能是传统的数据库也可能是非传统的数据库，如网页文本的集合等。目前数据 库、分布式信息源的集成方式常用的有三种h ： 1 基于联邦数据库的数据集成 数据源是独立的，但一个数据源可以访问其他数据源以提供信息。这是集 成不同数据库最简单的一种结构，为了到达目的，联邦数据库实现了各个数据 库之间的一对一连接。这些连接允许数据库d 1 以另一种数据库d 2 理解的方式 来查询d 2 。这种结构的问题是，如果n 个数据库两两之间都要进行交互，则 需要写n 木( n 一1 ) 个接口的代码来支持相互查询n ，结构如图2 1 所示： 北京工业大学工学硕士学位论文 图2 1 联邦数据库集成结构图 f i g u r e2 - 1s t r u c t u r eo fi n t e g r a r i o no ff e d e r a ld a t a b a s e 2 基于数据仓库的数据集成 来自几个数据源的数据副本存储在单一数据库中，称为数据仓库。存储在 数据仓库中的数据在存储之前可能要经过一些处理，例如，对数据进行筛选， 将关系进行连接或者聚集。从数据源拷贝数据时，一般需要以某种方式对其进 行转换，以使所有的数据都符合数据参考的模式。 数据仓库集成结构中，来自各个数据源的数据被提取后组成一个全局模式。 然后，数据存储在数据仓库里。在用户看来，与普通数据库无异。其组织方式 如图2 2 所示： 图2 - 2 数据仓库信息集成结构图 f i g u r e2 - 2 s t r u c t u r eo fi n t e g r a r i o no fd a t aw a r e h o u s e 一旦数据存储在数据仓库中，用户就可以查询，正如在其他数据库中提出查 询一样。数据仓库一般采用定期更新方式，通常不允许用户对数据仓库进行更 新。数据仓库与基本数据源的数据可能不一致。 3 基于中间件包装器的数据集成 中间件包装器方法町一般由一个中间件和多个包装器组成，每个数据源对 应一个包装器，包装器对特定数据源进行了封装，将其数据模型转换为系统所 采用的通用模型，并提供一致的访问机制。中间件通过包装器和各个数据源交 第2 章异构数据集成及本体概述 互。用户针对全局模式发出查询请求，由中间件处理用户请求，将其转换成各 个数据源能够处理的子查询请求，发送给相应的包装器，由包装器来与其封装 的数据源交互，执行子查询请求，并将结果返回给中间件，其过程如图2 3 所 示： 查询结果 图2 - 3 中间件包装器数据集成结构图 f i g u r e2 - 3s t r u c t u r eo fi n t e g r a r i o no fm i d d l e w a r e w r a p p e r 基于中间件包装器方法可以支持大量的数据源，同时，由于包装器的封装 功能，它不仅可以集成结构化的数据源信息，还可以集成半结构化或非结构化 数据源中的信息，提供很好的查询能力，也是应用最为广泛的一种体系结构。 本文研究的集成技术即为此结构集成方式。 2 1 4 数据集成模式分类 目前广泛应用的数据集成模式方法有三种u9 1 ：全局视图( g l o b a la sv i e w ) ， 简写为g a v ，局部视图( l o c a la sv i e w ) ，简写为l a v ，和双向视图( b o t ha s v i e w ) 简写为b a v 。 其中，g a v 方法乜们是在局部数据源数据视图的基础上建立全局视图，因而全 局视图中的每一个元素都必须对应一个局部数据源，表示相应数据源的数据结 构和操作。g a v 方法所支持的全局查询重写策略是查询展开，即对于全局视图 中的每一个虚拟关系写出一个查询，说明如何从数据源得到该关系的元组。 这种方法一个很大的优点是，在映射规则中很直接地反映了如何从局部数 据源里读取数据，便于全局查询的处理：但是它的缺点是缺乏扩展性，如果有新 的数据源需要集成，则需要修改视图定义，因此比较适用于局部数据源较为稳 定的集成系统。 l a v 方法妇则是先独立于局部模式构建一个全局模式，再经由全局模式按一 定的规则推理得到局部数据源模式。l a v 方法所支持的查询重写策略是查询折 叠，也称为通过视图答复查询，指为每一个数据源给出一个针对集成视图的查 询，说明集成视图中的哪些元组可在该数据源中找到。 北京工业大学工学硕士学位论文 这种方法的优点是具有高度的模块化程度和良好的可扩展性，如果设计的 全局模式比较好，那么当数据源改变时，只会影响到它的定义，而对整个集成 系统没有影响：当有新的数据源加入时，可以比较容易地扩展整个l a v 数据集成 系统。但是它的主要缺点是可能产生不完全的查询结果，查询过程需要进行推 理，查询重组比较复杂。 b a v 方法则是g a v 和l a v 的结合，它的一个主要特点是支持模式的演化，无 论是全局模式还是局部模式，都可以增加地修改而无需重新构造系统。但是该 方法实现较为复杂，且在本文考虑的应用范围中不涉及模式演化内容，因此， 本文主要讨论g a v 方法。 2 2 本体概述 2 2 1 本体的概念 起源于哲学的本体论，近年来受到信息科学领域的广泛关注，最近本体论 在信息集成中的应用也得到广泛的研究，在w 3 c 的主导下有望解决信息共享时 的语义问题，从而实现世界范围内的知识共享和智能信息集成。后来随着人工 智能的发展，被人工智能界赋予了新的定义。然而最初人们对本体的理解并不 完善，对于本体的定义也在不断的发展变化中，最为完善的定义由s t u d e r 于 1 9 9 8 年给出：本体是共享概念模型的明确的形式化规范说明。 s t u d e r 的定义体现了的四层含义：概念模型，明确，形式化和共享。其中， “概念模型 指通过抽象出客观世界中一些现象的相关概念而得到的模型，概 念模型所表示的含义独立于具体的环境状态：“明确”是指所使用的概念及使 用这些概念的约束都有明确的定义；“形式化是指本体是计算机可读的，能 被计算机处理；“共享”是指本体中体现的是共同认可的知识，反映的是相关领 域中公认的概念集，即本体所针对的是团体而不是个体之间的共识。 运用本体来描述某个领域的概念以及概念之间的关系，使得这些概念和关 系在共享的范围内具有大家共同认可的、明确的、唯一的定义，有助于人机之 间以及机器之间的交流。目前，本体己经被广泛应用于语义w e b 、数据集成、 智能信息检索、数字图书馆等领域【3 引。 2 2 2 本体描述元语 p e r e z 等人认为本体可以按分类法来组织【2 2 1 ，并归纳出本体的五个基本构成 元素。这些元素分别为：类( c l a s s e s ) ，关系( r e l a t i o n s ) ，函数( f u n c t i o n s ) ，公理 弟2 章异构数据集成及本体概述 ( a x i o m s ) g l 实侈l j ( i n s t a n c e s ) 。通常也把c l a s s e s 写成c o n c e p t s ( 概念) 。下面对 各部分的含义进行分析： 1 类( c l a s s e s ) 或概念( c o n c e p t s ) 指任何事务，如工作描述、功能、行为、策略和推理过程。从语义上讲， 它表示的是对象的集合，其定义一般采用框架结构，包括概念的名称，与其它 概念之间的关系的集合，以及用自然语言对概念的描述。 2 关系( r e l a t i o n s ) 指领域中概念之间的交互作用，形式上定义为二维笛卡儿积的子集r ： c lx c 2 x x c n 如子类关系( s u b c l a s s o f ) 。 3 函数( f u n c t i o n s ) 一类特殊的关系。该关系的前n 1 个元素可以唯一决定第n 个元素。形式化 的定义为f ：c l x c 2 x x c 。i - - + c 。如m o t h e r o f 就是一个函数，m o t h e r o f ( x ，y ) 表示 y 是x 的母亲。 4 公理( a x i o m s ) 代表永真断言，如概念乙属于概念甲。 5 实例( i n s t a n c e s ) 属于某概念的基本元素，即某概念类所指的具体实体。 概念间的关系可以分为两类：分类关系和非分类关系，具体来看，可以定义 四种类型的关系，如表2 - 1 所示： 表2 - 1 概念间的基本关系 t a b l e2 - 1b a s i cr e l a t i o nb e t w e e nt h ec o n c e p t s 关系名关系描述 p a r t o f表示概念之间部分和整体的关系 k i n d - o f 表示概念之问的继承关系 i n s t a n c e - o f 表示概念的实例和概念之间的关系 a t t r i b u t e - o f 表示某个概念是另一个概念的属性 2 2 3 本体描述语言 本体语言使得用户能为领域模型编写清晰的、形式化的概念描述瞳3 1 ，因此 它应该满足以下要求：良好定义的语法、良好定义的语义、有效的推理支持、 充分的表达能力、表达的方便性。大量的研究工作者活跃在该领域，因此在过 去二十年中诞生了许多种本体描述语言，用来定义本体。 根据本体语言的应用范围可以分为将其两类： 1 与具体应用相关的本体语言，如：0 n t o li n g u a ，c y c l ，l o o m 等。 北京工业大学工学硕士学位论文 量曼曼曼曼曼曼曼皇曼曼! 曼曼曼曼曼舅曼曼曼曼曼曼曼曼量曼曼! 曼曼i i i , 皇曼曼曼曼曼曼曼曼曼曼曼曼曼! 曼曼曼 o n t o li n g u a 是一种基于k i f ( k n o w l e d g ei n t e r c h a n g ef o r m a t ) 的提供统一的 规范格式来构建本体的语言。它的特点是为构造和维护本体提供了统一的、计 算机可读的方式o 。同时，由o n t o li n g u a 构造的o n t o