（计算机软件与理论专业论文）基于本体的异构xml数据源集成的研究与实现.pdf

中国科学技术大学硕士论文基于本体的异构x m l 数据源集成的研究与实现 摘要 近年来，伴随着互联网的发展，信息来源种类的增多，信息复杂性的增加， 一方面，半结构化数据的大量应用使得传统的数据存储和交换方式已经不能够满 足实际应用和研究的需要，x m l 作为半结构化数据的存储标准，正在被广泛的 应用；另一方面，随着x m l 逐渐成为w e b 数据交换的标准，越来越多的数据集 成系统通过用x m l 包装，于是，不同数据源的集成转化为异构x m l 数据 源的集成问题。这使得异构x m l 数据源的集成研究成为新的热点。 本体是共享概念模型的明确的形式化规范说明，它能够有效地表达特定领域 内的通用知识，很适合作为信息集成系统的全局模式，因此，本文提出了一种基 于本体的异构x m l 数据源的集成系统。该系统利用本体作为全局模式对异构 x m l 数据源的语义集成，通过查询绑定算法，查询分解算法，查询转换算法处理 用户基于全局本体的查询，创建各个x m l 数据源上与其语义一致的x q u e r y 查询， 最后整合查询结果返回给用户。同时，系统给出了解决当前同类的集成系统尚未 解决的局部数据源间进行连接，合并操作中由于局部数据源间的异构而引发的冲 突问题的方案。除此之外，针对当前的同类系统提供给用户的本体查询语言复杂， 不方便用户查询的缺点，为用户提供了局部查询接口，使用户能够在任一x m l 数据源上用流行的标准的x q u e r y 语言进行查询，系统将会把所有x m l 数据源与 用户查询语义一致的结果集返回给用户。 关键字：本体，x m l 数据源，集成，冲突消解 中国科学技术大学硕：b 论文 基于本体的异构x m l 数据源集成的研究与实现 a b s t r a c t i nt h er e c e n ty e a r s ，a l o n gw i t ht h ed e v e l o p m e n to fi n t e r n e t ，m o r ea n dm o r e v a r i e t i e so fi n f o r m a t i o ns o u r c e sh a v ea p p e a r e da n di n f o r m a t i o nb e c o m em o r ea n d m o r ec o m p l e x a sa r e s u l t ，i n t e g r a t i o no fh e t e r o g e n e o u sx m ld a t as o u r c e sh a s b e c o m eo n eo ft h eh o t t e s tr e s e a r c ht o p i c s o no n eh a n d t r a d i t i o n a ld a t as t o r a g ea n d e x c h a n g em e t h o d s c a n t s u p p l ye n o u g hs u p p o r tf o ra p p l i c a t i o na n dr e s e a r c h r e q u i r e m e n tt o d a y , x m la st h es t a n d a r df o rs e m i s t r u c t u r e dd a t as t o r a g ea n d e x c h a n g e ，h a sb e e na p p l i e dm o r ew i d e l y o nt h eo t h e rh a n d ，a sx m l i sb e c o m i n gt h e e x c h a n g es t a n d a r do fw e bd a t a ，m o r ea n dm o r ei n t e g r a t i o ns y s t e mu s ex m l w r a p p e r ss ot h a tt h ei n t e g r a t i o no fd i f i e r e n td a t as o u r c e si st r a n s f o r m e di n t ot h e i n t e g r a t i o no fh e t e r 0 2 e n e o u sx m ld a t as o u r c e s o n t o l o g yi sd e f i n e da st h ef o r m a l i z e ds p e c i f i c a t i o no fas h a r e dc o n c e p tm o d e l i tc a nc l e a r l ye x p r e s st h ek n o w l e d g ei nas p e c i f i e dd o m a i n w h i c hm a k e si te s p e c i a l l y a p p r o p r i a t et ob et h eg l o b a ls c h e m ao fa ni n f o r m a t i o ni n t e g r a t i o ns y s t e m i nt h ep a p e r ， a no n t o l o g y - b a s e di n t e g r a t i o ns y s t e mo fh e t e r o g e n e o u sx m ld a t as o u r c e si sp r o p o s e d t h es y s t e mu s e s o n t o l o g y a s g l o b a l s c h e m at o i n t e g r a t ex m ld a t a s o u r c e s s e m a n t i c a l l y ，p r o c e s su s e r sq u e r ya g a i n s tt h eo n t o l o g yb ya l g o r i t h m si n c l u d i n gq u e r y b i n d i n g ，q u e r yd e c o m p o s i t i o n ，q u e r yt r a n s l a t i o n ，c r e a t es e m a n t i c a l l yc o r r e s p o n d i n g x q u e r yo ne v e r yx m ld a t as o u r c e ，u n i f yt h er e s u l t sa n df i n a l l yr e t u mt h e mt ot h e u s e r m e a n w h i l e ，ac o n f l i c tr e s o l u t i o nm e t h o di sp r o p o s e dt os o l v et h ep r o b l e mo f i n c o r r e c tr e s u l tf r o mi n t e r o p e r a t i o n sb e t w e e nl o c a ld a t as o u r c e s ，s u c ha si o i n o p e r a t i o na n du n i f i c a t i o no fq u e r yr e s u l t sf r o mh e t e r o g e n e o u sd a t as o u r c e s b e s i d e s ， i nt h es y s t e m au s e ri n t e r f a c ec a l l e dl o c a lq u e r yi n t e r f a c ei sp r o v i d e d ，w h i c hs o l v et h e p r o b l e mt h a tt h eu s e ri sn o tf a m i l i a rw i t ht h ec o m p l e xg r a m m a ro fo n t o l o g yq u e r y l a n g u a g e s g i v e nt h i si n t e r f a c e t h eu s e rc a nu s ex q u e r y , t h es t a n d a r da n dm o s t p o p u l a rx m lq u e r yl a n g u a g e t od oq u e r yo na n yo ft h ex m l d a t as o u r c e sa n dt h e s y s t e mw i l l r e t u r nt ou s e rt h er e s u l tf r o ma l lt h ex m ld a t as o u r c e st h a ta r e s e m a n t i c a l l ye q u a lt ot h eq u e r yp r o p o s e db yt h eu s e r k e yw o r d s ：o n t o l o g y ，x m ld a t as o u r c e ，i n t e g r a t i o n ，c o n f l i c tr e s o l u t i o n 中国科学技术大学硕士论文 基于本休的异构x m l 数据源集成的研究与实现 致谢 三年的硕士研究生生活马上就要结束了，回顾在中国科学技术大学三年来 的生活与学习，心中充满了感激和欣慰。在这里，我学到了更多的知识，结识了 更多的良师益友，我常常觉得自己是幸运的，可以来到科大，来到计算机系学习。 在此论文完成之际，我谨向这三年来关心和帮助过我的老师，同学表示衷心的感 谢。 首先，我要感谢我的导师岳丽华教授，师从岳老师三年多的时间，无论从 生活，还是从科研上对我的影响都是巨大的。岳老师渊博的学识，严谨的治学态 度和诲人不倦的精神给了我很大的启迪。从岳老师那里，我学到了字斟句酌的严 谨学风，正确的进行科学研究的方法，积极乐观的生活态度。读研期间，岳老师 在我身上倾注了大量的心血，同时也寄予了厚望，整篇论文都是在岳老师的认真 指导下完成的，再次向岳老师表示最诚挚的感谢。 同时还要感谢我们项目组的韩恺，杨洋，韦鹏，柳刘，任明雷，王强，蔡 荣峰，刘沾沾，向小岩，田明辉等同学，和他们的讨论，使我获益匪浅，和他们 在一起生活和学习的日子，使我感到快乐，没有他们点点滴滴的帮助，就没有今 天的这篇论文。 感i l i , s a 0 3 0 1 1 的全体同学，认识他们我感到万分的荣幸。 感谢中国科学技术大学，我一生以此为荣。 最后我要衷心感谢我的父母和我的女友，没有他们在生活上无微不至的关 心，就没有这篇论文。 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 第1 章绪论 1 1 本体与异构数据集成 随着计算机及网络技术的快速发展，网上的信息迅猛增加，成为了一个巨 大的信息库，同时，众多企业和单位开发了大量的软硬件平台各异的应用系统， 在各种应用系统中又积累了丰富的数据资源，这样就形成了成千上万个异构的数 据源，有传统的数据库、文件系统，以及h t m l ，x m l 等半结构化的数据，还有 图片、声音和其它多媒体信息等非结构化的数据。这些数据资源由于软硬件平台 各异、数据模型各异而形成了异构数据，使各数据源间的互操作变得复杂、困难。 为了更好地利用网络上浩如烟海的信息，以及不造成企业应用系统的重复建设和 数据资源的浪费，人们迫切需要集成这些地理上分布、管理上自治、模式上异构 的异构数据源。 然而，语义异构【l ，2 l 是这些异构数据源集成过程需要解决的一个重要问题， 它是指本地数据意义的不同点或相似点。例如，两个数据源的模式可能有着相同 的潜在意义，但名字不同。因此，在集成过程中，需要标识出两个元素实际上表 示相同的概念。或者，两个数据源中的模式元素命名是相同的，而潜在的意义是 不相容的，这时在集成过程中就应该将两个元素看作是不同的事物。 因此，有意义的数据集成依赖于发现模式元素之间的不同点和相似点。所以 在集成过程中需要考虑数据的语义。语义是人们根据他们对世界的理解而赋予数 据的解释( 例如，将数据表示的内容与数据关联) 。对数据的不同解释就引起了语 义异构。在数据库领域，语义指模式元素( 例如类、属性和方法) 的意义。语义同 语法是不同的，语法是指模式元素的结构的定义。解决语义异构问题的方法需要 对异构和自治的软件系统进行装备，使之具有共享和交换信息的能力。这一点可 以通过很多方式实现，其中的每一种适合于一定的环境。其中一个解决方法是开 发者自己编写转换系统间术语集的代码。当只有少数几个系统需要交互时，这种 方法还比较有效。然而，当有更多的系统加入进来使语义异构的程度增加时，开 发费用就会大幅增长，这种方法的实用性就会大打折扣。 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 1 2 异构集成系统的研究现状 1 2 1 结构化数据的数据集成 ( 一) 多数据库系统和联邦数据库系统 19 8 5 年，h e i m b i n g e r 和m c l e o d 首次提出一种异构信息集成的途径， 并称之为“数据库联邦”【3j 。s h e t h 和l a r s o n 总结了当时异构信息集成领 域已有的研究成果，给出了完整的异构信息集成的系统模型( 见图1 1 ) ， 即所谓的多数据库系统或联邦数据库系统，典型的实现如u n i s q l m 4 l ， m i n d 5 l ，m y r i a d 6 】，s i m s 7 等系统。 图1 1 多数据厍系统和联邦数据库系统 在以上系统模型中，用户通过全局模式可以像访问单个数据源一样来访问多 个局部数据源，并实现各种应用。其缺点是模式集成的过程较为复杂。 ( 二) 异构模式的集成 在异构信息集成系统中，一个重要的问题就是如何将异构的局部模式 集成为统一的全局模式。对于这一问题也有不少相关工作。 【8 1 提出了一种根据属性等价来对异构模式集成的方法。【9 】给出了一种 包含模式变换操作的异构对象模式的集成方案。在【l o 】提出的半自动的模 式集成方法中，利用e r 模型的一种扩展e r c + 模型来描述异构模式，在 e r c + 模型中，支持“i s a ”和“m a y b e a ”的泛化关系。【11 l 中提出了 一种基于对象模型的异构模式集成策略。这些集成方案均采用结构化数据 模型如关系模型、对象模型以及一些概念模型女f l e r 模型等，每种方案所解 决的模式冲突也并不相同。此外，这些研究多集中于研究异构模式集成的 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 半自动方法，而对模式集成后的相应查询分解和处理策略少有提及。 ( 三) 基于语言的数据集成 在基于语言的集成方式中，系统并无集成的全局模式，用户通过某种 特定的语言来访问各个数据源中的数据，从而达到数据集成的目的。这类 系统的典型实现如i d l 1 2 矛1 1s c h e m a l o g 1 3 】。 利用基于语言的数据集成方式，虽然无需构造全局模式，用户得到更 大的自由，但是实际上各个数据源之间的冲突消解的任务完全交给用户， 用户利用系统提供的语言来手工的定义视图和查询从而达到集成的目的。 在这种情况下，用户不得不面对各个分布数据源的复杂数据组织，这与数 据库的数据独立性理念相违背。此外，在加入新的数据源的时候，视图和 查询的定义往往需要重新构造，系统的扩展性较差。因此，虽然目前许多 学者在这方面做了不少工作，但在学术上仍然存在一些争议。 ( 四) 基于逻辑视图的数据集成 在基于视图的数据集成方式中，并不采用关系或者面向对象模型作为 公共数据模型，而是基于逻辑规则来进行集成工作。局部数据源的信息被 映射为逻辑规则的表示并构造视图，并采用相应的查询处理算法，从而达 到集成的目的。 在这种集成方式中，有两个主要的分类，一种是g l o b a la sv i e w 方式 ( 简称为g a v ) ，另一种是l o c a la sv i e w 方式( 简称为l a v ) 。如图1 2 中我 们用韦恩图比较了在关系模型下g a v 集成方式和l a v 集成方式的元组空 间构造的不同。 在g a v 方式中，用户利用逻辑规则来构造全局视图作为一个全局模 式，因此当用户提交针对全局模式的查询的时候，查询处理的过程相对简 单，即所谓的“视图伸展”( v i e wu n f o l d i n g ) 的过程。然而，有学者指出， 当考虑全局模式中的完整性约束的时候，在查询处理中必须考虑数据不完 全的因素，因此查询处理较为复杂【1 4 ，1 5 ，1 6 l 。 而在l a v 方式中，全局模式预先存在，每个局部数据源包含的信息则 采用逻辑规则表示为全局模式的视图。l a v 方式与g a v 方式相比，查询处 理则较为复杂。 在基于逻辑视图的集成方式中，无论是g a v 方式还是l a v 方式，都有 一定的缺陷。在g a v 方式中，虽然查询处理较为简单，但是如同基于语言 的集成方式一样，用户需要手工的通过逻辑规则来定义全局视图，从而达 到冲突消解和数据集成的目的。此外，在加入新的数据源时，全局视图必 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 须重新生成，系统扩展性差。在l a v 方式中，由于查询重构本质上是n p 完全问题，因此查询处理的过程复杂，查询效率较低，并且在很多情况下 查询重构无法找到与原查询等价的查询。另外，在l a v 方式中假定全局模 式预先存在，实际上将模式集成的任务交给用户，由用户手工设计能代表 各个数据源内容的全局模式。全局模式一旦设计完成，实际上就限定了系 统集成的信息范围，当加入新的与全局模式描述信息差异较大的数据源 时，势必要修改全局模式定义，从而造成所有局部数据源的视图定义需要 重新生成。 1 2 2 异构x m l 数据源的集成研究 可扩展标识语言( x m l ) 【1 7j 是w 3 c 制定的w e b 数据交换标准，也是 现在公认的表示半结构化数据的一种数据格式。方面，半结构化数据的 大量应用也使得传统的基于实体关系模型和对象模型的格式化数据存储 方式不堪重负，因而越来越需要一个系统处理半结构化数据的存储和集 成，当然主要是x m l 数据的集成。另一方面，由于x m l 具有平台独立性， 所以将它作为数据交换工具可以解决异构数据源之间的互操作问题，x m l 作为数据传输的中介格式，数据存储格式不受显示格式的制约，它的自描 述性和扩展性使得数据不需要有内部描述就能被交换和处理，同时可用于 表达各种类型的数据。因此，x m l 可以比较有效地解决不同应用系统、不 同数据源之间的数据交换和共享问题，为同时结构化数据的集成提供了一 个有效的工具。当前，越来越多的异构数据集成系统( 包括结构化以及半 结构化数据源) ，都是通过先将异构数据源转换为x m l 格式，然后进行x m l 的集成实现的。 因此，异构x m l 数据源的集成越来越受到研究人员的关注。集成系统 多采用包装器一协调器结构【1 8 ，1 9 l ，如图1 2 所示。在协调器一包装器结构 中，在每个局部数据源上构建一个软件模块称为包装器。包装器负责将局 部数据源的数据转化为某种公共数据模型，并提供对局部数据源的查询接 口。对于一些不具有查询能力的非数据库数据源，包装器必须实现对其的 查询功能。而协调器负责为上层应用提供基于全局视图的查询界面，并将 用户提交的查询分解为针对各个局部数据源的查询分别交给相应数据源 的包装器执行。包装器返回局部查询结果后，协调器将局部查询结果进过 处理后合并为全局的查询结果返回给用户。与传统的多数据库和联邦数据 库结构相比，包装器一协调器的集成框架更为灵活，由其是通过对不同数 据源的包装器实现可以集成尽可能多的信息。与基于结构化数据模型下的 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 异构信息集成研究相比，对于半结构化数据集成的研究相对较少。特别是 对于x m l 数据集成的研究工作近年来才刚刚开始。 q i i i ? i i e s 一一一 、- 亡 芒 亡b 。 ， 芒】亡5 w r a p p e rw r a p p e rw r a p p e r r 一- 1 早 _ i 己 己 d 白白口 i 一no r b ，1r 、 _ 一一 l j ， 雌 心 l 一d u ：，i l p “j 一i ic o m p c n k m t al 匝 、一“一p - 1 1r i - id m lc o n d o n e ) 1 1b l i d t ：i i r e l a l l o n a ld a t a b a s e i n i o r n a l l o ns 黔l 亡n 群i n l b r m a t i o ns y 啦e m s r n r n a 罢e i l l e l l is y s l e m 、“【hw c b | 1 1 t e r 国c e s u l l h ：0 r b ai l l e r f b c e s 图1 2 协调器一包装器结构 t s i m m i s 【2 0 】是斯坦福大学研发的半结构化数据的集成系统。该数据 采用o e m 模型来作为公共数据模型，每个o e m 对象由四个元素组成：l a b e l ， t y p e ，v a l u e 和o b j e c t i d 。其中t y p e 和l a b e l 属于模式信息，因此，o e m 是 自描述的数据模型。为查询o e m 数据，t s i m m i s 提出一种查询语言 o e m q l 。该查询语言采用传统的查询语言o q l 以及s q l 的 s e l e c t f r o m w h e r e 格式，然而其中支持带有通配符的路径表达式。t s i m m i s 采用协调器一包装器结构，其重点是利用一种描述性语言m s l 来生成协 调器。实际上m s l 语言类似于一种视图定义语言。用户通过m s l 语言书 写若干规则来给出一个全局视图的定义，该定义描述了协调器如何从局部 数据源抽取数据来构成全局视图的数据。用户提交o e m q l 查询语句后， 查询语句与协调器的m s l 规则定义相匹配，从而将查询分解为针对各个 局部数据源的子查询。子查询返回的结果经过对象合并的过程得到最终的 查询结果，并仍以o e m 对象的形式返回给用户。可以看出，在t s i m m i s 中，用户必须学习特殊的语言m s l 并利用其手工定义全局模式从而达到 数据集成的目的，因此具有与1 2 节中所述的面向语言的集成方式相类似 的缺点。 中国科学技术大学硕士论文基于本体的异构x m l 数据源集成的研究与实现 a g o r a 2 1 l 是法国i n r i a 研究所开发的对于x m l 数据源的集成系统。 在该系统中，用户事先定义一个x m l 模式作为全局模式，这个x m l 模式 在系统内部被如实地转化成一个关系模式( 称为“通用关系模式”) 。而 局部的x m l 数据源和关系数据源也通过包装器转化为通用关系模式上的 关系视图。当用户根据x m l 全局模式向系统提交基于x q u e r y 语法的全局 查询时，全局查询语句根据若干规则被规范化，随之被转化为针对通用关 系模式的关系查询。此时，系统利用一个关系模型上的查询重构算法将转 化后的全局查询重写为针对各个局部数据源的关系查询执行，得到查询结 果后再利用一个结构重组的过程将关系数据转化为x m l 文档返回给用户。 可以看出，a g o r a 系统完全沿袭了基于逻辑视图集成方法中的l a v 方式， 其核心部分的查询处理过程则采用已有的关系模型上的查询重构算法。事 实上，a g o r a 系统的主要贡献在于找到了将针对x m l 模式的x q u e r y 查询 语句转化为关系查询的一条途径，而本质上具有l a v 集成方式的查询处 理过程复杂等缺点。 e n o s y s 2 2 l 是加利福尼亚大学学者研发的x m l 数据源集成系统。该系 统提出一种x m l 数据的查询语言x c q l 以及其查询代数，用户利用x c q l 语言定义多个x m l 数据源的全局视图( 可以为虚视图或者实视图) ，然 后用户根据视图提交x c q l 语言的查询语句。查询语句根据视图的定义进 行查询分解、查询优化等步骤后，最后被转化成一个基于x c q l 查询代数 的查询计划送至局部数据源执行。此外，e n o s y s 提供一个图形化的查询界 面，用户能够实时的流览和评估查询结果。如果从基于逻辑视图的集成角 度看，e n o s y s 属于g a v 方式，因此具有g a v 集成方式的相应缺点。实际 上，e n o s y s 系统设计的侧重点在于提出一种能够定义多个x m l 数据源上 视图的查询语言和其查询代数，以及系统中的查询处理过程。综上所 述，目前采取包装器一协调器结构的一些半结构化数据集成系统的集成策 略与以往基于语言的集成方式、基于逻辑视图的集成方式等有类似之处， 集成系统中的全局模式需要预先定义或者由用户采用某种特殊的视图定 义语言手工生成，而侧重于查询处理过程的实现，因此具有与结构化数据 模型下相应集成方式中的一些类似缺点。 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 1 3 基于本体的集成及其现状 1 3 1 本体以及利用本体进行集成的优势 本体最早是一个哲学的概念，是对一个客观存在的解释和说明，表示的是客 观存在的抽象本质。在人工智能界，最早给出本体定义的是n e c h e s 等人，他们将 本体定义为“给出构成相关领域词汇的基本术语和关系，以及利用这些术语和关 系构成的规定这些词汇外延的规则的定义”。1 9 9 3 年g r u b e r 给了本体一个更为流 行的定义“概念模型的明确的概念说明”【2 3 】，后来又演变为“共享概念模型的明确 的形式化规范说明”。 本体包含5 个基本的建模原语，分别是：类、关系、函数、公理和实例。通常 类也写成概念。类是相似术语所表达的概念的集合体，可以指任何事物，如工作 描述、功能、行为、策略和推理过程等等。关系表示概念间的交互性。公理通常 都是一阶谓词逻辑的表达式，是那种无需再进行证明的逻辑永真式( 重言式) ，可 以使用公理来约束信息、证明正确性或者推导新信息。函数实际上是特殊的关系， 但不是所有的关系都是函数。函数中规定的映射关系，可以使得推理从一个概念 指向另一个概念。实例，也称为个体，表示某个特定概念的具体化的值。于是， 利用这种模型，本体可以为特定领域的实体给出名字和描述，使用谓词来表示这 些实体之间的关系，并为表示和交流领域的知识给出了一个词汇库，以及一系列 包含着词汇库里的术语的关系。本体通过这种对概念的严格定义和概念之间的关 系来确定概念精确语义，表示共同认可的、可共享的知识，为异构集成提供了强 大的语义模型。 x m l 和i m f 都能为所表述的资源提供一定的语义。但是x m l 中的标签( t a g s ) 和r d f 中的属。| 生( p r o p e r t i e s ) 集都没有任何限制。例如：x m l 可以用 “ t o m ”表示t o m 是教师。r d f 片断 ” o r al a s s i l a ”描述了某个w e b 页的创建者问题。其中上面的a u t h o r e d c r e a t o r 完全可以用w r i t e r 来代替。再例如：某医院和某大学的w e b 页上都有 ，但是不明确它代表医生还是博士。综上，x m l 和r d f 在处理语义上存 在的问题是：同一概念有多种词汇表示：同一个词汇有多种概念( 含义) 。本体通过 对概念的严格定义和概念之间的关系来确定概念精确含义，表示共同认可的、可 共享的知识，从而解决上面的问题。 一个本体为特定领域的实体给出名字和描述，使用谓词来表示这些实体之 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 问的关系。它为表示和交流领域的知识给出了一个词汇库，并给出了一系列包含 着词汇库里的术语的关系，因此，可将本体用于数据集成任务，因为它具有描述 数据源语义和解决异构的潜力。我们解决语义异构问题的方法是形式化地指定每 个系统术语的含义，并且定义每个系统术语集和中介术语集之间的转换。使用形 式化本体指定系统术语集和中介术语集。并使用本体映射指定它们之间的转换。 在数据集成中使用本体有许多的优点。首先，本体提供了一个丰富的、预定 义的词汇库，可作为与数据源的稳定的概念接口，并且独立于数据模式。第二， 本体表示的知识足够支持所有相关信息源的转换。第三，本体支持一致的管理和 非一致数据的识别等。 1 3 2 基于本体的集成现状 由于本体有以上的优势，还是基于包装器一协调器的体系结构，但利用本 体取代自定义的模式一一如t s i m m i s 的o e m 模型，a g o r a 的“通用关系模式”， 以及e n o s y s 系统中用x c q l 定义的全局视图一一作为全局模式对多个x m l 数据 源进行集成，已经成为是数据库领域的研究热点之一。引入本体是为了根据本体 中的语义模型解决一部分语义冲突，解决一些基于模式的集成中不能解决的问 题，并提供更加友好的查询访问支持，更好的重用和共享知识。 根据集成方法的不同，可以分为单本体集成，多本体集成和混合本体集成 2 4 。如图1 3 所示，( a ) 为单本体集成的体系结构图，它的特点是对所有的局 部模式建立统一的本体，这种集成方法的优点在于查询处理便于实现，查询效率 高，缺点是修改或添加局部模式时可能需要修改本体。( b ) 为多本体集成的体系 结构图，各个数据源拥有自己的本体，没有共享概念，它的优点是对应每一个数 据源的本体简单，加入删除源对系统改动影响不大，缺点是本体间的映射复杂， 查询处理比较复杂。( c ) 可以看作是前两种集成方法的综合，每一个数据源有自 己的本体，在局部本体之上建立全局本体共享概念，这样做的优点是新的数据源 容易加入，可以支持本体的演化，缺点是存在的局部本体不能被重用，查询处理 也较复杂。 中国科学技术大学硕：e 论文 基于本体的异构x m l 数据源集成的研究与实现 ( a ) 单本体 ( c ) 浅合本体 ( b ) 单本体 图1 3 基于本体的数据源集成分类 b a c i i s 【2 5 1 是一个基于本体的生物和化学方面的信息集成系统，通过建立 领域本体，对在w e b 上发布的生物和化学方面的数据资源提供统一的访问方法。 w e b 资源的发布通过固定的函数定义提供，在集成系统中，用户根据本体提交查 询条件和需要返回的结果，由程序调用远程函数得到数据返回给最终用户。在这 个集成系统中，由于数据源提供的访问方法相对固定，核心的部分是把用户提交 的查询分解到各个数据源执行，然后把结果合并后返回给用户，其中没有涉及到 冲突消解，查询变换等问题。 s t y x 【2 6 1 是一个基于本体的x m l 数据源集成系统，属于单本体结构。主要 的贡献在于( 1 ) 使用本体代替了传统的全局视图( 2 ) 定义了一种描述语言来表 示x m l 数据资源( 3 ) 提出了一种查询处理方法( 4 ) 提出了一种能够分解到底 层数据源的查询计划。这也是一个完整的集成系统所必须要做的几个关键环节， 用户根据系统自定义的语言，写出要求查询的语句，经过查询分析，进入查询处 理模块，由查询处理模块进行查询分解，给出查询计划，然后提交数据源执行， 最后将结果返回给用户。系统的缺点在于，用户必须理解系统自定义的查询语言， 并且这种自定义的查询语言有一些限制性操作；产生查询计划算法中，对数据源 的选取有一些限制性操作，可能会导致返回结果的不完整；没有提供一种本体定 义语言和对本体进行操作的方法，这就使得对于本体的修改，数据源的添加，删 除很不方便，限制了系统的扩展性。 【2 7 ，2 8 1 是基于本体的x m l 数据源集成系统，也是单本体结构。通过集成的各 个数据源，生成一个全局本体( g l o b a lo n t o l o g y ) ，局部数据源中的每一个元素 ( 或属性) 都对应着全局模式的一个概念，这种对应关系称之为映射规则。应用 时，系统首先分析与用户查询中的全局本体概念有关的映射规则，通过查询分解 算法将其分解成在局部数据源的子查询，最后把各个子查询的结果返回给用户。 这种集成系统解决了以上的主要问题，但是，在同时对多个局部数据源的数据进 行连接，合并等操作时，会存在冲突，导致结果错误。因为，系统仅仅通过到全 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 局本体的映射进行冲突消解，而集成系统并不知道局部数据源间是否存在冲突， 因此，比如进行连接操作，而两个数据源中做连接的那个元素存在冲突时，连接 操作就会失败。又如，在合并各个数据源返回的查询结果时，由于各个数据源的 异构，就会返回异构的查询结果，导致数据合并结果出错。 1 4 本论文的工作 在本论文中，我们提出了一种基于本体的异构x m l 数据源的集成框架。 针对目前集成系统的不足，改进了本体构建，映射规则的建立，查询转换等各个 模块，不但解决了局部数据源数据间的冲突问题，并扩展了传统的集成系统的基 于全局模式的查询，给出了基于局部模式的查询的处理方法。 1 4 1 集成框架体系结构 图1 4 是整个集成框架的体系结构图。如图所示，系统由三个层次组成。 最上层是全局本体，是用户进行查询的接口( 这种接口上查询以下称之为全局查 询接口) 。中间一层是局部本体，该层为每个集成的异构x m l 数据源构建一个 局部本体，并生成与全局本体的映射规则。查询分解，冲突消解，查询转换等模 块也在这层实现，是系统的核心部分。最下层则是各个异构的x m l 数据源， 这是另一个用户进行查询的接口( 这种接口上的查询以下称之为局部查询接口) 。 l o 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 全局查询 局部查询局部查询局部查询 图1 4 集成框架体系结构 与传统的集成系统相比，本集成框架有专门的冲突消解模块，以处理在局部 数据源间进行连接，合并操作中由于局部数据源间的异构而引发的冲突问题。另 外，局部查询接口允许用户直接对任意一个局部x m l 数据源进行查询，查询结 果除了包含该局部x m l 数据源的数据之外，还为用户提供了其他数据源符合查 询条件的数据，跟全局查询的结果一致。因此，对于对全局查询接口( 本体的查 询语言) 不熟悉的用户可以仍然使用他们熟悉的针对x m l 数据源上的查询语言 ( 如x q u e r y ) 。 1 4 2 本体的构建 在本文的框架中，本体的构建包括全局本体的构建和局部本体的构建。 全局本体的构建 这一部分介绍如何建立一个全局本体的过程，本体是“共享概念模型的明确 的形式化规范说明”，本体的建立虽然没有一个固定的方法论，但是本体的根本 目的是对领域知识的描述和共享，是对多个数据源元数据及其关联的表示。我们 通过采用一种方法论，来定义本体的结构。 局部本体的构建 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 在本文的集成框架中，每个x m l 数据源都对应一个局部本体。一方面，新 的数据源容易加入，可以支持本体的演化。另一方面，局部本体可以表示出x m l 数据源中元素的嵌套关系为查询转换提供了必要的信息。对于局部本体的构建， 由于局部本体不像全局本体的领域那么大，概念关系那么复杂，它只是针对局部 x m l 数据源建立的本体，而x m l 数据源又必须符合其x m e 模式( x m ls c h e m a ) ， 因此，我们给出一个从局部x m l 数据源的模式构建局部本体同时生成局部本体 概念到对应x m l 数据源元素的映射的方法。 1 4 3 映射规则以及冲突消解 在集成系统中，映射规则( m a p p i n gr u l e ) 【2 7 ，2 8 ，2 9 1 是指两种不同的模式之 间的概念的关联规则定义。在本文的框架中，映射规则包括全局本体到局部本体 的映射以及局部本体到对应x m l 数据源的映射，而后者可以在局部本体的构建 算法中自动生成。 映射使得集成系统能够解决一部分结构冲突【3 0 ，3 l l ，约束冲突1 3 2 】，以及数 据源模式语法上的冲突 3 3 ，3 4 1 ，但是在局部数据源间进行连接，合并操作中由于 局部数据源问的异构而引发的冲突问题仍然存在，冲突消解模块就是专门解决这 个问题的。在对全局查询进行查询分解过后，冲突消解模块对生成的查询计划进 行处理，使得在进行查询转换之前查询计划存在的冲突已经进行消解，以保证查 询转换之后生成的在x m l 数据源上的查询结果正确。 1 4 4 查询处理 查询处理主要包括查询绑定，查询分解和查询转换三个模块。 查询绑定 查询绑定试图将用户基于全局本体的查询中的概念绑定到各个局部本体中 的概念，其目的是找到种具体的从基于全局本体的查询转换到在各个x m l 数 据源的查询的方案。 查询分解 查询分解是指如果个数据源不能满足用户提交的全局查询，集成系统就得 把用户查询分解为单个数据源能处理得查询，最后再进行关键字连接，结果合并。 查询转换 查询转换是查询处理的一个重要组成部分，是指将查询分解过后生成的基于 本体的查询计划转换成基于底层x m l 数据源的查询( 如x q u e r y ) ，以便在x m l 数据源上执行。本文的框架中，如上面所述，局部本体中包含了局部x m l 数据 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 源元素嵌套的关系，使得查询转换模块可以进行双向的查询转换，即从基于本体 的查询到在x m l 数据源上的查询的转换，以及从在x m l 数据源上的查询到基 于本体的查询的转换。这种机制也是实现局部查询处理的一个核一心部分。 1 4 5 本文的用例 为了说明集成系统中各个主要模块的工作过程，本文给出了一个集成两个 x m l 数据源b o o k s x m l 和w r i t e r s x m l 的例子( 以下称之为例1 ) ，本文的以下章 节在介绍集成系统的各个主要模块的同时也将用这个例子加以说明。 图1 5 给出了这两个数据源的s c h e m a ，这两个数据源的内容相同，都存放着 书籍及其作者，价格等信息，但是，在结构上，语义上以及存储形式上有很大的 差别。如图1 5 ( a ) 所示，b o o k s 数据源中a u t h o r ( 作者) 元素是b o o k ( 书籍) 元素的子元素，而在w r i t e r s 数据源中w r i t e r ( 作者) 元素却是b o o k ( 书籍) 元 素的父元素；此外还有同名异义冲突：在b o o k s 数据源中用a u t h o r 表示作者，而 在w r i t e r s 数据源中却用w r i t e r 来表示，类似的情况还有b o o k s 中表示作者姓名的 n a m e 属性和w r i t e r s 中对应的f u l l n a m e 属性。还有，b o o k s 数据源的a u t h o r 元素 有个e m a i l 属性，而w r i t e r s 数据源却没有与之语义一样的对应属性，同样，w r i t e r s 数据源上的w r i t e r 元素的a d d r e s s 属性在b o o k s 数据源上也找不到与之语义相同 的对应物。 另外，有些语义相同的元素在存储形式上却不同，在两个数据源间的这类元 素上进行连接，合并操作的时候必然会出错。比如，两个数据源中的p r i c e 属性 都存放着书籍的价格信息，但是b o o k s 中用美元为单位，而w r i t e r s 中用的却是 人民币，如果不进行冲突消解，集成系统直接在两个数据源上对该元素上进行相 同的约束( c o n s t r a i n t ) ，或者合并两个数据源的结果等操作的话，结果必然出错， 这种冲突称之为比例冲突【3 5 】；还有，两个数据源上的p u b l i s h d a t e 元素都是存放 着书籍的出版时间信息，但是如图所示，显然两种时间的存放格式却不一样，这 种冲突称之为格式冲突【3 5 】：再如，两个数据源中的t h r e e d i s c o u n t 都存放着书籍 的三种v i p 会员对应的三个折扣信息，而两个数据源的存放顺序却不同，b o o k s 中三种折扣眭l d , n 大排序( 图中称为顺序) ，而w r i t e r s 中却是由大到小排序( 图 中称为逆序) ，这也会使系统在合并两个数据源的查询结果时出错，这种冲突称 之为顺序冲突1 3 5 】。 中国科学技术大学硕士论文 基于本体的异构x m l 数据源集成的研究与实现 s c h e m ao fb o o k sx m s c h e m ao fw r i t e r s x m 5 ( a ) b o o k s x m l 和w r i t e r s x m l 的s c h e m a 比较 x s ：a 七1 2 r i l o u t , en 驯e = ”b o o k t i 七上e ” 七y p e = ”x