（计算机应用技术专业论文）保持数据依赖的异构数据共享模型的研究与实现.pdf

保持数据依赖的异构数据共享模型的研究与实现 中文摘要 中文摘要 随着计算机网络和数据库技术的迅速发展，企业的信息化程度越来越高，信息的 交流也越来越频繁。为了实现资源的有效利用以及系统间信息的高度共享，有必要对 应用系统的数据进行集成。目前信息系统间还没有统一的数据存储机制，使得数据源 间很难进行数据交换。而且企业的数据资源广泛分布在各种网络体系中，在一定程度 上增加了数据访问的难度。如何实现分布式环境下异构数据源之间的数据交换，成为 企业数据集成过程中迫切需要解决的关键问题。 现在对异构数据模式转换的研究主要集中在结构和语义约束转换，忽略了源数据 模式中蕴含的数据依赖信息。本文详细研究了基于x m ls c h e m a 的函数依赖，对其 推理规则集进行了扩展，并证明扩展规则的正确性；设计了基于x m ls c h e m a 的极 小函数依赖集的获取算法m f d s 和优化算法o f d s ：制定了以x m ls c h e m a 方式存 储函数依赖的规则。 本文对x m l 和关系模式中的语义约束信息及函数依赖信息的相互转化方法进行 了分析，设计实现了x m l 和关系模式间保持函数依赖和语义约束的转换算法；同时 在此基础上设计了基于x m l 和w e g l o g i ej m s 的远程异构数据共享模型。该模型采 用w e b l o g i cj m s 异步消息处理机制完成应用系统间的相互通信和数据传输，其共享 数据以x m l 文档方式统一存储在中央数据库，从而屏蔽了底层数据源的位置、类型 等物理特性，将共享数据通过统一的消息接口呈现给用户。 本文设计了基于“推和“拉 方式的异步数据批量下载规则，提出了基于权限 字段和权限对象的业务数据管理方法，并对模型中分布式事务管理的实现方式、消息 数据传输的安全性等进行了分析。在数据类型映射方面，模型按照数据精度的不同进 行逐级分类映射，减少了类型转换产生的误差。最后本文对工作进行了总结，并提出 模型系统需要进一步完善的地方。 关键字：异构数据；x m l ；函数依赖；语义约束；消息中间件 作者：潘阳威 指导教师：徐汀荣 a b s t r a e t r e s e a r c ha n di m p l e m e n t a t i o no fh e t e r o g e n e o u sd a t as h a r em o d e lp r e s e r v i n g d a t ad e p e n d e n c y a b s t r a c t a st e c h n i q u e so fc o m p u t e rn e t w o r ka n dd a t a b a s ep r o g r e s sr a p i d l y , t h ed e 伊e eo fe n t e r p r i s e i n f o r m a t i z a t i o nb e c o m e sh i g h e ra c c o m p a n yw i t hf r e q u e n td a t ae x c h a n g eb e t w e e ne n t e r p r i s e s s oi t s n e c e s s a r yt oi n t e g r a t et h ed a t ao fa p p l i c a t i o ns y s t e m si no r d e rt om a k et h es h a r ea n du s eo fd a t ar e s o u r c e m o r ee f f e c t i v e n o w a d a y st h e r e ss t i l ln ou n i v e r s a lm e c h a n i s mf o rs t o r i n gd a t ai nd i f f e r e n te n t e r p r i s e a p p l i c a t i o ns y s t e m s ，s oi t sh a r dt oe x c h a n g ed a t ae f f e c t i v e l y f u r t h e r m o r e ，d a t ar e s o u r c e so fe m e r p r i s e d i s t r i b u t ew i d e l yi nd i f f e r e n tn e t w o r k s ，w h i c hi n c r e a s e st h ed i f f i c u l t i e so fa c c e s s i n gd a t a t h u s ，h o wt o e x c h a n g ed a t ae f f e c t i v e l ya n ds a f e l yb e t w e e nh e t e r o g e n e o u sd a t ar e s o u r c e si nd i s t r i b u t e de n v i r o n m e n t i sc r i t i c a ld u r i n ge m e r p r i s e sd a t ai n t e g r a t i o n a sab r i e fv e r s i o no fs t a n d a r dm a r k u pl a n g u a g e ，x m li ss u i t a b l et ob eu s e da sm i d d l ec a r r i e r d u r i n gh e t e r o g e n e o u sd a t ae x c h a n g e r e s e a r c h e sa b o u tt r a n s f o r m a t i o no fh e t e r o g e n e o u sd a t as c h e m a f o c u so ns t r u c t u r ea n ds e m a n t i cc o n s t r a i n t s ，w h i c hn e g l e c t sd a t ad e p e n d e n c yi n f o r m a t i o n t h i sp a p e r e x t e n d si n f e r e n c er o l e so ff u n c t i o n a ld e p e n d e n c ) , b a s e do nx m ls c h e m aa f t e rat h o r o u g hs t u d y , a n d p r o v e st h ec o r r e c t n e s so fe x t e n d e dr u l e s f u r t h e r m o r e ，t w oa l g o r i t h m sa r ed e s i g n e di nt h i sp a p e r o n ei s m f d sd e s i g n e dt og e tm i n i m u mf u n c t i o n a ld e p e n d e n c ys e t , a n dt h eo t h e ri so f d sd e s i g n e dt o o p t i m i z em i n i m u mf u n c t i o n a ld e p e n d e n c ys e t i na d d i t i o n , t h er u l e sb a s e do nx m l s c h e m at os t o r e f u n c t i o n a ld e p e n d e n c ya l ea l s oe s t a b l i s h e di nt h i sp a p e r a f t e rd e t a i l e da n a l y s i so ft h em e t h o dt r a n s f o r m i n gi n f o r m a t i o no fs e m a n t i cc o n s t r a i n ta n d f u n c t i o n a ld e p e n d e n c yi n f o r m a t i o nb e t w e e nx m la n dr e l a t i o n a ls c h e m a , t h i sp a p e rd e s i g n sa n d i m p l e m e n t st h et r a n s f o r m a t i o na l g o r i t h mw h i c hc a nk e e pf u n c t i o n a ld e p e n d e n c ya n ds e m a n t i c c o n s t r a i n t sb e t w e e nx m la n dr e l a t i o n a ld a t a f u r t h e r m o r e ，ad a t as h a r em o d e lb a s e do nx m la n d w e b l o g i cj m si sp r e s e n t e d i nt h i sm o d e lc o m m u n i c a t i o na n dd a t at r a n s f e rb e t w e e na p p l i c a t i o n s y s t e m sa r cr e a l i z e dt h r o u g ht h em e s s a g ep r o c e s s i n gm e c h a n i s mo fw e b l o g i cj m s s h a r e dd a t aa r e s t o r e di nc e n t r a ld a t a b a s ei nf o r mo fx m ld o c u m e n ta n dp r e s e n t e dt ou s e r st h r o u g hm e s s a g ei n t e r f a c e ， w h i c hs h i e l d st h ep h y s i c a lc h a r a c t e rs u c h 豳p o s i t i o na n dt y p e t h i sp a p e rp r e s e n t st h er u l e sb a t c hd o w n l o a d i n go fh e t e r o g e n e o u sd a t ab a s e do np u s ha n dd r a w m o d e s ，a n dg i v e st r a n s a c t i o nd a t am a n a g e m e n tb a s e do na u t h o r i t yf i e l d sa n da u t h o r i t yo b j e c t s f u r t h e r m o r e ，ad e t a i l e da n a l y s i si sg i v e na b o u th o wt oi m p l e m e n td i s t r i b u t e dt r a n s a c t i o nm a n a g e m e n t a n dg u a r a n t e es e c u r i t yd u r i n gm e s s a g et r a n s f e ra st od a t at y p em a p p i n g , d a t ai nt h i sm o d e la r em a p p e d a c c o r d i n gt od i f f e r e n td a t ap r e c i s i o nl e v e ls o a st od e c r e a s et h ee w o rb r o u g h td u r i n gt y p et r a n s f e r f i n a l l y , t h i sp a p e rs u m m a r i z e st h ew o r ka n dp r e s e n t sw h a ts h o u l db ep r o g r e s s e di nf u r t h e rw o r k k e y w o r d s ：h e t e r o g e n e o u sd a t a ；x m l ；f u n c t i o n a ld e p e n d e n c y ；s e m a n t i cc o n s t r a i n t s ；m o m h w r i t t e nb yp a ny a n g w e i s u p e r v i s e db yx ut i n g r o n g 苏州大学学位论文独创性声明及使用授权的声明 学位论文独创性声明 本人郑重声明：所提交的学位论文崽奉人在导师的指导f ，独：照进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文一 中，如果所有非主属性对每个码都是完全函数依赖，所有 的主属性对每一个不包含它的码，也是完全函数依赖，没有任何属性完全依赖于非码 的任何一组属性，则r eb c n f 。 刍为了从一组函数依赖求得蕴含的函数依赖，例如已知函数依赖集f ，要判断x y 是否为f 所蕴含，就需要一套推理规则，这组推理规则是1 9 7 4 年首先由a r m s t r o n g 提出来的。 a r m s t r o n g 公理系统：设u 为属性集总体，f 是u 上的一组函数依赖，于是有关 系模式i ，f 。对r u ，f 来说有以下的推理规则【1 8 】： a 1 自反律：若y - c x c _ u ，则x y 为f 所蕴含。 a 2 增广律：若x y 为f 所蕴含，且z c - u ，则) ( z y z 为f 所蕴含。 a 3 传递律：若x y 及y z 为f 所蕴含，则x z 为f 所蕴含。 关系模式r 中，如果函数依赖集f 满足：f 中任一函数依赖的右部仅含 有一个属性；f 中不存在这样的函数依赖x a ，使得f 与f 一 x a ) 等价；f 中不存 在这样的函数依赖x a ，x 有真子集z 使得f x a ) u z a ) 与f 等价，则称f 为一个极小函数依赖集。每一个函数依赖集f 均等价于一个极小函数依赖集f m 。 2 1 3 基于舳s c h e m a 模式的语义约束和函数依赖 1 4 , 1 6 , 1 7 , 1 8 】 在介绍本文x m ls c h e m a 和关系模式之间保持函数依赖和语义约束的转换算法 7 第二章技术背景保持数据依赖的异构数据共享模型的研究与实现 之前，首先介绍一下x m ls c h e m a 中的语义约束和函数依赖的基本概念。 在x m ls c h e m a 中语义约束主要包括以下几个方面2 0 】： ( 1 ) 域约束，指一个元素或者属性的值被限制在一定的范围内。将包含域约束的 x m ld t d 转换成关系模式时可以通过s q lc h e c k 语句来实现该约束。 ( 2 ) 完整性约束，在x m ls c h e m a 中可通过i d 、k e y 元素实现完整性约束。 ( 3 ) 基数约束，指父元素与各个子元素( 或属性) 之间的对应关系。在s c h e m a 中通 过属性m i n o c c u r s 、m a x o c c u r s 来指定父、子元素间的对应关系。例如： 表示子元素在父元素中出现一 次到多次。 ( 4 ) 包含约束，指在不同实体的属性之间存在某种参照关系，一个参照关系的外 码值必须与被参照关系的主码值匹配。主要包括两种形式： 包含约束的平凡形式：若元素a 是元素b 的子元素，则a 包含于b 当中， 记为a b ； 包含约束的另一种形式：x m ls c h e m a 通过k e y 、k e y r e f 定义元素间的关系。 在关系模式r 中，函数依赖的定义形如( f d ) x y ，这种定义方法只适用于扁平 的和列表方式的关系数据，不能直接应用于基于层次结构的x m l 数据中。需要另一 种考虑x m l 数据层次结构特点的定义方法，目前主要有两类x m l 函数依赖定义， 第一类函数依赖定义包括t f d ( t r e e - t u p l e b a s e dx m lf d ) 和p f d ( p a t h b a s e dx m lf d ) 两种定义方式，第二类函数依赖定义包括三种扩展的定义方式【1 3 】，分别是 e p f d ( e x t e n d e d p a t h - b a s e d x m lf d ) 、 g f d ( s u b g r a p h - b a s e d x m lf d ) 和 g t f d ( g e n e r a l i z e d t r e e t u p l e - b a s e dx m lf d 。第二类的函数依赖定义是第一种的自然 扩展，可以处理包括元素集间的函数依赖，具有更强、更细的定义能力，本文主要以 e p f d 方式对x m l 的函数依赖进行研究。 定义一基于x m ls c h e m a 的e p f d 定义：给定s c h e m as 和满足s 的x m l 树t ， 在s 上的函数依赖f d s 具有如下形式：( q ，【p x l ，p ) 【2 ，p 柚一p y l ，p y m ) 【1 2 1 ，其中： ( 1 ) q 是由x m l 文档根节点起，用x p a t h 定义的函数依赖的头部路径表达式，定 义约束保持的范围。如果q ：c ：n u l l 并且q r ( 根元素) ，则该f d 为局部函数依赖，作 用范围为从q 的最后一个元素开始；如果q - - - n u l l ，则该f d 为全局函数依赖，作用范 围为s 。 ( 2 ) p x i ( 1 i n ) 由元素名或关键属性名组成，p x i ( 1 i n ) p a t h q ，p x l ，p ) 【2 ，p 柚 8 保持数据依赖的异构数据共享模型的研究与实现第二章技术背景 组成f d s 的左部路径( l h s ) 。 ( 3 ) p y 是由元素名或相关属性组成的右部实体类型( r h s ) ，p y 组成f d s 的右部路 径。 在x m l 中，对任何两棵有相同头部路径( o ) 的子树，如果他们所有的 p x 0 p ) 2 ，p 期相同，那么只要这两棵子树的p y 存在，则其p y 也一定相同。如果t 也 满足相同规则，则称该x m l 文档满足函数依赖f d s ，记作t l = a 。并且如果t 也满 足f d s 函数依赖集口，则记为t i = 。 根据x m ls c h e m a 中f d 的定义，l h s 的值都是简单类型，如果一个l h s 实体 只有一个元素结点名字而没有任何属性结点，则该l h s 实体的值就等于元素结点的 文本子结点的值。否则如果l h s 该实体由一个元素和属性组成，则实体的值就是该 属性结点的值。并且l h s 实体必须存在。同样如果r h s 实体只有元素组成而没有任 何属性，则实体的值就等于该文本子元素的值，并且该元素必须没有其他的子树存在。 否则实体的值等于属性结点的值。 x m l 模型天生就是用来表示层次数据的，特别适合表达数据间的关系。x m l 的 函数依赖也可基于层次结构来表达。现在x m l 的函数依赖类型主要是通过头路径， l h s 实体，r i - i s 实体来表达。其中有两种主要的表达类型，分别是良构f d s 和扁平 f d s 15 1 。 誊在介绍良构f d s 之前，首先介绍线性结构的概念。 在层次树t 中的，如果结点集l 满足下列条件，则称其为线性结构： 在l 中存在结点n ，结点集中所有其他结点都是该结点的祖先结点； 在l 中的每一个结点m ，如果结点集中存在该结点的祖先结点，则其父结点， 也必然在该结点集中。 定义二良构f d s ：形如下面的x m ls c h e m a ： 一一 x s d ：e l e m e n tn s m e = t h i - 一一。 一 。”i1 - 。、弘轧。一”7 ? 。t 一。 _ _ 筝 7 ” j 一 、j j ， ：。一 ， - ， 一“ 。 跨一一，一。 一一 ： ，、一，一，一? - ，- ，7 李 7 ，： ： ，： 。，一j xsd：element n a m e = p 2 “ ， j ， j ： ：冀 r ? ：。- xsd：element n a m e = p x “ ，一：。，。一_ - 。 。，& 。 非j m s 客户端：使用由m o m 提供的本地a p i 访问m o m 的客户端程序。 消息：客户端之问交换信息的对象集合，在开发j m s 应用程序时必须确定消 息的格式。 j m s 提供者：j m s 定义了一组接口，供应者必须提供特定于其m o m 产品的 具体实现。 管理对象：消息系统提供者的管理员创建的、独立于提供者的专有技术的对 象。 m o m 产品的提供者在实现消息时使用的机制和技术有很大不同。通过管理对象 机制将j m s 接口的对象与提供者的专有技术进行隔离，保证了j m s 客户机的可移植 性。这些实现j m s 接口的对象由提供者的消息系统管理员创建，并被放置在j n d l 名字空间中。然后由j m s 程序检索这些对象，通过他们实现的j m s 接口访问这些对 象。j m s 提供者必须提供允许创建受管理对象及他们在j n d l 名字空间中的存放地的 工具。 j m s 规范中提供两种管理对象： 第= 章技术背景保持数据依赖的异构数据共享模型的 宄1 。实现 矧| 、罔( 连接工厂jl 目的地j | 女j 、一7 】 ( 嚎呼丝r 矿程序一， 2 2 3b e a w e b l o g i cj m s 体系架构 w e b l o g i cj m s i 拈”惶企业级消息传递系统，紧密集成于w e b l o g i cs e r v e r 平台之 中。它完全支持j m ss p e c i f i c a t i o n ，还提供了很多超出标准j m s a p i 的w e b l o g i cj m s w o b l 4 均a e s m 图2 - 2 w e b l o g i cj m s 服务器体系 w e b l o g i cj m s 服务器体系结构的主要组件包括： _誊跫蟊蹲辉 m 曩 霉 m 龋器哩 一 一蠢 保持数据依赖的异构数据共享模型的研究与实现第二章技术背景 j m s 服务器：承载定义的模块组和w e b l o g i es e r v e r 实例上驻留的任何关联 的持久性存储。 j m s 模块：符合w e b l o g i c - j m s m d x s ds c h e m a 的x m l 文档定义，其中包含 配置资源( 例如队列、主题和连接工厂) 。 客户端j m s 应用程序：可以是生成指向目标的消息的应用程序，也可以是使 用来自目标的消息的应用程序。 j n d i ( j a v a 命名和目录接口) ：提供资源查找工具。 w e b l o g i c 持久性存储( 文件存储或可通过j d b c 访问) ：用于存储持久消息数 。 据。 下面分别按消息通信模型、消息组成和w e b l o g i ej m s 新增、已更改的j m s 功 能这三个方面分别进行介绍： l 消息通信模型：w e b l o g i cj m s 支持两种消息通信模型：点到点( p a p ) 模型和发 布订阅( p u b s u b ) 模型。 ( 1 ) 点到点( p t p ) 模型是点对点( p 2 p ) 的消息传递方式，消息发送者向一特定的消 息队列发送一条消息，而另一个消息消费者可以从消息队列中提取消息，每一条消息 只有一个接收者，如图2 3 所示。 图2 3 点对点模型 ( 2 ) 发布$ l 阕( p u b s u b ) 模型是基于发布订阅的消息传递方式，消息生产者向特 定的主题队列发布消息，消息消费者订阅主题，消息系统将消息发送给订阅者，每个 消息可以有多个订阅者，如图2 - 4 所示。 i 应用程序a l 、 矧薰 应用程序舵 j m s i 应用程序a 3 图2 - 4 发布订阅模型 第二章技术背景 保持数据依赖的异构数据共享模型的研究与实现 2 消息组成：消息是j m s 规范中最为重要的部分之一，在j m s 应用系统中，所 有的数据和事件都是以消息的方式进行通讯。j m s 为不同类型的内容提供了几种消息 类型，但所有消息都是从m e s s a g e 接口派生出来的。m e s s a g e 由三个部分组成： ( 1 ) 消息头( h e a d e r ) ：包含了描述消息的元数据以及必要的控制信息。一个完整的 消息头会被传送给所有接收消息的j m s 客户端，但是不会传送给非j m s 客户端。表 2 1 中描述了消息头中的各个字段及其相应的描述和定义者。 表2 1 消息头字段信息表 棼，争jz - ? 擀一r ? 4 ：鼍