已阅读5页,还剩42页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
中文摘要 近年来,数据集成技术已成为构建现代企业应用的关键技术。然而,如何快 捷有效地为上层应用提供对业务数据的访问,成为现阶段企业数据集成领域研究 的重要问题。本文结合面向服务的体系结构( s o a ) 的设计思想,给出一种数据 集成平台中数据服务管理组件的实现方案。 通过一系列开放标准( h t t p ,s o a p ,w s d l ,u d d i ) 实现了基于w e b 服务技术 的数据服务管理组件的基本功能,包括数据服务的生命周期管理、运行时管理、 安全策略和权限控制、应用接口等。参考w e bs e r v i c e 规范,完成了数据服务描 述文件的解析,数据服务注册表的维护,数据服务请求s o a p 包的响应,数据服 务w s d l 文件生成,数据服务管理界面等技术实现,并定义了各部分的交互接口。 对管理组件的扩展性做了讨论,结合具体的实例说明了数据集成平台的整体功 能。 综上所述,本文从数据集成框架设计,以及上层w e b 服务管理组件设计展开 了一系列工作,最终实现了一个高效、扩展性强的数据服务管理组件。这些研究 验证了以w e b 服务做为数据服务管理组件的优势,为异构系统集成提供了有力工 具。 关键词:数据集成s o a 数据服务w e b 服务 a b s t r a c t i nr e c e n ty e a r s ,t h ed a t ai n t e g r a t i o nt e c h n o l o g yh a sb e c o m ek e yt e c h n o l o g i e s i n v o l v e di nt h ec o n s t r u c t i o no fm o d e me n t e r p r i s ea p p l i c a t i o n s h o w e v e r , a l li m p o r t a n t i s s u er i s e sd u r i n gt h ec u r r e n ts t a g ei nt h ef i e l do fe n t e r p r i s ed a t ai n t e g r a t i o nr e s e a r c h : h o wt oq u i c k l ya n de f f e c t i v e l yp r o v i d ed a t aa c c e s sf o rs u p e ra p p l i c a t i o n b a s e do i l s e r v i c e o r i e n t e da r c h i t e c t u r e ( s o a ) ,am e t h o da c h i e v i n gd a t am a n a g e m e n ts e r v i c e c o m p o n e n t si na d a t ai n t e g r a t i o np l a t f o r mi sd e m o n s t r a t e di nt h i st h e s i s ab a s i cf u n c t i o nb a s e do nw e bd a t as e r v i c e st e c h n o l o g ys e r v i c em a n a g e m e n t c o m p o n e n t si n c l u d i n gl i f e c y c l em a n a g e m e n t ,o p e r a t i o nm a n a g e m e n t ,s e c u r i t yp o l i c y a n da c c e s sc o n t r o la n da p p l i c a t i o ni n t e r f a c e si sr e a l i z e dt h r o u g has e r i e so fo p e n s t a n d a r d s ( h r 皿s o a p , w s d l ,u d d i ) a c c o r d i n gt ow e bs e r v i c ec o d e s ,m a n y s u bf u n c t i o n sa r ec o m p l e t e di n c l u d i n gt h ep a r s eo fd a t as e r v i c ed e s c r i p t i o nf i l e s ,t h e m a i n t e n a n c eo fr e g i s t r i e s ,t h er e s p o n s eo fs o a p r e q u e s td a t as e r v i c e s ,t h eg e n e r a t i o n o fp a c k e td a t as e r v i c ew s d ld o c u m e n t ,d a t am a n a g e m e n ti n t e r f a c et e c h n o l o g ya n d t h ed e f i n i t i o no fi n t e r f a c e sa m o n ga l l p a r t s m a n a g e m e n tc o m p o n e n t s o ft h e e x t e n s i b i l i t yh a v eb e e nd i s c u s s e da n dt h eo v e r a l lf u n c t i o no fd a t ai n t e g r a t i o np l a t f o r m i si l l u s t r a t e db ys e v e r a lc a s e s i ns u m m a r y , t h ed a t ai n t e g r a t i o nf r a m e w o r ka n dt h et o pm a n a g e m e n to fw e b s e r v i c e sc o m p o n e n t sa r ed e s i g n e di nt h i st h e s i s f i n a l l y , a ne f f i c i e n ta n ds t r o n gd a t a s e r v i c em a n a g e m e n tc o m p o n e n t ss y s t e mi sa c h i e v e d t h e s es t u d i e sv a l i d a t et h e a d v a n t a g eo fu s i n gw e bs e r v i c e sa sd a t am a n a g e m e n ts e r v i c ec o m p o n e n t sa n dp r o v i d e a p o w e r f u lt o o lf o rh e t e r o g e n e o u ss y s t e mi n t e g r a t i o n k e yw o r d s :d a t ai n t e g r a t i o n , s o a ,d a t as e r v i c e ,w e bs e r v i c e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果,除了文中特别加以标注和致谢之处外,论文中不包含其他人已经发表 或撰写过的研究成果,也不包含为获得苤鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名:毫天蚊签字日期:劲7 年6 月c 毕日 学位论文版权使用授权书 本学位论文作者完全了解墨叠盘堂有关保留、使用学位论文的规定。 特授权叁鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名:灭文 导师签名: 签字日期:l 口- 7 年6 月f 够日 签字日期:1 引月f 日 第一章绪论 1 1 研究背景 第一章绪论 在现代经济社会中,数据驱动着一切商业活动。如何安全地存储数据,如何 快速地获取数据,如何保证数据时刻有效,都是至关重要的。 由于历史的原因,参与交换的数据形式多种多样,行业、单位和部门的具体 业务和功能归属的不同,他们都只是根据自身需要构建了许多相互独立的信息服 务和管理系统,甚至在一个单位内部所采用的信息化环境也可能不会固守任何一 个平台,而是由不同平台组成。这样随着时间的推移和技术的进步,这些由不同 技术构建的信息系统就像一个个“信息孤岛”【1 1 ,来自有不同的处理对象、操 作方法和专有客户端。而由于部门之间协同合作的需要,在各个环节之间数据交 流以及集成共享的问题也日益严重起来。从应用角度来看,每个部门都是二个数 据源,因为他们之问的信息和组织都不一样,这样每个数据源又都是异构的,如 此就构成了一个巨大而复杂的异构数据环境。 现阶段在企业和组织中普遍存在多种异构的数据源类型,一类是传统的关系 型数据库、文件系统等,另一类是新型的x m l 2 、h t m l ( 3 】等半结构化数据,以 及声音、图片等非结构的多媒体数据。此外,诸如企业遗留系统、应用程序( 如 c r m 、e r p 等) 、w e b 服务、消息服务等也可以看作是数据源的形式。如何快捷 有效地访问分布在异构数据源中的业务数据( 企业数据集成1 4 ,e n t e r p r i s ed a t a i n t e g r a t i o n ,e d i ) ,在异构的数据环境下为企业应用提供便捷可用的数据服务, 成为迫切需要解决的问题而受到广泛关注。 1 2 数据集成概述 数据集成是把不同来源和不同格式的数据在逻辑上或物理上有机地集中,从 而为企业提供全面的数据共享【5 】。对数据集成领域研究的关注,一方面是由于互 联网和w e b 等分布式计算基础架构的飞速发展使得对大量独立开发和管理的数 据源的访问成为可能,另一方面也是因为随着组织信息化程度的提高,业务应用 趋向复杂化,对信息、知识等数据的创建、分析、重用和共享的要求越来越高。 数据集成实质上是为不同的信息系统和业务应用提供数据的互操作支持 第一章绪论 ( i n t e r o p e r a b i l i t y ) ,从而实现数据在这些系统问的重用和共享。 一般来说,数据集成所面对的数据源有以下特础6 j : 夺自治性( a u t o n o m y ) :数据源由于处在不同组织实体的管理和维护下,往往 具有很强的自治性,给数据集成系统的健壮性和快速适应变化的能力提出了 挑战。数据源所体现的自治性包括:设计自治性( d e s i g na u t o n o m y ) 、通讯 自治性( c o m m u n i c a t i o na u t o n o m y ) 、联系自治性( a s s o c i a t i o na u t o n o m y ) 1 7 。 令分布性( d i s t r i b u t i o n ) :数据源的分布范围随着信息技术的发展而不断扩大。 数据源间的访问经历了从点对点或局域网内部互联,到企业或组织间的互 联,再到全球化信息访问的发展过程。对分布性数据源【8 】的访问给数据集成 领域的研究提出了许多问题,例如对大量数据源特别是包含虚拟数据的数据 源进行访问、与采用多种不同通讯方式或带宽的数据源通讯、对不同性能的 数据源访问的优化等。 异构性( h e t e r o g e n e i t y ) :数据源的异构性可分为三个层冽9 】。 ( 1 ) 平台的异构性数据源的平台异构性是指数据源所在软硬件平台的差异 性,这是由于信息系统运行在异构硬件平台( 指令集、编码等) 、软件系统 ( 操作系统、文件系统、命名、事务控制等) 上,采用的不同的通信协议机 制。数据集成领域的研究从一开始就关注数据源平台异构性问题的解决。 ( 2 ) 系统的异构性随着以d b m s 为代表的数据管理技术的发展,不同信息 系统之间的异构性问题成为研究的关注点。系统异构性是指不同信息系统 ( 例如数据库管理系统d b m s 、数字多媒体库管理系统d m r m s ) 之间数据 模型、系统能力、并发控制和错误恢复等方面的差别。 ( 3 ) 数据的异构性随着信息技术的发展,数据本身的异构性( d a t ai n t r i n s i c h e t e r o g e n e i t y ) 逐步成为数据集成研究的重点。数据本身的异构性包括数据 在语法( s y n t a x ) 、模式( s c h e m a t i c ) 、语义( s e m a n t i c ) 方面的异构性。语法 异构性是指数据格式( f o r m a t ) 即数据的表现形式的差异。例如以网络数据 交换格式x m l 为代表的新兴数据类型( 半结构化、非结构化数据等) 和传 统关系型数据之间存在数据格式上的差别。模式异构性是指数据在描述事物 时采用不同的数据结构( s t r u c t u r e ) 和数据类型( t y p e ) ,因此在模式定义上 产生差异。语义异构性则比上面两种复杂,是指数据所传达的意义以及使用 数据的环境不一致。解决语义异构往往需要对数据的内容作分析处理。随着 人们对数据所表示的知识、信息本身的关注,数据的语义异构性问题也日益 突出。 数据集成的核心任务是将这些相互关联的自治的分布式异构数据源集成到 一起使用户能够以透明的方式访问这些数据源【l o 】。集成是指维护数据源整体上的 2 第一章绪论 数据一致性,为用户提供统一的数据源访问接口,提高数据访问的共享利用的效 率:透明的访问方式是指用户无需关心所需数据所在数据源的位置以及如何访问 数据源,只需集中关注对数据的访问和操作【1 1 l 。数据集成为用户提供了一个数据 的统一视图,对于诸如企业门户、报表生成等企业应用提供便利的数据访问。 1 3 本文的主要工作 本文的工作是天津市重点科技攻关项目面向企业信息集成的开发平台研究 的一部分,设计实现了d a x q u e r y 为基础的数据集成平台,其主要功能模块可以 分为三部分,其中包括:提供给开发人员的图形界面,构造用于集成的x o u e r y 查询语句,以及数据源的描述信息;依据x q u e 巧规范【1 2 】设计x q u e r y 查询f 1 3 】引擎 的原型,并对其做出必要的扩展,用于执行x q u e r y 查询语句;基于w e b n 务技术 的数据服务管理组件的基本功能,包括数据服务的生命周期管理、运行时管理、 安全策略和权限控制、应用接口等。 本文的主要工作就是设计实现基于w e b 服务技术的数据服务管理组件,其中 包括: 数据服务注册,包括数据服务监听线程的设计和数据服务注册表的维护管 理。利用j a v a 线程监听数据服务的发布目录,检测数据服务描述文件的变更。 基于目录和文件系统的数据服务注册表的的管理和维护的设计与实现。 数据服务描述文件的解析。利用z i p 解压缩技术实现数据描述文件木d a r 的部 署。在参考 a p a c h e 开源项目d i g e s t e r 模型【1 4 】基础上,设计实现数据描述文 件的x m l 文件至u j a v a 类的映射。 客户请求s o a p 包的响应。基于标准的s o a p 包格式定义数据服务的s o a p 包格 式,并在继承j a x m s e r v l e t 类和实现r e q r e s p l i s t e n e r 接口的基础上设计了 s o a p 包响应的核心控制类函数。 数据服务w s d l 文件格式的定义。结合s o a p 包的格式和请求响应机制制定了数 据服务的w s d l 文件格式。 令数据服务的部署。利用通用j a v aw e b 容器部署数据服务的管理组件,并提供 管理界面。 1 4 本文的组织结构 第一章绪论。介绍论文的背景、研究现状、及本文的主要工作。 第二章w e b 服务综述。讲述了w e b 服务的基本知识。 第一章绪论 第三章总体设计。从总体上描述数据集成平台框架【15 】的设计和功能模块的划 分,对数据服务管理组件的各个基本模块和处理流程做了简单的介绍。 第四章数据服务管理组件的实现。详细说明了数据服务注册、数据服务描述 文件的解析、客户请求s o a p 包的响应、数据服务w s d l 文件格式、数据服务的部署 等实现细节。 第五章x q u e r y 弓l 擎交互与应用案例。介绍了数据服务管理组件与x q u e r y 弓i 擎 的交互,并给出一个实际应用的例子。 第六章总结和展望。总结本文工作及创新点,对没有实现或做的不完善的一 些问题做出讨论,对框架的最终实现做出描述。 4 第二章数据服务综述 2 1 数据服务 第二章数据服务综述 数据服务是数据集成平台的核心概念,本节详细介绍数据服务的概念、内容 及其在平台中的作用。 2 1 1 数据服务的概念 数据服务是在 1 6 中作为面向服务的体系结构( s e r v i c eo r i e n t e d a r c h i t e c t u r e , s o a ) 【1 7 】在数据集成领域的应用提出的概念。如上文所述,数据服务层为上层应 用提供统一的数据编目,以简化数据的访问和管理。在以s o a 为架构的数据服务 层设计中,数据根据其语义和应用程序的需要被逻辑地分段,每一段成为可被上 层应用通过数据服务层所提供的标准a p i 访问的功能模块即数据服务。 目前w e b 服务是使用最广泛的s o a 实现技术。w e b 服务被定义为一种可在 分布式异构环境中发布、定位和使用的自包含、自描述、松散耦合的功能模块, 通过一系列开放标准( h t t p ,s o a p ,w s d l ,u d d i ) 支持机器与机器之间的互 操作,使得快速低代价地组合现有服务而得到有附加值的组合服务成为可能【】引。 类似的,数据服务可以认为是分布式异构数据环境中定义的自包含、自描述 的松散耦合的数据模块,由一系列标准( x m l 、x m ls c h e m a 1 9 】 2 0 】、x q u e r y ) 支 持它们之间的互操作,并且可以通过复用现有数据服务定义新的数据服务。同时 也需要注意到数据服务被局限于提供服务的平台环境中,但是可以将数据服务以 w e b 服务形式提供给应用程序,从而解决数据服务的发布问题。 2 1 2 数据服务的内容 如上所述,数据服务应该是自包含、自描述的模块,为完成对一个数据查询 功能模块的描述,并以此完成对查询引擎的配置,数据服务应该包含下列信息: 数据源的元数据:提供数据源中的数据模式或者获取这些信息的方式; 数据源的连接配置:数据服务屏蔽对底层数据源的访问细节,访问数据源的 信息都被封装在数据源的连接配置中,包括数据源的类型、位置、数据格式、 数据转换方式等; 数据服务的查询脚本:查询脚本定义了从数据源的数据模式到数据服务的目 第二章数据服务综述 标模式之间的映射关系,用来配置查询引擎完成数据服务定义的查询功能; 数据服务间的依赖关系:由于可以通过复用已有的数据服务来定义新的数据 服务,因此需要记录数据服务之间的依赖关系,为平台提供管理信息; 数据服务的元数据:平台内部的数据服务本身可以作为数据源而被其他数据 服务使用,因此数据服务也需要提供其自身的元数据描述。另外,在发布数 据服务时也需获取其元数据信息; 安全策略和权限控制:数据服务可以定义自己的安全策略和权限,这些策略 和数据服务管理平台定义的全局策略共同决定对数据服务的访问和所发布 数据的保护和限制。 2 1 3 数据服务的作用 数据服务在平台中的作用主要有: ( 1 ) 对于用户而言,数据服务屏蔽了数据访问的细节,为上层应用提供虚拟 的数据视图。数据服务中包含了访问相关数据源的连接配置和数据源的元数据信 息、查询脚本和自身的元数据,可以通过配置查询引擎自动完成对数据源的访问 7 以及数据的转换与集成。用户可以通过平台提供的统一接口实现对集成数据的访 问,简化了应用程序的开发。 ( 2 ) 数据服务是联系平台中各模块的纽带。如图2 1 所示,数据服务管理平 台、多数据源查询引擎和数据服务开发工具通过数据服务联系起来。数据服务开 发工具实现对数据服务的设计,数据服务管理平台提供对数据服务的管理,而多 数据源查询引擎则通过数据服务的配置完成特定的查询任务。在实现数据集成平 台时,将数据服务配置文件的格式确定后,各模块的开发基本可以独立进行。 图2 1 数据服务和各模块的关系 ( 3 ) 数据服务提供对数据集成的复用,支持数据的有效发布。 如上所述,数据集成平台将数据服务作为一种特殊数据源,支持由已有数 6 第二章数据服务综述 据服务定义新的数据服务,实现在平台内复用以往数据集成实施所开发的数据服 务。另外,数据服务的可复用性使我们能够区分物理数据服务( p h y s i c a ld a t a s e r v i c e ) 和逻辑数据服务( l o g i c e i ld a t as e r v i c e ) 】。利用这两种服务可以避免 由于企业数据源的频繁变动而给数据集成工作带来的影响。 物理数据服务一般是指直接定义在底层数据源之上的,为数据集成平台上 层数据服务提供对可变数据源的访问透明性。充当平台中底层数据的基础架构, 目的是在逻辑上整合分布于各个数据源中的数据为底层数据提供一组预定义的 数据视图。而逻辑数据服务则是定义在物理数据服务之上的,能够提供完整语义 的一组数据访问操作。 物理数据服务和逻辑数据服务在实现上没有本质差别,只是使用目的不同, 而且它们之间的区别也是相对而言的,因为可以在逻辑服务之上定义新的逻辑服 务。但一般而言,物理服务面向底层数据,只在平台内部使用而不发布;而逻辑 服务则面向用户,为应用开发提供数据访问接口可发布为平台数据接口。 利用这两种服务可以实现用户的数据访问对底层数据源变化的透明性。如 图2 - 2 所示,用户访问接口对应的逻辑服务定义在物理服务上,当底层数据源因 为某种原园需要更改时,只需重新设计物理服务,并保持它所整合的数据对上层 服务的逻辑接口不变,就可以保证逻辑服务和用户访问接口不发生变化。 逻辑服务 () () !。-o lj ( ) 物秘务o 一磊一虿诗i 煳陟 二r 正o 数据潍 圈2 - 2 物理服务的作用 在数据服务运行时,数据服务管理平台可以根据查询的组合算法口2 啉当前执 行查询的数据服务和底层物理服务之间的数据服务压缩掉然后将当前查询分解 至若干物理服务( 数据视图) 之上口”,而不直接对应数据源作分解。管理平台可 以根据物理服务的执行结果作查询缓存,这样能够提高整个平台的查询效率。 另外,根据数据服务所提供的信息,容易得到其对应的w e b 服务接口描述, 数据服务管理平台可以自动为数据服务发布w e b 服务形式的接口,使各种上层 应用能够通过w e b 服务接口共享数据服务提供的集成数据。 第二章数据服务综述 2 2w e bs e r v i c e 概述 w e bs e r v i c e 2 4 1 是可以在因特网上通过程序调用的一组相关应用程序功能。 企业可以动态搭配w e bs e r v i c e 从而通过最少量的编程来执行复杂事务。 w e bs e r v i c e 是自包含的自描述模块化应用程序,可以通过w e b 来发布、 定位和调用它。 2 2 1w 曲s e r v i c e 角色 w e bs e r v i c e 体系结构中的网络组件可以充当一个或多个基本角色:服务提 供者、服务代理程序和服务客户机。 服务提供者创建并部署它们的服务,并且可以通过服务注册中心( 例如, “u d d i 企业注册中心”) 来发布w s d l 描述的服务的可用性。 服务代理程序注册发布的服务并将发布的服务分类,还提供搜索服务。例如, u d d i 充当w s d l 描述的w e bs e r v i c e 的服务代理程序。 。服务客户机使用代理程序服务( 例如,u d d i 企业注册中心) 来发现所需 w s d l 描述的服务,然后绑定至服务提供者并调用它。 绑定涉及建立成功完成服务所必需的所有环境先决条件。环境先决条件的示 例包括安全性、事务监视和h t t p t 2 5 】可用性。图2 3 描述了这些角色之间的关 系。 k ,垦壹一 发布 一i 代疆枉厅 1 1k 现 一一” l 睦 + 蛊务 ? 一l 荆响应 蛊务l 提供孑 请求孑 l 一擘 w m g g 轴“自自纯h 2 2 2w e bs e r v i c e 标准 图2 - 3w 曲s e r v i c e 各角色之间关系 下列标准在w e bs e r v i c e 中起到了关键作用:统一描述、发现和集成( u d d i ) 2 6 1 、w e b 服务描述语言( w s d l ) 【2 7 1 、w 曲服务检查语言( w s i l ) 【2 8 】、简单 对象访问协议( s o a p ) 【2 9 】和w e bs e r v i c e 互操作性( w s i ) 3 0 l 。图2 - 4 描述 8 第二章数据服务综述 了这些标准之间的关系。 u d d i 规范定义开放式的独立于平台的标准,这些标准使各企业能够共享全 球企业注册中心中的信息,发现注册中心上的服务,以及定义它们之间如何通过 因特网交互作用。 w s i l 是一种基于x m l 的开放式规范。通过指定如何检查w e b 站点以获 得可用的w e bs e r v i c e ,w s i l 定义了分布式服务发现方法,该方法提供了对服 务提供者服务所在位置处的服务描述的引用。w s i l 文档定义w e b 站点上可以 查找w e bs e r v i c e 描述的位置。由于w s i l 的重点在于分布式服务发现,因此 w s i l 规范通过使可能在u d d i 注册中心中尚未列示的w e b 站点上可用的服 务更容易发现,从而对u d d i 进行了补充。 u d d i 现 图2 - 4s o a p 、u d d i 、w s i l 与w s d l 之间的关系 w s d l 是一种基于x m l 的开放式规范,它描述了与网络上的w e bs e r v i c e 的接1 :3 以及这些服务的实例。它是可扩展的,因此可描述端点而不必理会用来通 信的消息格式或网络协议是什么样的。企业可以通过u d d i 、w s i l 或通过电子 邮件或w e b 站点广播它们的w s d l 的u r l 来提供它们的w e bs e r v i c e 的 9 第二章数据服务综述 w s d l 文档。 s o a p 是一个通过h t t p 和其它因特网协议进行消息传递的基于x m l 的标准【3 1 1 。它是在分散的分布式环境中用于信息交换的轻量级协议。 s o a p 通过为路由消息定义消息路径来启用发现的w e bs e r v i c e 的绑定和 使用。s o a p 可用来为w e bs e r v i c e 查询u d d i 。 2 3 本章小结 本章首先介绍了数据服务的相关概念、内容和作用,然后介绍了w e bs e r v i c e 的相关概念,包括w e bs e r v i c e 角色、标准,以及w e bs e r v i c e 的相关特性,并对 s o a p 和w s d l 做了初步的介绍,旨在为数据集成平台中数据服务管理组件的 实现奠定基础。 1 0 第三章总体设计 第三章总体设计 图3 - 1 是基于数据服务的数据集成平台的总体设计。该平台采用x m l 作为 公共数据模型,主要由三部分组成:多数据源查询引擎、数据服务开发工具和数 据服务管理组件。 0 翼;菱自 悟:;? 罾 # l & 刚自。- ;i 女*。_ + _ + ;1 搬“”_ 女m #- 圉 图3 - 1 基于数据服务的数据集成平台 3 1 数据集成平台的整体结构 3 1 1 多数据源查询引擎 多数据源查询引擎是采用中介系统的体系结构实现的通用查询引擎。它是在 普通x q u 。r y 查询引擎基础上通过扩展特殊标记的外部函数来实现对多个异构 数据源的查询,而这些外部函数实际上调用了相应类型的数据源包装器来完成访 问数据的能力。多数据源查询引擎接受扩展后的x q u 斜y 查询脚本和数据源描述 作为功能配置。x q u 盯y 查询脚本和数据源描述构成了数据服务配置文件的主体 第三章总体设计 它们定义了数据服务的功能。用户可以针对不同的数据集成环境定义相应的数据 服务来配置多数据源查询引擎,使之完成特定的数据集成功能。 多数据源查询引擎能够根据各种类型数据源的特性对查询计划进行优化,以 提高数据查询的效率。例如涉及到关系型数据库的查询,就可以采用s q l 下推 ( s q l p u s hd o w n ) 的方法【3 3 j 优化查询计划,将一些工作指派给d b m s 来完成。 另外,将数据集成平台内的数据服务作为一种特殊的数据源,支持在已有数据服 务基础上开发新的数据服务,达到对数据服务的复用。 3 1 2 数据服务开发工具 数据服务开发工具为使用数据集成平台实现数据集成的开发者提供支持,使 他们在进行数据集成实施时能够专注于数据之间的映射关系,而无需考虑对数据 源的访问及配置文件的格式等问题。另一方面,该工具提供对所开发数据服务的 错误检测和预处理,产生数据服务的运行时信息。开发工具提供数据服务的集成 开发环境,支持元数据集成、查询编辑、静态检测、测试运行和发布等任务。 数据服务开发工具同各种数据源交互,获取数据源的元数据信息展示给用 户,用户可以定义查询的目标格式以及数据源到目标格式的数据映射,开发工具 自动生成查询脚本和数据服务的目标模式。另外,如需要在平台中已有数据服务 之上定义新的数据服务,则开发工具同目标平台实例的控制接口交互,获得平台 中数据服务的信息。 3 1 3 数据服务管理组件 本文的主要工作,将在本章第二节做详细的介绍。 3 2 数据服务管理组件设计 3 2 4 各功能模块介绍 数据服务管理组件的主要作用是提供对数据集成平台中数据服务的管理,其 主要功能包括: 数据服务的生命周期管理即数据服务的注册、发布、挂起、移除和更新等 操作。事实上,管理平台维护一个服务注册表,其中记录了所有数据服务的 位置、状态、依赖关系等管理信息,管理平台依据该注册表对数据服务进行 生命周期管理。如果需要提供分布式管理功能,生命周期管理也应该负责管 理数据服务在结点间的迁移。此外,管理平台为管理者提供对数据服务的控 1 2 第三章总体设计 制接口,支持管理者对数据服务的查询、注册、控制等管理工作。 数据服务的运行时管理在运行时,数据服务管理平台负责接受客户提交的 查询请求,通过服务注册表查找相应数据服务提供的配置信息来配置多数据 源查询引擎,调用查询引擎得到查询结果,并将结果返回给客户。管理平台 针对慢速数据源采用缓存策略,根据查询参数等相关信息管理数据缓存来提 高查询响应。另外,在运行时管理平台还可以依据数据服务间的依赖关系结 合数据服务的使用频率,进行查询视图的动态演化,将数据服务和数据源之 间的中间服务压缩掉以提高查询效率。 数据服务的安全策略和权限控制对数据服务所发布的数据实施安全策略和 访问控制。采取管理平台的全局安全策略和数据服务的局部安全策略相结合 的方式,对数据服务的访问、所发布的数据加以限制和保护。 数据服务的应用接口管理平台提供应用程序编程接口( a p i ) ,使数据集成 平台能够以组件形式集成到企业应用中。在此基础上,管理平台可以在数据 服务注册时自动生成对应的w e b 服务接口描述,为数据服务提供w e b 服务 形式的接口,使所发布的集成数据可以在多个企业应用之间共享。 3 2 5 处理流程 一承且面 巨巫窭匦圃匝爱圉 国书q 孵 图3 - 2 数据服务管理组件的总体设计 数 粥 暇 务 管 理 我们按照w e bs e r v i c e 规范进行了数据服务管理组件的原型设计,包括数据 服务描述文件的解析,数据服务注册表的维护,数据服务请求s o a p 包的响应, 目一 第三章总体设计 数据服务w s d l 文件生成,数据服务管理界面等几个部分,以此来实现数据服务 的生命周期管理、运行时管理、安全策略和权限控制、应用接口等功能。最终的 设计图如图3 - 2 所示。 下面对图3 2 中的各个模块按其流程进行逐一分析,以使对整个系统的运行 状态有一定的了解。 1 利用数据服务开发工具生成数据服务描述文件。数据服务的描述文件为搴d a r 格式的数据压缩包,其中包括数据源的元数据、数据源的连接配置、数据服 务的查询脚本、数据服务间的依赖关系、数据服务的元数据、安全策略和权 限控制等数据服务定义。将数据服务文件置于数据服务目录。 2 数据服务监听程序检测数据服务目录,发现新的数据服务,调用数据服务注 册程序,对数据服务描述文件进行部署,并更新数据服务注册表。 3 通过w e b 容器发布数据服务的w s d l 描述文件。公布数据服务s o a p 包格式 及调用接口。 4 客户应用程序获取w s d l 描述文件,向数据服务的服务器发送s o a p 请求,数 据服务响应程序解析s o a p 请求,并与x q u e d r 引擎交互,获取返回数据信息 发送响应s o a p 包给客户。该过程中对非法请求,错误消息等做了容错处理。 5 用户可以通过数据服务提供的管理界面,以w e b 的方式查看当前发布的所有 数据服务的运行状态。并管理数据服务,包括撤销、暂停等操作。 3 2 6 技术特点 以上是对数据服务平台中数据服务管理组件的介绍,本节总结了该组件以下 几方面的技术特点: 口面向服务的体系结构及数据发布方式。平台以数据服务为单元设计数据 访问功能模块,并且支持数据服务的复用,同时发布平台中数据服务的 w 曲服务接口,使集成数据通过w 曲服务接口在上层应用程序间共享。 口采用一系列开放标准( h t t p ,s o a p ,w s d l ,u d d i ) 作为平台的公共数据 模型、元数据模型和数据查询脚本格式。利用现有标准进行数据定义, 保证了平台的数据接口和客户应用程序之间的互操作性,保证了平台的 可扩展性。 口基于j 2 e e 的技术实现【3 4 1 。将表示层与业务逻辑层分开,各功能模块间的 层次更加清晰。利用通用接口函数与x o u e r y 弓l 擎的交互,很好的封装了 数据查询的具体实现过程。 1 4 第三章总体设计 3 3 本章小结 本章给出了详细的数据集成平台整体结构的设计方案,该平台包括多数据源 查询引擎、数据服务开发工具、数据服务管理组件等三个重要模块。给出数据服 务管理组件的各功能模块的详细介绍,数据的处理流程及技术特点,设计了一个 面向数据集成的数据服务管理组件。 第四章数据服务管理组件的实现 第四章数据服务管理组件的实现 本章详细介绍了如何按照w e bs e r v i c e 规范进行了数据服务管理组件的具体 实现,包括数据服务注册表的维护,数据服务描述文件的解析,数据服务请求 s o a p 包的响应,数据服务w s d l 文件生成,数据服务管理界面等几个部分,并通 过这些具体的技术实现完成了数据服务的生命周期管理、运行时管理、安全策略 和权限控制、应用接口等功能。 4 1 数据服务注册 4 1 1 数据服务注册表 利用操作系统现有的文件系统来定义数据服务的注册表,并没有利用第三方 的数据库系统,这样提高了整个数据服务的可移植性,并且操作文件的速度比操 作关系数据库的速度更快,这样提高了系统的执行效率。 我们定义了一个目录,命名为s e r v i c e s ,出于安全的考虑通常该目录设置于 整个w e b 服务发布目录中的w e b i n f 目录下,当然也可以将该目录定义在其他 的任何目录下。但是不建议放置在w e b 服务的根目录下,因为这样做不利于系 统的安全。 下面以我们开发过程中的示例来说明一下数据服务文件与注册表的对应关 系。 整个数据服务的w e b 发布根目录为d :l r o o q a g :d p w e b r o o t ,那么我们在 w e b i n f 目录下建立一个名为s e r v i c e s 的目录。当开发人员利用数据服务开发工具 生成数据服务描述文件( 木d a r 的压缩文件包) 后,将该描述文件置于该目录即 可。如图4 1 所示为数据服务发布目录下的文件示例。 在图中我们发布了一个数据服务描述文件c o m p a n y i n f o d a r ,监听线程在发现 该描述文件后对应生成了c o m p a n y i n f o 的目录( 我们将会在下一节详细描述该过 程) ,并在该目录下生成描述该数据服务状态的描述文件s t a t u s x n f l ,其内部文件格 式示例如下: l 其中0 表示当前服务不可用,1 表示服务可用,以后通过更改此值来更改服务的发布状态。 1 6 第四章数据服务管理组件的实现 熙乒j 数据服务发布目录下的立件示例 4 1 2 数据服务目录监昕线程 我们把数据服务的目录监听线程设计为一个独立的j a v a 应用,以独立的监 听数据服务的发布目录中数据服务描述文件的变更,用以检测新的数据服务并 通过该线程来注册新的数据服务或者将数据服务从数据服务注册表中删除。 该部分主墓包括以下几个模块: 配置文
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 电子竞技赛事裁判培训与考核指南
- 2026小学教资面试道法答辩高频考题题库
- 初中生物教资面试答辩易错题题库及解析
- 高中英语教资面试试讲高频考题题库
- 企业级数据丢失与恢复工具手册
- 2026事业单位计算机岗面试高频考题试卷及解析
- 索取售后服务评价结果的联系函(4篇)
- 初中英语教资面试答辩题库及参考答案
- 2026事业单位档案岗面试高频考题题库及答案
- 项目进度报告及预算调整通知函4篇
- 肾动脉栓塞介入术
- 《邮轮烹饪英语》-《邮轮烹饪英语》-Appendixes
- 魅力辽宁课件
- 天津市2021-2024年中考满分作文59篇
- 口腔正畸接诊流程技巧
- 军队职工抚恤管理办法
- GB/T 39542.3-2025技术制图活动铅笔第3部分:黑铅芯HB铅芯弯曲强度
- 班级历程回顾
- 《ERP软件实训》教学大纲
- 森林旅游学习通超星期末考试答案章节答案2024年
- 县乡教师选调进城考试-教育法律法规题库含答案(突破训练)
评论
0/150
提交评论