（计算机应用技术专业论文）电子政务中异构数据资源集成技术的应用研究.pdf

北方工业大学硕士学位论文 摘要 实施电子政务，重组优化政府组织结构和工作流程，建立一个精简、高效、廉洁、 公平的虚拟政府，是社会信息自动化发展的必然趋势。实现虚拟政府，重点是要解决 政府各部门不同的业务处理系统和办公系统之间的数据集成共享问题。数据集成是电 子政务系统集成的基础和关键，它对推动电子政务系统的标准化建设和实现应用系统 之间的协同工作都有着重要的意义。 本文针对电子政务系统数据集成的需求，研究和分析了网格中间件g l o b u s 、 o g s a d a i 的内部架构和运行流程，提出了基于g r i ds e r v i c e 技术的数据集成平台设 计方案，解决了异构数据库信息的动态集成问题。 结合x m l 技术、g r i ds e r v i c e 技术、数据库集成技术，本文重点阐述了电子政务 系统数据集成甲台的设计与实现。通过标准化的g r i ds e r v i c e 接口为不同的数据节点 提供服务，并通过x m l 格式进行数据转换和传输，消除不同系统的数据模式的异构 性。该平台将多个独立的业务系统集成到网格环境中，提供了系统数据源的注册发布、 数据查询以及数据抽取功能，实现了各个独立的、分布的系统之间的数据访问。 本文对集成平台进行了测试，给出了测试结果，并结合应用示例分析了本平台的 特点，具有可扩展性、松耦合性以及节点自治性。最后，对论文进行了总结，指出了 平台的不足和今后的研究方向。 关键词：电子政务，数据集成，g r i ds e r v i c e 北方工业大学硕士学位论文 t h er e s e a r c ha n da p p l i c a t i o no fe - g o v e r n m e n t h e t e r o g e n e o u s d a t ar e s o u r c ei n t e g r a t i o nt e c h n o l o g y a b s t r a c t i ti sa ni n e v i t a b l et r e n do ft h ed e v e l o p m e n to fi n f o r m m i o ns o c i e t yt h a ti m p l e m e n t a t i o n o fe l e c t r o n i cg o v e r n m e m ，r e f o r ma n do p t i m i z a t i o no fh i s t o l o g ya n dw o r kf l o w o f g o v e r n m e n t s ，e s t a b l i s h m e n to far i g h t s i z i n g ，e f f 拜c i e n t ，i n c o r r u p t i b l ea n df a i r v i r t u a l g o v e r n m e n ta n dp r o v i d i n ge f f i c i e n t ，d y n a m i t em a n a g e m e n ta n ds e r v i c ew i t ht r a n s p a r e n t s p e c i f i c a t i o nt ot h ew h o l es o c i e t y t h ei m p o r t a n tp o i n to fi m p l e m e n t a t i o no fv i r t u a l g o v e m m e n t i st or e s o l v et h ep r o b l e mo fd a t ai n t e g r a t i o na n d c o o p e r a t i o nb e t w e e nd i f f e r e n t b u s i n e s sp r o c e s s i n gd e p a r t m e n t sa n do f f i c es y s t e m s d a t ai n t e g r a t i o ni st h eb a s i sa n d k e yo fe g o v e r n m e n ts y s t e mi n t e g r a t i o n i tp l a y sa ni m p o r t a n tr o l ei np r o m o t i n g t h es t a n d a r d i z a t i o no fe g o v e r n m e n ts y s t e m sa n di m p l e m e n t a t i o no fc o o p e r a t i v e w o r k i n g a i m i n ga tt h er e q u i r e m e n t so fd a t ai n t e g r a t i o ni nt h ee g o v e r n m e n ts y s t e m s ，t h i s p a p e rr e s e a r c h e sa n da n a l y z e st h ea r c h i t e c t u r ea n di n n e rp r o c e s so fg l o b u sa n d o g s a - d a i ，p r o p o s e sad e s i g ns c h e m eo fd a t ai n t e g r a t i o np l a t f o r mb a s e do ng r i ds e r v i c e t e c h n o l o g yw h i c hr e s o l v e st h ep r o b l e mo f d y n a m i ci n t e g r a t i o no f h e t e r o g e n e o u sd a t a b a s e s w i t ht h e d e v e l o p m e n to fx m lt e c h n o l o g y , g r i ds e r v i c et e c h n o l o g y , d a t a b a s e i n t e g r a t i o nt e c h n o l o g y , t h i sp a p e rm a i n l yd i s c u s s e st h ed e s i g na n di m p l e m e n t a t i o nf o rt h e d a t ai n t e g r a t i o np l a t f o r mo fe g o v e r n m e n t w ep r o v i d es e r v i c e sf o rd i f f e r e n td a t an o d e s t h r o u g hs t a n d a r dg r i ds e r v i c ei n t e r f a c e sa n du s ex m lt oe l i m i n a t eh e t e r o g e n e i t yo fd a t a m o d e lf r o mv a r i o u ss y s t e m s t h i sp l a t f o r mc a ni n t e g r a t ed i f f e r e n tb u s i n e s ss y s t e m si n t o g r i de n v i r o n m e n t i tp r o v i d e sal o to ff u n c t i o n ss u c ha st h er e l e a s i n go fd a mr e s o u r c e s ，d a t a q u e r y i n ga n dd a t ae x t r a c t i n g ，e t c s ot h a tw ec a nv i s i ta n dq u e r yd a t ao fs e l g g o v e r n e da n d d i s t r i b u t i n gs y s t e m s t h i sp a p e rg i v e st h et e s t sa n dr e s u l t sf o rt h i si n t e g r a t i o np l a t f o r ma n da n a l y z e st h e c h a r a c t e r i s t i co ft h i sp l a t f o r mw i t ht h ea p p l i c a t i o ne x a m p l e s t h i sp l a t f o r mh a sq u a l i t i e so f e x t e n s i b i l i t y , l o o s i n g c o u p l ea n da u t o n o m y f i n a l l y , t h i sp a p e rm a k e sas u n l u pa n dp o i n t s o u ts o m et h i n g st ob ep e r f e c t e di nt h ef u t u r e k e yw o r d s ：e - g o v e r n m e n t ，d a t ai n t e g r a t i o n ，g r i ds e r v i c e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人己 经发表或撰写过的研究成果，也不包含为获得北方工业大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文 中作了明确的说明并表示谢意。 学位论文作者签名：锯够签字日期：o 百年兮剧目 学位论文版权使用授权书 本学位论文作者完全了解北方工业大学有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权北方工业大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以 采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 鸭 签字日期：嘭年当月引日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签名： 签字日期：。锌f 月弓旧 电话： 邮编： 北方工业大学硕士学位论文 1 引言 1 1 论文的研究背景 随着全球政治经济一体化的日益明显，以电子政务为代表的政府管理服务职能的 无纸化、自动化已在很多国家尤其是发达国家中迅速发展。政府机构运用现代计算 机和网络技术，将其部分管理和服务职能转移到网络上去，同时实现政府组织结构和 工作流程的重组优化，超越时间、空间和部门分隔的制约，向全社会提供高效、优质、 规范、透明和全方位的管理与服务。 政府信息化是社会信息化的先导，电子政务是信息化社会发展的必然。在世界各 国积极倡导的“信息高速公路”的五个应用领域中，电子政务被列为第一位。一方 面，它能够加强政府信息资源的开发和利用，改善政府信息收集、交换、共享、分析、 处理的机制，促进政府职责得到及时有效地实施；另一方面，可以逐步提高政府决策 透明度和服务效率，加强政府廉政建设，为企业和百姓提供及时、准确、权威、可靠 的政策、法规、经济与技术等信息。 在我国，政府部门的信息化系统建设通常具有阶段性和分布性的特点，一方面在 技术上并不能一步到位，另一方面加上其它经济和人为因素的影响，构建的信息系统 就像一个个“信息孤岛”。它们各自有着不同的处理对象、操作方法和专用客户端。 从应用角度来看，这些采用不同的硬件平台、不同操作系统和不同数据库的应用系统， 就是一个个独立的异构数据源，如此就构成了一个巨大而复杂的异构数据环境。 在异构数据环境下，越来越多的应用需求需要同时访问和处理多个不同数据源中 的数据，希望屏蔽各个层次的异构特性，他们不必知道各数据源的分布，也不必知道 数据源的结构组成，不必自己去进行数据的转换和结果汇总，只需要通过简便的全局 查询便可以得到一个综合结果。而传统的数据库集成方法已经远远不能适应人们获取 数据的需求，因此迫切需要一种新的数据集成系统。 1 2 电子政务概述 电子政务( e g o v e r n m e n t ) 就是利用计算机和网络技术，来管理和维持政府日 常办公，是一项将政府工作标准化、服务化、信息化、网络化、公开化的系统工程， 它打破了时间、空间和部门分割的制约，为社会公众及自身提供一体化的高效、优质、 廉洁的管理和服务的过程。电子政务系统由“三网一库”构建而成，“一库”指的是 北方工业大学硕士学位论文 政务系统的中心数据库，“三网”由三个组成部分：一是政府部门内部的信息化办公， 目前各个政府部门使用的办公自动化系统就属于此类；二是政府各个部门之间通过计 算机网络而进行的信息和资源共享以及即时通信，目前已经基本建设完毕的“三金” 工程就是该类的典型例子；三是政府部门通过网络和公众、企业等进行的双向信息交 流，例如政府的信息发布、网上申报、网上招聘等就属于第三种电子政务的范畴。所 以，一个完整的电子政务系统应当是上述= 三种系统的有机的结合。 12 1 电子政务系统的特点分析 在探讨电子政务数据集成系统的体系结构之前，首先分析政府部门电子政务系统 的一些特点。 从政府的组织结构上看，政府部门具有类似雪花型的结构。即上级政府管理多个 所辖下级政府、上级部门管理多个所辖下级部门、政府管理所辖的多个部门机构。以 此关系逐级扩展，形成多级的类似雪花型组织结构。电子政务系统充分利用信息化手 段来模拟政府与部门的一些实际业务流程，这决定了电子政务系统的体系结构与政府 部门的组织结构关系紧密，具有相似的结构特征。通常，上级电子政务系统是协调和 管理下级电子政务系统的中心节点，政府电子政务系统是协调和管理所管辖部门电子 政务系统的中心节点。这样的结构便于统一管理，适合于电子政务系统集成工作的开 展。 从电子政务系统使用的网络环境来看，政府部门一般采用内部构建的专用网络， 以提高电子政务系统协同二_ ：作的安全性和效率。当前，很多电子政务系统通过一站式 服务平台向公众网用户提供全方位的服务。由一站式服务平台将公众的服务请求通过 内部专用网络转发给执行服务的不同的电子政务系统。此外，政府部门问电子政务系 统的协同办公通常也采用内部网络高效安全地进行。 从政府对电子政务系统的管理职能上看，政府可以充分利用其职能优势，加强对 电子政务系统的统一管理，提高电子政务系统的标准化程度，进而促进电子政务系统 集成的效率。在电子政务发展的初期，各系统之间标准不统一、协作能力差，系统集 成难度大是不可避免的。但政府部门可以发挥管理上的优势，加强电子政务系统的统 一管理。逐步规范电子政务系统的建设，建立一致的数据访问和服务访问接口，使得 电子政务系统有机地结合在一起，发挥出电子政务系统的最大价值。 从电子政务系统的重要性上看，电子政务系统多是对政府业务流程的信息化、自 动化，很多业务流程都是政务职能的重要体现，因此对系统的安全性和可靠性要求很 北方工业大学硕士学位论文 高。 1 2 2 电子政务系统下的数据集成 把各个独立的分布式软件应用系统集成为一个能够互相协同工作的整体的过程 称作软件系统集成。软件系统集成通常被划分为两个层次：数据集成和业务流程集成。 数据集成主要解决软件系统问的数据交换以及异构数据库问的整合。数据交换是实现 软件系统之间数据的交互和转换；数据库整合是将分布式的异构数据库集成为具有统 一访问接口的整体，维护数据库的整体一致性。业务流程集成主要解决软件系统问业 务流程的共享与交互。将多个软件系统的原业务绑定起来，形成大的业务流程，实现 软件系统问的协同：【作。 数据集成是业务流程集成的基础，是实现软件系统集成的关键。在电子政务软件 系统集成巾，数据集成作用更为突出，具体可以表现在如下方面： 。 一、在各级政府中，尤其是基层政府中，各部门问经常需要协同办公；一个部门 的某个办公流程很有可能使用另一个或几个部门的数据： 二、上级政府通常需要下级政府或部门上报数据，或者上级政府向下级政府或部 门发送数据； 三、国家级分布式数据库系统的管理、使用和维护。 这些应用都需要一个有效支持数据集成的电子政务软件平台，将各部门的电子政 务应用系统及数据库有机的集成为一个整体。 1 3 选题背景和目的 本课题来源于我的导师李也白教授的北京市门头沟区工j i k 局电子政务系统项目， 主要包括局内的办公自动化系统、对企业乡镇的业务系统等，在本论文中称之为 b j m i 系统。 北京市门头沟工业局是国家行政部门，与上述提到的电子政务系统的特点相似， 一个统一的电子政务体系结构主要包括网络基础设施层、数据集成层、电子政务支撑 技术层、电子政务功能层，以及应用层，图1 1 是b j m i 系统的总体结构图。 北方工业大学硕士学位论文 a2eg2gg2bg2c 掣单掣l l 1 t 口r n # t 、扛x t r a n e t ，i n l r a n e l t l 媳予媛务成川系统 系 l 似想般钳系统li 帅什乐绒 i 蜜 统仝 止 t l , r l 陂翻r l 娅月j j 罐、卜t 0 鞘!蟓 0 0 1 0 f 群科l 专辨 !兜j t 】，、舒掣靼 静 幢体 和、 教锻_ i 鼙i ，挺、rf 茉 州络点# 础设施 1 w 4 引嘲 l 外p q i 内| 州 i 图1 1b j m i 系统总体结构图 电子政务系统的体系结构其本质是基于协议的层次结构，而数据集成层是基础。 其目的是要将系统范围内的数据库进行集成整合，形成一个统管理的数据库群。门 头沟区工业局管辖范围内有若干乡镇、开发区、企业，而这些乡镇和企业原来都有各 自的业务模式，这些已有的业务系统的开发平台、操作系统、后台数据库等都可能是 异构的，例如有基于s q ls e r v e r 数据库的，有基于o r a c l e 数据库的。因此二【i x l k 局的 数据库群可能包括局机关的数据库、乡镇的数据库和企业的数据库。该局对外的访问 也有可能在这些异质、异构的数据库间进行，例如工业局内部经常需要获取这些分布 的乡镇企业系统中的数据：查询某企业系统的产品情况、企业基本信息情况等。 由以上可以看出数据集成层在电子政务系统中很重要。本文主要针对该层进行研 究，设计并实现b j m i 系统的数据集成平台，在不破坏原有企j 世系统的基础上，通过 该平台来解决工业局下各个乡镇及企业业务系统问的数据异构性问题，从而真正地共 享集成数据，并保证集成共享数据的安全性。本数据集成平台是在多个自治异构数据 源上提供一个统一的查询接口，不涉及数据源数据的更新操作。另外考虑到目前工业 局管辖下的若干乡镇企业系统数据存储在各种数据库系统中，因此本文设计并实现的 数据集成平台主要针对异构数据库。 本文设计并实现的数据集成平台是b j m i 系统框架中一部分，经过前期的工作， 我们已经搭建起来一个电子政务系统平台，并投入实际的应用中。目前因为工业局管 辖乡镇、企业业务系统的数据接口暂时没有对外公开，因此该部分的实现暂时没有投 入运行，只是嵌入到已经实施的电子政务系统中，在实验室局域网的环境下模拟测试， 以验证设计的可行性、正确性和优越性。 北方工业大学硕士学位论文 为了叙述方便，以下部分我们将b j m i 系统管辖下参与集成的每个独立的乡镇或 者企业的业务系统或数据库系统称为一个节点。 1 4 课题研究涉及到的问题 考虑到实现b j m i 系统管辖下各个节点异构数据源关联共享的数据集成中会遇 到各种困难，集成平台需要解决以下几方面的问题： 异构性：这是面临的最主要的问题。其主要包括两个方面：一是系统异构：计算 机体系结构不同，操作系统不同。二是数据异构：主要是模式的异构。数据存储 模式包括关系模式、对象模式、x m l 文档树型模式等等。其中在主流的关系模 式中，数据也存在着差异。 共享性：共享是数据集成的基础，每个节点要提供共享数据的访问接口，供集成 系统或其它节点来访问。 自治性：各节点本身保持本地数据的控制权，不受其它节点的约束，具有局部自 治性。这种自治性也要受到限制，加入集成系统的节点要保证与集成系统问的协 议，使得节点与集成系统保持正常的交互。 分布性：数据源是异地分布的，依赖网络传输数据，这就存在网络传输的性能和 安全性等问题。 透明性：通过集成平台访问节点数据的用户，无需关心节点的位置、访问方法等 细节，集成平台在全局数据模型的基础上对这些细节进行自动解析。 异构性是电子政务数据集成平台实现中的主要难点。异构性造成某个节点需要访 问其它节点的数据时，由于数据模型的差异，很难理解并处理其它节点的共享数据。 另外，节点间的分布性和自治性也给数据集成平台的实现增加了挑战。集成平台如何 处理网络传输带来的性能和安全性问题，如何限制及适应来自节点的扩展伸缩性，都 是现实应用中需要解决的问题。 1 5 课题研究的意义 结合以上分析，如果需要对b j m i 系统管辖下的若干乡镇企业数据信息进行有效 的集成，必须采用一种统一有效的技术。近年来出现的网格技术为政府异构数据源的 集成提供了新思路，通过建立网格环境，政府可以充分利用现有的各部门系统的数据， 最大限度地减少跨部门系统建设时的重复投资。 北方工业大学硕士学位论文 网格是网络上可用的一组分布式服务资源，它在最终用户或应用程序面前表现为 一个大型虚拟计算系统。网格可以跨越地点、组织、机器体系结构和软件边界，向连 接到网格的每个人提供无限的能力、协作和信息访问【2 1 。网格提供了一系列的标准来 解决异构平台、系统之间的集成问题。网格的基础是基于x m l 的消息传递，它用x m l 来包装各种数据、消息在各个系统之间进行信息交换。 随着网格计算的发展及其应用范围的不断扩大，数据库应用在网格应用中的作用 也越来越重要。基于开放网格体系结构提供网格数据库服务，使网格用户或其他网格 服务通过网格数据库服务访问网格中的各个异构数据库，从而达到数据资源的高度共 享和协同处理，对数据资源的访问更加透明、高效、可靠，网格数据处理能力更强， 更好地满足了广泛虚拟组织的数据处理需求。 1 6 本文的组织结构 本文分析了电子政务系统的特点、以及数据集成研究采用的方法和技术，在此基 础上，深入介绍了b j m i 系统数据集成平台的设计与实现过程。论文结构如下： 第一章为引言部分，介绍了本文的研究背景，研究目的、意义以及论文所要解决 的主要问题。 第二章介绍了数据集成的一般架构、目前的集成技术研究现状，给出了b j m i 系 统数据集成的主要目标。 第三章介绍了b j m i 系统数据集成平台实现的关键技术，重点分析了网格技术和 中间件o g s a d a i 的内部架构及其执行过程。 第四章介绍了课题的实现功能、平台结构、总体流程和技术难点的解决方案。 第五章主要是详细说明了该平台的设计与实现过程，并给出了相关模块的模型和 核心类部分代码，此外还给出了相关测试的演示界面和测试结果，通过图文方式来展 现数据集成平台在b j m i 系统中的应用。 最后论文进行了总结，综述了平台设计特点，总结了本课题的研究工作。 6 _ 北方工业大学硕士学位论文 2 数据集成技术研究 2 1 数据集成的一般架构 自从8 0 年代以来，异构多数据库系统一直是数据库领域的一个主要研究方向。 进入9 0 年代后，由于计算机网络技术的迅猛发展，对数据库又有了新的要求：各种 数据库中的信息不仅需要在i n t e m e t 发布，而且大量的应用需要能够同时访问多个数 据库中的数据。这样异构多数据库又一次成为数据库领域的一个研究热点。为了解决 异构数据库之间的互联集成问题，国际化标准组织和各数据库厂家做了不懈的努力。 目前，有以下几种比较常见的异构数据库集成方法，下面将对它们的长处和不足进行 分析比较。 21 1 数据复制方法 数据复制方法 3 1 将各个数据源的数据复制到与其相关的其它数据源上，并维护数 据源整体上的一致性、提高信息共享和利用的效率。数据复制可以是整个数据源的复 制，也可以是仅对变化数据的传播与复制。数据复制方法可以减少用户使用数据集成 系统时对异构数据源的数据访问量，从而提高数据集成系统的性能。 比较常用的数据复制方法就是数据仓库方法【4 】。该方法将各个数据源的数据复制 到同一数据仓库中，用户则直接访问数据仓库获取数据。体系结构见图2 1 ： 图2 1 数据仓库方法体系结构图 数据复制通常直接采用端到端方式，也有一些数据集成系统使用专为数据周转服 务的数据平台。数据复制时，数据发布者先将数据传送到这个数据平台上，由数据平 台处理后转发给数据订阅者。数据平台要处理好网络负载和并发控制问题。使用数据 北方工业大学硕士学位论文 平台的好处是单点控制、便于管理。但数据平台增加了系统的复杂性，降低了系统的 可靠性。 2 1 2 模式集成方法 模式集成方法的基本思想是：在构建集成系统时，将各数据源共享的数据视图集 成为全局模式，供用户按照全局模式透明地访问各数据源的数据【4 】。全局模式描述了 数据源共享数据的结构、语义及操作等。用户直接在全局模式的基础上提交请求，由 数据集成系统处理这些请求，转换成各个数据源在本地数据视图基础上能够执行的请 求。 数据集成中间件位于异构数据源系统( 数据层) 和应用程序( 应用层) 之间，向下协 调各数据源系统，向上为访问集成数据的应用提供统一数据模式和数据访问的通用接 口。 模式集成方法的特点是直接为用户提供透明的数据访问方法，用户无需关心数据 的位置、结构以及与全局模式的映射方式。由于用户使用的全局模式是数据源的虚拟 视图，所以该方法又可称作虚拟视图集成方法【6 1 。 1 联邦数据库 早期的解决方案一般采用联邦数据库的方法5 1 。联邦数据库中数据源之间共享自 己的一部分数据模式，形成一个联邦模式。联邦数据库系统按集成度可分为两类p l ： 采用紧密耦合联邦数据库系统和采用松散耦合联邦数据库系统。紧密耦合联邦数据库 系统使用统一的全局模式，将各数据源的数据模式映射到全局数据模式上，解决了数 据源问的异构性。这种方法集成度较高，用户参与少；缺点是构建一个全局数据模式 的算法复杂，扩展性差。松散耦合联邦数据库系统比较特殊，没有全局模式，采用联 邦模式。该方法提供统一的查询语言，将很多异构性问题交给用户自己去解决。松散 耦合方法对数据的集成度不高，但其数据源的自治性强、动态性能好，集成系统不需 要维护一个全局模式。其体系结构如图2 2 ： 8 北方工业大学硕士学位论文 图2 2 联邦数据厍体系结构图 2 中间件集成方法 中间件集成方法是另一种典型的模式集成方法，它同样使用全局数据模式 。与 联邦数据库不同，中间件系统不仅能够集成结构化的数据源信息，还可以集成半结构 化或非结构化数据源中的信息。基于中间件的数据集成系统主要包括中间件和包装 器，其中每个数据源对应一个包装器，中间件通过包装器和各个数据源交互。用户在 全局数据模式的基础上向中间件发出查询请求。中间件处理用户请求，将其转换成各 个数据源能够处理的子查询请求，并对此过程进行优化，以提高查询处理的并发性， 减少响应时问。包装器是对特定数据源进行了封装，将其数据模型转换为系统所采用 的通用模型，并提供一致的访问机制。中间件将各个子查询请求发送给包装器，由包 装器来和其封装的数据源交互，执行子查询请求，并将结果返回给中间件。 中间件注重于全局查询的处理和优化，相对于联邦数据库系统的优势在于：它能 够集成非数据库形式的数据源，有很好的查询性能，自治性强；中间件集成的缺点在 于它通常是只读的，而联邦数据库对读写都支持。 查询结果 厂石磊i 、 一了 查询结果 ( 霄 禽p 、 图2 3 联邦数据库体系结构图 北方工业大学硕士学位论文 3 p e e r - t o p e e r 数据集成方法 p 2 p 数据集成方法是对原有的模式集成方法的扩展，它是在新兴的p 2 p 计算技 术的基础上发展起来的。p 2 p 是一种基于对等网络的架构，是计算机系统的结构从传 统的集中式发展为松散耦合分布式的新模式。p 2 p 系统具有如下的特征1 8 】：( 1 ) 节点之 间通过直接的交互而实现资源共享；( 2 ) 资源分布在各个节点中，而不是集中在一个 服务器中管理；( 3 ) 节点具有动态性和即时性；( 4 ) 纯粹的p 2 p 系统没有任何集中控制 机制，系统中各结点运行的p 2 p 系统软件功能相同，各结点之间的交互对称。在p 2 p 数据集成方法中，参与集成的各个数据源节点分别被视作一端( p e e r ) ，每个节点可以 将自己的一部分本地数据模式映射成为端共享模式，向其它节点共享自己的数据。纯 粹的p 2 p 数据集成方法没有全局数据模式，各节点可以直接通过p 2 p 映射使用其 它节点共享的数据模式，从而形成各节点之间对等的数据共享与访问机制。p 2 p 数据 集成方法已成为当前数据集成研究的一个热点。 2 1 3 综合集成方法 以上两种数据集成方法各有优缺点及适用范围。模式集成方法为用户提供了全局 数据视图及统一的访问接口，透明度高；但该方法并没实现数据源问的数据交互，用 户查询时经常需要访问多个数据源，因此该方法需要系统有很好的网络性能。数据复 制方法在用户使用某个数据源之前，将用户可能用到的其它数据源的数据预先复制过 来，用户使用时就会大大提高系统处理的效率；但数据复制通常存在数据的无法即时 更新，使用该方法时，很难保障数据源之间数据的实时一致性。表2 1 列出了两种 方法的优缺点。 表2 1 集成方法数据复制模式集成 优点执行效率高，实时一致性好 网络依赖性小透明性好 缺点实时一致性差执行效率低，网络 依赖性大 从上面的阐述比较中可以看出几种集成方法的适用范围： 模式集成方法： 北方工业大学硕士学位论文 ( 1 ) 适用于被集成的系统规模大、数据更新频繁、数据实时一致性要求高的情 况。 ( 2 )当很难预测用户的查询需求时，也适合采用这种方法。 数据复制方法： ( 1 ) 适用于数据源相对稳定、用户查询模式已知或有限的情况。 ( 2 ) 数据分布性比较广，网络延迟较大，并且需要有很短的处理时间时候。 综合方法： 实际上就是两种方法混合使用，该方法可以在一定程度上克服以上两种方法的局 限。综合方法通常是想办法提高基于中间件系统的性能1 6j ，该方法仍有虚拟的数据模 式视图供用户使用，同时能够对数据源间常用的数据进行复制。对于用户简单的访问 请求，综合方法总是尽力通过数据复制方式，在本地数据源或单一数据源上实现用户 的访问需求；而对那些复杂的用户请求，无法通过数据复制方式实现时，才使用虚拟 视图方法。文献【9 】给出了一种综合集成方法。 本文采用综合集成的方法，提供了定时导入导出功能，对于那些不经常更新的数 据，采用数据复制方法定时导入。采用g r i ds e r v i c e 技术，利用网格环境下中间件工 具包g l o b u s 和d a i 来构建全局查询，实现了松散耦合的数据集成新模式。 2 2 电子政务系统下的数据集成技术研究现状 “信息孤岛”问题不仅困扰着电子政务的有效运转，也严重制约了信息技术在各 个领域的充分应用和进一步发展，因而不同的围际机构纷纷制定各式各样的技术或标 准，试图局部地或根本性地解决该问题。如“国际互操作性联盟”( i n t e r n a t i o n a la l l i a n c e f o ri n t e r o p e r a t i o n i a i ) 开发的“产业基础分类”数据模型、i n t e r n e t 技术、电子数据 交换( e d i ) 、产品数据管理( p d m ) 以及c a d 数据交换格式等等。 到了2 0 世纪9 0 年代，基于i n t e m e t 的集成技术成为研究的热点。浚技术可以 把传统的应用软件移植到i n t e m e t 上，从而摆脱硬件平台、操作时间、操作地点等方 面的限制，达到信息共享的目的。目前，这种集成技术迅速发展到以支持应用互操作 的需求为核心，以面向对象技术为主要特征的分布对象技术，在分布对象环境中实现 信息资源的重用、重构与共享，实现面向协同应用的信息共享与应用互操作。以下将 着重讲述每种分布式技术的特点。 北方工业大学硕士学位论文 2 2 1 分布式对象模型 分布式对象的实质是将应用服务分割成具有完整逻辑含义的独立子模块，各个子 模块可放在同一台服务器或分布在多台服务器上运行，模块之间通过远程调用及消息 传递进行交互。其目的是为了降低主服务器的负荷，共享网络资源，平衡网络中计算 机业务处理的分配，提高计算机系统协同处理的能力，使得应用系统的实现更为灵活 0 0 i 。 分布式对象结构是从中间件的概念发展起来的，它将程序数据封装在具有函数接 口的对象之中。在分布式对象结构中，对象内的执行细节对于调用者来说也是不可见 的。分布对象往往又被称为组件( c o m p o n e n t ) ，组件是一些独立的代码封装体，在分 布计算的环境下可以是一个简单的对象，但大多数情况下是一组相关的对象复合体， 提供一定的服务。并且在分布式对象结构中，对于对象中的方法调用也作了限制，用 户不能像调用a p i 一样直接调用这些方法，而只能通过间接的形式进行调用1 0 1 。另外， 用户在调用对象的时候也只需要使用对象的引用，而不再需要创建本地实例。分布式 环境下，组件是一些灵活的软件模块，它们可以位置透明、语言独立和平台独立地互 相发送消息，实现请求服务。 i 】至二 q l 叫 亟呈噩 l 崖勤卜一一鬯s e r v e r - s i d e i ：堇簧：”一- 1l 竺生 监理 ) 峪理 i 3 r o k e rf 一一i b r o k e r 查! 进； 竖量竖堂j 毫驴 2 2 2 传统分布式系统技术解决方案 传统的分布式应用解决方案用到的技术主要有d c o m ，c o r b a ，r m i e j b 等。每种 技术都有自己的优势但也有不足之处。下面分别分析一下传统的解决方案及其缺陷。 一、c o r b a 和d c o m 解决方案及其缺陷 d c o m 和c o r b a 是目前两种使用比较广泛的分布式汁算实现方案1u 2 1 。它们 都能提供一种面向对象的r p c 调用机制。两种系统都提供了透明的存储机制，用户在 北方工业大学硕士学位论文 编写程序时不需要操心组件的具体物理存放位置。组件把如何找到该组件的信息提供 给对象请求协调器( o b j e c tr e q u e s tb r o k e r ，简称o r b ) 。当程序需要某个组件的时候，它 会到o r b 那里去查询特定的组件或者组件类型，而o r b 会给出一个对应的检索索引， 这个检索索引在该组件体系结构里是有明确含义的。o r b ( o b j e c tr e q u e s t b r o k e r ) 作为 它们的核心，在分布异构环境中的不同应用之间提供互操作性，并可实现多个对象系 统之间的无缝连接； 图2 5c o r b a 参考模型 然而d c o m 和c o r b a 【l l 】【l2 】都是适合服务器到服务器的通信协议，二者对客户 端到服务端的通信存在明显弱点，尤其是在客户端被散布在i n t e r n e t 上的时候。更糟 的情况是防火墙或代理服务器分隔开了客户端和服务端，任何c o r b a 和d c o m 的 数据包要通过的可能性是很低的，主要是由于大多数i n t e r n e t 连接技术都使用h t t p 协议所致。此外i n t e r n e t 上的分布式应用系统要求服务端与客户端的连接松散，客户 端向服务端发出请求，服务端返回结果，连接就会关闭，这因为i n t e r n e t 上的服务端 由数目众多的客户端使用，由于每一台客户端都有一个与服务端的连接，对于很少使 用服务端或根本不使用服务端的客户端，应该断开连接以保护宝贵的服务端资源。而 d c o m 却是面向连接的，虽然d c o m 有办法处理这些问题，但是增加了许多复杂性。另 外，d c o m 和c o r b a 都依赖于周密管理的环境，特别是在考虑安全性的时候更是如此。 二、 e j b ，r m i 解决方案及其缺陷 r m i 1 5 l 是j a v a 语言的远程调用机制，也是构建分布式应用系统时常使用的一种 技术。r v i i 的数据封包非常简单，它并没有像d c o m 和c o r b a 那样提供复杂的对 象模型机制，并且由于r m i 有t u n n e l i n g 机制，可以和防火墙较好的搭配工作。但是 r m i 也存在很大的缺陷：r v i i 局限于j a v a 语言，而且r m i 也使用注册表机制来存储 北方工业大学硕士学位论文 对象信息，因此在延展性上和d c o m 一样受限于管理注册表的服务器的计算能力和 服务器位置，此外p d v l l 的执行效率不太好，它并不适合作为企业分布式架构的标准。 e j b 的出现迟于c o r b a 但却成为比较热门和流行的组件模型，e j b 模型使用了 s t u b s k e l e t o n 的机制让客户端和服务端通信，同时低层的通信协议使用t c p i p ，这种 构架使得它有能力去整合多种应用程序。但它并不是在i n t e m e t 或w e b 环境下组件模 型集成的最终解决方案，因为e j b 中的通信也是使用了自己定义的数据封包格式， 而且s l t n 的e j b 只是功能规范，每一家e j b 厂商的实现也不同。所以当在i n t e m e t 上使用e j b 时，就会出现每一种组件模型的架构和封装数据的标准都不一样的情况， 此外e j b 与其他组件模型的系统( 如以d c o m 为核心的系统) 集成时仍然存在很大的 问题。 2 2 3 面向服务的集成技术 从上节的分析比较中可以看出，传统的分布式计算技术存在一些缺点，制约了 其在集成领域的应用。利用传统技术开发出来的集成系统，与应用环境紧密绑定。开 发好的系统很难变动，用户无法根据变化动态地调整集成系统，因此整个集成系统的 可扩展性差。不能够适应集成系统在物理结构上或逻辑上发生的变化。解决这一问题 关键包括两方面：一是要在现有的各种异构平台的基础上构筑一个通用的、与平台、 语言无关的技术层，各种不同平台之上的应用依靠这个技术层来实现彼此的集成。这 一技术层就是一个通用的分布式计算技术标准，各种异构平台只有承认并使用这一标 准，建立在平台之上的应用才能够实现互相访问。另一个方面就是新的分布式计算技 术要能够充分适应网络应用变化频繁的特点，基于该技术的软件构架要提供松散耦 合、动态扩充的机制。目前面向服务的理念加快了集成系统向松散、动态的软件构架 方向迈进的步伐。 在o m g 和i o n a 的推动下，s o a ( s e r v i c eo r i e n t e d a r c h i t e c t u r e ，面向服务的体系 结构) 1 1 4 1 已经成为了一个大家所广泛认可的规范。理论上，面向服务的体系结构的思 想，具有较强的可复用性和灵活性。用定义好的机构封装应用，将一个单一的应用加 入到一个服务的集合中。封装的过程创建了一个抽象的层，屏蔽了应用中复杂的细节， 对于调用者来说，不需要关心用的是哪一种编程语言，什么操作系统，应用程序用的 是什么数据库产品等。唯一相关的就是知道服务所描述的接口。 当前，一提到“服务”，通常指的是标准的w e b 服务以及o g s a 组织的g r i ds e r v i c e 两种实现方式。 北方工业大学硕士学位论文 w e bs e r v i c e 技术 w e bs e r v i c e 1 5 】 1 6 1 是这两年提出的一种新的面向服务的体系结构，随着异构计算 环境的不断增加，各种系统间的互操作性就愈显得必要，要求系统能够无缝地进行通 信和共享数据。w e b 服务的出现主要解决在互联网环境下的资源共享和相互集成问 题。一个w e b 服务就是一个能够使用x m l 消息通过网络来访问的接口，这个接口描述 了一组可访问的操作。一个w e b 服务具有如下特征： 1 ) 是用s o a p ( s i m p l eo b j e c ta c c e s sp r o t o c 0 1 ) 平3w s d l ( w e bs e r v i c ed e f i n i t i o n l a n g u a g e ) 包装的对象； 2 ) 适应松耦合的网络环境，可通过w e b 访问，手段是s o a p 消息； 3 ) 服务的行为、输入输出、位置等都可使用。 其突出优点就是实现了真正意义上的平台独立性和语言独立性。同传统的分布式 模型相比，w e bs e r v i c e 的主要优势在于：( 1 ) 协议的通用性。( 2 ) 完全的平台、语 言独立性。在企业中，要求所有参与者都采用同一个基于某种语言和平台的模型是不 现实的。而w e bs e r v i c e 结合面向组件方法和w e b 技术的优势，利用标准网络协议和 x m l 数据格式进行通信，具有良好的普适性和灵活性，便于实现数据集成和数据交 换。 g r i ds e r v i c e 技术 g r i ds e r v i c e 1 技术是在开放网格体系结构o g s a 中提出来的，它是对w e b s e r v i c e 的扩展，实际上就是一种w e bs e r v i c e 和以往网格技术融合的