（计算机软件与理论专业论文）数字校园中基于SOA的数据同步研究与实现.pdf

摘要 随着计算机技术和i m e m e t 技术的迅速发展，企业的信息化管理需求越来越 高，许多企业、学校等机构纷纷建立了自己各部门的信息系统。然而随着信息化 建设的加快，在实际应用中我们经常需要用到其他系统中的数据，而原有分散系 统之间的数据往往没有很好的实现共享，这就形成了很多“信息孤岛，这些信 息孤岛使我们的大量有用数据失去了进一步利用的价值。因此，如何低耦合、低 代价、方便地将这些异构数据进行交换和集成已成为当前研究的一个热点问题。 s o a 技术的出现给数据交换带来了新的实现方法。 面向服务的体系结构( s o a ) 是一种松散耦合的软件体系结构。它的优势在 于降低了服务的提供者与使用者之间的紧密耦合性。使用这种结构设计系统中的 功能模块，即使该模块的具体实现发生变化，只要包装该模块的服务接口没有改 变，服务请求者就不会受到任何影响。但是，如果只有服务，没有交互，那么服 务的存在也是没有任何意义的。服务之间的协作，都是通过e s b 来进行的，服 务之间并不直接接触，服务间的请求佃句应，发布订阅等事件都是通过e s b 来进 行的。服务总线可以在服务提供者和请求者之问改变消息的格式，路由到正确的 服务提供者，在服务提供者和服务使用者之间转换协议，以及提供安全、策略、 事务、管理等功能。 本文以校园数字化建设为背景，主要探讨了数字校园建设中如何保持应用系 统之间数据一致性的问题，旨在解决信息孤岛问题，达到信息的有效集成。数字 校园中通常需要在各应用系统中存储同一数据的不同副本，因此数据同步显得十 分重要。共享数据中心实现了各个应用系统的数据集成，保证全校共享信息的一 致性，并且为新的应用系统开发提供支持。在分析共享数据中心功能的基础上， 对s o a 及其相关技术进行研究，根据数字校园的特点提出了一种基于s o a 的数 据同步技术方案，并以人事系统中的教职工信息为例，通过使用s o a 技术实现与 其他应用系统的数据同步。 关键词：共享数据中心；数据同步；面向服务的体系结构；企业集成总线；w e b 服务 a b s t r a c t w i t ht h ec o m p u t e rt e c h n o l o g ya n dt h ei n t e r n e tt e c h n o l o g yr a p i dd e v e l o p m e n t ， e n t e r p r i s e si n f o r m a t i o nm a n a g e m e n td e m a n di sm o r ea n dm o r eh i g h t o d a ym a n y e n t e r p r i s e sa n ds c h o o l sh a v ee s t a b l i s h e dt h e i ro w ni n f o r m a t i o ns y s t e mf o rt h e i r d e p a r t m e n t s h o w e v e r , w i t hs p e e d i n gu po fi n f o r m a t i o ns y s t e mc o n s t r u c t i o n , w en e e d t ou s ed a t ao fo t h e ra p p l i c a t i o ns y s t e m sf r e q u e n t l y , b u tm o s to ft h e s ed i s p e r s i v e s y s t e m sc a nn o ts h a r et h e i rd a t aw i t he a c ho t h e r t h i sf o r m e dm a n y ”i n f o r m a t i o n i s o l a t e di s l a n d s ”t h e s ei n f o r m a t i o ni s o l a t e di s l a n d sm a d eo u rm a s s i v eu s e f u ld a t a l o s et h ef u r t h e ru s ev a l u e t h e r e f o r e ，h o wt oe x c h a n g ea n di n t e g r a t et h e s ei s o m e r i s m d a t aw i t hl o wc o u p l i n g ，l o wp r i c ea n dc o n v e n i e n t l yh a sb e c o m eah o t t o p i cr e s e a r c h s o at e c h n o l o g ya p p e a r a n c eh a sb r o u g h tt h en e wr e a l i z a t i o nm e t h o df o rt h ed a t a e x c h a n g e s e r v i c e s o r i e n t e da r c h i t e c t u r e ( s o a ) i sl o wc o u p l i n gs o f t w a r ea r c h i t e c t u r e i t s a d v a n t a g ei s ：r e d u c et h eh i g hc o u p l i n gb e t w e e nt h ep r o v i d e r sa n dt h ec o n s u m e r so fa s e r v i c e u s i n gi tt od e s i g nas y s t e m , t h ec o n s u m e ro fas e r v i c eh a sn ot r o u b l eo ft h e s e r v i c eh a sc h a n g e dt h er e a l i z a t i o nm a n n e r , b u ti t si n t e r f a c eh o l d st h es a m e h o w e v e r , i ft h o s es e r v i c e sa r ei s ol a t e d ，t h e i re x i s t e n c ew i l lm a k en os e n s e s e r v i c e sa r ew i r i n g b ye s b t h r o u g he s b ，t h es e r v i c e sa r e i n d i r e c t l yc o m m u n i c a t e d t h e r e q u e s t r e s p o n s ea n dp u b l i s h s u b s c r i b e do fs e r v i c e sa r ea l lt h r o u g he s b e s bc a l l p r o v i d es e r v i c ep r o v i d e ra n ds e r v i c ec o n s u m e rm e s s a g et r a n s f o r m e r , r o u t i n gt o c o r r e c ts e r v i c ep r o v i d e r , p r o t o c o lt r a n s f o r m e rb e t w e e ns e r v i c ep r o v i d e ra n ds e r v i c e c o n s u m e r , a n da l s op o l i c y , t r a n s a c t i o n ，a n dm a n a g e m e n t t od a t ac a m p u sa st h eb a c k g r o u n d ，t h i sp a p e rd e a rw i t ht h ep r o b l e mo f h o wt o k e e pd a t ac o n s i s t e n c ya m o n ga p p l i c a t i o ns y s t e m si nt h ed i g i t a lc a m p u s d i f f e r e n t c o p i e so fd m aa l w a y sn e e d e dt ob es t o r e di nd i f f e r e n ta p p l i c a t i o ns y s t e mi nt h ed i g i t a l c a m p u s ，s ot h em a i n t a i n i n go fd a t as y n c h r o n i z a t i o nb e c o m e sv e r yi m p o r t a n t t h e s d c ( s h a r ed a t ac e n t e r ) c a r r i e so u tt h ed a t ai n t e g r a t i o no fe a c ha p p l i c a t i o ns y s t e m , a n dp r o v i d e st h es u p p o r tf o rt h ev a l i dd e c i s i o na n df o rt h en e w a p p l i c a t i o ns y s t e m l l d e v e l o p m e n t b a s e do na n a l y z i n gt h ef u n c t i o no fs d c ，a n ds o m er e s e a r c ho ns o a ( s e r v i c e o r i e n t e da r c h i t e c t u r e ) a n dr e l a t e dt e c h n o l o g ya r ed o n e a c c o r d i n gt os p e c i f i c f e a t u r e so fd i g i t a lc a m p u s ，as o l u t i o no fd a t as y n c h r o n i z a t i o nt e c h n o l o g yb a s e do n s o ai sp r e s e n t e d f i n a l l y , t h et e a c h e r si n f o r m a t i o ni nt h eh rs y s t e mi st a k e n 嬲a l l e x a m p l et oi m p l e m e md a t as y n c h r o n i z a t i o nw i t ho t h e ra p p l i c a t i o ns y s t e m sb yu s i n g s o a t e c h n o l o g y k e yw o r d s ：s d c ；d a t as y n c h r o n i z a t i o n ；s o a ；e s b ；w e bs e r v i c e s 1 1 1 华南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确的方式标明。 本人完全意识到此声明的法律结果由本人承担。 论文作者签名：世b - 篷 - - i 期：儿叠了年f 月站e t 学位论文使用授权声明 本人完全了解华南师范大学有关收集、保留和使用学位论文的规 定，即：研究生在校攻读学位期间论文工作的知识产权单位属华南师 范大学。学校有权保留并向国家主管部门或其指定机构送交论文的电 子版和纸质版，允许学位论文被检索、查阅和借阅。学校可以公布学 位论文的全部或部分内容，可以允许采用影印、缩印、数字化或其他 复制手段保存、汇编学位论文。( 保密的论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密范围，在年后解密适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权 书。 论文作者签名：昔詹篪 日期：如7 年r 月) s e t妻如、朋，酝兮 ij， ”沙 年 呻、 名 沙 签 孔再p 甘艿 师 剪 导 日 第一章绪论幸 1 1 课题的研究背景 数字校园【l 】是以统一数据管理和流程规范管理的思想，配合计算机和网络技 术的支持，对学校的管理、教学、科研和生活服务等所有信息资源进行全面的数 字化整合；并借助计算机技术，实现从环境资源到活动的全部数字化，对各个流 程进行量化考核管理；科学规范地对这些信息资源进行整合和集成，以构成统一 的信息管理、统一的资源管理、统一的用户管理和统一的权限控制；通过组织和 业务流程再造，在传统校园的基础上构建一个数字空间，以拓展现实校园的时问 和空间维度，推动学校进行制度创新、管理创新，最终实现教育信息化、决策科 学化和管理规范化。设计应用系统集成框架，建立统一的数据标准，实现全校信 息资源的整合是实现数字化校园建设的首要问题。 当前，高校信息化管理的基本现状是：虽然很多高校已经建成了比较完善的 校园网系统，但各个部门、各个院系的信息系统和数据库都是独立的，并且各个 系统自成体系，里面的数据没有得到共享，出现“信息孤岛”，以至存在很大的 数据重复冗余，导致了各部门相互之间同一信息不一致，有用的不能及时共享， 数据的利用率不高：同时在资源应用方面也缺少统一管理和整合，无法对整个学 校进行信息查询和决策分析。为了避免上述情况的存在，数字校园建设必须做到 数据共享，只有数据共享之后才能保证数据一致，减少冗余，提高利用率，这就 要求统一设计共享数据中心架构，为今后各部门的信息化工作提供准备和支持。 因此，为了实现校园各个信息系统之间的数据同步，将各个系统间的信息真 正整合起来，实现系统间的信息互动，各高校都出台自己的共享数据中心方案。 共享数据中心既能有效地解决大部分“信息孤岛 的问题，保证在多个应用系统 中同类数据的一致性，又能有效地共享教育资源、降低教育运行成本，提高教育 资源使用率、提高教学质量，还能有效地对大学、学院、系、专业及人、物、财、 信息、成本、时间进行管理。在校园内开发的各个数据库系统中，内容上是互补 的，通过互换数据可以节省开发资本和人力，避免重复建设，实现校园内各种信 息系统的互通互连和数据共享。而如何在较好的保护现有软件资源和数据资源的 本课题研究来源子华南师范大学“十一五”“2 l l 工程”公共服务平台建设项目。 情况下，把校内这些现有的异构信息系统和正在开发的新应用系统的信息资源进 行有机的整合集成，使用户能够得到动态的，在时间和空间上一致的信息服务， 这是共享数据中心建设所需解决的一个核心问题。 s o a 技术正是针对这些问题的最佳解决方案。s o a 技术的主要目标就是在 现有各种异构平台的基础上构建一个通用的，与平台无关、语言无关的技术层， 各种不同平台之上的应用程序可以依靠这个技术层来实现彼此之间的连接和集 成。所以，s o a 很适合于应用在像数字化校园这种分布式、松耦合并且异构平 台的场合，它可以彻底的解决信息孤岛问题，并且充分利用已有软件资源。采用 s o a 这一开放式的技术构架，可以完全屏蔽不同软件平台的差异，无论是 c o r b a 、d c o m 还是e j b 都可以通过这种标准的方式进行互操作，依靠s o a 能够实时地访问不同系统、不同应用和不同平台的信息，实现在当前环境下最高 的可集成性。 本文在共享数据中心建设中引入s o a 技术，这样可以充分利用s o a 的先进 性技术，利用s o a 所提供的基于w e b 服务的标准接口，以及完好的封装性、松 散的耦合性、协议规范的标准性和高度的可集成性等特点，能够很好的满足数字 化校园中异构信息集成的需求。 1 2 国内外研究现状 面向服务架构( s o a ) 最早是由g a r t n e r 公司在上世纪9 0 年代末提出的概念， 强调服务的重要性。随着w e b 技术的发展，以及w e bs e r v i c e s 技术的逐渐成熟， s o a 开始受到更多专业厂商的支持。2 0 0 2 年1 2 月，g a r t n e r 公司又提出了面向 服务的体系架构是“现代应用开发领域最重要的课题”的观念，其后，国内外计 算机专家学者掀起了对s o a 的积极研究与探索。最初i b m 和b e a 是该理念的 主要推动者，后来有越来越多的企业加入，并且开始宣称支持s o a ，这其中包 括o r a c l e 、s a p 等企业。最初，m i c r o s o f t 公司并不是非常支持s o a ，但是现在， 微软新推出的s q ls e r v e r2 0 0 5 ，已经开始宣称是完全支持s o a 架构的，从微软 的转变态度看来，s o a 正在成为一个主流的趋势。此外，一些研究机构也广泛 开展了对s o a 的研究，这些研究机构包括各个大学和研究所。但是，大学和研 究所开展的研究多处于对理论进行研究，距离实际应用相距较远。 2 0 0 5 年，o a s i s 开始组织为s o a 和它的各种组件创建一些标准术语。接着， 2 它成立专门的小组来构建s o a 适配器的蓝图。各大企业如i b m 、b e a 、s a p 、 o r a c l e 、i o n a 、s y b a s e 以及x c a l i as a 在2 0 0 5 年1 1 月底组织了团队建立了新的 s o a 编程模型。 但是到目前为止，s o a 并没有形成统一的规范，各大厂商对s o a 的实现也 不尽相同。当前的s o a 主要存在着两大阵营：j b i 以及s c a 。j b i ( j a v ab u s i n e s s i m e g r a t i o n ) 的提出是基于面向服务体系( s o a ) 提倡的方法和原则，为了解决 e a i 和b 2 b 若干问题的j a v a 标准，当前版本1 0 是2 0 0 5 年8 月通过的j s r 2 0 8 ( j a v a 规范需求) 定案。s c a ( s e r v i c ec o m p o n e n ta r c h i t e c t u r e ) 是被很多厂商 推荐的标准，为不同平台不同语言解决组装问题的更广泛的方法，s c a 在2 0 0 5 年1 1 月，发布了0 9 版本的规范，其中包括了组装模型规范，j a w c + + 客户端以 及其实现规范。2 0 0 6 年4 月，整个s c a 规范有了很大的改进，推出了对应的0 9 5 版本。2 0 0 7 年3 月，s c a 的1 0 版本终于发布。目前，s u n 和t i b c o 公司支持 j b i 规范，而b e a 、i b m 、i o n a 、o r a c l e 、s a p 、s i e b e ls y s t e m s 和s y b a s e 等公 司支持s c a s d o 规范。 在数据整合方面，s o a 提供了一种快速的数据集成方案，它关注被共享的数 据与可重用服务，而不是专有的集成产品，因此能够更快、更轻松地确保i t 投 入与企业战略保持一致。当前国外一些著名的数据库公司如s y b a s e 、i b m 、o r a c l e 和中间件公司如c a 、t i b c o 等，开发了相应的中间件产品，用于解决异构数据 共享问题。但使用这些中间件产品还需要做大量的数据接口开发工作。 在国内，2 0 0 6 年中国s o a 软件与服务市场规模为5 千万美元。据i d c 预测， 2 0 1 0 年该市场规模将达5 亿美元【2 】，在未来五年中将呈现出复合增长率每年以两 位数的速度增长的强劲势头。伴随着面向服务架构应用的稳健步伐，各个公司在 实现各种w e bs e r v i c e s 和将已有应用转换成面向服务架构等方面取得了重大的 进展。一些银行、电力和电信等大型企业正在利用s o a 建立起灵活的系统，并 将他们当前复杂的信息系统加以整合从而满足其业务要求。此外，政府也在推进 数据共享平台的建设工作，同时国内一些公司如东方通、慧点科技和中软等在这 个领域也进行了系统的研究，开发了一些数据共享中间件产品，但是现阶段国内 比较完整的数据交换产品和应用不多。目前一些高校如清华大学【3 1 、上海交大以 及华南师大等也正在研究校园数据共享的方案，通过建立校园公共数据中心实现 数据共享。 从上述分析可以看出，无论是在国内还是国外，未来s o a 将在更大范围内 得到更为广泛的应用。 1 。3选题意义 我国高校目前普遍的现状是已有的大量分散的信息系统，但这些信息系统之 间缺乏信息交互和统一管理、无法集中管理、共享和挖掘由这些系统所获取的用 户信息，众多彼此孤立的信息系统的管理和维护很困难。以数字化校园的理念为 基础，国内的一些著名的高等院校纷纷开始共享数据中心的建设。借鉴国内外一 流大学的信息化建设经验，结合目前我国校园的实际情况，认识到标准化是数字 化的前提和基础，数字化校园建设的当务之急是建设全校性的基于教育部信息标 准的中心数据库，以提高硬件资源利用率，充分共享学校教学、科研和管理的基 础数据及己产出的中间成果，避免各应用系统开发形成新的信息孤岛。 数字化校园的目的j 下是集成校园中的众多信息系统，建设统一交互的信息服 务环境。因此，将s o a 技术应用于高校的数字校园的建设，探索出适应于高校 信息化建设的数据集成、服务集成的方案具有较强的理论和实际应用意义。 共享数据中心的核心是实现与其他应用系统之间的数据同步，以解决目前数 字校园异构环境下的数据集成共享问题。所以，对基于s o a 的数据同步的研究 有着重要的理论和实践意义。 1 4 本研究的组织结构 全文共分六章，各章节论述的内容如下： 第一章绪论：主要介绍课题的研究背景和选题依据，国内外的研究现状 和论文的组织结构以及论文的特色性工作。 第二章共享数据中心研究：分析当前所面临的校园内分布的异构应用系 统集成困难的问题，介绍共享数据中心的概念、在数字校园中的地位，研究共享 数据中心的构建技术，以及数据同步技术。 第三章面向服务架构( s o a ) 研究：介绍s o a 的相关实现技术的概念和 作用，包括e s b 、w e bs e r v i c e s 、j m s 等技术。 第四章基于s o a 的数据同步方案：针对华师当前对应用系统集成主要的 研究方案和技术发展状况，提出数字校园中基于s o a 的数据同步解决方案。 4 第五章基于s o a 的数据同步实现：对人事信息管理系统进行同步需求分 析，提出基于s o a 架构的数据同步技术实现。 第六章总结和展望：对全文进行总结，提出自己的观点，并对该领域进 行展望。 1 5 本章小结 本章介绍了本文的研究背景，即数字校园建设中信息孤岛的出现，提出了本 文的研究课题数字校园中基于s o a 的数据同步研究，来解决信息孤岛的问 题。接着研究了国内外s o a 技术和数字校园研究的现状及主要成果。最后，介 绍了本文的组织结构和研究来源。 5 第二章共享数据中心构建研究 2 1共享数据中心概述 共享数据中心( s d c ) 是收集、处理和存储各类共享数据，并为全校提供信 息共享服务的平台，它实现校园内各种信息系统的互通互连和数据共享。数据是 学校的宝贵财富1 4 】，特别是在管理高度依赖于信息化设施的今天，数据支撑着学 校的正常运行。但是高校的数字校园建设是有阶段性的，总体上各应用系统是松 散耦合、相对独立的。业务数据根据应用系统进行划分，并分布在相应的业务数 据库中；而应用系统之间需共享交换的数据可以集中存储、集中管理，形成一个 统一的共享数据中心，这个数据中心包含全校共用的基础数据和各业务系统的交 换数据。建成的共享数据中心将服务于学校的教学、学生的教育、各院系和行政 部门的交流和管理等方面的应用。 2 1 1 主要特点 共享数据中心基于主题数据库建设，以面向业务划分主题数据库，主要数据 都存在于共享数据中心，使用统一的接口进行各应用系统之间的数据交换。使用 元数据管理系统对数据库进行管理维护。其架构图如图2 1 所示： 图2 1 共享数据中心架构图 6 共享数据中心的主要特点如下： ( 1 ) 易于进行系统集成和数据交换； ( 2 ) 数据访问更加容易； ( 3 ) 易于进行联机分析处理，提供准确、完整、有效的决策支持： ( 4 ) 易于扩展和开发新的应用系统； ( 5 ) 主要业务数据存储于共享的数据库中，保证数据的唯一性、准确性和 一致性。 2 1 2 实现目标 总的来说，共享数据中心要达到的目标如下： ( 1 ) 整理现有系统的数据，将存在于各个“信息孤岛 中的脏数据逐步清 除，确保共享数据中心中数据的权威性。 ( 2 ) 完成与已有应用系统的数据对接，保证这些系统之间核心数据的交互。 ( 3 ) 完成待建应用系统与上述现有应用系统的数据对接。 ( 4 ) 根据业务需求，为未来的应用系统提供数据支持服务。 2 1 3 设计原则 ( 1 ) 系统耦合性低 由于本系统需要与多个系统进行数据的对接，因此在设计上必须考虑耦合性 的问题。多个系统在做系统集成的过程中不可能在短期内全部部署，而只能通过 规划逐步与共享数据中心衔接上线，这样就需要在设计过程中尽量降低应用系统 与共享数据中心间的耦合性，减少系统间的数据依赖。 ( 2 ) 可扩充性强 由于各个应用系统是逐步加入到共享数据中心的，因此对于其扩充性也需要 作为重点考虑。共享数据中心必须能支持目后其他应用系统的交互数据整合，同 时也可以支持对新加入的数据进行数据服务发布。 ( 3 ) 数据完整性 共享数据中心将采用与各个应用系统完全不同的数据模型，这种数据模型可 以保证进入共享数据中心的数据完整性，以保证共享数据中心中所存储的数据的 权威性。 ( 4 ) 可维护性好 7 共享数据中心将采用j 2 e e 架构进行构建，因此共享数据中心的大部分维护工 作都是在浏览器下进行的。共享数据中心将提供最大化的配置功能，为日后的系 统新新增以及系统异常纠错奠定基础。 ( 5 ) 数据安全性高 由于共享数据中心中的数据大部分是与业务相关的核心数据，并且也会涉及 到个人隐私的数据，因此对于其安全性要求会很高。通过系统的多级权限控制以 实现不同权限级别的人员只能访问其权限范围内的数据，以保证数据的保密性以 及安全性。 ( 6 ) 保证数据传输性能 共享数据中心对于数据访问的性能要求也是相当的重要，必须能支撑多个应 用系统的并发事务访问以及承载百万级的数据查询访问。另外对于未来业务的发 展所带来的系统压力，也需要在设计时考虑进去。 2 2 共享数据中心构建 2 2 1整合模式 共享数据中心主要目的是将多个系统的数据进行整合，基本上可以分为两种 整合方式：一种是并集模式。通过数据集中的方式，将所有系统的核心数据以并 集的形式存放到共享数据中心中，这种方式优点是可以完成系统级的整合，数据 可以统一进行管理，并且系统安全上也得以加强。但同时也存在一定的弊端，那 就是系统改造的工作量巨大。实现并集模式的共享数据中心需要对目前应用系统 的数据进行并集整理，这需要对数据冲突的部分进行一定的取舍，同时还需要对 目前的应用系统进行全面改造，将原有的核心数据操作都转移到共享数据中心 上，而且还需要对各个系统中人员身份及权限进行统一，以保证数据操作的安全。 共享数据中心构建的另外一种模式是采用数据交集的方式，它是通过前期的 系统调研，将各个应用系统间需要交互的数据进行整理，以完成共享数据模型的 构建。系统间的数据交换完全通过共享数据中心来实现，应用系统只需要对共享 部分的数据操作进行相应的系统改造就可以实现，并且权限模型可以沿用旧有系 统的。这种实现模式可以减少共享数据中心的构建周期，对旧有系统的改造规模 较小，而且应用系统与共享数据中心之间是松散耦合的，也就是说各个应用系统 脱离了共享数据中心也可以正常运行，不过数据整理部分的工作任务与并集处理 8 模式大致相同。但交集模式不是共享数据中心的一个完整实现，它主要通过实现 共享数据中心中的核心功能一数据同步来实现系统间的整合，因此交集模式是 共享数据中心并集模式的一个过渡阶段。 在这里，我们根据数字校园的实际情况选用交集模式来构建共享数据中心。 随着共享数据中心的构建和发展，逐渐形成共享数据中心的数据积累，旧系统会 逐渐被摒弃，取而代之的是基于共享数据中心构建的新系统，最后完成系统的一 体化，逐步构建起并集式共享数据中心。 2 2 2 整体规划 共享数据中心在整体规划上需要完成两部分功能，一部分是实现各个系统之 间的数据交互，主要针对目前各个系统都存在的数据进行整理，当某个系统数据 有更新的时候，通过共享数据中心完成各个系统之间的数据同步，以保证各个系 统中所存储数据的唯一性和有效性；而共享数据中心所要提供的另外一部分功能 则是实现数据服务，也就是基于共享数据中心中所存储的存根数据，针对客户的 需求提供相应的数据服务支持，并在各个应用系统进行展示，如综合报表类的需 求，它需要将各个系统的数据汇总后才能完成报表，生成这类报表的捷径就是通 过共享数据中心将所需的数据汇集起来，集中进行数据处理，并完成报表的数据 发布。在共享数据中心中，数据同步是数据服务的基础，因此这两部分功能需要 分阶段逐步进行构建。 共享数据中心的构建过程是一个逐步完善的过程，它需要根据业务系统的交 互变化而不断的修订，以满足用户的最终业务需求。鉴于目前各个系统相对独立， 业务上的交叉不是很明显，因此系统间的数据交互需要在需求调研过程中逐渐体 现出来，不过，目前最明显的交互需求就是人员的信息共享。目前在高校所运行 的信息系统中，财务、人事、教务以及研究生系统几乎覆盖了全校所有的教职人 员以及学生的信息，这些信息目前是分散在各个系统中的，其间存在着各种数据 冲突，因此，对于旧有系统的数据整理则成为了整个共享数据中心构建的前提。 通过对人员信息的处理可以逐步将共享数据中心的基础架构构建起来，为之后的 共享数据中心的发展阶段奠定基础。 总的来说，整个共享数据中心的构建需要经历以下几个阶段： ( 1 ) 共享数据中心基础架构构建阶段 9 该阶段会根据目前数据交互需求建立一个完整的基础数据模型，以完成共享 数据中心的基本处理工作。这包括对系统间数据映射的定义，对数据处理规则的 定义，数据流向的定义以及严格的数据清洗规则等，根据这些定义可以完整的将 共享数据中心的基本机能完成。这也是基本框架搭建阶段。 ( 2 ) 业务数据分析阶段 在数据分析阶段，需要对原有应用系统的数据进行共享部分的模型提取分 析，也就是将系统间要实现数据共享的部分提取出来，以形成未来的共享数据中 心主题模型。同时，还需要定义一定的数据处理规则，比如多个系统都存在有教 师的人员信息，那以哪个系统的信息为主，其他系统的信息为辅助，这是需要定 义一定的规则的。而对于那种冲突的信息是抛弃还是建立历史信息关联也是需要 事先定义的规则。这些规则会沿用到共享数据中心的上线，除非用户的业务规则 发生了一定的改变，或者共享数据中心的共享模式出现改变，如目前的共享数据 中心是以数据交集模式进行部署，以后随着业务的发展，需要共享数据中心支持 所有系统时，即应用系统合而为一时，有可能会将共享数据中心变更为并集处理 的方式，这种情况下就必须对原有的数据处理规则进行相应的改变。 在整理好共享数据中心的模型之后，通过共享数据中心的基础架构将所有的 数据处理逻辑定义完善，就可以进行下一阶段的处理了数据导入。 ( 3 ) 业务数据整理及初始导入阶段 业务数据由于历史原因，在做整合中肯定会出现很多问题，如重复数据，冲 突数据，非完整数据等。同时，由于原有应用系统是都多家厂商分别丌发的，因 此其数据模型各不相同，数据之间的关系也不相同。这就需要花一定的力气对这 些数据进行整理，将原有不相关的数据整理成有关联的数据，比如各个系统人员 信息中登录用户名的统一问题，或者通过使用同一登录用户名来处理，或者通过 数据映射来处理，以完成新数据模型与旧数据之间的关联。之后就需要建立相应 的数据导入规则以及数据导入计划。数据导入规则是根据共享数据中心所制定的 数据清洗规则对现有历史数据进行一次清沈导入的规则限定，这样可以保证在初 始时进入共享数据中心的数据是干净且完整的，对于那些脏数据则也需要在这个 阶段进行相应的处理，保证所有的数据都能正常保存到共享数据中心的数据库 中。同时，数据导入也需要制定一定的数据导入计划，各个应用系统的数据导入 1 0 优先级是不同的，必须按照它们各自的数据权威性实现顺序导入。 ( 4 ) 整体系统运作阶段 最后，共享数据中心的功能经过测试可以完全正常运转时，共享数据中心就 进入了运作阶段。在运作阶段，管理员除了要对日常的日志进行处理以外，还需 要进行一些必要的任务，如对共享数据中心数据模型的维护以及对数据的备份 等，以保证共享数据中心的正常运作。 2 3 数据同步 2 3 1 数据同步概述 共享数据中心核心的功能是保持与业务系统数据库之间的数据同步，以实现 各应用系统之间数据的一致性。 数据同步是共享数据中心对同构或异构数据源进行数据抽取，获取增量数 据，再对数据根据数据同步的规则进行清洗，再把它存储到共享数据中心的中心 数据库中，最后从中心数据库把更新的数据分发到其他应用系统的过程。 数据同步的过程主要分为三个步骤：数据导入、数据清洗和数据分发。 ( 1 ) 数据导入 数据导入是将应用系统变更的数据导入到共享数据中心数据交换区中，因为 应用系统旱的数据格式跟共享数据中心的不大一致，所以还要进行数据清洗。 ( 2 ) 数据清洗 数据清洗是将导入数据交换区数据进行清洗，存储转入中心数据库的过程。 数据清沈主要是对数据进行基本校验数据，如字段类型匹配判断、字段长度限制 判断、字段非空判断和唯一性检查等；以及逻辑分析，如输入数据与现有数据结 构以及现有数据的匹配处理。 ( 3 ) 数据分发 数据分发是将中心数据库中的标准数据分发到其他有需要的应用系统中，以 保持中心数据库与业务系统数据库之间的数据一致性。 2 3 2 数据同步方案 各应用系统所采用的后台数据库往往不相同，有s q ls e r v e r 的、有m y s q l 的、也有o r a c l e 或者其他的数据库和数据存储方式。要实现共享数据中心与其 他应用系统的数据同步，就要考虑到不同数据库之间存储数据的差异，提出一些 数据同步方案来完成。 目前实现数据库之间的数据同步主要有两种数据转换方式： 一是使用软件工具进行转换，如o r a c l e 公司的o w b 工具，微软s q ls e r v e r 提供的数据导入导出工具和d t s ( 数据传输服务) 工具。虽然软件工具是现成 的，使用也比较简单，但是只能做一些简单的格式转换，对于实际应用的一些复 杂情况，它就无能为力了。所以，软件工具有它的局限性，如果涉及到比较复杂 的格式转换，只能采用第二种方式。 二是开发一个专门的应用程序，设置传送变量同时连接两个数据库，进行直 接转换。这种方法能根据实际项目的情况，设计出满足要求的方案，所以，在实 际中应用得比较广泛。但是，设计出来的应用程序跟应用系统的紧密耦合，如应 用系统的数据库做了一些修改，那整个应用程序又要进行大的修改，而且调用应 用程序的客户端程序也要进行修改，这样花费的时间和精力很多。 本文使用w e bs e r v i c e s 来传送变更的数据。首先把应用程序封装成w e b s e r v i c e s ，w e bs e r v i c e s 提供标准的接口给客户端，客户端通过调用w e bs e r v i c e s 来实现数据的同步，w e bs e r v i c e s 的实现跟接口分离，如果需求改变，w e bs e r v i c e s 的实现按需求进行修改，但是接口的地址不变，客户端程序也不用进行修改，这 体现了松散耦合的特性。 传统的数据同步方案中，数据导入、数据清洗和数据分发三个步骤各自编程 实现，而没有考虑到应用系统之间的耦合性，导致了出现问题，需要修改的时候， “牵一发而动全身”，有的甚至不得不重新开发。紧密耦合也不利于以后的扩展 和升级。所以，本文将根据共享数据中心构建的松耦合、可扩展的特点，提出了 种基于s o a 的数据同步方案，利用s o a 松散耦合的特性，来满足当前数字校 园建设的需要。 2 4 本章小结 本章主要分析当前所面临的校园内分布的异构应用系统集成困难的问题，介 绍共享数据中心的概念、在数字校园中的地位，研究共享数据中心的构建技术， 以及数据同步技术。 1 2 3 1 $ 0 a 技术 第三章面向服务体系架构研究 3 1 1 $ 0 a 基本概念 s o a ( s e r v i c e o r i e n t e d a r c h i t e c t u r e ) 即面向服务的体系架构，是一种粗粒 度、松散耦合的服务结构。s o a 是服务的集合，服务是最核心的抽象手段，业 务被划分( 组件化) 为一系列粗粒度的业务服务和业务流程【5 1 。服务通过基于标 准、精确定义的接口通信，通信可能涉及简单数据传递、两个或更多的在一个活 动中协作的服务。由此，s o a 是一个其所有功能均被定义成精确定义的、可调 用的、独立的服务，且能被有序编排、构建业务流程的应用架构【6 】f 7 】。 s o a 的关键是服务。w 3 c 将服务定义为：“服务提供者完成一组工作，为 服务使用者交付所需的最终结果。最终结果通常会使使用者的状态发生变化，但 也可能使提供者的状态改变，或者双方都产生变化”。s o a 通过应用组件和传输 协议的松散耦合，服务的即时绑定，从而实现业务组件的虚拟化，造就一个虚拟 的集成架构或者集成平台服务总线，这样使得服务集成不受任何限制，可以同时 集成n e t 组件和j 2 e e 组件，以及集成其他遗留系统的各种应用，同时也可以随 时更换这些服务组件。最终达到敏捷的、不受限制的服务集成目标，从而使i t 能够随着业务需求的变化而自由调整，达到所谓的“随需而变的最高境界【阱。 3 1 2s o a 的特性与优势 3 1 2 1s o a 的特性 s o a 是一种粗粒度、松散耦合的服务架构，其服务之间通过简单、精确定 义的接口进行通讯，不涉及底层编程接口和通讯模型。这种模型具有下面几个特 型8 1 【9 】【1 0 1 ：。 ( 1 ) 可重用 服务是自治的实体，即服务自身是完全独立的、与底层实现无关的、自包含 的、模块化的。在实现时，它不需要从一个请求到另一个请求的信息或状态。服 务不应该依赖于其它服务的上下文和状态。当有新的业务需求时，服务可以方便 地被组合到新的业务流程中，从而降低开发成本，实现服务的重用与资源共享。 ( 2 ) 松散耦合 1 3 服务请求者到服务提供者的绑定与服务之间是松散耦合的。松散耦合是指相 互之间不依赖，具体包括：服务间的松散耦合、接口和实现间的松散耦合、组件 和传输协议之间的松散耦合。如不同的组件常常使用不同的传输协议，e 鹏使用 r m i ，w e bs e r v i c e s 使用s o a p 等，这就需要一个总线来实现组件与传输协议之 间的分离，通常使用消息中间件技术来实现这种松散耦合。s o a 架构里的服务 都是自实现的，服务间的功能不相互依赖。s o a 架构可以通过插件方式不断更 新和完整某一服务而不会影响现有服务的使用。 松散耦合旨在将服务使用者和服务提供者在服务实现与客户如何使用服务 等方面隔离开来。服务接口作为与服务实现分离的实体而存在，服务请求者不知 道提供者实现的技术细节，如采用的程序设计语言、部署平台等。服务请求者往 往通过消息调用操作请求消息和响应消息，而不是通过使用a p i 和文件格式， 与服务提供者进行交互。服务实现的修改完全不会影响到服务的使用者。 ( 3 ) 粗粒度 服务粒度指的是服务所公开功能的范围。通常来说，对于将暴露在整个系统 外部的服务推荐使用粗粒度的接口，而相对较细粒度的服务接口通常用于企业系 统架构的内部。从技术上讲，粗粒度的服务接口可能是一个特定服务的完整执行， 而细粒度的服务接口可能是实现这个粗粒度服务接口的具体的内部操作。虽然细 粒度的接口能为服务请求者提供更多的灵活性，但同时也意味着引入了较难控制 的交互模式易变性。 s o a 架构应该按更接近于实际业务本身的粗粒度的角度来对服务进行计 划，发布服务接口方法。这就要求设计和开发人员直接从业务的角度来构件s o a 所提供的服务。s o a 中服务的接口比传统的面向对象编程的a p i 要大，且更接 近实际的业务操作单元。通过使用粗粒度接口，服务系统能够对每项服务所参照 的对象进行访问控制。在每项服务可以被作为一组更加精细的细粒度对象的抽象 来实现的同时，对象自身能够对公共访问隐藏起来。采用粗粒度服务接口的优点 在于使用者和服务层之间不必再进行多次的往复，一次往复就足够。特别对于网 络应用，这可以很大程度上提升整体性能。 ( 4 ) 位置透明 s o a 架构中的所有服务的具体实现、位置和传输协议对调用者来说都是透 1 4 明的。客户端调用s o a 上的服务时不需要知道服务的具体实现。位置和传输协 议透明是s o a 与传统面向组件编程最根本的区别所在。目前的服务组件都是和 特定的服务器绑定在一起的。客户端调用相应组件需要知道组件在服务器的 u r l 。而且这些服务组件也只能接受特殊的传输协议，客户端调用时需要知道具 体的传输协议。而采用位置和协议透明技术，就可以使客户端无需根据组件的改 变而修改。通过服务总线对目前组件的接口进行进一步的封装，将能保证位置和 协议的透明。 3 1 2 2s o a