（计算机应用技术专业论文）基于中间件技术的分布式异构应用系统的研究与实现.pdf

摘要 摘要 基于中间件的多层体系结构以已成为当前架构大型分布式异构应用系统的重 要基础。中间件是多层体系结构中一个非常重要的部分，中间件为系统设计人员、 应用开发人员、系统维护人员提供了强有力的工具，它直接关系到整个应用系统 的好坏，甚至成为系统成败的关键。大型分布式异构应用系统在实现时涉及到的 问题很多，有集成多个异构子系统的需求，业务分布式处理的同时要求下级子系 统的数据向上级系统集中，这些问题都可以结合中间件技术来解决。目前我国中 间件应用的热点主要集中在传统业务系统的全面改造和电子商务应用系统的建设 两个方面。 文章首先提出了在实现分布式异构应用系统时存在的相关问题，并且分析了 现行解决方案上的许多不足之处，然后在此基础之上提出了本文研究的解决方案 一一接合中间件实现分布式异构应用系统中分布式事务处理完整性、远程数据传 输的可靠性；接合x m l 实现分布式异构应用系统中异构子系统之间的统一数据交 换平台。最后进行了理论实践，从现实上论述了如何结合中间件技术解决在架构 分布式异构应用系统时遇到的实际问题。文章中主要论述的试验内容包括：( 1 ) 基于x m l 的异构数据源的集成和交换方案、x m l 与数据库之间的映射定义以及 数据导出导入流程和具体算法实现；( 2 ) 多层体系结构中的中间层逻辑的设计实 现以及客户端与服务器端交互缓冲区的定义与具体应用举例：( 3 ) 应用服务端服 务的划分以及服务端负载处理算法；( 4 ) 为优化大数据量交互与多用户并发性能 而设计的缓冲区分配、读取、释放算法：( 5 ) 远程数据传输和异常处理实现方案 的设计与实现；( 6 ) 应用域之间互访问策略的实现；( 7 ) 系统功能测试、性能测 试及系统测试结果分析。 本文的研究课题来源于华南理工大学计算机应用工程研究所承接的“广东省 交通厅高速公路联网收费系统”项目。此系统是一个典型的大型分布式异构应用 系统，本研究课题紧密结合该项目建设的设计和实现。目前该系统已正式投入运 营，该系统能满足未来5 1 0 年广东省高速公路交通的整体发展需要，充分满足 了客户的需求，降低了运营成本。 关键词 中间件：分布式事务处理：x m l ：异构数据源：通信管理 华南理工大学工学硕士学位论文 a b s t r a c t b a s e do nt h em i d d l e w a r et e c h n i q u e ，t h em u l t i l a y e rs y s t e ma r c h i t e c t u r ea l r e a d y b e c o m e st h em o s t i m p o r t a n t f o u n d a t i o nt o e s t a b l i s h l a r g e s c a l e d i s t r i b u t e d h e t e r o g e n e o u sa p p l i c a t i o ns y s t e m m i d d l e w a r e i st h em o s ti m p o r t a n tp a r ti n m u l t i - l a y e ra r c h i t e c t u r e ，w h i c hp r o v i d e sas p e c i a lh e l p f u lu t i l i t yt ot h em a no fs y s t e m d e s i g n i n g 、t h em a no fa p pp r o g r a m m i n ga n dt h em a no fs y s t e mm a i n t e n a n c e i td i r e c t l y a f f e c t st h ec a p a b i l i t yo ft h ew h o l ea p p l i c a t i o ns y s t e m ，f u r t h e r m o r eb e c o m e st h ek e yo f s u c c e s s w h e nc a r r y i n go u tal a r g e s c a l ed i s t r i b u t e dh e t e r o g e n e o u sa p p l i c a t i o ns y s t e m ， w em a ym e e tm a n yi s s u e s ，s u c ha st h er e q u i r e m e n to fi n t e g r a t i n gs e v e r a l h e t e r o g e n e o u ss u b s y s t e m 、d a t ac e n t r a l i z i n gf r o m j u n i o rs y s t e mt os e n i o rs y s t e mi nt h e t i m eo fd i s t r i b u t e do p e r a t i o np r o c e s s i n g t h ei s s u e si n v o l o v e da b o v ea l lc a nb es l o v e d b yt h et e c h n i q u e sc o m b i n ew i t hm i d d l e w a r e a tp r e s e n t ，i nc h i n a ，t h eh o t s p o to f m i d d l e w a r ea p p l i a n c ef o c u so nt w oa s p e c t s ，w h i c ha r et h er o u n d l yr e c o n s t r u c t i n go f t r a d i t i o n a lo p e r a t i o ns y s t e ma n dt h ec o n s t r u c t i n go fe l e c t r o n i cc o m m e r c e i nt h ea r t i c l e w ep u tf o r w a r dt h ec o r r e l a t i v ei s s u e sw h e ni m p l e m e n tad i s t r i b u t e d h e t e r o g e n e o u sa p p l i c a t i o ns y s t e mf i r s t l y , a l s oa n a l y s i n gt h ed e f i c i e n c yo fe x i s t e n t r e s o l v e n t a f t e r w a r d ，w ei n t r o d u c et h er e s o l v e n to ft h i sp a p e r sr e s e a r c ho nt h eb a s i c o fa b o v ea r g u m e n t s t h es c h e m er e a l i z st h ei n t e g r a l i t yo fd i s t r i b u t e dt r a n s a c t i o n p r o c e s s i n ga n dr e l i a b i l i t yo fl o n g - r a n g ed a t at r a n s m i s s i o ni nd i s t r i b u t e dh e t e r o g e n e o u s a p p l i c a t i o ns y s t e mw h i c hc o m b i n e sw i t hm i d d l e w a r et e c h n i q u e s ；t h eu n i f o r md a t a e x c h a n g i n gp l a t f o r mb e t w e e nh e t e r o g e n e o u ss y s t e mi n d i s t r i b u t e dh e t e r o g e n e o u s a p p l i c a t i o ns y s t e mw h i c hc o m b i n e sw i t hx m lt e c h n i q u e s a tl a s t ，w ef u l f i lt h et h e o r y ， w h i c ht e s t sh o ws o l v et h ea c t u a li s s u e sm a k eu s eo fm i d d l e w a r et e c h n i q u e sw h e nw e b u i l dad i s t r i b u t e dh e t e r o g e n e o u s a p p l i c a t i o ns y s t e m i n p r a c t i c e t h ep r i m a r y e x p e r i m e n t a t i o nc o n t e n t si n c l u d e ：( 1 ) t h ei m p l e m e n t a t i o ns c h e m eo fh e t e r o g e n e o u s d a t a s o u r c e si n t e g r a t i o na n de x c h a n g eb a s e do nx m l 、t h em a p p i n gd e f i n i t i o nb e t w e e n x m la n dd a t a b a s e 、t h ef l o wa n dt h ea l g o r i t h m i ci m p l e m e n to fd a t ai m p o r t & e x p o r ti n d e t a i l ( 2 ) t h ed e s i g na n di m p l e m e n t a t i o no fa p p l i c a t i o nl a y e r 、t h ed e f i n i t i o na n dt h e a p p l i c a t i o ne x a m p l eo fm u t u a lb u f f e rb e t w e e nc l i e n ta n ds e r v e ri nt h em u l t i 1 a y e r s y s t e ma r c h i t e c t u r ei nd e t a i l ( 3 ) t h ea r i t h m e t i co fs e r v i c ep a r t i t i o n 、l o a db a l a n c ei n a p p l i c a t i o ns e r v e r ( 4 ) t h ea r i t h m e t i c s o fb u f f e ra s s i g n m e n t 、b u f f e rr e a d 、b u f f e rr e l e a s e w h i c ha r ed i s i g n e df o ro p t i m i z i n gt h ep e r f o r m a n c ew h e nm u l t i u s e ra c c e s sag r e a td e a l o fd a t ac o n c u r r e n t l y ( 5 ) t h ed e s i g na n di m p l e m e n t a t i o no ft e c h n i q u ew h i c hu s et od e a l i i a b s t r a c t w i t h l o n g d i s t a n c e d a t at r a n s m i s s i o na n d e x c e p t i o n a ld i s p o s u r e ( 6 ) t h e i m p l e m e n t a t i o no fs t r a t e g yu s et or e a l i z ea c c e s s i n ge a c ho t h e rb e t w e e na p p l i c a t i o n t e r r i t o r y ( 7 ) t h es y s t e mf u n c t i o nt e s t i n g 、p e r f o r m a n c et e s t i n ga n da n a l y s i n gt h er e s u l t o ft h es y s t e mt e s t i n g t h er e s e a r c ht a s ki nt h i sa r t i c l ec o m e sf r o mt h ep r o j e c to f “t h e g u a n g d o n g p r o v i n c et r a n s p o r t a t i o no f f i c ee x p r e s s w a yc o l l e c tf e e ss y s t e m ”w h i c hi sc a r r i e do nb y r e s e a r c hi n s t i t u t eo fc o m p u t e ra p p l i c a t i o n ，s o u t hc h i n au n i v e r s i t yo ft e c h n o l o g y t h i sp r o j e c ti sat y p i c a ll a r g e - s c a l ed i s t r i b u t e dh e t e r o g e n e o u sa p p l i c a t i o ns y s t e m ，a n d o u rr e s e a r c ht a s kt i g h t l yl i n kw i t ht h e d e s i g na n di m p l e m e n t a t i o no ft h i sp r o j e c t b u i l d i n g p r e s e n t l y , t h i sa c t u a ls y s t e mi sa l r e a d ya p p l i e dt ot h ew h o l eg u a n g d o n g p r o v i n c ef o r m a l l y ，a n di tc a ns a t i s f i e st h er e q u i r e m e n t so fg u a n g d o n gp r o v i c e e x p r e s s w a yt r a f f i ce x p a n d a b i l i t yb e t w e e nf i v et ot e ny e a r si nt h ef u t u r e i ts a t i s f i e st h e c o n s u m e r sd e m a n d sa d e q u a t e l y , r e d u c i n gt h ec o s eo f m a n a g e m e n t k e y w o r d sm i d d l e w a r e ；d i s t r i b u t e dt r a n s a c t i o np r o c e s s ；x m l ；h e t e r o g e n e o u s d a t as o u r c e ；c o m m u n i c a t i n g m a n a g e m e n t 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究 所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包 含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出 重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律后果由本人承担。 作者签名：哟叙 曰期：哆年多月弓目 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上相应方框内打“”) 作者签名：物触 导师签名 日期：矿矿年z 月；日 日期：耐年多月j 日 第一章绪论 1 1 研究课题的背景 第一章绪论 目前我国中间件应用的热点主要集中在传统业务系统的全面改造和电子商务 应用系统的建设两个方面。 许多的传统业务系统仍使用基于c s 模式的二层体系结构，随着业务的发展， 二层体系结构已暴露出如下问题：( 1 ) 所有客户机均直接( 或通过存储过程) 访 问数据库，不利于安全控制：( 2 ) 数据库连接数过多，影响数据库响应速度，降 低系统性能；( 3 ) 网络流量很大，易形成网络瓶颈：( 4 ) 系统扩展与维护性差。 在国内的大型分布式应用系统中，基于中间件的三层体系结构逐步取代传统 的二层体系结构已成为大家的共识。中间件是三层体系结构中一个非常重要的部 分，中间件对系统设计人员、应用开发人员、系统维护人员提供了强有力的工具， 它直接关系到整个应用系统的好坏，甚至成为系统成败的关键。大型的信息管理 系统多采用三层架构，中间层则多采用交易中间件。 基于中间件的三层体系结构至少具备以下优点：( 1 ) 中间件将客户端与数据 库隔离起来，客户端无权限直接访问数据库，有利于安全管理，可有效防止恶意 攻击：( 2 ) 利用中间件的安全管理特性可进一步加强权限控制管理；( 3 ) 中间件 能保持和复用数据库连接，中间件通过采用长驻服务进程的手段，使得与数据库 的连接被保持和复用，从而大大减少与数据库连接的次数和时间，提高了系统的 吞吐量；( 4 ) 三层体系结构在实际应用中往往以业务( 事务) 为主线，简化了业 务逻辑，利用中间件可方便地对客户端实现业务( 事务) 权限管理控制：( 5 ) 中 间件可实现对服务进程的有效管理，可使系统在额定的功率下稳定工作，当请求 服务的数量超过了服务器的处理速度时，中间件会把请求排队进行缓冲，保证了 系统的可靠性；( 6 ) 三层体系结构中，应用服务层往往有多台服务器，可有效地 解决客户机访问服务层瓶颈，应用服务器与数据库服务器可方便地采用宽带网连 接，不会产生与数据库服务层网络瓶颈；( 7 ) 中间件可提供路由选择、负载平衡 等功能，提高整个系统的可靠性和性能：( 8 ) 三层体系结构中应用系统扩展性和 资源复用性也很卓越，若要提高系统性能、处理速度，可增加应用服务器，分担 一部分应用服务工作即可，而原来的应用服务器几乎可以不动，原有性能较差的 设备( 微机、小型机) 均可发挥作用，从而最大限度地节省了设备投入成本；( 9 ) 大量复杂计算的工作均可放在应用服务器上( 可由多台小型机组成) ，客户机只做 用户输入与显示，对客户端设备硬件要求不高。 目前，分布式异构应用系统已在我国很多企业得到了广泛的应用，这些企业的 华南理工大学工学硕士学位论文 各级经营机构往往分散在不同的地域，有的还具有独立法人资格，且运行着相对独 立的业务系统，这样很多系统的业务数据分别滞留各自的系统中，同时，管理的需 求要求将分散在下级机构的数据适当地向上集中。因此，如何准确、及时、高效地 将各级机构的相关业务数据集中到上级机构往往成为应用系统成败的关键。 1 2 研究课题的来源、主要内容 研究课题来源于华南理工大学计算机应用工程研究所承接的“广东省交通厅 高速公路联网收费系统”项目。 本文主要论述了如何利用中间件解决实际分布式异构应用系统中的实际业务 需求，论文中讨论了一些关键问题的理论分析和实际解决方案，主要内容包括： 基于x m l 的异构数据源的集成和交换方案以及x m l 与数据库之间的映 射、数据导出导入流程和具体算法； 三层体系结构的中间层逻辑的设计考虑以及t u x d o 缓冲区设计在客户端 和服务端通信的具体应用举例。 为优化大数据量交互与多用户并发性能而设计的缓冲区分配、读取、释放 算法： 远程数据传输所采用方案的研究及通信管理子系统的设计与实现； 消息队列及应用程序功能的实现以及服务端负载处理措施： 系统测试及系统测试结果分析； 1 3 论研究课题的目的和意义 目前，部分高速公路的建设，由于长期以来多种投资渠道并举，形成了“一 路一公司、建管一体化”的建设管理模式。严重制约高速公路的通行能力。因此， 在省内实行联网收费，解决上述问题，提高高速公路的通行能力和服务水平，是 高速公路建设发展的必然趋势。广东省高速公路联网收费系统采用全省数据大集 中和业务分布处理的结构，将全省的高速公路划分为粤东、粤西、粤北、广州、 珠三角和深圳6 个区域，实行“区域联网”。根据全省各个区域的不同需求，整个 系统要在异构系统之间协调工作，涉及到多种操作系统、多种网络协议、多种数 据库。 广东省高速公路联网收费系统是一个典型的大型分布式异构应用系统，本研究 课题紧密结合该项目建设的设计和实现，目前系统已正式投入运营，最大限度满 足客户的需求，该系统能满足未来5 1 0 年广东省高速公路交通的整体发展需要， 降低了维护成本。 本课题将理论联系实际，分析了分布式异构应用系统中面临的几大问题：( 1 ) 2 第一苹绪论 中间层逻辑的实现；( 2 ) 异构数据源的集成与交换：( 3 ) 远程数据传输；( 4 ) 性 能优化。本研究课题讨论了一些关键问题的理论分析和实际解决方案，提出了基 于x m l 的异构数据源的集成和交换方案以及x m l 与数据库之间的映射、数据导 出导入流程和具体算法；分析了三层体系结构的中间层逻辑的设计要点：提供了 基于t u x d o 的客户端服务端通信的通用程序示例；设计了大数据量交互与多用 户并发的性能优化算法( 缓冲区分配、读取、释放算法) ；同时，课题中实现的通 信管理子系统的设计具有一定的通用性，可简单地移植到基于t u x d o 的其他分 布式应用系统中，此外，课题讨论了在具体应用环境下的消息队列实现方法以及 解决服务端负载的相关措施。 总之，本课题为解决实际的分布式异构应用系统的具体问题提出了自己的实 现方案，并给出了一些通用的、易于移植的方法、流程、算法和程序，对提高其 他省份和区域的联网收费系统的设计和开发效率提供了一个有效的样板，对类似 需求的分布式异构应用系统也具有一定的参考和借鉴意义。 1 4 论文的结构安排 第一章：绪论。简要介绍研究开展的背景，课题来源，以及主要的内容与意 义。 第二章：分布式异构应用系统与中间件技术。简要介绍了课题研究中所用到 的分布式异构应用系统和中间件等相关概念，以及目前中间件的关键技术分类和 应用领域。 第三章：分布式异构应用系统相关问题解决方案。本章针对目前分布式异构 应用的发展现状和当前企业级信息系统的发展现状，详细介绍了分布式异构系统 中的中间层实现、异构数据源交换与集成、通信管理及其他问题提出基于x m l 、 中间件的解决方案。 第四章：基于t u x e d o 的高速公路联网收费系统的实现。本章是论文的重点， 介绍了整个的系统的总体结构，包括系统逻辑结构、网络结构、系统软硬环境、 系统体系结构和功能结构，针对整个系统的中间层逻辑的设计，进行了理论阐述， 并给出了实现方法的示例，结合系统的逻辑结构，提出了基于x m l 的异构数据源 的集成与交换实现方法，结合系统的通信管理子系统，提出了基于t u x e d o 中间件 的通信管理设计和实现方案，针对性能优化问题，提出了为优化大数据量交互与 多用户并发性能而设计的缓冲区分配、读取、释放算法以及服务端负载处理措施 等。 第五章：系统测试。本章介绍了系统测试环境、功能测试过程、功能测试结 果与分析以及系统性能测试结果。 华南理工大学工学硕士学位论文 _ l - - - _ _ _ _ _ _ l - _ _ - l _ - l _ - _ - l - l l l - _ _ _ _ l _ i l _ _ _ - l _ _ l - - l - _ - l _ - l _ _ - i m 第二章分布式异构应用系统与中间件技术 随着企业信息化的发展，企业使用的信息系统日益增多、逐渐复杂，企业级 的集成越来越向分布式异构应用系统的方向发展了。分布式应用是指在通过网络 相连的不同平台上，在独立运行时间内运行的不同组件所构成的应用程序组。分 布式应用能并发服务多个用户，充分利用处理器资源，这主要取决于其设计特征。 中间件技术技术为了解决分布式应用软件在不同的技术之间共享资源逐步发展起 来。 2 1 分布式异构应用系统 分布式系统可以用硬件、控制、数据这三个维度加以检验。同时还要求资源 的分布必须对用户透明。 分布式系统= 分布式硬件+ 分布式控制+ 分布式数据 更简单的解释，一个分布式系统是一组独立计算机构成的系统，在用户看起 来像普通系统，其实是运行在一系列自治处理单元( p e ) 上的系统，每个p e 有各 自的物理存储器空间并且信息传输延迟不能忽略不计，在这些p e 间有紧密的合 作，系统必须支持任意数量的进程和p e 的动态扩展。 分别从物理和逻辑的观点来看看分布式系统的系统结构，如图2 1 所示： 几订陌 l j 、，l j 。y 、j 。7 7 通信系统 一、 l l 一 通信 ，一j l 通信 j 进程、j 一- 一 t a )【b ) 图2 - 1 ( a ) 物理观点的系统结构，( b ) 逻辑观点的系统结构 分布式应用系统多为异构系统，异构性可以体现在数据源的异构和网络的异 构等等一些方面，主要是体现在异构数据源的数据集成与交换。另一方面，多机 系统或分布式系统都是同构模型，即系统中的处理机完全相同。随着高速网络和 高性能p c 工作站机的发展，异构分布式系统在高性能计算中的应用越来越广泛。 而在异构分布式系统中，各个处理机有不同的失效率，每个任务在不同的处理机 上有不同的计算时间。例如，异构分布式系统已经被应用在数字信号处理，医学 第二章分布式异构应用系统与中间件技术 图像处理，天气预报系统以及其它很多计算密集数据密集型的应用系统中。典型 的分布式应用包括双重式( 客户机一服务器) 、三重式( 客户机一中间件一服务器) 和多重式( 客户机一多组件一多服务器) 。服务器层一般由多个异构的数据库服务 器构成，客户层可以是自助终端、通信终端、p c 机等，最关键的部件为“中间层”， 中间层是联系各异构的数据库服务器的桥梁，也是对客户层屏蔽异构的数据库服 务器的核心层，总体上看，中间层实现了复杂多变的应用逻辑，具体上看，中间 层实现了除了信息和数据的重用、转换、过滤、处理、集成等功能外，还要实现 系统的业务逻辑。 目前，在国内许多大型企业中，传统的集中式的客户端服务器两层结构已逐 步被分布式的三层机构所取代。分布式结构具有如下优点： ( 1 ) 系统具有更高的扩展性和灵活性； ( 2 ) 系统具有更强的处理能力； ( 3 ) 系统具体更低的维护成本； ( 4 ) 系统具有更强的业务适应能力； 分布式系统由一系列应用程序和通过计算机网络连接起来的各种主机构成。 应用程序之间相互交互，交换数据或者访问各自提供的服务。有些基础应用可能 被集成在操作系统里，但是总的来说，这些对于开发者来说太复杂了，于是出现 了中间件。中间件位于应用程序和操作系统之间，它的主要作用是提供一个集成 开发环境和平台，这样，复杂多样的网络和操作系统对用户来说是透明的| l o i 。 2 2 中间件技术 2 2 1 中间件技术的概念 中间件是处于操作系统和应用程序之间的软件，也有人认为它应该属于操作 系统中的一部分。人们在使用中间件时，往往是一组中l 训件集成在一起，构成一 个平台( 包括开发平台和运行平台) ，但在这组中间件中必需要有一个通信中间件 因此，可采用这种定义： 中间件= 平台+ 通信 这个定义也限定了只有用于分布式系统中才能称为中间件，同时还可以把它 与支撑软件和实用软件区分开来。 从这些定义中可以看出： 1 中间件是一类软件，而非一种软件。 2 中间件不仅仅实现互连，还要实现应用之间的互操作。 3 中间件是基于分布式处理的软件，最突出的特点是其网络通信功能。 华南理工大学1 二学硕士学位论文 2 2 1 中间件技术解决的主要问题 中间件( m i d d l e w a r e ) 作为一大类系统软件，与操作系统，数据库管理系统 并称“三套车”，其重要性是不言而喻的。它总的作用是为处于自己上层的应用软 件提供运行与开发的环境，帮助用户灵活、高效地开发和集成复杂的应用软件。 这样，复杂多样的网络和操作系统对用户来说是透明的。当然中间件分很多种类， 其具体的作用和解决的主要问题会依种类的不同而有差异1 。 我们用现实生活中的一个例子来理解一些不同的中间件所解决的问题。把分 布式系统看作广州市区的交通系统，各种各样的马路( 四车道、二车道、单行线) 看成是网络，交通工具( 汽车) 是需要处理和管理的对象，每分钟将有几万辆车在 马路上行驶，如果没有相应的交通设施和管理规划，广州市将会乱成一团，发生 各种交通事故。 1 通信处理( 消息) 中间件 首先要修好马路，安装红绿灯，设立交通管理机构，制定出交通规则，也就 是我们要建网和制定出通信协议，能在不同平台之间通信，实现分布式系统中可 靠的、高效的、实时的跨平台数据传输， 可缺少的，是销售额最大的中间件产品， 称为消息中间件。这是中间件中唯一不 目前在w i n d o w s2 0 0 0 操作系统中已包含 了其部分功能。其主流的产品有东方通科技公司的t o n g l i n k 、b e at u x e d o 的q 、 i b m 的m q s e r i e s 、j m s 等。 2 事务处理( 交易) 中间件 在分布式事务处理系统中要处理大量事务，常常在系统中要同时做上万笔事 务。例如在广州市就要设置各种运载汽车，完成日常的运载，同时要随时监视汽 车运行，出现故障时，要有排除措施，发生堵塞时要进行调度。在联机事务处理 系统( o l t p ) 中，每笔事务常常要多台服务器上的程序顺序地协调完成，一旦中间 发生某种故障时，不但要完成恢复工作，而且要自动切换系统，达到系统永不停 机，实现高可靠性运行；同时要使大量事务在多台应用服务器能实时并发运行， 并进行负载平衡地调度，实现昂贵的可靠性机和大型计算机系统同等的功能，为 了实现这个目标，要求系统具有监视和调度整个系统的功能。 b e a 的t u x e d oe h 此而著名，它成为增长率最高的厂商。一个事务处理平台， 根据x o p e n 的参数模型规定，应由事务处理中间件、通信处理中间件以及数据存 取管理中间件三部分组成。东方通科技公司的t o n g e a s y 实现了这个参考模型规定。 6 第二章分布式异构应用系统与中间件技术 3 数据存取管理中间件 在分布式系统中，重要的数据都集中存放在数据服务器中，它们可以是关系 型的、复合文档型、具有各种存放格式的多媒体型，或者是经过加密或压缩存放 的，该中间件将为在网络上虚拟缓冲存取、格式转换、解压等带来方便。 4 w e b 服务器中间件 浏览器图形用户界面已成为公认规范，然而它的会话能力差、不能作数据写 入、受h t t p 协议的限制等，就必需进行修改和扩充，形成了w e b 服务器中间件， 如w e b l o g i c 和j b o s s 。 5 安全中间件 一些军事、政府和商务部门上网的最大障碍是安全保密问题，而且不能使用 国外提供的安全措施( 如防火墙、加密、认证等) ，必需用国产的产品。产生不安 全因素是由操作系统引起的，但必需要用中间件去解决，以适应灵活多变的要求。 如东方通的t o n g s e c 。 6 跨平台和构架的中间件 当前开发大型应用软件通常采用基于构架和构件技术，在分布系统中，还需 要集成各节点上的不同系统平台上的构件或新老版本的构件，由此产生了构架中 间件，功能最强的是c o r b a ，可以跨任意平台，但是太庞大；j a v a b e a n s 较灵活简 单，很适合于做浏览器，但运行效率差：d c o m 模型主要适合w i n d o w s 平台，己广 泛使用。实际上国内新建系统主要是u n i x ( 包括l i n u x ) 和w i n d o w s ，因此针对这 两个平台建立相应的中间件要实用得多。 7 专用平台中间件 为特定应用领域设计领域参考模式，建立相应构架，配置相应的构件库和中 间件，为应用服务器开发和运行特定领域的关键任务( 如电子商务、网站等) 。 8 网络中间件 它包括网管、接入、网络测试、虚拟社区、虚拟缓冲等，也是当前最热门的 研发项目。 华南理工大学工学硕士学位论文 2 3 本章小节 本章用少量的篇幅介绍了课题研究中所用到的分布式系统和中间件等相关概 念。分布式系统由一系列应用程序和通过计算机网络连接起来的各种主机构成。 应用程序之间相互交互，交换数据或者访问各自提供的服务。有些基础应用可能 被集成在操作系统里，但是总的来说，这些对于开发者来说太复杂了，于是出现 了中间件( m i d d l e w a r e ) 。关于中间件( m i d d l e w a r e ) ，目前广泛接受的一个定义是： 中间件是处于操作系统、数据库和应用程序之间的软件，因为其承上启下的作用， 所以称为中间件。中间件( m i d d l e w a r e ) 作为一大类系统软件，与操作系统，数 据库管理系统并称“三套车”，其重要性是不言而喻的。中间件的针对性很强，不 同种类的中间件，其功能有很大差别。 第三章分布式异构应用系统相关问题解决方案 第三章分布式异构应用系统相关问题解决方案 在多层结构分布式系统中，各服务器之间以及服务器与客户机之间都是通过 网络连接起来的，并有大量信息和数据需要进行传递。对每个应用系统而言，在 设计和实现时最重要的是在应用服务器上的业务逻辑部分的实现，除此之外，对 于存在异构子系统的，还必须完成异构系统之间的整合，以及各个子系统之间的 信息传递工作。为了满足快速开发和系统可扩展性的需求，出现了中间件，它是 处于系统软件和应用软件之间的一批软件，使设计者集中设计与应用有关的部分， 大大简化了设计和维护工作。 3 1 分布式异构应用系统实现时面临的相关问题及现状 在多层结构中，中间层是实现整个系统的核心。涉及到数据库操作的要保证 交易的一致性，存在多个子系统的，或者需要下层子系统将数据向上层系统集中； 或者多个子系统之间需要交换数据，保证各个系统之间的数据同步，存在多个数 据源的，还需要解决“信息孤岛”问题。下面从几个方面加以分析，并谈谈现在 常用的一些解决方法及其缺陷。 3 1 1 交易完整性 通常把一个数据库内部的事务处理，如对多个表的操作，作为本地事务看待。 数据库的事务处理对象是本地事务，在异构分布式应用环境下，还涉及多个数据 库协同完成一个事务的应用需求，一个用户更新情况可能需要读取某个数据库的 数据，将数据插入到另个数据库，同时将更新第三个数据库，这是一个完整的 事务，任何一个数据库操作的失败将导致整个事务的回滚。因此，异构分布式应 用环境下，事务完整性问题非常重要。 目前，多数联机交易处理系统采用的三层c s 方式构架应用系统，通常采用 两种方式实现： 1 独立开发一个数据库连接程序 通过开发一个连接程序来连接客户方和服务方，由应用程序自己解决交易的 完整性问题。用连接程序来连接客户方和服务方，简化了c s 模式所固有的通讯 复杂性，能够快速构造出个c s 结构的应用程序。这种方式的优点在于简单， 通讯程序与应用程序基本合为一体，但这种模式的最大问题是对大规模并发请求 的适应能力。对每一笔交易，客户端都要与服务端建立一次连接，建立连接和启 动服务都将占用系统大量的时间；当随着业务的增加，系统规模的增大，请求增 9 华南理工大学工学硕士学位论文 多时，服务器就需要建立大量的连接，服务进程也将随着请求增加而不断增加， 造成对服务器系统资源的巨大需求。在业务繁忙或客户方和服务方通信速度较慢 时，主机中运行的进程数过多，性能下降，出现速度变慢，极端情况造成恶性循 环，引起系统崩溃。所以这一方式不能够胜任个大规模关键任务要求的增加。 此外，这种方式没有交易管理功能，交易的完整性要依赖充正机制完成，增加了 应用程序的复杂性。对关键应用非常重要的功能，如通信管理功能、网点监控、 核心调整、动态配置、流量控制、日志监控等无法实现。 2 利用数据库的连接工具 直接利用数据库的连接工具，同时采用数据库的交易处理机制来管理交易的 完整。数据库系统提供了许多支持联机交易处理的机制，如数据库镜像、数据复 制、数据分区、快速恢复、备份和恢复等，充分保证了数据库的安全和高效率， 再加上强大的日志功能、提交终止提交，回退手段、两阶段提交等，可以很好的完 成数据库内部的数据安全和高效处理。但数据库系统在分布式交易处理上由明显 的不足；数据库厂商提供的网络连接产品效率不高。这些产品大多是面向s q l 语 句的，尽管使用简单，但由于要在网络上交互s q l 语句，因而造成网络传输量过 大，严重影响效率。虽然目前许多数据库均支持存储过程以减少网络传输量，提 高效率，但又无法保证交易的完整性。 当涉及异种数据库时处理更加困难。比如一个交易涉及d b 2 和0 r a c l e 两个 数据库系统时，单靠数据库本身的交易处理机制来协调是比较困难的。数据库产 品也没有方便的开发接口，由于不提供开发接口，在应用系统需要扩充网络功能、 进行数据压缩和加密时都不太方便。现有系统对节点上的应用程序缺乏必要的管 理和调控手段。由于联机交易处理系统要求应用系统高效运行，对于控制众多并 发的应用程序、监控其运行状态的要求很高，数据库系统在其核心实现了多线程 及各种并发控制机制，但对应用程序一级的并发控制并无手段，中间件能够很好 地解决上述问题。 具体来说，如果没有交易中间件，应用系统需要在程序内部直接通知数据库 开始、结束和提交事务，当出现异常情况时必须由专门的程序对数据库进行反向 操作才能完成回滚。如果是有很多事务分支的全局事务，回滚时情况将变得异常 复杂。而使用资源管理器( 数据库) 与事务管理器( 中间件) 的x a 接口，全局事务 的提交可以由交易中间件控制，应用程序只需通知交易中间件提交或回滚事务， 就可以控制整个事务( 可能涉及多个异地的数据库) 的全部提交或回滚，应用程 序完全不用考虑冲正逻辑。 0 第三章分布式异构应用系统相关问题解决方案 在实际的异构分布式应用环境下，除了涉及多个数据库协同完成一个事务的 应用，保证事务处理的完整性，解决异构数据库领域中的异构数据源集成和交换 问题，实现数据共享的问题也非常重要。 3 1 2 信息孤岛 在分布式异构应用系统中，由于系统可能跨多个地区，有局部信息化应用的 需求，或者老系统不能满足新系统信息沟通的需求，这些情况下都可能出现信息 孤岛。异构的数据源是大部分大型应用系统所面临的问题，数据集成，也就是在 整合数据孤岛的同时，合并、净化和标准化数据成为大型应用系统数据管理领域 面临的最主要问题之一。异构数据源晟本质的差别在于数据格式定义的不同，即 元数据的不同，数据集成和交换同时包含了元数据和数据的集成和交换m ，。 常用的异构数据源集成和交换的方法如下： 1 利用o d b c 和j d b c 接口 对于异构数据库而言，本质的区别在于s q l 语法和语义，因此，异构数据库 之间的数据交换可采用o d b c 和j d b c 接口，o d b c 和j d b c 可以看成是数据库连接中 间件，0 d b c 和j d b c 实现了异构数据库s q l 之间的转换和翻译，将一种数据库的 s q l 请求翻译成另一种数据库的s q l 请求，并实现结果集之间的转换。 也可以说成，通过s q l 语句访问远程或异构数据库是集成数据的一种方式， 这种方式常常借助于o d b c j d b c 来屏蔽异构数据库在结构上的差异，实现异构 数据库之间的数据共享。 2 自定义格式 自定义接1 2 1 将信息从一个应用程序传到另一个应用，这能够按照用户需求而 精确实现，但创建和维护费用很大； 3 数据库复制 很多产品提供数据库复制的功能，定期或持续地将整个数据库或数据库的一 部分拷贝到另一个地点，复制非常简单，但除了拷贝之外没有处理数据的其他能 力； 4 e t l 解决方案 e t l ( 抽取、转化和装载) 解决方案是基于e t l 引擎的，从不同的应用程序 析取、转换、过滤和装载数据到数据仓库和( 或) 数据市集，能够将数据从一个位置 移到另外位置，并应用规则或表查询功能以某种方式连接或转换数据，e t l 功能 很强大但非常复杂； 华南理工大学工学硕士学位论文 5 w e b 服务 w e b 服务，包括x m l 标准在内的i n t e r n e t 协议所驱动的方式，用于完成独立 的两个系统之间的数据交换，w e b 服务允许基于s q l 的关系数据被作为x m l 数 据来访问，也允许通过s q l 访问本地x m l ，当应用之间是松耦合或无法用其他方 式实现集成时非常有用。 当然，数据集成可以采用其中一种方式或以上多种方式进行组合。对于用户 来说，不管采