（无线电物理专业论文）mqseries在数据异地备份系统中的应用.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体。均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：缝 日论文作者签名： 芝芷 日期：苎三二! ：! ? 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：导师签名： 山东大学硕士学位论文 摘要 s e r i e s 是业界领先的、面向消息的中间件产品，也是蜩系列产品的基础 和核心，它使不同的应用程序能够以企业级的性能，在广泛的平台上安全而可靠 地通讯它是商业通讯中间件，提供一个具有工业标准，安全、可靠的信息传输 系统它的功能是控制和管理一个集成的商业应用，使得组成这个商业应用的多 个分支程序( 模块) 之间通过传递信息完成整个工作流程。 同时，m q s e r i e s 作为一种标准的中间件，在具体的应用过程中还需要针对各 种情况进行2 次开发以适应新的应用要求因此，需要在m q s e r i e s 的基础上进行 封装和2 次开发，形成一套独立的通讯产品 本论文主要是根据我们的实际应用情况，基于m q s e r i e s 消息中间件，自主开 发了一套符合自身特点的通讯平台r c m ，在开发这套通讯平台的过程中，重点 解决了以下问题： l 、如何利用m q 组成符合数据异地备份系统的应用架构? 2 、如何将m q 封装为符合我们自己要求的通讯产品? 3 、如何保障数据安全? 4 ，如何进行大文件的传输? 5 、如何保证数据异地备份系统的通讯扩展性? 该通讯产品负责处理所有的通讯，其他开发人员不必编写任何通讯方面的程 序，且编程和调试非常简单和灵活，不需要具体的系统和通讯方面的知识尤其 在开发客户机服务器模式的应用时，开发人员可以集中精力在与业务有关的客户 端和服务器端的应用，而不必考虑操作系统和通讯，特别是底层的网络通讯，大 大节省了通讯编程工作量。 本论文的具体内容有：第一章，前言，讲述数据异地备份系统的建设的重要 性，阐述论文的研究目标、方法及完成的主要工作；第二章，对数据异地备份系 统建设的需求进行概述；第三章，对数据异地备份系统中消息中同件的选择标准 1 山东大学硕士学位论文 和要求进行研究分析，从方案的选择，方案的建议，方案的技术描述几个方面进 行分析；第四章，对m qs e r i e s 消息中间件进行了基本的概念描述和原理分析， 证实了该消息中间件能够符合数据异地备份系统的要求；第五章，重点描述了姆 s e r i e s 消息中间件在数据异地备份系统的具体应用的分析设计，将该消息中间件 进行进一步扩展，更加方便地满足客户软件系统的需求；第六章，描述在姻s e r i e s 消息中间件基础上自主开发的r c m 通讯平台；第七章、第八章，描述了利用卫星 通讯方式实现数据异地备份、容灾的无线传输模式。 2 关键词；m q s e r i e s ；异地备份：通讯中间件；消息；队列； 山杀大学硕士学位论文 a b s t r a c t m q s c r i c si sa nm e s s a g e - o f i e n t e dm i d d l e w a r ew h i c hk e e p sa h e a di nb u s i n e s sf i e l d , a n da l s ou s e d 罄b a s ea n dc 0 1 ei nm qs e r i e sp r o d u c t s i ti n a k e sd i f f e r e n tk i n d so f p r o g r a m sc o m m u n i c a t ei na 、i d ep l a t f o r ma saf i r mp e 商o r m c e i ti sac 0 1 _ i n e r t i a l c o m m u n i c a t i o nm i d d l e w a r e ，w h i c hd e l i v e r s a p p l i c a t i o n - t o a p p l i c a t i o nc o n n e c t i v i t y , p r o v i d i n gb o t has i m p l es o l u t i o nt om i d m a r k e tc o n n e c t i v i t yr e q u i r e m e n t sa sw e l l 船a f o u n d a t i o no nw h i c ht ob u i l da n dd e v e l o pi n t e g r a t i o ns o l u t i o n s i ts u p p l i e sas a f ea n d r e l i a b l em e s s a g et r a n s m i s s i o ns y s t e m i th a saf u n c t i o nt h a tc o n t r o la n ds u p e r v i s ea n i n t e g r a t i o nb u s i n e s sa p p l i c a t i o n , w h i c hm a k em u i t i p l ep r o c e d u r e s ( m o d u l e s ) t of m i s h w h o l et a s kp r o c e s sb yt r a n s m i ti n f o r m a t i o n m e a n w h i l e ，a sak i n do fs t a n d a r dm i d d l e w 盯e ，m q s e r i e sn e e d st od os e c o n d e x p l o i t a t i o nf o rv a r i o u sc o n d i t i o n si no r d e rt oa d a p tt od i f f e r e n tu s a g e s oi tn c 吼l $ t od o p a c k a g i n ga n ds e c o n de x p l o i t a t i o nb a s e do nm q s e r i e s f o r m i n g 缸i n d e p e n d e n t c o m m u n i c a t i o np r o d u c t a c c o r d i n gt ot h ea c t u a ls i t u a t i o n , b a s e do nm q s e r i e s ，w ee x p l o i tac o m m u n i c a t i o n p r o d u c ti n d e p e n d e n t l y , n a m e dr c m i nt h ee x p l o i t a t i o np r o c e s s ，is o l v e dt h e s e p r o b l e m s ： 1 ，h o wt oa s s e b l et h ea p p l i c a t i o nf l a m eu t i l i z i n gm q s e r i e sa c c o r d i n gt ot h e d a t ab a c k u ps y s t e m ? 2 、h o wt oe n c a p s u l a t em q s e r i e st oo u r r e q u i r e dc o m m u n i c a t i o np r o d u c t ? 3 、h o wt og u a r a n t e et h es e c u r i t yo f t r a n s m i t t e dd a t a ? 4 、h o w t o t r a n s m i t a l a r g e f i l e ? 5 、h o wt oc n s u l c o m m u n i c a t i o ne x p a n s i b i l i t yo f t h ed a t ab a c k u ps y s t c r n ? t h i sc o m m u n i c a t i o np r o d u c tw i l lt a k ec h a r g eo fa l lc o m m u n i c a t i o nt a s k s o t h e r e x p l o i t a t i o ns t a f fn e e d n tw r i t ea n yp r o g r a ma b o u tc o m m u n i c a t i o na s p e c ta n dw r i t i n g p r o g r a ma n dd e b u g g i n ga r ev e r ys i m p l ea n dd i r e c t , w h od o n tn e e dd e t a i l e dk n o w l e d g e a b o u ts y s t e ma n dc o m m u n i c a t i o n e s p e c i a l l yo n e x p l o i t i n gc l i n e t s e r v e rm o d e l 3 山东大学硕士学位论文 _ - _ _ i l i _ - _ _ _ - _ _ - - _ _ _ _ - _ l _ - _ i i l a p p l i c a t i o n , e x p l o i t a t i o ns t a 茸o a nc o n c e l 血a t ee l l e r g yo nc l i e n ta n ds e r v e ra p p l i c a t i o n w h i c hr e l a t e dt oa c t u a l o p e r a t i o n , a n di g n o r eh a n d l i n go p e r a t i n gs y s t e ma n d c o m m u n i c a t i o n ，e s p e c i a l l yn e tc o m m u n i c a t i o ni nb o t t o m i tc a ns a v ea b o u t5 0 0 p7 5 c o m m u n i c a t i o np r o g r a m m i n gt a s k sb yt h i sw a y f i r s tc h a p t e ri nt h ea r t i c l ei sp r e f a c ew h i c hs t a t e si m p o r t a n c eo fd a t ab a c k u p s y s t e m , r e s e a r c hg o a la n dm e t h o d s ，m a i n l yw o r k s w h i c hh a v e b e e nd o n e s e c o n dc h a p t e rs u m m a r i z e st h ed e m a n d sf o rd i f f e r e n t - a r e ad a t ab a c k u ps y s t e m t l l i r dc h a p t e rr e s e a r c h e sa n da n a l y z e sp o p u l a rc o m m u n i c a t i o nm i d d l e w a r e si n c u r l c n tb u s i n e s sf i e l d ，w h i c hs t r e s s e so na s p e c t s 越s e l e c t i o no fs c h e m e ，t e c h n o l o g y d e s c r i p t i o no f s c h e m ea n d s oo i l f o u r t hc h a p t e rd e s c r i b e st h ec o n c e p t sa n dp r i n c i p a lo fm q s e f i e s ，m a k i n gs u r et h a t i ta c c o r d sw i t ht h ed e m a n d so f d a t ab a c k u ps y s t e m f i f t hc h a l e td o e sd e t a i l e da n a l y s i so fm q s e r i e s sa p p l i c a t i o ni nd a t ab a c k u p s y s t e m , e n l a r g i n gi t s 嘲t os a t i s f yt h ed e m a n d so f c u s t o m ss y s t e me x p e d i e n t l y s i x t hc h a p t e rd e s c r i b e sr c m , ac o m m u n i c a t i o np l a t f o r mw h i c he x p l o i t e db y o u r s e l v e s ，b a s e do nm q s e r i e s s e v e n t hc h a p t e ra n de i g h t hc h a p t e rd og e n e r a ld e s i g no nu t i l i z i n gs a t e l l i t e c o m m u n i c a t i o n st oi m p l e m e n tw i r e l e s st r a n s m i t i o n p a t t e r no fd a t ab a c k u pa n d d i s a s t e r - p r e v e n t i o ns y s t e m k e y w o r d s ： m q s e r i e s ；d a t ab a c k u p i nd i f f e r e n t a r e a s ； c o m m u n i c a t i o n m i d d l e w a r e ；m e s s a g e ；q u e u e 4 山东大学硕士学位论文 i i _ _ _ _ - _ _ - _ - _ _ _ _ _ _ _ _ _ - _ _ _ _ - _ _ _ - _ 第一章前言 1 1 概述 、1 o 如期而至，我国银行业正面临着前所未有的机遇和挑战充分借鉴国内 外银行的经验，遵循技术发展规律，积极探索我国银行业电子化建设的基本架构 和实旌方式，是发挥银行自身优势，尽快融入国际金融大家庭，增强核心竞争力 的关键对我国以四大国有独资商业银行为代表的、业务覆盖全国的综合性银行 来说，实现全国性数据集中是网络时代迎接国内、国际挑战的必然选择 国内外商业银行电子化建设，大多经历了从业务分散到业务集中、从数据分散 到数据集中的阶段，通过业务集中和数据集中实现业务经营的规范化和集约化是 商业银行迈向现代化的必经阶段随着业务和数据的集中，技术风险的可控性提 高，风险的集中也随之而来，这种风险是我国商业银行发展中面临的必然问题 系统的稳定性和安全性成为各行从总行领导到基层员工最为关心的问题 数据集中，风险集中，灾难备份中心的建设迫在眉睫在原有分散的数据向数 据中心集中的同时，原来分散韵风险也随之集中在这种模式下，虽然安全性事 故、灾难发生的频率可能会大大降低，但其影响的范围和破坏的程度却大大增加 了，一旦出现问题，将可能导致全行性的业务停顿与客户流失，极端情况下甚至 会引发社会动乱因此，如何在灾难发生时保持业务的持续性和业务数据的安全 性成为了摆在各行面前的一道难题。因此，各行对灾难备份中心的建设工作应高 度重视，以避免灾难性事故的发生，在灾难备份中心的建设问题上，任何人都不 能存有侥幸心理 安全生产问题更为突出。在数据集中前，系统架构相对简单，各地方数据中心 均由技术人员负责辖内各系统的安全生产由于他们对系统涉及的各个环节比较 熟悉，而且与系统软件开发商的联系较为密切，与区域内的网络运营商的协调能 力较强，因此便于及时调动力量解决问题，对客户的响应时间较短：而数据集中 后，虽然在管理上便于维护、升级，但系统的架构变得更加复杂，牵扯的各方面 5 山东大学硕士学位论文 因素也比原来大大增加，而且很多问题由于权限问题在前置端无法得到解决，需 要向数据总中心反映，相对削弱了应变能力，因此迫切需要提高现有数据中心技 术人员的应急抗灾能力和应变管理能力 网络建设、管理的压力更大数据的集中处理对通讯网络系统的依赖性更强， 对带宽要求更高，那么如何才能保证业务终端的响应速度呢? 这对网络建设和网 络管理提出了更高的要求首先是通讯网络的备份线路建设问题，这在技术上不 存在问题，但应注意考虑风险分散，避免全部线路选择同一家网络运营商，有条 件的地方可考虑主、备份线路选择不同的运营商，如主线路选择中国电信，备份 线路选择中国广电其次是网络管理问题，数据集中后租用的带宽肯定提高了， 但我们不能通过无节制地扩充带宽来保证核心业务系统的正常运行，必须对带宽 进行切实有效的优化管理，优先保证业务流带宽，确保正常业务交易不被非重要 的数据访问干扰。如对部分网络流量较大而实时性要求不高的业务可通过错时、 分时的方式予以解决 1 2 论文的目的及主要内容 1 2 1 论文的目的 随着农村信用社业务发展和改革的不断深入，我省农村信用社逐步走上了。科 技兴社，科技强社”之路，加快电子化建设步伐，不断提高全省农村信用社电子 化服务和管理水平，促进各项业务的快速发展现已建成由一个省中心、十六个 市分中心、遍布城乡的6 3 3 0 个营业网点、2 2 6 台 t m 组成的计算机网络，联网网 点的覆盖率达到了1 0 0 ，统一申请了特别服务电话号码“9 6 6 6 8 ”，发行了。信通 卡”，并加入了中国银联，在全国农村信用社系统率先实现了全省信用社计算机综 合业务系统的联网通用目前每天通过网络应用系统完成的交易笔数超过1 5 0 万 笔，涉及的数据量高达2 t b 。 目前，农村信用社通过开发一套数据异地备份系统，用来保障全省各市农村 信用社业务数据的安全，为各市农村信用社综合业务系统灾后恢复提供数据依据， 提高全省农村信用社系统防范和抵御灾难性事件的能力。 6 山东大学硕士学位论文 在数据异地备份系统中，大量的日志文件和监控文件等数据信息是通过计算机 系统的网络传输实现的，由于传输为远程异地传输，而且，传输的数据量相当大， 这样除了网络上的稳定性以外，优秀的通讯产品是必不可少的。数据异地各份系 统在很大程度上是通讯上的工作，毫不夸张地说，通讯软件的成功与否，是整个 数据异地备份系统成功的关键l 该通讯产品必须有以下几个要求： 实时性要求：尽快地将数据传送到需要的地方 稳定性要求：必须运行稳定，保障数据的及时传输 效率要求：数据传输量大，需要传输效率高 正确性要求：数据传输必须保证传输数据的正确性、一致性 本论文的主要目的是研究分析当前现有的通讯中间件产品，设计开发一套灵 活方便并且安全可靠易用的通讯产品，并以该通讯产品在数据异地备份系统的应 用为例，介绍该产品所必须达到的性能和技术特点要求以及具体的设计和实现 1 2 2 论文的主要内容 本论文主要研究消息中间件m qs e r i e s 在数据异地备份系统的应用以及在该 消息中间件基础上的进一步应用 论文各章节具体内容分配如下：第一章，前言，讲述数据异地备份系统的建设 的重要性，阐述论文的研究目标、方法及完成的主要工作；第二章，对数据异地 备份系统建设的需求进行概述；第三章，对数据异地备份系统中消息中间件的选 择标准和要求进行研究分析，从方案的选择，方案的建议，方案的技术描述几个 方面进行分析；第四章，对m qs e r i e s 消息中间件进行了基本的概念描述和原理 分析，证实了该消息中间件能够符合数据异地备份系统的要求；第五章，重点描 述了m qs e r i e s 消息中间件在数据异地备份系统的具体应用的分析设计，将该消 息中间件进行进一步扩展，更加方便地满足客户软件系统的需求；第六章，描述 在m qs e r i e s 消息中间件基础上开发的r c m 通讯平台；第七章、第八章，描述 了利用卫星通讯方式实现数据异地备份、容灾的无线传输模式 7 山东大学硕士学位论文 第二章数据异地备份系统概述 2 1 数据异地备份系统简介 2 1 1 系统实现机制 数据异地备份系统是山东省农村信用社容灾备份系统的数据备份部分，通过该 系统实现全省农村信用社各市网络中心数据的远程异地备份 根据实际情况，整个容灾系统分两期完成，第一期目标是：在现有主机及网络 条件下，省中心为1 6 个市中心建立各自的实例环境，利用人工送达的数据库镜像 及自动传送的归档日志，依据制订的前滚恢复策略，完成1 6 个市中心数据库的异 地备份；第二期目标是：整体规划现有网络，完善各市中心的备份网络设备及线 路，制订切实可行的应急处理、灾难恢复方案，实现异地容灾的设想 本论文涉及的内容是实现第一期目标的重要组成部分，即数据在各市中心和 省中心问如何传输部分 数据异地备份系统的实现设想是： l 、在省中心的数据异地备份、容灾主机上为1 6 个市中心建立各自的应用环境 和数据库，建立各自的系统目录表空间，临时表空间，用户表空间； 2 、为1 6 个市中心建立各自相应的数据库实例环境，使各市的数据库环境从 实例级上分开这样，当某一市中心的数据库实例出现问题时，不影响其他市中 心的数据库环境，比从数据库级别上分开更加安全； 3 、用各市中心送来的数据库备份镜像创建省中心异地备份、容灾系统初始数 据库； 4 、接收各市中心传来的数据库配置信息，存储到相应的路径下，为以后市中 心出现问题或发生灾难时，省中心接管市中心办理业务或灾难后市中心重建数据 库时，调整数据库配置参数提供参考依据； 5 、每天自动接收各市中心传输来的数据库归档日志，存储到相应的路径下； 8 山东大学硕士学位论文 6 、每天自动备份业务批量前后时间点，避免省中心前滚恢复数据库时处于综 合业务批量过程中的情况发生； 7 、按照事先制定的前滚恢复策略，在省中心进行各市中心数据库的前滚恢复 8 、当某市中心出现闯题或发生灾难对，在省中心只需完成对应数据库所有归 档日志的前滚恢复。使数据库进入可用状态即可为出现问题的市中心提供完整 的数据库备份；如发生灾难的市中心无法在短时间内恢复业务，省中心可在网络 切换完成、容灾主机环境配置参数调整完毕后，代替市中心正常办理业务 图2 - 1 1 数据异地备份系统架构图 9 山东大学硕士学位论文 z 1 2 网络架构 数据异地备份系统是通过自动上传各市中心数据库日志，在省中心对数据库进 行前滚恢复操作实现数据库的异地备份该系统的网络架构为： 、 圭 图2 1 - 2 数据异地备份网络架构图 2 2 数据异地备份系统中的数据传输要求 z z l 实时性要求 理想情况下，数据异地备份系统希望能够达到各市业务数据的“零时差”备份， 因为只有这样，在某市出现异常情况时，系统丢失的数据才会达到最小；然而， 在实际情况中，却无法做到这一点除了网络条件较差的硬件环境以外，我们还 必须保障i b s ( 全省通存通兑系统) 等实际业务的网络传输，也就是说：只有在保 障正常的业务系统不受任何影响的情况下，才可以进行数据的异地备份传输；基 于上述考虑。数据异地备份系统采用“温备份”的方法，尽可能保证各市业务数 据的及时备份；因此，数据异地备份系统对通讯条件存在非常高的实时性要求 1 0 山东大学硕士学位论文 2 2 2 稳定性要求 除实时性要求以外，稳定性也是通讯产品的基本要求之一，只有通讯产品性能 保持稳定，数据异地备份系统才能保障数据的及时传输。提高系统的实时性，且 不能影响现有系统的正常业务操作 2 2 3 效率要求 目前情况下，全省各市中心每天生成的数据库日志数据量大约是1 5 g 左右， 特殊日期可能达到2 0 g ，这么高的数据量传输对通讯系统有非常强的技术要求； 如若通讯产品无法在2 4 小时之内全部将日志文件正常传输完毕，数据异地备份系 统也就失去了安全保障的意义 2 2 4 正确性要求 数据异地备份系统对各市业务数据进行集中备份，在网络上传输的是数据库的 归档日志，数据库日志传输的正确与否是保证数据库在省中心能否进行前滚恢复、 保持数据库同步的关键如果在网络传输过程中，一旦出现日志文件传输有误或 丢失的情况，将直接影响到业务数据的正确性、一致性，所以，数据异地备份系 统对通讯产品正确性的要求是达到1 0 0 的正确传输率i 2 2 5 传输机制要求 数据异地备份系统中的灾备中心和各市中心是一点对多点的关系，也就是说， 一个灾备中心将同时备份多个市的业务数据；这同样对通讯软件提出了非常高的 要求，通讯软件要做到各市数据传输的无关性，必须有好的传输机制作保证 系统采用c f i e n t s e r v e r 架构，实现一个s e r v e r 端，1 7 个c f i e n t 端的数据传输。 山东大学硕士学位论文 消息队列技术是分布式应用问交换信息的一种技术消息队列可驻留在内存或 磁盘上，队列存储消息直到它们被应用程序读走通过消息队列，应用程序可独 立地执行一一它们不需要知道彼此的位置，或在继续执行前不需要等待接收程序 接收此消息 在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的 分布式应用提供有效的通信手段。为了管理共享的信息，对应用提供公共的信息 交换机制是非常重要的 设计分布式应用的方法主要有： 1 、远程过程调用口r c ) 一一分布式计算环境( d c e ) f 准成分之一； 2 、对象事务监控( o t m ) 一一基于c o r b a 的面向对象工业标准与事务处理 f r p ) 监控技术的组合； 消息队列( m 嚣鼢g e q u e u e ) 一一构造分布式应用的松耦合方法 1 2 山东大学硕士学位论文 第三章消息中间件选择 3 1 消息中间件概述 消息传输中间件产品已经广泛地应用在金融、邮电、交通、政府等数据传输频 繁、交易量大的行业，目前开发消息传输中间件的厂商主要包括：i b m 、b e a 、东 方通科技等公司，产品主要有m q s e r i e s 、e l i n k 、n l 岍、t o n g l i n k q 、a 2 e - m q 等， 所有产品均各具特色可以预见消息中间件是目前中间件技术的发展热点，如果 把通讯中间件看成是一类特殊的消息中何件的话，那么消息中间件在目前的市场 上占据主导地位，而且发展势头迅猛消息中间件以其独特的优势为各种分布式 应用系统的开发注入了强劲动力，极大地推动了应用系统集成的发展 3 2 为什么要选择通讯中间件 在开发诸如“数据异地备份”这样的分布式应用系统中，网络通讯是其中重要 的组成部分由于网络通讯的复杂程度相对较高，网络通讯相关处理的工作量通 常占总开发量的3 0 5 0 通讯中间件正是解决此难题的通讯产品，在此基础 上开发的分布式应用系统具有安全性高、方便快捷、易调试并且具备良好可移植 性的特点 在软件开发的过程中，人们越来越意识到软件重用的重要性异构的系统、不 同的实现方案使软件的重用变得复杂且难以处理。在中间件产品出现以前，应用 软件不得不直接面对非常底层的东西，不同的硬件体系、不同的操作系统、不同 的网络协议和不同的数据库等，这些使得应用程序复杂多变面对易变的东西， 软件设计师们已经习惯于通过添加中间层的方式来隔离变化，即把应用软件所要 面临的共性问题进行提炼、抽象，在操作系统之上添加一个可复用的部分，供成 千上万的应用软件重复使用这一技术思想最终产生了中间件产品一方面中间 件要应对底层不同的环境，针对不同的环境进行不同的调用；另一方面，中间件 又要对上层提供统一的接口，保证在不同的环境中为上层提供相同行为的服务 具体地说，中间件屏蔽了底层操作系统的复杂性，使程序开发人员面对一个简单 而统一的开发环境，减少程序设计的复杂性，将注意力集中在自己的业务上，不 山东大学硕士学位论文 必再为程序在不同系统软件上的移植而重复工作，大大减少了系统开发的工作量， 提高了开发效率 中间件带给应用系统的不只是开发的简便、开发周期的缩短，也减少了系统的 维护、运行和管理的成本，减少了计算机总体费用的投入s t a n d i s h 的调查报告 显示，由于采用了中间件技术，应用系统的总建设费用可以减少5 0 左右在网 络经济、电子商务大发展的今天，从中甸件获得利益的不只是r r 厂商，1 1 r 用户同 样是赢家其次，中间件作为新层次的基础软件，其重要作用是将不同时期、在 不同操作系统上开发的应用软件集成起来，彼此像一个天衣无缝的整体协调工作， 这是操作系统、数据库管理系统本身所做不到的中间件的这一作用，使得在技 术不断发展之后，人们以往在应用软件上的劳动成果仍然物有所用，节约了大量 人力、物力、财力的投入 & 2 1 中间件产品比较 3 2 1 1m q s e r i e s 与b e am e s s a g eq 3 2 1 1 1功能与特性比较 1 ) 消息的安全可靠传输 由于采用了先进的程序设计思想以及内部工作机制，m q s e r i e s 是唯一可保证 消息传输的通信中间件，可保证信息的不丢失、不复传，并且超越线路条件差的 现状，真正做到“传一次只传一次”的效果，即“o n c ea n do n c eo u t ”：而m e s s a g e q 只能做到。最少一次”的传输，即。a tl e a s to n c e ”，且其处理消息复传的逻辑必 须包含在应用中； 2 ) 应用触发机制 m q s e r i e s 的处理方式是采用消息驱动的处理方式，它是通过触发器这一机制 来实现的，由此保证了异步和并行处理能力，也就是说，m q s e r i e s 的应用程序不 必总是在运行中的当第一个或第几个信息到达一个指定的队列时，一个应用可 以有选择的被触发起来，这样可以做到应用程序的执行是随机的，基于任务的， 并不是可预知的同时，由于许多不常用的应用不必同时都运行着，从而大大地 节省了系统资源而m e s s a g e q 却没有触发器这一机制 1 4 山东大学硕士学位论文 3 1 数据库处理和消息操作协同工作 用户当前的应用大多都是与数据库应用有关的，m q s e r i e s 不仅支持两阶段提 交，而且能够通过x a 资源管理器这一功能与其他数据库协同工作，这是m q s e r i e s 迈向同关系型数据库技术更紧密集成的第一步，将允许m q s e r i e s 用户享受到更先 进的功能，如高性能的大型数据对象处理能力，更好的安全性和日志管理功能 有了m q s e r i e s ，包含m q s e r i e s 和s q l 操作的应用程序可以通过m q b e g i n 命 令开始作业单元，该作业单元中的所有m q s e r i e s 和数据库操作都可以使用 m q c m i t 和m q b a c k 命令提交或回滚。这在事务完整性比较重要的场合中可以 简化应用程序的开发然而所有这些功能m e s s a g e q 都不具备 4 ) 大型消息和文件支持 随着内容丰富的数据( 如多媒体文件) 的普遍使用，通讯软件就需要对大型消息 提供支持m q s e r i e s 提供了强大的功能：消息长度最大可达1 0 0 m ；部分 g e t p u t ，可以分段发送和接收消息，这还可以应用于将多条记录集合为单一消 息；索引消息，索引是外部数据的逻辑指针，m q s e r i e s 能够可靠地传递被索引的 数据，将其保存在接收站点，并为目标处理过程提供索引而m e s s a g e q 最大可支 持消息长度却只有4 m 5 ) 消息传输性能 m q s e r i e s 在性能方面向来声誉卓著，而v 5 的改进更加强了该产品在这一领域 的领先地位：对m q s e r i e s 消息通道代理的改进显著降低了消息传输所需的时间和 资源，提高了每秒处理的消息量； v 5 内部的通道架构也有了特别改进，为永久和非永久消息提供了更高的处理 能力；允许消息通道代理迅速访问队列管理器，改进了永久和非永久消息的处理 性能 m q s e r i e s v 5 1 的性能又有显著的飞跃，如吞吐速度的提高、内存需求的减少 等 据测试表明，m q s e r i e s 和m e s s a g e q 的性能比较如下： 在n t 平台上的本地消息处理，m q s e r i e s 是m e s s a g e q 的2 倍； 。在u n i x 平台上的本地消息处理，m q s e r i e s 是m e s s a g e q 的5 倍： 在n t 平台上的远程消息处理，m q s e r i e s 是m e s s a g e q 的1 5 倍： l5 山东大掌硕士学位论文 - - _ - _ _ _ _ _ - - - _ _ _ - _ _ - - _ - _ _ _ _ _ _ - _ _ - _ _ _ _ _ _ _ _ _ _ _ i _ _ - - _ _ _ 在u n i x 平台上的远程消息处理，m q s e r i e s 是m e s s a g e q 的2 5 倍 6 ) 其他 m e s s a g e q 没有提供消息生命周期( 1 i f e t i m e ) 标志符以防止超时消息被传输；而 这一点直接影响到它能否保证”o n c ea n do n c eo n l y ”的传输； 当被发送的消息没有按时到达目的队列时，m e s s a g e q 不能发送消息没有到达 的确认信息； m e s s a g e q 不支持任何的外部交易处理； 这些差别表明m e s s a g e q 似乎缺乏一些非常重要的特性。其它一些主要性能比 较见下表： 特性，功能m q s e r i e sm e s s a g e q a p ic l i e n t 有有，但仅限于本地队列 命令行界面有 无 通道出口有无 数据转换有 无 动态配置改变支持不支持 消息分段支持不支持 网络协议n e t b i o s支持不支持 3 2 1 1 2 安全机制 m q s e r i e s 为用户提供了全方位、多层次的安全管理，从而确保了队列管理者 所拥有的资源不被非法存取，以防止消息的丢失和泄漏。系统中，m q s e r i e s 从以 下几个方面保证了系统的安全性：用户应用与队列管理者的连接；用户对m q s e r i e s 资源，如队列、通道、过程的操作；有关队列管理器的管理命令；对消息的存取等。 另外，m q s e r i e s 为用户提供了各种用途的出口功能，提供更加完善的安全措 施，如： 安全出口：主要用于消息通道两端的通道代理检查对方的权限； 发送和接收出口：可以用来进行数据的加密、解密以及数据的压缩、解压缩； 消息出口：可以用来在消息级实现用户的特定功能，如数据转换，加密、 解密等。 相比之下。m e s s a g e q 几乎没有提供任何安全措施 1 6 山东大学硕士学位论文 3 2 1 2m q s e r i e s 与t u x e d o q t u x e d oq 和m q s e r i e s 提供了一些相似的功能，但是实际上他们是以完全不 同的方式工作的在t u x e d oq 中的远程队列是直接连接到远程服务器上并在一个 工作单元中进行消息排队( 即类似于一个r p c 操作) 如果远程t u x e d o 服务器 或连接路径中的任何一个部件不可用，消息将不能写入队列中即t u x e d oq 不具备 存储转发的功能很难说在有1 0 0 个节点的系统中t u x e d oq 是否还能正常工作 t u x e d oq 的扩展能力很差 为了克服目前在t u x e d o 应用中的这个问题，客户需要将现有的t u x e d o 配置划分成几个t u x e d od o m a i n ，然而对于t u x e d oq 来说，管理d o m a i n 间的队 列是非常困难的 t u x e d oq 对于t u x e d od o m a i n 没有认识一个小型的实验型的t u x e d oq 应用的实现是很简单的，但当你试着把它扩展到一个真正的系统时就会出现问题 t u x e d o 的s a 需要为所有的d o m a i n 配置输入和输出 与这形成对比的是m q s e r i e s ，对等系统中的每一个服务器只需知道它的 邻居即可完成这一系列复杂的工作，而且扩展能力非常好 t u x e d o q 的日志是单线程的一个繁忙的系统的性能特性将会变得很差 而且应用会为队列头引起大量的冲突( 在t u x e d oq 中没有队列浏览能力) 此外。 由于所有的消息都是持久性的，每一次的入队出队都会被写入日志 所有的t u x e d oq 消息在本质上都是交易性的，而不管是否真的需要。如 果消息没有在一个应用的工作单元中入队或出队，t u x e d o 将会创建一个系统的工 作单元来完成此操作 3 2 1 3m q s e r i e s 与t o n g l i n k t o n g l i n k 是一个消息发送中间件，而不是消息队列中间件它也提供了一些 与m q s e r i e s 类似豹功能但是，目前看来这个产品远不如m q s e r e i s 成熟和强大 它仅仅提供了一些非常基本的功能。 应用程序与t o n g l i n k 系统之问的通讯都是通过两个操作系统的消息队列 完成的，在大规模数据传输，多进程并发存取的应用中势必成为系统不稳定的潜 在因素 1 7 山东大学硕士学位论文 - _ - - l - _ _ - _ | 1 i _ _ i t o n g l i n k 中真正存放消息的。队列”用户不可见，因此无m q s e r i e s 基于 队列机制提供的多种功能如队列的存取控制、队列优先级、基于队列中消息个 数的触发机制等 m q s e r i e s 可以在发送消息时再启动消息通道，而t o n g l i n k 要想发送消息 则必须保持通道的持续运行； t o n g l i n k 通过应用进程d 号来标识消息的发送者和接收者。但是，在每 次系统启动时，此i d 都会发生变化。这在发生意外时极易出现问题 t o n k l i n k 的安全机制很不完善。 3 3n o s e r i e s 的产品优势 经过多方调查，并将各通讯中问件同数据异地备份系统的实际需求想结合，同 其他通讯中间件相比m q 具有以下优势： l 、消息的安全可靠传输：由于采用了先进的程序设计思想以及内部工作机制， m qs e r i e s 是唯一可以保证消息正确传输的通信中间件，可保证信息的不丢失、不 复传，并且超越线路条件差的现状，宾正做到“传一次且只传一次”，即“o n c ea n d o n c eo n l y ”；而其他通讯中间件只能做到”最少一次”的传输，即。a tl e a s to n c e ”， 且处理消息复传的逻辑必须包含在应用中 2 、大型消息传输支持：随着内容丰富的数据的普遍使用，通讯软件就需要 对大型消息提供支持m q s e r i e s 提供了强大的功能支持：消息长度最大可达 1 0 0 m ；部分g e t p u t ，可以分段发送和接收消息，这种机制同样可以应用于将 多条记录集合为单一消息进行传输的情况；索引消息，索引是外部数据的逻辑指 针，m q s e r i e s 能够可靠地传递被索引的数据，将其保存在接收站点，并为目标处 理过程提供索引而其他通讯中间件最大可支持消息长度却只有4 m 。 3 、消息传输性能：m q s e r i e s 在性能方面向来声誉卓著 而v 5 的改进更加强 了该产品在这一领域的领先地位：对m q s c r i e s 消息通道代理的改进显著降低了消 息传输所需的时间和资源，提高了每秒处理的消息量；v 5 内部的通道架构也特别 改进，为永久和非永久消息提供了更高的处理能力；允许消息通道代理迅速访问 队列管理器，改进了永久和非永久消息的处理性能。m q s e r i e s v 5 1 的性能又有显 著的飞跃，如吞吐速度的提高、内存需求的减少等 针对以上特点，数据异地备份系统中的通讯中间件最终选定了m q s e r i e s l s 山东大学硕士学位论文 3 4