消息交换总线系统及其关键技术设计和实现

上海交通大学工程硕士学位论文摘要消息交换总线系统及其关键技术的设计与实现摘要伴随着保险行业的稳步发展，当前各保险公司在全国各地业务不断扩张，与其他金融机构诸如银行、基金、证券和再保险公司等的横向联系也不断增多。这些发展使得保险体系内各应用系统的逻辑关系愈加复杂，业务数据也呈现海量增长态势。在保险公司内部，原先大多通过点到点系统直联进行数据传送，或者直接以手动方式进行数据传送，而在当前行业大发展的背景下，传统的信息交流方式显然无法继续适应业务发展的需要。由此，设计一个更易接入、更易使用、可靠性更强的信息交换渠道已成为目前各大保险企业的迫切需求。构建这样一个信息交换主干既要满足保险行业目前以及将来的发展需要，又要考虑公司内部各种信息资源的优化整合，还要有利于降低整个系统的运行维护成本。本论文将从以上现实需求出发，介绍一种“企业整合架构与消息交换框架”的解决方案。本文首先研究保险行业业务系统的运行特点以及各业务系统间的数据传输需求，然后分析传统数据交换方式在传输效率、可靠性、可用性方面的不足。随后在此基础上，提出并设计符合行业需要的消息交换总线系统的解决方案，在此方案中我们将提出消息交换总线的概念，并介绍系统的基本组成、工作原理以及与实际业务系统的交互方式。通过与传统信息交流方式做比较，本文还将分析此方案的优点以及可行性。此外，本论文还将就解决方案中的关键技术“消息交换适配器”进行详细分析与设计，其中包括对消息交换适配器的详细分类、功能设计、组件设计、程序设计等。第V页上海交通大学工程硕士学位论文摘要关键词消息交换总线、文件适配器、消息路由、消息转换、IAA第VI页上海交通大学工程硕士学位论文摘要THEDESIGNANDIMPLEMENTIONOFTHEMESSAGEBUSSYSTEMANDITSCORETECHNOLOGYABSTRACTWITHTHESTEADYDEVELOPMENTOFTHEINSURANCEINDUSTRY,ALLTHEINSURANCEAGENTSEXPANDTHEIRBUSINESSCOUNTRYWIDEGRADUALLYANDSTARTTOSTRENGTHENTHEIRHORIZONTALCOOPERATIONWITHOTHERFINANCIALORGANIZATIONSUCHASBANK,FUNDS,STOCKJOBBERANDREINSURANCEAGENTTHISALLMAKESTHERELATIONSHIPOFTHEAPPLICATIONSYSTEMINSIDETHEINSURANCECOMPANYMOREANDMORECOMPLICATEDANDTHERATEOFTHEINCREMENTOFTHEDATAMOREANDMOREQUICKLYTHEREFORE,THETRADITIONALWAYOFDATATRANSFERWILLBEUNABLETOMEETTHENEEDSOFTHEDEVELOPMENTOFTHEINSURANCEINDUSTRYANYMORETOREALIZETHEOPTIMIZATIONANDINTEGRATIONOFTHEINFORMATIONRESOURCES，THETHESISINTRODUCESANEWSOLUTIONNAMED”ENTERPRISEINTEGRATIONANDMESSAGETRANSMISSIONFRAMEWORK”WHICHWILLHELPTOLOWERTHECOSTOFMAINTAININGTHESYSTEMSTHROUGHINVESTIGATINGTHEFEATURESOFTHEAPPLICATIONSYSTEMSINSIDETHEINSURANCECOMPANYANDTHENEEDSOFTHEIRDATATRANSMISSION,THETHESISANALYZESTHEDEFICIENCYOFTHETRADITIONALWAYOFDATATRANSMISSIONANDTHENTHETHESISEXPLAINSTHECONCEPTOFTHEMESSAGEBUSANDINTRODUCESTHEWAYITINTERACTSWITHOTHERSYSTEMSBYCOMPARINGWITHOTHERTRADITIONALWAYOFMESSAGETRANSMISSION,THETHESISANALYZESTHEADVANTAGEANDTHEFEASIBILITYOFTHISSOLUTIONBESIDESTHETHESISALSOANALYZESITSKERNELTECHNIQUENAMEDADAPTERKEYWORDSMSGBUS、ADAPTER、MESSAGEROUTER、MESSAGETRANSMISSION、IAA第VII页缩写英文全称中文含义EAIENTERPRISEAPPLICATIONINTEGRATION企业应用集成MSGBUSMESSAGEBUSSYSTEM消息交换总线系统SASOURCEADAPTER源适配器SAKSOURCEADAPTERKERNEL源适配器内核SASSOURCEADAPTERSHELL源适配器外壳DADESTINATIONADAPTER目标适配器DAKDESTINATIONADAPTERKERNEL目标适配器内核DASDESTINATIONADAPTERSHELL目标适配器外壳BODBUSINESSOBJECTDEFINITION业务对象定义BCABUSCOMMUNICATIONADAPTER总线通讯适配器DAEMONDAEMONPROCESS守护进程BOBUSINESSOBJECT业务对象MDLMESSAGEDEFINITIONLEVEL消息标识层MRLMESSAGEROUTERLEVEL消息路由层P2PPOINTTOPOINT点到点P2MPPOINTTOMULTIPOINT一点到多点PUB/SUBPUBLISH/SUBSCRIBE发布/订阅方式上海交通大学工程硕士学位论文缩略语缩略语第59页上海交通大学学位论文原创性声明本人郑重声明所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名李宵欢日期年月日上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密，在本学位论文属于不保密。（请在以上方框内打“”）学位论文作者签名李宵欢年解密后适用本授权书。指导教师签名李生红日期年月日日期年月日上海交通大学工程硕士学位论文第一章绪论第一章绪论11课题背景与研究意义目前，中国保险事业正处于一个稳步向上的局面，随着各地分公司业务的飞速扩展，以及与其他金融机构的横向合作日益增多，公司内部业务系统的负荷越来越重，不同系统间信息交换的成本也越来越高。因此如何把保险企业内部现有的各种信息资源优化整合，使已有资源能够在不同系统间实现共享，对公司自身信息化建设具有战略性的意义，同时也为今后新业务的拓展奠定了技术实现的基础。中国太平洋保险（集团）股份有限公司（公司英文简称CPIC）是1991年成立的中国太平洋保险公司的基础上组建而成的保险集团公司，总部设在上海。公司投资设立中国太平洋人寿保险股份有限公司、中国太平洋财产保险股份有限公司、太平洋资产管理公司等，在中国财产保险市场排名第二。原先集团公司的各业务系统与产寿险分公司系统、太保电子商务网站与产寿险分公司系统之间的信息交流主要是通过点到点系统直联传送数据或者手动传送数据，如电子商务网站和分公司业务处理系统的连接和数据交换，分公司统计、精算和再保险数据的上传等。随着新系统如产险核心系统，寿险核心业务系统，集团数据仓库系统，全司集中式财务系统等的陆续上线，这种点到点的数据交流方式越来越不适应太保对信息的要求；此外，系统之间的互联变的越来越复杂，实时性要求日益提高，如核保核赔系统需要调阅影像系统数据，并及时将结果反馈给出单系统。各个系统间的相互关联，构成了复杂的连接网络，耗费了公司大量的人力财力进行维护；同时，当新旧系统替换时，如何保持接口的及时更新，保证数据安全性和一致性都存在极大的风险。在此情况下，建立一个信息交换总线就成为首选的解决方案。在消息交换总线系统平台的基础上，集团内部的任何授权系统都将可以访问或获取其他系统的资源，新系统在实施过程中也可以随时加入消息交换总线。此系统的设计与构架，将大大降低整个系统的运行维护成本，新旧系统可以共存将大量减少接口代码的调整，从而减少了一次性替换所有应用系统的风险性。此外，在此系统的基础上，今后各系统的信息和数据交换都将遵循统一的方法和格式，从而帮助企业应用系统和数据更加一体化，有利于统一管理和监督。基于上述保险企业的现实需求以及发展需要，太平洋保险（集团）股份有限公司成立了专门的项目团队，以搭建企业整合架构与消息交换框架。通过与各专业子公司的总、分公司各相关业务部门、相关应用系统的负责人合作，共同展开项目需求分析。12需求现状与项目概况当前保险企业的内部系统主要有三种形式，基于TUXEDO的三层应用模式、第1页上海交通大学工程硕士学位论文第一章绪论基于WEB服务的应用和传统的C/S架构的数据库应用。这些系统之间的连接基本采用点到点的形式，数据交换的方式很多采用文件传输，数据交换的流向主要是分公司向总公司或集团上报数据，以及业务系统向统计分析系统传送业务和客户数据，在分公司内部不同系统间的数据交换是通过为这些数据交换定制专门的接口来完成的，而现有系统则基本没有对外开放的公共编程接口。综上，当前保险企业各业务系统间的数据交换方式主要有手工处理、FTP文件传送和共享数据库等方式。以统计系统的数据采集过程的具体数据交换方式为例，采集的频率为每天一次。分公司端应用程序有数据上传模版或脚本，每天通过FTP打包上传业务数据至总公司专用服务器，再由总公司端应用程序导入到总公司的数据库中。由统计系统的数据采集过程可见，现有业务系统间的数据传输大多需要定制开发或是人工参与，整个数据传输、交换过程较长，很难满足对实时性要求较高的系统的传输需要。此外，传输过程中往往需要第三方辅助工具，从而无法确保所传数据的准确性和可靠性。一旦传输过程中遇到异常，将无法及时发现，一般情况下无法做到断点续传，影响了传输效率。再而，随着企业的发展，各业务系统间的逻辑关系愈来愈复杂，上述传统而简单的消息交换方式无论从可操作性、可靠性、可维护性还是安全性角度，都将无法继续适应企业的变化需要。本论文所定义的“企业整合架构和消息交换框架”的目标是通过建立一个共同的消息交换架构来使公司内所有系统之间能够自由地交换信息，而无需知道相互之间的位置及对方系统的内部格式。本项目还将制定消息交换的流程和标准，建立集中的消息交换中心和连接其他系统的适配器，所以在本文中将该项目简称为“消息交换总线系统”。消息交换总线系统将服务于公司内将要建成的各个新系统以及公司内部的所有现有系统，为这些系统之间的信息交换提供平台。消息交换总线系统的目标分为技术实现和系统整合两个部分。技术实现包括定义用于系统互相连接的企业架构；建立消息交换架构，该架构可以连接所有现有系统和新规划系统；定义消息交换的标准以实现消息数据在系统之间的传输。系统整合则包括开发进行数据交换的消息交换中心，以及连接不同系统所需的相应的适配器；通过适配器将需要数据交换的现有系统和新规划系统接入消息交换总线系统，在消息交换中心实现数据交换的消息流；同时建立一套集中式的监控系统来监控消息交换总线系统内的通讯状态、消息状态、适配器运行状态等等。13论文安排和研究内容本人在攻读通信工程硕士期间，先后就职于中国太平洋保险（集团）股份有限公司信息技术部和IT运行中心，主要从事业务系统维护等工作。期间参与了公司关于“企业整合架构和消息交换框架”项目的概念设计阶段、计划阶段、开发阶段的工作。在开发阶段中，我主要参与关于文件适配器模块的设计和开发工作。根据上述信息化建设以及信息资源优化整合的需求，本文将详细提出通过建立企业消息交换框架的解决方案。消息交换总线可谓是保险公司的信息化高速公路，公司内部任何授权系统都可通过此消息交换总线，访问或获取其他系统的资源，从而大大降低整个系统的运行维护成本。消息交换总线系统的总体设计思想是通过多对一的通讯方式来改变系统间消息交换可能出现的多对多的复杂的网状结构，每个系统都只和消息交换总线系统保持单一接口，由消息交换总线系统第2页上海交通大学工程硕士学位论文第一章绪论来连接所有的系统。本论文的主要研究内容包括对整个解决方案的设计与分析、消息交换中心的定义和部署以及各类文件适配器的设计与实现。本论文的具体安排如下第一章绪论提出了论文的课题背景与研究意义，从当前保险企业内部各系统数据交换所面对实际问题出发，结合保险行业的业务特点，提出论文的选题。第二章具体分析保险企业的业务系统现状和各系统数据交换的主要方式，总结各传统数据交换方式所存在的缺陷，并提出本论文的解决方案。通过与传统解决方式做比较，最后指出使用消息交换总线系统进行数据交换的意义。第三章论述项目的总体解决方案，并对系统总体逻辑架构、各主要功能模块、系统运作流程、系统工作原理等进行分析与研究。第四章展开对消息交换总线系统中适配器模块的整体设计，其中针对不同业务类型设计了不同功能的适配器，并逐个展开功能设计和组件设计。第五章对文件适配器模块将进行详细设计，包括对适配器内部组件的设计以及各组件间调用关系的分析。此外通过设计总体程序流程图，完成文件适配器程序的具体实现。本章重点针对文件适配器模块各组件的功能设计与实现，基本完成总体解决方案中对此的设计需求。第六章在上述各章的基础上进行总结，回顾整个系统的设计思路。通过与传统数据交换方式对比，分析本项目的设计成果与意义。为使本项目的成果在今后实际生产中能得到成功应用，本章还就具体实施和部署方案提出了相关要求和研究展望。第3页上海交通大学工程硕士学位论文第二章需求现状分析第二章需求现状分析对于保险企业内原有数据传输方式的分析与研究是设计新型消息交换系统的基础，为此本章依据作者在保险公司内的工作经验以及对各业务系统的了解，综合分析了实际业务系统的数据传输需要、传统数据传输方式的缺陷以及新型消息交换系统可能给整体系统带来的影响。本章的研究内容为后续章节的展开打下了基础。21保险公司应用系统现状CPIC内部应用系统数量较多，大致分业务系统、统计分析系统、管理系统和基础支持系统几类业务系统在各分公司存在数据源，部分数据集中到总部；统计分析系统和管理系统主要部署在总部。其中业务类主要集中在产险公司和寿险公司。各专业公司的业务实现需要依靠多个关联系统的支持，如一份保单从投保到出单就需要使用前端的录单系统和收费系统，总部的核保核赔系统、影像系统、单证系统，各出单点的出单系统。保险业务由于市场竞争日趋激烈，对于处理时间的要求越来越高，特别对于部分险种，如航意险、旅游险等，需要支持现场出单，同时，公司对业务风险的管控也不断加强，业务流转过程中，需要参阅的关联信息和审批环节相应增多。CPIC的这些应用系统的结构主要有三种形式基于TUXEDO22的三层应用模式，基于WEB服务的应用，和传统的C/S架构的数据库应用。应用系统之间的连接大多采用点到点的形式，数据交换的方式以文件传输为主，数据交换的流向主要是分公司向总公司或集团的数据上报。在分公司内部不同系统间的数据交换是通过为这些数据交换专门定制的接口来完成的。现有系统基本没有对外开放的编程接口。22新业务发展趋势随着公司业务的不断拓展，许多新规划的项目陆续启动，这些规划项目有几个显著的特点一是新系统都将采用集中模式，不再保留分公司的数据源；二是新系统大多采用成熟的商用软件包，通过客户化或模块配置实现各种业务功能；三是系统功能单一化，实现专项功能，需要与很多系统建立关联；四是这些系统的试运行和推广周期较长，在此期间，新老系统需要并行，以保证业务的平稳过渡。这些都要求有一个类似消息交换总线系统的消息集中传输平台，以保证新规划项目之间的数据交换，而且要保证新规划项目和现有系统之间的数据交换。这些数据交换既有大数据量的批量传输，例如集中数据仓库的数据采集，也有小数据量的即时传递，如集中式财务系统和产险核心业务系统之间的保单账务信息。此外，根据保险行业的发展趋势以及我司对今后新规划项目的要求，今后新系统都必须符合IAA的数据模型，从而现有系统和新规划系统之间的交互数据还需进行格式转换。因此新型消息交换系统还将承担以IAAXML作为标准的数第4页上海交通大学工程硕士学位论文第二章需求现状分析据格式定义。23现有数据交换方式介绍太保现有的数据交换方式主要有手工处理、FTP文件传送和共享数据库等方式。如精算系统的数据采集过程采集的频率为每个季度一次。各个分公司先将数据库表导出为文本文件，通过FTP打包或邮寄光盘的方式上传业务数据到总公司专用服务器，再由总公司导入到总公司的精算数据库中进行汇总。每个分公司每次上传的文件压缩后在90M100M字节左右（压缩比17）。统计系统的数据采集过程采集的频率为每天一次。分公司端应用程序有数据上传功能，每天通过FTP打包上传业务数据到总公司专用服务器，再由总公司端应用程序导入到总公司的数据库中。每个分公司每天上传的数据量为90K字节左右。营销员管理系统的数据采集过程营销员管理系统主要在各分公司使用，和业务系统捆绑，使用同一个数据库。总公司需要营销员数据时，通过FTP打包上传汇总数据到总公司专用服务器。上传频率为每个月几次，数据量每个分公司为10K字节左右。总公司查询分公司营销员系统数据，采用直接连接分公司业务数据库的方式。营销员管理系统与电子商务系统的数据交换营销员管理系统的数据交换采用FTP文件传送方式不定期地将营销员数据发送到电子商务系统。24总线方式与现有数据交换方式的比较文件传送方式的主要缺点是应用系统间的同步性比较差。数据库共享方式的主要缺点是应用系统的操作都耦合到数据库上，比较难协作，并且容易引起数据库性能瓶颈。相比较，消息交换机制则有很多优点。首先，消息交换机制充当了一个调停者，降低了应用系统间的耦合度。消息交换总线系统所定制开发的适配器将提供多种调用方式，应用系统传递给适配器的信息格式也可以是多样的（消息或文件），从而该系统可为各应用系统提供简单、易用、高效的接入方式，使不同系统间的数据交互变得易于实现；其次，消息交换机制的消息传送过程是独立的工作单元，发送方和接收方不用关心数据传送的细节。通过使用消息交换总线系统的标准数据格式，各系统和其他系统通讯时只需按标准数据格式生成数据，而无需关心对端系统的数据格式使用消息交换系统，从而确保了系统的可扩展性、兼容性和灵活性，进而提供灵活而简便的接入方式；最后，消息交换机制允许应用系统间实现异步通讯，使得发送方不用等待接收方完成消息处理的响应。因此采用消息交换机制比现有数据交换方式有更多的好处。根据太平洋保险公司内部对IT一类项目（最高）的五年规划，消息交换总线系统将采用消息交换机制，并为其它IT规划项目提供数据交换服务。消息交换总线系统的建设，可避免各规划项目之间的数据交换沿用FTP文件传送和数据库共享的方法，取而代之的是使用数据交换服务。此方案的实施既避免了各项目第5页上海交通大学工程硕士学位论文第二章需求现状分析组关于通讯模块的重复建设，也节省了项目开发和维护成本。消息交换总线系统提供了统一的适配器接入机制，各业务系统在接入前无需再另行开发特定的消息交换适配器。因此各应用系统的开发人员能够将精力更集中在其业务功能的开发上，间接提高了各项目的质量。此外，各项目组也无需再配置各自通讯模块的开发人员，也不用再承担其通讯功能模块的维护职能。因此既降低了保险企业的整体运行维护成本，也避免了各项目独自开发各自的通讯模块而形成多种不同的通讯机制。随着各业务系统的集中化趋势，分公司层面的应用系统将会大大减少，而同一分公司内的不同应用系统之间的数据交换则将计划由各自的大集中系统通过消息交换总线系统来完成。对公司现有的应用系统，提出如符合“消息交换总线系统接入标准”的数据交换要求，就可以接入消息交换系统。基于IAA数据交换标准，消息交换总线系统中所传输的消息拟采用IAAXML的标准格式。根据应用系统的需要，对于不符合IAAXML格式的消息，也将由消息交换总线系统负责转换成统一格式。从而各系统间的数据交换将采用统一方式，交换数据也将采用统一格式，从而满足了系统运作的业务无关性和平台无关性。在消息交换总线系统运行稳定之前，现有应用系统大多会沿用原有的数据交换方式，有些应用系统也会随着规划项目的完成而消亡。从而总线系统的整体实施还将有利于公司信息系统的标准化管理。第6页上海交通大学工程硕士学位论文第三章消息交换系统的总体设计第三章消息交换系统的总体设计针对保险企业的内部消息交换需求，本章给出了构建消息交换系统这一解决方案。本章将首先介绍消息交换总线系统的总体拓朴结构，然后依次对其中各模块的作用和功能进行介绍和分析。此外，通过给出系统逻辑架构，本章还进一步分析了消息交换总线系统内部的消息交换流程，以及各模块的详细工作原理。31消息交换总线外部关联关系为使保险企业内外部系统能有一个统一的信息交换平台，并满足各类消息交换需求，本章将构建和设计消息交换总线系统。消息交换总线系统的实现，将使其成为企业信息交换的枢纽，总部的内部系统、产寿各分公司系统以及诸多外部系统都藉由此平台进行信息的集中传输和共享。图31即为消息交换总线系统的总体拓朴结构图31消息交换总线拓扑图FIG31TOPOLOPYOFTHEMESSAGEBUSSYSTEM说明分公司指太平洋保险集团的产险分公司和寿险分公司。消息交换中心负责对经过消息交换中心的消息进行转换、过滤、路由、备份等。控制中心负责对消息交换中心消息流、代理等的配置和管理。监控平台主要对WEBSPHEREMQINTEGRATOR对象、集团总公司和所有分公司的MQ对象、进程等进行监控。外部系统主要指银行等与保险公司互联的系统，如银保通系统。第7页上海交通大学工程硕士学位论文第三章消息交换系统的总体设计在系统最高层次视图中（见图32），消息交换总线系统（MESSAGEBUSSYSTEM）由一个消息交换中心（MESSAGEBROKER）和若干个适配器（ADAPTER）组成。这些适配器（ADAPTER）将与各自服务的业务应用（BUSINESSAPPLICATION）连接，承担业务应用和消息交换中心联系桥梁的作用，并允许满足不同业务需求的业务应用在指定的业务对象（BUSINESSOBJECT）格式下交换信息。图32消息交换总线高层视图FIG32HIGHLEVELVIEWOFTHEMESSAGEBUSSYSTEM32主要模块设计为满足消息交换总线系统与各业务系统间消息传输的需要，对消息交换总线的设计将包含以下几部分，消息交换中心、若干个适配器（ADAPTER）和监控系统等。适配器可通过与各自服务的应用系统连接，作为应用系统和消息交换中心联系的桥梁，而消息交换中心则将负责实现基于内容的路由等多种路由规则的消息交换要求。消息交换中心可进行消息格式的变换，允许不同种业务应用交换不同格式的信息，并确保消息准确到达目的地。321消息交换中心消息交换中心可使用IBMMQSERIESINTEGRATOR产品1，从而实现基于内容的路由和多种路由规则的消息交换要求。通过消息交换中心，允许异种业务应用交换不同格式的信息。消息交换中心能够处理消息格式的变换，并且确保准确到达目的地。因此，消息交换中心将主要完成两项任务消息格式的变换通过消息流定义实现消息的路由第8页上海交通大学工程硕士学位论文32231适配器第三章消息交换系统的总体设计适配器将包括一些软件程序、软件配置文件和应用编程接口（API）。每个业务应用都有自己面向特定应用的适配器接入消息交换总线系统。1适配器设计在适配器的设计过程中，需考虑以下内容提供一个适配器开发框架，为特定的业务应用开发客户化的适配器；连接应用和消息交换总线系统的连接器；配置并存储业务对象定义（BUSINESSOBJECTDEFINITION）。2业务对象（BUSINESSOBJECT）业务对象是业务应用程序之间传递的数据，传递的业务数据有几种目的从源应用向目标应用分发的数据从源应用向目标应用请求的数据目标应用响应请求的数据每个应用所处理和交换的业务对象是不同的，并且可能随着时间的改变而变化，因此在适配器中需要一个业务对象定义（BUSINESSOBJECTDEFINITION）模板，用于指定业务对象属性的结构及组织。3适配器组成由图33适配器组件模型可见，在消息交换总线系统中，适配器连接业务应用程序和消息交换中心，并且实现数据迁移。适配器可以位于任何一台机器上，只要能够存取必要的MQ队列，并能与应用程序交互。因此适配器由两部分组成与MQ通信的适配器核心；与特定应用程序交互的面向应用的适配器外壳。4适配器分类适配器共可分为以下三类通用适配器业务应用系统直接调用标准API编写的适配器，从而可以接入到消息交换总线系统。专用适配器在标准API不能满足某业务应用系统接入要求时，直接使用MQ自带的API定制开发的适配器。该类适配器一般是某个特定系统专用的。商用适配器为业务应用系统自带的、支持MQ产品的适配器。如果该系统要接入消息交换总线系统，则需要在此基础上进行客户化。第9页上海交通大学工程硕士学位论文32331监控系统第三章图33适配器组件模型FIG33MODELOFTHEADAPTERMODULE消息交换系统的总体设计监控系统主要实现对消息交换总线系统中运行的对象和消息流的监测和控制。其中需要监控的对象包括消息交换中心、消息（流）状态、各类适配器等运行在消息总线系统中的需要监控的可控对象。根据消息定位跟踪产生的日志信息，监控系统可以查询到相应的消息路径和消息体的内容信息。33消息交换流程在原有的消息交换模式中，保险公司各系统间的信息交互主要是通过点到点直联传送数据的方式，这样多个应用系统之间的交互就会形成一个复杂的网状结构，数据格式多种多样。在这样的网状结构中（见图34），没有统一的信息标准，没有统一的接口标准，每一次系统的相连都需要定制开发，不但导致了维护成本越来越高，而且使得信息的可用性和共享性也很差。第10页上海交通大学工程硕士学位论文第三章消息交换系统的总体设计图34网状结构图FIG34NETSTRUCTUREGRAPH通过构建消息交换总线系统，信息交互结构将为星状结构（见图35）。各系统可利用统一的信息交换平台，实现对应用系统透明的、跨操作系统的、跨数据库的、以及跨应用系统和管理域的数据交换。通过消息交换总线，应用系统之间能够自由地交换消息，而无需知道相互之间的位置及所需的格式。此外，本方案也将有能力成为各内部应用系统的整合平台，在整个保险公司范围内实现业务数据的智能分发，保证数据传输的安全性和可靠性，并简化新应用系统与其他系统通讯部分的开发。由于消息交换总线隔离了数据传输过程与数据访问和处理过程，从而提高了开放共享信息资源的安全性。消息交换总线系统的建立将使各系统间的消息和数据交换遵循统一的方法和格式，从而使保险公司的各应用系统更加一体化，也有利于统一的管理和监督。图35星状结构图FIG35ASTROIDSTRUCTUREGRAPH第11页上海交通大学工程硕士学位论文第三章消息交换系统的总体设计以下将举例描述消息交换总线中的某个应用系统与另一个应用系统之间的消息传递和处理过程。该过程主要包括以下三方面331消息发送发送端应用系统调用适配器API向消息交换中心发送请求消息。若消息有响应，则调用适配器API接收响应消息。332交换中心处理一旦消息到达消息交换中心，中心将对其进行处理。处理内容包括消息转换消息格式之间的转换；消息路由所有经由适配器到达消息交换中心的消息均包含总线消息头。消息头中包括源和目标节点ID、业务类型等路由信息。消息交换中心将根据这些路由信息对消息进行路由；消息存储所有到达消息交换中心的消息将根据需要进行存储备份。333消息接收当消息到达接收端后，应用系统可通过以下两种方式对其进行接收调用标准适配器提供的API接收请求消息。若消息需要响应，则调用适配器API发送响应消息；提供API供专用适配器调用。专用适配器将主动从总线中提取消息，然后调用应用系统的API将消息发送至应用系统。若消息有响应，专用适配器则将响应消息传送至总线。34消息交换中心内部逻辑架构消息交换中心将由消息预处理部分和消息路由、消息转换、消息备份、消息跟踪五大模块有机地组合而成。适配器将通讯消息交由消息交换中心处理，而消息交换中心通过对消息流和消息处理节点合理的配置，满足各功能模块对消息处理的要求，因此，各功能模块在处理上是一个统一的整体。在消息交换中心的内部逻辑架构图中，为了突出消息预处理、消息路由、消息转换、消息备份、消息跟踪各模块，因此在逻辑架构拓扑图中将其分开表示，其中，消息路由是消息交换中心最主要的功能。消息交换中心的内部逻辑架构图如图36。第12页上海交通大学工程硕士学位论文第三章消息交换系统的总体设计图36消息交换中心逻辑架构图FIG36TOPOLOPYOFTHEMESSAGEBUSSYSTEM35系统工作原理消息交换总线系统的总体工作过程如图37所示。在消息交换总线系统中，数据流（DATAFLOW）是指从一个应用程序到另一个应用程序之间的数据移动和处理。数据在应用程序之间可以通过同步或异步的方式交换。数据在消息交换总线系统中可以分为三个步骤，以下将对各步骤逐一分析。第13页上海交通大学工程硕士学位论文第三章消息交换系统的总体设计图37消息交换总线原理图FIG37SCHEMATICDIAGRAMOFTHEMESSAGEBUSSYSTEM351数据分发应用程序通过适配器API调用向适配器发送业务数据，适配器再通过网络通信向消息交换中心发送业务数据。352交换中心处理一旦消息放到消息交换中心的发送队列中，集成代理就从队列中取出消息，并按照消息流达到目标队列。处理包括消息转换在消息体数据中取出字段值路由消息到一个或多个目标消息保存353请求处理当消息到达目标队列后，MQ的侦听机制通知适配器读出消息，并将消息转换成业务对象，然后交给业务应用处理。有些应用可能需要响应，目标业务应用可以再传递响应业务对象到消息交换总线，再通过消息交换总线将响应业务对象反馈到源业务应用。1源适配器传输业务对象在源适配器中，消息发送阶段业务对象处理过程如下业务应用C通过为应用C定制的适配器，传送业务对象到面向应用的源适配器外壳；第14页上海交通大学工程硕士学位论文第三章消息交换系统的总体设计源适配器外壳读入业务对象定义文件；源适配器外壳根据业务对象定义文件对指定的业务对象进行判断，如果需要则转换成符合太保标准的IAAXML格式的流。源适配器外壳发送IAAXML流到源适配器内核。源适配器内核接收到数据流后，将其组织成消息，并发送到MQ发送队列中。在源适配器中，根据业务需要，有可能还要接收从其它保险业务应用中发回的响应消息。在源适配器核心从响应队列检测到对应的响应消息后，如果需要将响应消息的格式进行转换，处理过程如下源适配器内核将响应消息流传递到面向应用的源适配器外壳；源适配器外壳从业务对象定义文件中取出业务对象的定义；源适配器外壳根据业务对象定义文件对指定的业务对象进行判断，如果需要则对响应消息流的消息格式进行转换。源适配器外壳发送业务响应对象到业务应用系统C。业务应用接收到业务对象后，应用程序就可以处理相应的业务要求。图38源适配器内核处理图FIG38KERNELPROCESSINGOFTHESOURCEADAPTER2消息交换中心处理一旦消息被放置到消息交换中心的MQ队列中，消息交换中心的集成代理软件从消息队列中取出消息，并放到队列定义的消息流中进行处理。处理可能包括第15页上海交通大学工程硕士学位论文第三章消息交换系统的总体设计从消息体中取出某些字段；通过计算字段值转换消息；路由消息到一个或多个目标队列；将消息存档；根据消息内容修改数据库信息；为了使目标应用可以处理消息，需要转换消息格式和/或内容；消息交换中心消息处理的结果就是将消息发到合适的目标队列中。图39消息交换中心的消息处理图FIG39MESSAGEPROCESSINGOFTHEMESSAGEBUSSYSTEM3目标适配器业务数据传输目标适配器检测到目标队列中需要处理的请求消息后，取出消息内容，如果需要则将IAAXML消息转换成业务系统规定数据格式。目标适配器处理过程如下目标适配器内核将IAAXML流传递到面向应用的目标适配器外壳；目标适配器外壳从业务对象定义文件中取出业务对象的定义；目标适配器外壳根据业务对象定义文件对指定的业务对象进行判断，如果需要则对消息流的消息格式进行转换。目标适配器外壳发送业务请求对象到业务系统B。业务应用接收到业务对象后，应用程序就可以处理相应的业务要求。根据业务需要，有可能还要将业务处理的结果返回，通过消息交换中心传递到合适的目标应用进行处理。在目标适配器中，响应消息发送时的业务对象处理过程如下业务应用B发送业务响应对象到面向应用的目标适配器外壳；目标适配器外壳从业务对象定义文件中取出业务对象的定义；目标适配器外壳根据业务对象定义文件对指定的业务对象进行判断，如果需要则对响应消息流的消息格式进行转换；目标适配器外壳发送IAAXML流至目标适配器内核；目标适配器内核，将响应的IAAXML流组织成消息，放置到MQ响应队列中。第16页上海交通大学工程硕士学位论文第三章消息交换系统的总体设计图310目标适配器内核处理图FIG310KERNELPROCESSINGOFTHEDESTINEDADAPTER第17页上海交通大学工程硕士学位论文第四章适配器的总体设计第四章适配器的整体设计本章节将详细定义整个消息交换中心中极为重要的适配器的概要设计过程，其中包含对适配器的概念定义、在消息交换总线系统中的功能设计，以及其网络系统结构的详细研究等。此外，还将对各类适配器进一步展开组件设计和数据结构设计。这些都将作为编码实现适配器的依据。本文档详细定义了文件传输适配器的实现过程，是编码实现文件传输适配器的依据。41概念定义1文件传输适配器用于传输文件的一组程序。文件传输适配器由文件发送程序、文件接收程序和相关配置文件组成。2发送主机发送文件的主机，运行文件传输适配器的文件发送服务程序。3接收主机接收文件的主机，运行文件传输适配器的文件接收服务程序。4代理主机转发文件的主机，代理主机起文件转发作用。5专署配置文件用于对某个待发送文件的处理信息进行专门配置的配置文件。42需求概述在消息交换总线系统的整体设计架构中，各个具体的应用系统通过适配器连接到消息交换中心收发业务数据。适配器起着耦合消息交换中心与具体应用系统的作用。其功能模型如图41所示。业务系统业务请求请求回应业务层接口消息处理通讯层接口消息交换中心图41适配器功能模型图FIG41FUNCTIONMODELOFTHEADAPTER第18页上海交通大学工程硕士学位论文第四章适配器的整体设计43适配器的部署设计适配器运行于特定应用系统端或前置机上，前置机接入消息交换总线。期间使用的网络为企业内部网络（消息交换中心和使用适配器的应用系统通过企业内部网络连通）。其网络体系结构如图42所示。图42网络体系结构图FIG42NETWORKSTRUCTUREGRAPH44总体设计441适配器定义适配器ADAPTER是提供应用系统与消息交换中心连接接口的软件模块。消息交换总线上的各应用系统通过相应的适配器实现与消息交换中心的数据交互。如图43所示，不同的应用系统诸如财务系统、电子商务系统、寿险业务系统和产险业务系统等均使用各自对应的适配器接入消息交换中心。第19页上海交通大学工程硕士学位论文第四章适配器的整体设计图43适配器与消息交换中心、应用系统示意图FIG43SKETCHMAPOFTHEADAPTER、MESSAGEBROKERANDBUSINESSAPPLICATION442适配器分类在消息交换总线系统中，适配器可以分为自主开发的专用适配器、标准适配器、文件传输适配器和应用系统产品自带的商用适配器。本章将着重讨论标准适配器、专用适配器和文件传输适配器的设计。1标准适配器定义标准适配器是为应用系统提供的接口规范的适配器。应用系统的开发者通过标准适配器可靠、易用、可配置的编程接口，实现与消息交换中心的消息交互。标准适配器的性能与MQI的性能成线性关系，应用系统使用标准适配器的方式也将影响应用系统的性能。外部接口设计分析标准适配器提供标准的消息传输接口。应用系统通过调用接口中的方法实现与消息总线的消息交互。接口中的参数至少包括消息字节流和其他控制参数。建议交易类消息大小控制在120K以下。标准适配器通过日志文件向监控系统提供监控信息。标准适配器为专用适配器的开发提供编程接口。安全分析由于标准适配器不直接访问应用系统所在的操作系统，因此与操作系统有关的安全性将由业务系统的开发者保证。标准适配器与MQ有关的安全性依赖于MQI的安全性。标准适配器不改变业务数据。路由相关信息由业务系统客户在配置文件中设定，消息交换总线系统只提供设定规则。第20页上海交通大学工程硕士学位论文第四章适配器的整体设计其他日志文件出于信息集中控制的考虑，有可能采用以下的实现方式标准适配器的日志模块通过一个日志队列将日志发送到消息分发服务器。消息分发服务器轮询日志队列，将日志消息取出并写入日志文件。当标准适配器向日志队列发送消息失败时，写入本地的日志文件。2专用适配器定义专用适配器是基于标准适配器的接口，为应用系统定制的适配器。其所提供的用于消息传输的接口与应用系统的接口相符，与应用系统的耦合度较高。通过调用专用适配器的接口，应用系统的消息收发功能将直接得以实现。通过专用适配器实现与应用系统的互联，较之应用系统间的直联，在通讯上花费的时间将增加，专用适配器与MQ有关的性能与MQI的性能成线性关系。外部接口设计分析原则上专用适配器只调用标准适配器提供的接口实现与消息总线的交互。专用适配器使用标准适配器的日志模块记录日志文件，并以日志文件的方式向监控系统提供信息。根据应用系统的通讯实现方式，专用适配器与应用系统进行交互。例如，专用适配器通过基于TCP/IPSOCKET5的协议与应用系统通讯。安全分析专用适配器与MQ有关的安全性依赖于MQI的安全性。路由相关信息由应用系统客户在配置文件中设定，消息交换总线系统只提供设定规则。专用适配器有可能通过SOCKET与应用系统通讯。在此情况下，要考虑IP过滤、防火墙24等以提高安全性。3商用适配器定义商用适配器是应用系统的供应商为实现应用系统和消息交换中心之间的消息交互而提供的特殊的适配器。其功能与专用适配器相似。在使用时需对其进行一些适当的客户化处理。商用适配器应当能对消息进行消息交换总线所需要的操作。（例如，为支持消息交换总线的接入标准，商用适配器需在输入消息前加入总线消息头）。如商用适配器不能做这种操作，则需要应用系统进行这方面的支持。4文件传输适配器定义文件传输适配器是专门用于文件传输的适配器。其特点是实现大文件的可靠传递。文件传递不实行事务处理。第21页上海交通大学工程硕士学位论文第四章适配器的整体设计文件传输适配器为减少对总线系统中实时性要求较高的业务消息的影响，需要通过独立的通道和队列与消息交换中心进行消息交互。如果需要保证文件的访问安全性，在运行期对操作者需要有一定的权限控制。从设计上，发送文件类消息时，不能影响实时性要求高的消息的传递。此外在接收方，临时文件需要一定的存储空间，这一空间的可扩展范围也决定了可传递文件的大小。外部接口设计分析文件传输适配器通过专用的队列与消息交换中心交互通讯消息。若消息的大小超过1M，应使用文件传输适配器进行消息的收发。监控系统通过日志文件取得文件传输适配器的状态信息。由于文件传输适配器在发送文件时需要读取任意指定的文件，在接收时需要设定文件的访问权限，因此在运行期对操作者需要有一定的权限控制。文件传输适配器提供命令形式和API形式的接口。接口参数至少包括输入文件名、输出文件名、输出文件权限、功能选项。安全分析如果需要文件传输适配器在发送文件时读取任意指定的文件，并在接收时设定文件的访问权限，需要赋予文件传输适配器以一定的执行权限。为此，要在接收方设定一个配置文件，对于发送过来的文件设定接收规则。文件传输适配器不改变业务数据。路由相关信息由应用系统客户在配置文件中设定，消息交换总线系统只提供设定规则。文件传输适配器与MQ有关的安全性依赖于MQI的安全性。443消息分发服务器1定义消息分发服务器MESSAGEDISPATCHER是运行在前置机侧的服务器，用于将消息中心发来的非文件类型的通讯消息，根据配置文件的定义，转发到多个接收队列中，供应用系统等使用。可以并行启动多个消息分发适配器以提高消息转发能力。消息分发服务器的性能与MQI的性能成线性关系。2外部接口设计分析对于消息分发服务器，存在一个连接至消息交换中心的接收队列（单一接收队列），若干个对应不同应用系统的接收队列。消息分发服务器将连接至消息交换中心的接收队列（单一接收队列）中的通讯消息分发到对应不同应用系统的接收队列。与应用系统对应的适配器通过接收队列与应用系统实现消息交互。接收队列的数量依赖于业务应用的业务模式。第22页上海交通大学工程硕士学位论文第四章适配器的整体设计3实现方式采用消息分发控制器DISPATCHERCONTROLLER管理一个或多个消息分发服务器MESSAGEDISPATCHER。例如启动、停止消息分发服务器。消息分发服务器实行事务管理，只有在消息被从连接至消息交换中心的接收队列（单一接收队列）成功转发到对应不同应用系统的接收队列时，才对事务进行提交。将处理异常的消息发送到异常输出队列。尽可能利用标准适配器提供的接口。4安全分析管理消息分发控制器需要一定的权限。由于消息服务器通过MQI与外部系统相联，其安全性依赖于MQI。除应用系统客户的特定需求外，消息分发服务器将不改变业务数据。5其他日志对于与消息分发服务器相关联的各个适配器，其日志有可能在消息分发服务器上集中登录。在此情况下，消息分发服务器需要轮询一个日志队列。45功能设计451标准适配器针对不同的开发环境，提供基于两种编程环境标准适配器ANSIC和JAVA。基本实现的原则是1实现一组对外公开的消息收发接口，使应用系统实现消息的发送和接收。接口足够简单并保持相对的稳定。为提高效率，在实现消息收发时，将采用连接池等充分利用系统资源的技术。2封装一组非消息收发接口，以支持消息收发接口的实现。至少包括下面内容读取配置文件。分析系统参数。取得系统时间。维护消息序号信息。对消息内容进行封装（总线消息）。解析封装过的消息内容。日志的打开、登录，以及日志文件的自动切换。故障数据的备份。校验算法。增值开发接口。