（计算机应用技术专业论文）保险行业应用系统集成解决方案的研究与应用.pdf

中南人学形! j 学位论义 摘要 企业在信息化过程中开发了许多面向特定功能，基于不同技术的应用系统。如何将这些 应用系统进行集成，从而在企业中实现资源共享、业务自动化、提高效率和降低成本，对于 企业有着特别重要的意义。 本文是基于保险行业的应用系统集成解决方案的研究，它从企业应用集成的基本原理和 关键技术出发。详细论述了企业应用集成解决方案的设计、实现、扩展性、事务性等问题， 介绍了x m l 技术、消息机制、j a v a 技术在应用系统集成中的应用，分析了保险行业实旌应 用集成过程中存在的问题，说明了如何利用现有的理论和技术来解决。 文章采用理论模型结合技术实现的思路来进行研究。首先提出了两个集成平台的理论模 型：数据集成平台和业务过程集成平台。接着详细介绍平台的设计过程。在设计数据集成平 台时，分析如何设计平台的体系结构从而保证异构数据源中数据的实时传输和对分散在多个 数据源中数据进行访问。研究的重点是异构数据源中数据的透明交换和用户查询请求的分 解。在设计业务过程集成平台时介绍了业务过程建模技术、业务过程分解技术以及业务过程 平台的组成。研究的重点是现有应用程序的封装技术和如何利用消息机制来保证业务自动 化。然后以中国银行深圳市分行与保险公司之间的数据集成项目和“在线出单”项目阐述平 台的可行性和可操作性。最后总结了在实旌应用系统集成过程中经验和教训，并提出了进 步的工作。 关键词应用系统集成数据集成业务过程集成x m l 消息中间件j 2 e e 中南 学坝l 学位论义 a b s t r a c t t h ee n t e r p r i s e sh a v ed e v e l o p e dal o to f a p p l i c a t i o n sd u r i n gt h ei n f o r m a t i o np r o c e s st h e s e a p p l i c a t i o n sh a v et h e i ro w nf u n c t i o n sa n db a s eo nd i f f e r e n tt e c h n o l o g i e sa n dp l a t f o r m i ti sv e r y i m p o r t f o r e n t e r p r i s e s w h e t h e rt h e a p p l i c a t i o n s w i l lb e i n t e g r a t e do rn o t ，b e c a u s ei n t e g r a t e d a p p l i c a t i o n sc a nh e l pe n t e r p r i s et os h a r er e s o u r c e ，a u t o m a t eb u s i n e s sp r o c e s s ，w o r ku pa n dc u tt h e c o s t ， t h i sp a p e ri sb a s e do nt h er e s e a r c ho fs o l u t i o nt oa p p l i c a t i o ni n t e g r a t i o ni nt h ei n s u r a n c e i t b e g i n sw i t hb a s i cp r i n c i p l e sa n dk e yt e c h n o l o g i e s ，d i s c u s s i n gd e s i g n ，d e v e l o p m e n t ，e x t e n s i o n ， t r a n s a c t i o no ft h ea p p l i c a t i o ni n t e g r a t i o n a n dt h e ni ti n t r o d u c e sh o wt oa p p l yx m l ，m e s s a g e ， j a v ai nt h e a p p l i c a t i o ni n t e g r a t i o n i n t h ee n di t a n a l y z e s t h e p r o b l e m s i nt h e a p p l i c a t i o n i n t e g r a t i o no f i n s u r a n c ea n dp r o v i d e st h es o l u t i o nt ot h e m t h em e t h o dt od or e s e a r c hi nt h i sa r t i c l ei st h e o r e t i c a lm o d e l t o g e t h e rw i t hr e a l i z a t i o n i nt h e f i r s t ，i tp u t sw i t ht w ot h e o r e t i c a lm o d e l s ，d a t ai n t e g r a t i o np l a t f o r ma n db u s i n e s sp r o c e s si n t e g r a t i o n p l a t f o r m s e c o n d l y , i ti n t r o d u c e st h ed e v e l o p m e n to f t h et w op l a t f o r m si nd e t a i l i nt h ec o u r s eo f d e s i g n i n gt h ed a mi n t e g r a t i o np l a t f o r m ，t h ek e yf a c t o r sa r eh o wt od e s i g nt h ea r c h i t e c t u r eo f t h e p l a t f o r mi no r d e rt or e a l i z et h er e a l - t i m et r a n s p o r to f d a t ai nt h eh e t e r o g e n e o u se n v i r o n m e n ta n d a c c e s st ot h ed i s p e r s i o nd a t a t h ee l l l p h a s i si so ns h i e l d i n go f t h e h e t e r o g e n e o u se n v i r o n m e n ta n d d e c o m p o s i t i o nq u e r yf r o mc l i e n t d u r i n gt h ep r o c e s so f d e s i g n i n gt h eb u s i n e s sp r o c e s si n t e g r a t i o n p l a t f o r m ，i ti n t r o d u c e st h em o d e l i n g ，t h ed e c o m p o s i t i o nt e c h n o l o g yo fb u s i n e s sp r o c e s sa n dt h e c o m p o n e n t so ft h ep l a t f o r m t h er e s e a r c hf o c u si so np a c k a g i n go ft h el e g a c ya p p l i c a t i o n sa n d h o wt or e a l i z et h ea u t o m a t i o no fb u s i n e s sp r o c e s su s i n gt h em e s s a g em e c h a n i s m t h i r d l y , i t i n t r o d u c e st h ed e v e l o p m e n td e t a i l so ft h ea p p l i c a t i o n i n t e g r a t i o ns o l u t i o n st h r o u g ht h e ”d a t a i n t e g r a t i o n ”p r o j e c ta n dt h e ”o nl i n ep o l i c y ”p r o j e c tb e t w e e ns h e n z h e nd i s t r i c to f t h eb a n ko f c h i n aa n dt h ec a r r i e r s t nt h el a s t ，i ts u m m a r i z e st h er e s e a r c hr e s u l t sa n dp u t sf o r w a r dt h ef u t u r e w o r k k e y w o r d s ：a p p l i c a t i o ns y s t e mi n t e g r a t i o n d a t ai n t e g r a t i o nx m lj 2 e e b u s i n e s sp r o c e s s i n t e g r a t i o nm e s s a g e o r i e n t e dm i d d l e w a r e 巾南人学倾i 。学位论立 第l 章概述 1 1 课题背景、来源及意义 企业在信息化的过程中通常是从企业自身的实际情况，例如业务需求、管理需求、生产 成本、技术实力等方面出发来开发或者购买软件系统帮助企业对信息，生产，管理等方面进 行管理和控制，这比早期的人工操作方式前进了一大步。但是随着计算机技术的发展，特别 是i n t e r a c t 的快速发展，企业之间的耦台度越来越高，此时那些孤立的软件系统就成为企业 发展的“瓶颈”。为了打破这个“瓶颈”，就必须将各个相关但孤立的软件系统进行集成，因 此应用系统集成成为现代企业的头等大事。各个行业的企业都有集成的需求，特别是现在大 部分企业应用系统开始向w e b 化和面向过程化转变，更需要企业具有一个集成的工作环境。 保险行业应用系统集成解决方案的研究与应用课题来自于保险中介业务处理系统信 息产业部“2 0 0 1 年信息产业科研试制项目”( 信部科 2 0 0 1 1 4 3 6 号) 。本课题是根据保险行业 的现状提出来的。作为保险行业信息化过程重要成果的应用系统在给企业带来效益的同时也 暴露了不少阻碍保险行业进一步发展的问题。第一，在保险行业不同角色中都存在着应用系 统，但是它们的实现技术和所用平台千差万别，从而在整个保险行业中形成了一个巨大的异 构环境；第二。保险行业中的重要数据信息，例如保单、产品、客户数据。是分散在各个角 色的应用系统之中，无法对这些数据进行统一访问和实现共享，从而影响了企业做出正确的 分析和决策；第三，完全采用人工方式在不同角色的应用系统之间进行合作，因此成本高， 时延长，易出错。总之，在保险行业中目前的重点还是内部信息化程度提高方面，没有考虑 如何在不同的角色之间实现数据共享和业务过程自动化的过程。 本课题正是为了解决上述问题而提出来的。课题使用应用系统集成的思想来实现保险 行业中异构环境下的数据共享和业务过程的自动化。它不但提出了合适保险行业的集成解决 方案和理论模型，而且对其它行业的企业实施应用系统集成的过程中提出了可以借鉴的理论 指导和实践经验。 1 2 课题的研究任务和方法 保险行业应用系统集成解决方案的研究与应用课题的目的是实现保险行业中不同角 色之间的异构应用系统( 是指这些应用系统运行的操作系统，所用的编程模式以及编程语言， 存储技术是异构的) 之间实现集成，从而在不同角色之间共享数据，而且在它们之间自动实 现合作共同完成需要协调的任务。课题的研究重点是数据集成( d a t ai n t e g r a l i d n ) 和业务过 程集茂( b u s i n e s sp r o c e s s i n t e g r a t i o n ) 。数据集成主要研究在同构或者异构存储机制下如何实 ! 塑奎堂型! ! ：堂些监兰一 现数据在不同麻川系统之间的交换，如何对分布在多个数据渊中的数据进行访问，以及在数 据集成的过程中如何保证数据一致性和数据完整性等问题。业务过程集成研究的重点是如何 将属于不同应j ； j 系统的功能结合起来完成更加复杂的业务过程的问题同时对如何保证业务 过程的事务性进行了研究。 课题采用“理论模型和技术实现”相结合研究路线，首先在理论研究的基础上提出理论 模型，即数据集成平台( d a t ai n t e g r a t i o np l a t f o r m ) 和业务过程集成平台( b u s i n e s si n t e g r a t i o n p l a t f o r m ) ，然后研究如何利用现有的技术来实现这些理论模型最后结合它们在保险行业中 的实际项目中的应用来阐述了模型的可行性和有效性。 1 3 现阶段的研究现状 随着人们对应用系统集成在企业中作用理解的深入，人们在应用系统集成方面进行了大 量的研究。从8 0 年代开始人们对应用系统集成的许多方面都做了深入的研究，但是因为国 内与国外在计算机水平上的差异，研究的层次和取得的成果存在着巨大的差异。 1 国内的研究现状 国内在应用系统集成方面的研究还处在起步阶段，目前的应用系统集成商主要集中在提 供企业的硬件环境的集成解决方案，而对于软件系统之间的集成研究还比较少。不过随着 i n t e r n e t 的发展和电子商务在中国的兴起人们已经逐渐意识到企业合作的重要性。从而开 始软件系统之间的集成进行研究。但是目前的研究层次比较低。主要的工作重点还是理论的 探索和实验，没有从整体上来考虑应用系统集成，从而为企业提出全套的应用集成解决方案。 目前国内没有成形的应用系统集成方面的产品。 2 国外的研究现状 国外的企业和研究机构，特别是美国，从8 0 年代就在应用系统集成方面的进行了大量 的研究工作。在应用系统集成各个层次都取得了不少的成果，这些成果不仅仅是理论上的突 破，而且国外的许多企业开始提供有关应用系统集成方面的产品，有一些产品在企业应用集 成中得到了很好的应用。 1 4 企业应用集成概述 企业应用集成是最近国内外研究的个非常热门的领域，当企业实施的应用系统多于一 个，并且系统之间相互问要进行通信时就存在不同系统之间的集成问题。企业应用集成是 将不同的应用系统和数据集成在一起的过程，从而在不对已有的应用系统进行过多修改的情 况下，实现数据共享和业务流程的集成h g 。随着企业实施应用系统增多，业务范围的扩大， 而且企业越来越多地将注意力集中在向业务过程化转变，企业应用集成便成了企业必须面对 2 中南人学倾j 学位论义 和加以解决的复杂问题。 企业应h j 集成从不同的角度具有不同的分类方法。从应用集成的对象米划分可以分为 面向数据的集成和面向过程的集成；从应用集成所使用的工具和技术米划分，可以分为六个 层次，分别是平台集成、数据集成、组件集成、应用集成、过程集成和业务对业务的集成。 从企业组织的角度，企业应用集成可以分为水平的组织内集成、垂直的组织内的集成和不同 组织件系统的集成。但是这些不同的集成概念，可以从广度和深度两个维度来进行概括。下 面主要介绍从深度来进行企业应用集成【1 , 4 9 。 从集成体系结构方面来考虑，企业应用集成主要分为四个层次：数据级集成、应用接1 ：3 级集成、业务过程级集成、表示层集成。 1 数据级集成 数据级集成是实现不同系统的数据交流与共享的过程。它在分布式数据库、协作应用系 统和数据仓库中是一个核心的问题。数据集成中两个关键因素是概念建模和在概念表示上的 推理支持。在企业应用集成中数据集成是进行应用接口级集成和业务过程集成的基础。数据 级集成必须建立数据的概念模型，对数据进行统一标识并编成目录，确定元数据模型。只有 对数据建立统一的模型之后，数据才能在数据库系统中分布和共享。数据集成采用的主要处 理技术有数据复制、数据聚合和接1 ：3 集成。 2 应用接口级集成 应用接口级集成的目的是为了实现不同应用系统问的互操作。企业为了实现支持相邻业 务活动的应用系统间的互操作，很早就开始了对应用接口级集成。在进行应用接口级集成时 主要采用两种技术：点到点的系统集成和基于消息中间件的系统集成。 在应用系统不多的情况下，通常采用点到点的集成结构，此时每个应用系统都通过接口 与其它的应用系统相连，这种方式不需要对应用系统进行大的修改，编程的工作量较小。但 是当应用系统很多时此时系统之间的接口会非常复杂，在这种情况下应该采用基于消息中 间件的集成结构。在这种结构中应用系统之间的通信和数据的交换是通过消息中间件来实 现。这种结构大大减少了接口的数量，同时由于有消息中间件作为信息交流的中介，当某一 个应用系统发生变化时，只需要改变消息中间件中的相应部分，降低了系统维护和升级的复 杂性。 3 业务过程集成 业务过程集成是指面向过程的集成，它的目的是实现业务过程的自动化。实现业务过程 集成的方法和技术很多，较流行的是使用过程代理，它可以看作是消息中间件的扩展，它除 了消息中间件中格式化的应用会话之外，还封装了与各个应用系统相连的过程逻辑。当所有 塑盔兰丝! 兰丝堡兰 的过程逻辑都封装在过程代理中时，刑三上建立一个过程席对过样进干统的管理，并h u ，以 使朋可视化的图形界面对过程进行设计、在线监控和修改。 4 表示层集成 表示层集 新的接口层。 通用客户端等 成的主要工作是为集成的应用系统分析和设计统一的用户接口，而且必须实现 在实现新的表示层时可以采用图形用户接口客户端、w e b 客户端或瘦客户端、 不同方法。 不同的企业在实施应用系统集成时具有不同的层次，不同的起点。有的企业可能刚开始 考虑信息和数据的集成，有的企业可能开始向面向过程的集成迈进，还有的企业可能已经实 现了基于w e b 的集成和企业之间的协同商务。不管企业应用集成如何发展，企业在对应用 系统实施集成的过程中，必须结合自己的企业规模、技术水平和发展战略，选择最合适本企 业实际需求和发展目标的集成策略和方案。 。 1 5 保险行业简介 改革开放2 0 多年来，中国保险业每年平均以3 5 左右的速度发展，保险市场的市场化、 规范化也在迅速提高。尤其是加入w t o 后，外资保险公司的加盟将对我国保险业产生重大 影响，中国保险市场将呈现国际化特征。新的市场发展态势使国内保险公司面临严峻考验， 对公司的经营运作能力提出了更高的要求。作为一个资金密集型、数据和信息密集型的行业， 保险行业的信息化建设直接关系到公司未来的发展，公司的经营策略、业务运作、财务管理、 分析决策无一不建立在高质量信息管理的基础上。 目前在保险行业中主要存在三种角色：保险公司，保险代理公司( 包括专业保险代理公 司和兼业保险代理公司) 和客户。保险公司主要生产和销售保险产品。同时保险公司为了扩 展业务和扩大销售渠道，通常发展许多的代理公司来帮助它销售保险产品。客户既可以直接 通过保险公司来购买保险产品，又可以通过保险代理公司间接来购买保单。它们三者之间的 关系如图1 1 所示： 图1 1 保险行业中的角色关系图 巾南人学坝l 学位沧立 月i 简各个保险公司都存在应川系统米对自身的保险业务进行管理例如平安保险公司的 p a l 8 系统等。在代理公司中同样也存在着类似的应用系统来对保险代理业务进行管理。专 业代理公司中一般采并j “代理通”管理系统，而兼业代理公司中或自主开发或购买适合兼业 代理特点的应用系统。例如在中国银行深圳市分行中委托深圳市保网信息技术有限公司开发 的“银保通”系统来管理中行的保险代理业务。 虽然保险公司与代理公司的业务出发点不同但是它们却经常需要进行合作。一方面， 每隔段时间代理公司要将所销售出去的保单信息传递给保险公司，让保险公司进行对帐处 理和业务分析等；另一方面，因为代理公司只是作为销售渠道，因此它不能执行保险公司的 所有功能。例如，客户在购买保单时首先必须让保险公司对其进行核保，核保通过之后才能 拿到正式保单。如果客户在代理公司购买保单，代理公司必须将客户的投保单数据传递到保 险公司，让保险公司对客户的投保单进行核保。因此客户要隔1 0 1 5 天才能拿到正式保单。 然而因为各自应用系统的独立性，在保险公司与代理公司之间的合作主要是采用人工方式 ( 包括报表，电子报盘，电话，传真等方式) 来完成的。例如中国银行深圳市分行与保险公 司之间要传递数据时采用电子报盘的形式。中行所先将保单数据导出为e x c e l 的格式保存到 软盘中然后将软盘交到保险公司。 显然目前存在于保险公司与代理公司之间的基于人工合作的方式不适合当前激烈的竞 争环境，因此必须寻求新的方案来解决这个问题。课题正是基于需求保险行业的应用系统集 成解决方案这一背景提出来的，并且希望通过新方案的应用能够达到在保险行业实现集中化 管理的目的，并且有效地提高整个保险行业的业务效率。 皇查点! 塑! ! ! 垡丝 第2 章数据集成平台的设计和实现 目前作为企业重要资源的数据信息是分散在企业之间或者企业的不同部门中的各个应 用系统之中，这些应用系统有着不同的处理对象、操作方法和专用客户端。随着时间的推移 和技术的进步，这些应用系统就形成了一个个的吖言息孤岛”p x o “信息孤岛”中的数据不 能直接进行交流，而且相同的数据在不同的“信息孤岛”中可能存在多份拷贝，从而造成数 据的不一致性。这不仅提高了企业维护数据的费用，而且企业很难根据这些分散的数据来做 出正确的决策。为了改善这种局面，同时在各个“信息孤岛”之中共享数据，并且给企业用 户提供企业数据的统一视图，从而根据集成之后的数据及时地调整业务策略，就必须考虑数 据集成的问题，这也是设计数据集成平台的原因。 2 1 数据集成存在的困难 因为不同的企业在开发满足自身需求的应用系统时，不是固守在一个平台，而是每个部 门或者单位之间的信息和组织不一样，形成一个个数据源，并且每个数据源都是异构的，这 就构成了一个巨大而复杂的异构数据环境。正是这个异构环境给数据集成带来了大量的问 题。 1 数据所从属的应用系统运行于不同的操作系统平台，并且由不同的编程语言来实现 企业在开发应用系统的时候可以在w i n d o w s 系列，l i n u x ，u n i x 等多个操作系统中进行 选择，而且在程序实现的过程中可以从数十种编程语言中任意选择。要在这些应用系统之间 交换数据，就必须解决异构平台的通信问题。目前在w i n d o w s 平台下可以采用c o m d c o m 技术，完全跨平台的通信则采用c o r b a 技术【2 4 】，但是实现起来具有一定的难度。 2 数据的存储机制是异构的【1 4 】 存储机制随着数据库技术的发展而发展。在以前开发的软件系统中主要采用文件系统 ( f l a tf i l e s ) 来存储企业数据，然而最近开发的应用系统则将数据保存在关系数据库( a d b ) ， 面向对象数据库( 0 0 d b ) ，以及x m l 文件中。将分布在不同的存储机制中的数据进行集成， 就涉及到数据表示数据访问以及数据传输等问题。 3 相同的数据在不同的数据源中具有异构性 它包括两个层次的异构性：数据语法上的异构性和数据语义上的异构性i8 1 。 数据语法上的异构性是指相同的数据在不同的数据源中具有不同的格式和结构。例如， 在表示客户的性别信息的时候一个数据源可能采用字符类型( “男”，“女”) 来进行保存， 而别的数据源可能采用布尔型f r u r e 代表男。f a l s e 代表女) 来表示。目前在解决数据语法上 ! ! 堕墨竺堡! ：堂丝堡墨一 的异构性主要采朋字段到字段的映射或者记录剑记录的映射方法( 它可以看作是字段到字段 映射的集台) 。 数据语义上的差异主要源1 二爿；同数据库对相同或相关数据在理解、解释以及使_ j 上的不 一致性。由于信息标准化滞后等历史原因数据在语义上的差异主体现在以一i j l 个方面：第 一，两个数据库中分别有一个字段。它们的字段名相同，但它们的类型或长度可能不同，具 体含义和取值范围也可能不同：第二。同一属性的数据在两个数据库中，其字段名的定义不 同；第三，两个数据库中的相同字段，它们的字段名、类型、长度和具体含义都相同，但信 息分类编码不一致。通常数据的语义隐式地记录为数据的约束和数据之间的关系，特别是在 从多个数据源中提取数据合并到同一个数据源中的时候考虑数据的语义尤其重要。如果将数 据的语义作为完整性约束规则显式地保存到语义库中，则数据语义的问题很好解决。但是实 际上很少存在这样的语义库。目前存在两种数据语义的分析方法：采访领域专家( i n t e r v i e w i n g e x p e r t s ) 和分析软件系统( e x a m i n i n g s o f t w a r es y s t e m ) 。 2 2 数据集成平台的设计目标 为了解决异构环境下的数据交换和共享。我们提出了设计数据集成平台的要求。在设计 数据集成平台的过程中，希望解决好数据集成过程中以下几个问题： 1 支持异构环境下数据的透明交换和访问 通过数据集成平台进行数据交换或者进行数据访问的时候，它对各个数据源所运行的异 构环境是透明的，即在进行数据交换的两个数据源之间不需要了解对方所处的具体环境和数 据模型，在进行数据访问的时候可以视为对一个抽象平台下的数据进行访问，而不是对各个 具体数据源中的数据进行访问。 2 保持不同数据源中相同数据的一致性哗1 在数据集成平台下必须保证各个数据源在保存相同的数据时不会出现数据不致的现 象，即当某个数据源中的数据发生变化的时候，与该数据源相关的其它数据源中的对应数据 必须发生与源数据源一致的变化。 3 支持数据源任意扩展 在数据集成平台中可以根据业务发展的需要对数据源进行扩展( 增加新的数据源到平台 中或者从平台中删除过时的数据源) ，而且扩展很容易实现，代价较低。 4 支持用户对分散在多个数据源中数据的访问 用户可以对连接到数据集成平台下的多个数据源中的数据同时进行访问，从而帮助企业 7 中南人学颧f 1 学位论史 徽! l 止确的决策。完成新的业务。 5数据实时传输| 3 2 】 连接刮数据集成平台下的各个保存有相同数据数据源为了避免重复输入相同的数据信 息，它应该支持数据的实时传输。即当数据集成平台中某个数据源有新的数据保存时，数据 能实时地传输到其它的相关数据源，从而提高效率，减少出错率。 2 3 异构环境下数据的交换问题 企业在实施数据集成的过程中，通常都涉及到异构平台下的异质数据源，这些数据源可 能具有不同的数据模型和数据表示形式。因此为了让数据在这些数据源中进行交换，就必须 解决以下三个方面的问题。第一，如何对要交换的数据进行表示，从而交换数据的双方易于 理解数据；第二，如何在数据交换过程中实现数据转换：第三，如何保证不同数据源中数据 的一致性。下面逐一进行分析和解决。 2 3 1 利用x m l 表示要交换的数据 不同的数据源对于数据具有不同的表示形式。在数据交换的过程中为了简化数据表示形 式之间的转换。我们可以采用一种的公共的数据表示形式来表示数据，此时进行数据交换的 双方只要可以理解数据表示的公共形式就可以读取和发送数据。鉴于x m l 的特点，采用 x m l 作为数据交换的公共表示形式。 x m l ( e x t e n s i b l em a r k u pl g u a g c ，可扩展标识语言) 是- - f 新兴的面向i n t e m e t 的元标 识语言，它是由w 3 c ( w o r l dw i d ew e bc o n s o r t i u m ，全球网联合会) 组织于1 9 9 8 年2 月制定 的一种通用的语言规范。x m l 是从s g m l ( s t a n d a r d g e n e r a l i z e dm a r k u p l a n g u a g e ，标准化通 用标志语言) 发展而来的，它是s g m l 的一个子集。作为s g m l 的改良，x m l 具有适于异 构应用问的数据共享，可以进行数据检索等优点。 x m l 将数据的内容与其表示进行分离。在对数据进行描述的同时突出了对结构的描述， 从而体现了数据之间的若系。x m l 已经发展成为i n t e r n e t 上数据交换的标准格式，它的主 要特点如下f 7 】1 1 艘l 1 5 1 ： 1 、扩展性：允许各个组织以及个人根据自身的需要来建立符合自身需要的标签集合，同时 可以根据需要来参数化以及语义化相应的数据。 2 、结构性：x m l 将数据的内容与它的形式进行分离。它本身采用树形的结构来表示其所包 含的数据。但是x m l 并不局限于表示结构化的数据对于半结构化的数据以及非结构化的 数据也可以采用x m l 来进行表示。 直奎堂堡! ：! | ! 堡堡塞 3 、平台独立性：x m l 文档是纯文本，而非二进制文档，它与具体的平台以及应用无关a 在x m l 中可以使用元素以及属性来表示对象的内部结构和对象之问的关系，其中元素 可以嵌套，从而形成一种树形结构。在x m l 家族中，包括许多的规范来帮助用户的使用。 例如：可以利用x m ls c h e m a 或者d t d ( d o c u m e n tt y p cd e f i n i t i o n 文档类型定义) 来确定 x m l 文件中的逻辑结构，定义x m l 文件中的元素，属性以及元素与元素之间的关系。在 对x m l 中的数据进行查询的时候可以使用x m lq u e r y 等查询语言。以及在不同的x m l 文 件中进行格式转换时使用x s l t 技术【。 2 3 2 建立数据源的x m l 元数据模型 数据源的数据模型与x m l 模型之间是有差异的。要将数据从数据源中提取出来并将数 据表示成x m l 的形式，首先要将数据源的数据模型表示成x m l 的形式，即建立数据源的 x m l 元数据模型。它主要包括二个过程：建立数据源的元模型。建立数据源的x m l 模型。 1 建立数据源的元模型 元模型是关于元数据的元数据。目前应用比较广泛的存储机制包括面向对象数据库 ( o o d b ) ，关系数据库( r d b ) ，文件系统( f i l es y s t e m ) 等形式。在确定分布在各种存储机制中 的数据源的元数据之前，首先必须建立不同存储机制所对应的元数据模型。它是一种高层的 模型，描述了不同类型的存储机截是如何储存数据的，并且建立元模型之后对于元数据的提 取和表示具有指导意义。 建立数据源的元模型就是建立在不同数据源下如何保存和组织数据的模型。下面以面向 对象数据库，关系数据库和文件系统来说明如何建立元模型。 1 u _ 在面向对象数据库中存储和读取的基本单元是对象，而对象是由许多属性组成的。同 时对象之问的关系也是显式地进行存储的。然而对象的属性和行为是由它所属的类所确定 的，并且对象与对象之间的关系也是由类与类之间的关系所推导的。因此它的元模型是由类、 类之间的关系，类的属性三者确定。它的图示结构如图2 1 所示； 图2 ，1 面向对象数据库元模型 关系数据库通常是由一系列的表所组成，表包括许多结构相同的记录，而记录又是由许 ! ! ! 塑盔兰型_ ：兰丝堡坚 多的字段所组成。不i 司的表之间可能存在关联关系( 通常利用外键表示这种关联关系) 。冈为 表中的记录是由组成它的字段所确定的，因此在表示关系数据库的元模型时只需要用到表， 表之间的关系，字段三者即可。它的图示结构如图2 2 所示： 图2 2 关系数据库元模型 在使用文件系统表示数据的时候，有些文件的结构比较规则，而有些文件的结构不是很 规则。对于那些无结构性，不规则的文件建立元模型的过程比较复杂有时甚至没有必要。 因此以结构规则的文件，e x c e l 文件为例来说明如何对文件系统建立元模型。在e x c e l 文件 中，它是由一系列的行组成，而行中包括许多的列。在e x c e l 文件中不存在关联。因此在建 立元模型的时候只要表示文件中的行，列两者就可以，它的图示结构如图2 3 所示 l行类型 j r 。 l列 图2 3e x c e l 文件中的兀模型 2 数据源的x m l 元数据模型 结合元数据和x m l 的特点，我们利用x m ls c h e m a 来表示元数据模型，从而对各个数 据源的结构以及整个企业需要提供的数据来进行描述。同时将描述元数据模型的x m l 文件 存放到元数据模型库中，这样的话对于通过元数据模型库来访问数据的应用程序将数据源的 异构性透明化了。 在使用x m l 来对数据源建立元数据模型的时候，首先必须确定在数据集成的过程中需 要哪些元数据。通过分析发现以下的元数据对于数据的集成过程比较重要： 1 、数据源标识，即数据存在予哪个数据源中的( 数据源的名字不能重复) 。 2 、数据的所属位置。例如在关系数据库中标识数据来源于哪个表，文件系统中标识数据保 存在哪个文件中。 3 、 在数据源中用来标识数据的标识符。例如关系数据库中宇段的名字。 4 、数据的数据类型。 5 、数据的主要属性。例如能否为空，缺省值等。 尘直叁堂型! ! ：兰丝堡皇一一 6 、数据之间的关系，例如：关系数据库使_ ； i 外键来农示表，表之间的关系。 f 面通过使朋x m l 对关系数据库和文件系统建立元模型米说明建立元模型的过程。 逻辑1 二，关系数据库主要由一系列的数据表组成，表是由一系列结构相同的记录组成， 而记录包括许多的字段。因此关系数据库是一种结构化的结构。而x m l 文件是一种层次性， 半结构化的结构。因此在关系数据库与x m l 之间必须进行一定的形式转换。我们采用的策 略如下【6 | ： 第一，每个数据库定义一个x m l 模型文件，并且将x m l 文件的根元素的名字定义为数据 库的名字 第二数据库中的表映射到x m l 树形结构中的元素。它是次根元素，即它是数据源根元 素的子节点 第三，对于表中所包含的每个简单的数据域用元素的属性来表示 第四，对于表中每个复杂的字段则采用元素来表示 使用x m ls c h e m a 来表示关系数据库中的元数据模型时，不但将数据库的整体结构显 示地表示出来。而且将数据库中有关数据的详细的信息显式地表示出来p ”。 对文件系统建立元数据模型的过程大致上与关系数据库相似，主要重要的区别有两点。 第一，因为大多数的r d b m s 都提供了导出元数据的功能因此在对关系数据库建立元数据 模型的时候。获取元数据的过程比较简单。但是在文件系统中不能现成地获取元数据信息， 因此一开始必须采用完全手工的方式来获取存储在文件系统中的数据的元数据。第二，为保 存数据的所有的文件起一个全局的名字，将该名字作为数据源的名字。然后将每一个文件视 为数据库中的一个表同时将文件名作为“表名”，这样的话就可以对文件系统采用与关系 数据库相同的方法来建立模型。 在建立了各个数据源的元数据模型之后，所有的x s d 文件( 即所有元数据模型文件) 应 该集中保存到中心服务器中，可以让所有的应用程序来进行访问。 2 3 3 建立转换规则知识库来实现数据转换 数据在企业之间或者同一企业的不同部门之问进行移动和集成时，数据的结构和内容必 须经常进行转换，以满足不同应用的需要。这些转换包括过滤、路由、排序、重构数据、重 构元数据，翻译数据和描述等。目前涉及到数据转换问题时，通常的做法是利用应用程序之 间的转换程序来完成，它采用字段到字段的映射或者记录到记录的映射( 是字段到字段映射 的集合) 方法来实现。这种方法把数据之间的转换规则硬编码到转换程序的代码中，属于两 生塑苎茎塑! 二兰垡皇型l 一 个数据源之间的点到点集成的范畴。当涉及到将数据从一个数据源中转换到多个数据源中进 行保存的时候，上述方法实现起来特别复杂，有时甚至不可能实现。在数据集成平台中，数 据是以x m l 文件的形式来在不同的数据源中进行流动时，因此利用x s l t ( e x t e n s i b l e s t y l e s h e e tl a n g u a g e t r a n s f o r m a t i o n 可扩展的样式表语言) 来表示转换规则它可以很容易实 现不同x m l 文件中的数据转换【5 l o 1 使用x s l t 来表示数据的转换规则 x s l t 是一种声明语言，这种语言是将x m l 数据格式转换成h t m l 描述格式或者其它 的x m l 数据格式。x s l t 在将源x m l 数据转换为目的x m l 数据的时候，采用模式( p a t t e r n ) 和模板( t e m p l a t e 相结合来实现。模式与源x m l 文档中的元素相匹配，模板被实例化产生 部分的结果x m l 文档“i 。在构造目的x m l 文档的过程中，源x m l 可以被过滤，重新排 序以及增加任意的结构。它在转换x m l 结构时的示意图如图2 4 所示： 图2 4x s l t 转换x m l 文档示意图 在数据集成平台中，当某个数据源中的数据以x m l 文件的形式传递过来时它涉及到 以下几种类型的转换；过滤、路由、排序、重构数据、重构元数据、翻译数据。其中过滤是 指选择并提取数据的一个特定子集的处理过程。路由是指选择并移动数据，把文件拆分为一 些子集，然后把每个子集传递到不同的位置。排序是指重新编排数据使之成为更易使用顺序 一 的处理过程。重构数据是指将以不同的顺序来描述数据元素，改变字段长度或其数据描述或 改变逻辑分组。重构元数据是通过数据映射来将描述相同数据的数据名字进行转换，此时要 对包含元数据的文件进行修改。翻译数据是指当编码标准以一个应用转换到另个应用或者 当把数据移动到另个组织时，数据含义保持不变，但是描述数据的编码或者标识符都会发 生变化，须用交叉引用表或者数学函数来转换标识符。 2 转换规则的存储 在定义数据的转换规则的时候，每两个需要进行数据转换的数据源之间都必须定义转换 规则。假设有n 个数据源每两个都需要进行数据转换，则需要定义n ( n i ) 个转换规则。 同时为了简化数据的转换过程常常将所有表示转换规则的x s l t 文件集中保存到转换规则 知识库中a 此时当要对数据集成平台中的源数据源所传递来的数据进行转换调川保存在转 换规则知识库中与源数_ 6 i ：源有关的转换规则( 如果存在的话，而且同时可能存租：多个) ，转换 ! ! ：塑厶堂丝上兰丝堡兰 为满足目的数据源格式要求的数据，最终传递到所有的目的数据源中。 2 , 3 4 利用消息一p 间件来解决数据的一致性问题 应用程序中的数据经常根据业务的变换而发生各种变化。例如在员j = 管理系统中的数据 经常根据员工的变动而变化。在建立数据集成平台之前，各个应用程序中数据变化是独立的， 彼此之间不互相影响。此时要保持相关数据源中的数据一致性( 即数据同步) ，通常的做法 是采用软件供应商提供的数据同步或者数据复制工具来实现例如在使用s q ls e r v e r 保存 企业数据时，可以使用s q l - - d m o 工具集来保持不同s q ls e r v e r 数据库中数据的一致性。 但是这些工具都有一定的局限性，它们一般都要求实现数据同步的数据源是同构，而且数据 具有一定的时延性。 要使数据源中的数据一致就要使源数据源中的数据变化能够及时地反映到其他的数据 源中去，这涉及到分布式环境的通信问题。目前在解决分布式环境下通信的主要技术有： r p c 机制，d c o m 技术和c o r b a 技术。但是这些技术都有一个致命的缺陷，就是通信的 双方必须同时运行，如何有一方没有运行的话，就会出现信息丢失的现象。在这种情况下必 须另辟新径来实现异构环境下的数据实时一致性。 在分布式的异构环境中常常采用中间件技术来实现网络通信【”1 。根据i d c 的表述：“中 间件是一种独立的系统软件或者服务程序，分布式应用软件借助这种软件来在不同的技术之 间共享资源。中间件位于客户机服务器的操作系统之上，管理计算资源和网络通信。”中间 件主要分为五类，其中消息中间件适用于多个进程中需要进行可靠的数据传递的分布式环 境。因此可以利用消息中间件来实现异构环境下的数据实时一致。 1 消息中间件的介绍 消息中间件通过在各网络节点建立逻辑通道来实现消息的发送。消息中间件有同步和异 步两种工作模式。因为异步中间件技术比同步中间件技术具有更强的容错性，在系统发生故 障的时候可以保证消息的正常传输，因而在实际中，异步的消息中间件使用较多。异步消息 中间件分为两类：广播方式和发布，订阅方式。广播方式是指把消息分发给系统中的所有的 客户a 发布订阅方式可以指定哪些类型的用户可以接收哪些类型的消息。消息中间件不会 占用大量的网络带宽，可以跟踪事务，并且通过将事务存储到磁盘上来实现网络故障时系统 的恢复。目前消息中间件的产品主要有：i b m 的m q s e r i e s ，m i c r o s o f t 的m s m q 和b e a 公 司的m e s s a g e q 等都是用来处理在分布式的计算环境中的复杂信息交换。它们都是通过异步 方式实现通信的。 2 基于消息中间件的异构环境下数据实时一致模型 士堕丛兰型!兰垡堡墨一 为了保持异构数据源t t t 数据的实时一致，就必须在某个数据源中的数据发生变化的时候 及时地将数据的变化情况以及变化的数据告诉保存相同数据的数据源。在消息中间件的基础 t 来实现，它的基本模型如f ：在要进行数据实时一致的数据