软件工程硕士论文-数据中间件在恒生系统集成平台中的应用.pdf

y7 7 2 3 2 5 锾旦大学 学校代码：1 0 2 4 6 学号：0 3 3 , 0 5 3 3 1 9 硕士学 位论文 ( 专业学位) 数据中哑件在恒生系统集成平台中的应用 院系( 所) ： 专业： 姓名： 指导教师： 软件学院 软件工程 徐洁 赵卫东 完成日期： 2 0 0 5 年3 月9 日 麓基嚣跚 匆空立蚕蔷 丝口人学_ r 程硕l j 论文 摘婆 摘要 数据中闻件技术在国内引入发展已久，我国大型系统集成平台项目中采纳数 据f 1 1 问件已经成为一种自然、例行的举措。在系统集成平台中应用数据中问件集 成技术其有扩容性强，维护方便，开发高效等优点。从而促进了广泛的、相互关 联企业应用环境的形成，从而缩短企业响应市场的时问，使企业在激烈的市场竞 争中占掘最有利的地位。 在分析了数据中蚓件在系统集成中应用以及数据中n u 件的发展情况等内容 的丛础上，针对恒生公司现有应用系统的用户管理方式，信息数据管理体制等技 术现状，探讨了新的数据集成平台的建设方法和思路，采用三层结构叶1 哪f ，f ：，l ： a 选择一种高效、可扩展、安全可靠和维护性强的数据中问件将两者很好的结合 起来。最后根据在企业中的实际应用情况提出了数据中f h j 件在未来必将更好地为 企业的系统集成平台服务。 关键词：系统集成，数据中问件，系统集成平台 复吐人9 - ：e i v | 论义 a b s t r a c t a b s t r a c t d a t am i d d l e w a r et e c h n 0 1 0 9 yh a sb e e ni n t r o d u c e da n dd e v e l o p e df o ra 1 0 n gt i m ei nc h i o a i ti sa 1r e a d yb e c o m ec o m m o na n dr o u t i n et oa p p l yt h e i ) a t am i d d l e w a r ei nt h ei a f g e s c a l es y s t e mi n t e g r a t i o r lp l a t f o r mp r o j e c t s o fo l l rc o u n t r y 1 th a sa d v a n t a g e si ns t r o n gd i l a t a t i o n g o n v e n i e n t m r in t er l n n c e ，a n de f f i c i e n td e v e o p m e n t ，e t c t h u sp r o m o t e dt h ee x t e n s iv e ， m u t u a la f f i l i a t e de n t e r p r i s ee l g v i r o n m e n tf o r m in g f l e f l n ；- ijy z et h ea p p li c a t i o no f 、d a t am i d d l e w a r ei n s y s t e m i n t e g r a t i o n a n di t s d e v e l o p m e n t w e 1 l d i s c u s st h o u g h t so nt h e e s t a b li s h m e n to fn e win t e g r a t e dp l a t f o r m a n da d o p tt h en l i d d l e w a r eo fl h e t h r e e1 a y e r s0 fs t r u c t u r e ，a n dc h o o s ea ne f f i c i e r l t ，e x p a n d a b l e ，s a f e 。a n d h i g h i v - m a i n t a i n a b l ed a t am i d d l e w a r ef t o f | ) e t t e rc o m b i n a t i o rb a s e do n i l a n d s o m ec o m p a n y sc u r r e n tc l i e n tm a n a g e m e n to ft h ea p p l i c a t i o ns y s t e m a n d n o r m a t i o nd a t as y s t e m f i n a l l ；，a c c o r d i n g t ot h es it u a t i o no ft h e e n t e r p r is e s ，w ec o m e t ot h ec o r l c lu s i o nt h a tt h ed a t am i d d e w a r ec o u id p r o v i d e b e t t e rs e r v i c ef o rt h e s y s t e m i n t e g r a t i o np 1 a t f o r m s ( 1 1 e n t e r p r is e sint h ef u t u r e k e yw o r d s ： s y s t e mi n t e g r a t i o n ，d a t am i d d l e w a r e ， m a n a g e m e n t in f o r m a t j o ns y s t e m i i 复q 人学丁程硕l ：论文第一章引占 第一章引言 1 1 数据中间件在系统集成平台中的应用现状 我国的企业管理应用系统建设从七十年代开始起步，八十年代进行铺垫，九 十年代中、后期进入了快速发展阶段。 目前，传统的管理应用系统都普遍存在系列问题，不同软件间，尤其是不同 部门间的数据信息不能共享，设计、管理、生产的数据不能进行交流，数据出现 脱节，即产生“信息孤岛“，势必给企业的运用带来以下问题：信息需要重复多 次的输入，信息存在很大的冗余，大量的垃圾信息以及信息交流的一致性无法保 证。 “信息孤岛”的问题已经严重的阻碍了企业系统集成平台的整体建设进程， 使企业在进行新一轮投入时，瞻前顾后，难于决断”1 。 要解决“信息孤岛”的问题，关键在于要采用先进的技术手段和管理理念。 数据中问件技术在囡内引入发展己久，我国大型系统集成平台项目中采纳数 据中间件已经成为一种自然、例行的举措。 由于企业由于所处的行业及历史背景各不相同，企业的运作模式虽有雷同， 但企业在信息管理建设过程中的需求是互异的，就需要“量身定制”，以工具化、 成组的设计来实现不同的需求，同时考虑系统集中的集成性和丌放性。 数据中间件的广泛使用，也进一步促进了应用框架技术的丰富和发展，并为 建立企业系统集成平台的业务基础架构奠定了基础。 目前，在国内，数据中间件在系统集成平台的应用市场已经形成两个梯队， 第一梯队由b e a 、i b m 与东方通科技组成，他们共同占据了国内市场7 0 以上的 市场份额：第二梯队包括国外厂商微软、o r a c l e 、s y b a s e 、s u n 、t i b c o 、i o n a 等，也包括国内厂商金蝶、中刨、中关村科技、点击科技等，他们目前在国内市 场中所占有的市场份额已接近3 0 $ 。 基于数据中间件应用的系统集成平台应用最早起步并发展于金融和电信等 高效益行业。系统集成平台将是目前和今后数据中间件软件应用的一个主要方 向。系统集成平台建设步伐的加快将会带动企业管理信息化的采购需求，巨大的 企业系统集成平台需求为数据中间件产业发展带来一个十分广阔的市场前景“1 。 1 2 基于数据中间件的系统集成平台目前存在的不足 现阶段，我国大部分企业的系统集成平台虽然大多突破了基于文件服务器的 复目太学t 程硕f 论_ 盘= 筘一章0 l 等 资源共享模式，而采用c 1 l e n t ，s e r v e r 结构模式，从而避免了用网络将整个数掘 传到工作站，减轻了网络负担。但在这种模式中，企业仍面临着许多问题。由于 c 1l e n t s e r v e r 结构被设计成两层模式，显示逻辑和事务处理逻辑部分均被放 在客户端，数据处理逻辑和数据库放在服务器端，从而使客户端变得很胖，成为 胖客户机，相对服务器端的任务较轻，成为瘦服务器。 数据中闻件在企业信息管理系统中的应用克服了由于传统客户机服务器 模型的缺陷给企业的信息管理系统带来的影响，所以，目前，已经有越来越多的 企业丌始关注数据中间件在企业系统集成平台中的应用。数据中阃件可以支持跨 平台操作，为不同操作系统上的系统集成平台集成提供方便，从而满足企业内部 对系统集成平台伸缩性和可扩展性的要求。但是目前，大部分企业对数据中间件 在系统集成平台中的应用，存在以下问题，所以导致了传统数据中问件不能很好 的在企业的系统集成平台中发挥更大的作用。 1 、用户髓络的复杂性 现代企业，尤其是大中型企业规模不断扩充，导致用户网络因为安全、跨地 区设置分支机构等原因，要求内外网隔离，慢速广域网，导致客户端不能直接访 问集中式服务器。 2 、管理信息数据的专门性 数据库的分布与集中是一个动态过程( 分布的数据会集中，集中的数据也可 以要分布下去，比如总公司数据集中以后，根据需要各地分公司的个性化数据仍 然有可能要前移到各地的分公司网点) ，要求中问件能做到业务逻辑与数据库物 理部署无关。 业务和系统模块要求会快速变动，但对性能与稳定性又有很高的要求。目前， 大多数数据中间件应用的系统集成平台中，存在着系统运行不够稳定的缺陷。 3 、开发周期过长导致成本增加 现在的企业系统集成平台在企业的管理、运营当中发挥的作用越来越重要， 系统的开发已经不能承受过长的开发周期。基于传统数据中闻件的系统集成平台 的开发，虽然开发周期较之以前已经缩短了很多，但是基于其局限性，还是不能 很好的满足企业系统集成平台开发的周娟要求。 4 、资金成本因素 2 复咀人学t 程坝 ：论文第一章0 l 苦 商用中问件成本较高，影响应用系统的性价比a 如i b m ，b e a ，o r a c l e ，h p i n n a 等这些国外的主流中问件厂商，虽然功能强大。但是价格不菲，不适合目 前国内中小企业的实际应用。 1 3 恒生公司现有管理信息系统的不足 多年来跟踪各种技术的发展，恒生公司适应自身业务功能发展和管理的需 要，实施和部署了互联网站系统、人力资源系统、客户服务系统以及办公自动化 系统等多种商业应用，这些商业应用分别解决了公司在不同方面的需求。然而随 着业务和技术的发展，以自包含的“恩盒”系统各自为政的状况无法再维持下去 了，企业的管理需要整合各个系统的信息，实现跨越所有系统的整合管理，同时 将企业内的管理信息流与企业外的管理信息流帽结合以实现高效率的电子商务。 改变恒，土公司现有的系统状况，需要分析现有各个系统中存在的问题和弊 端，针对具体问题提出相应解决办法。建设新一代的系统集成平台。目前恒尘公 司的内部管理系统存在的问题主要以下几个方面： 1 、用户认证和管理机制混乱 经过多年的发展，今天的恒生公司已经是多个系统并存。各个系统中都会有 套独立的用户认证和管理机制，导致员工使用起来很不方便；不仅要i 己多个用 户名和密码，而且登录地址和界面又是各不相同；既没有统一形象又没有统一规 划的合理业务划分。这种现象不利于企业形象的推广和宣传，也不利于增强企业 在用户群中的影响力。 同时系统维护人员要面对多个不同的系统，不同的用户认证机制，f i 常维护 的工作量可想而知，系统管理人员往往将相同的事情在n 个系统中做n 次，而不 是真正地关注用户的权限控制和维护。没有客户服务系统的整合，就没办法实现 更好的个性化的服务。分散的用户信息管理会给用户带来以下的弊端( 注：用户 除了恒生公司的员工，还包括恒生公司的客户) ： ( 1 ) 能实现所有应用系统中的用户信息资源共享，分散的用户管理较吃力。 ( 2 ) 维护多个的用户信息资料库，增加数据冗余，提高维护成本。 ( 3 ) 办法分析客户的贡献度，差别服务也就无从谈起。 ( 4 ) 不利于进行客户分类分析，无法对产品行销策略的定制提供相应的帮 助，从而也不能提供丰富的经营、决策分析数据。 恒生公司需要有一套完善的数据集中认证机制，成为系统集成平台的“绿卡” 通行证。 3 复p 人学t 程坝f 论史第一章，j 1 占 2 、管理信息的整合不畅 大量分敞的管理系统导致计算环境非常复杂，各种管理服务之间缺乏信息交 互通道。恒生公司的网站系统，人力资源管理系统和客户服务系统等企业应用之 间有相似的业务逻辑，但系统没有整合起来，不仅造成了开发成本大，同时导致 了系统维护困难。恒生公司往往为了上新系统就会开发一套新的架构体系，以往 的经验没有积累，导致系统过于分散，难于扩展。 公司迫切需要一套能将各子系统数据有机集成的解决方案。 3 、缺少完善的信息管理 恒生公司的产品信息资源丰富，客户信息繁多，长久以来，已经形成了多种 多样的信息数据格式，公司经常会产生各种各样的报告文件和报袭：公司的产品 宣传往往采用图片等形式；公司原有系统的多个数据库。为了维护这些信息，没 有一个集成的数据管理是很难实现的。而且面对繁多的客户信息资源，需要有良 好的管理系统进行管理和维护，恒生公司的客户上千，客户选用的产品众多，需 要管理的客户信息量在百力i 以上，为了维护这样的信息数据，没有良好的数掘系 统是很难想象的。恒生公司需要能够提供方便检索功能的系统数据集中，来保证 灵活自如的驾驭信息。 4 、数据接入机制不健全 恒生公司现有的个信息系统，各有个的信息数据源，包括员工信息数据源， 各业务部门的内部数据源，客户的客户资料和产品数据源等等。出于没有统一的 接入架构体系，运营和维护的工作较大，增加一种数据源时，往往需要大量的开 发工作：不能够很好的利用已有的系统架构和系统资源。 恒生公司技术部门的运行维护人员或者系统开发人员往往希望通过配置文 件对数据源接入模式和系统参数进行调整。这需要一套合理的数据接入机制来体 现。 5 、缺乏个性化服务 在系统运作初期，客户或者员工往往通过选择希望看到的信息分类来定制自 己的登录首页，当个性化服务逐渐上升到更高层次的时，比如交叉销售，产品推 介等，则需要整个系统本着以客户为中心的原则，设计一个完整的客户信息系统， 能够将所有客户的各类资料进行集中、归类、统一管理的信息管理系统。客户信 4 复咀人学t 程颅l j 论文 第一章0 i 苦 息是客户服务系统的基础，是从以“面向帐户”服务类型向“面向客户服务”类 型转变的关键，通过该系统对客户信息的集中管理，要求使所有应用系统实现客 户信息资源共享，并通过对客户信息的分析，可对不同贡献度的客户实现差别服 务，和支持管理层和领导层的决策。如果没有完善的数据集成机制来支持多个系 统的数据集成和分析，这是很难实现的。 1 4 本文的主要内容 在充分了解了恒生公司目前管理系统存在的问题，以及目前国内数据中间件 在企业系统集成平台中的现状，有必要提供一套适合国内中小型企业现状，并且 能够解决上述局限性的全面解决方案。 本文的系统集成平台基于开放的、易于扩展的应用体系框架。运用n e t 的 架构基础，基于一套专门的数据中间件来开发，实现了企业的管理信息的集成和 共享包括不同部门之间、企业内部与外部问的管理信息集成和共享，解决企业 “信息孤岛”。 使用数据中间件后，系统集成平台的应用程序被分割成三个不同的逻肇 组 件：用户服务层、业务处理层和数据服务层。同时将系统集成平台需求划分成明 确的服务，并以组件的形式实现一个组件用以完成系统中的一种或n 种服务， 如名字服务、事务服务等。由于这些组件根据业务不同，可以让系统管理员更灵 活的部署与修改，而且这些组件逐渐向通用化方向发展，如基于某一标准接口， 所以完全可以被重用。因此这种数据中间件模型具有可重用性、灵活，性、可管 理性、可维护性等一系列优良的特性。 本文的系统集成平台以一家软件企业恒生公司为背景，理论结合实际，分析 了这家企业的管理需求，并且在基于数据中间件的基础上，讨论了数据中间件如 何集成客户服务和人力资源等系统模块。 1 5 本文的章节安排 本文共分为五个章节，详细地探讨了系统集成平台的问题现状、业务需求、 系统设计、基于数据中间件技术的功能开发、实旎总结和展望。 本章从现有的企业系统集成平台现状入手，分柝了恒生公司现有系统管理存 在的问题，简单介绍了本文的现实意义。 第二章在了解现有管理系统弊端基础上，简单介绍了本文所采用的数据中间 件的基本框架，原理及其实现，本文所采用的数据中间件为企业的系统集成平台 的需求多样性提供了很好的解决方案。 5 复口人学t 程颧 ：论空 笫一章0 f 占 第三章在了解了恒生公司系统集成平台所采用的数据中间件技术的基础上， 讨论了公司对系统集成平台的业务需求，以典型的客户服务，人力资源管理等子 系统为例，具体分析了公司系统集成平台的技术实现和功能特点、地位与作用。 重点是深入讨论了数据中间件在系统集成平台中的数据逻辑集成。 最后一章对系统的不足之处进行了分析，并对未来的工作进行了展望。 6 复q 大学工程顺j 。论义 第- 二市数据中间件 第二章数据中间件 在充分了解数据中间件在系统集成平台中应用中存在的问题以及恒生公司 现有管理系统弊端基础上，本章介绍了为何要采用数据中间件以及本文所采用的 数据中间件的基本框架，原理及其实现，为解决上述问题提供了很好的解决方案。 传统的系统应用程序绝大多数是用客户端程序访问数据库服务器的应用，都 是基于两层客户服务器模型，但是如果恒生公司现有的管理系统如果还是采用 这种模型集成，会存在很多的局限性，如：在应用层间通信效率差：不能对应用 逻辑进行分割；缺少足够的安全性；缺少可扩展能力；可移植性( 如存储过程) 差等。要解决恒生公司这些系统集成的应用局限性，采用三层( 或者超过三层的) 应用结构，将曾经单一的应用层在三个不同的层次上开发为分离的组件是一种有 效的解决方案。所以，采用数据中间件能解决恒生公司现有应用系统所存在的局 限性。 2 1 数据中间件的发展 b o i n g 公司在对中间件的丌发工作进行总结的基础上，归纳出六种不同类型 的中问件：面向数据库的中间件、远程程序调用( r p c ) 、报文系统( 安全报文) 、 面向对象的中间件、事务处理监视和专用中间件。 1 、数据中间件概念 简而言之，面向数据库的中问件就是指一切连接应用程序和数据库的软件。 与一般的中闻件一样，面向数据库的中间件允许开发人员通过单一的、定义良好 的a p i 访问另一台计算机上的资源，如数据库服务器。 数据中间件用于特定的数据库环境如果要访问服务器数据库数据的客户机 应用程序一日使用一种数据库类型，那么数据库中间件将在客户机和服务器之间 提供链路。这类中间件如o r a c l e 的s q l n e t 。 如果一个关系数据库中的数据要被作为一个对象来访问，面向数据库的中间 件可以将存储在关系数据库中的信息映射成源应用程序或目标应用程序可以访 问的对象。对于其它类型的数据库( 如：层次型数据库、多维数据库等) 也是如此。 面向数据库的中间件还可以提供对任意数量数据库的访问，而不需考虑数据 库的模型和运行平台，这样无论是哪一种数据库，s q l s e r v e r 、d b 2 、o r a c l e 还是 s y b a s e ，都可以同时通过同一界面进行访问。通过这种机制，就可以把不同类型的 源数据库和目标数据库映射成相同的模型，使他们易于集成。 7 复口人学丁程硕i ：论文 第二章数据中间件 面向数据库的中间件提供很多重要的功能，包括：应用程序接口将应用程序 语言转化为可被目标数据库理解的语言，如：s q l 通过网络传递数据库查询请求 在目标数据库中执行查询将响应集( 查询结果集) 通过网络返回到请求应用程序 将响应集转化为请求应用程序可以理解的格式”1 。 2 、数据中间件在系统集成平台中的发展 随着数据中间件技术的不断发展，在系统集成领域的应用也越来越广泛。 数据中问件在系统集成平台中的应用和发展将沿着层次化、集成化和组件化 的方向发展： ( 1 ) 层次化 在三层( n 层) 体系结构建立后，客户端和数据库的一些业务逻辑被提取出 来形成一个中f i h j 层，于是出现了相应的中间件。中问件的出现使三层体系模式向 多层体系发展，而数据库中间件因异构环境的复杂性也形成多种层次，这些层次 同时也在不断的抽象、总结，并有逐步统一的趋势。 ( 2 ) 集成化 为提高网络开发的效率，各大软件厂商在自己的系统及丌发环境中都集成自 己的一些数据中阳j 件产品。l z h a s p 中内置有a d o 等数据库中间件，用于应用程序和 数据库进行交互。为系统集成平台的部署和快速丌发提供了良好条件。 ( 3 ) 组件化 组件化的思想最初来源于软件复用，其目的是利用别人的成果来集成最终的 系统，而不必重复编写己有的代码。这种思想完全可以应用于数据库中问件技术。 如在利用a s p 访问w e b 数据库时，每次都要建立连接，都要重新编写代码。若将这 部分内容做成a c t i v e x 控件，以动态连接库的形式进行访问，则可大大提高编程 的效率”1 。 在企业的系统集成平台的开发中，这种应用将大大缩短系统集成平台的开发 周期。 2 2 数据中间件原理 本系统集成平台所采用的数据中间件是作为数据中间件系统统一技术平台 而开发的，数据中间件包括：应用服务器( h s a s ，在文中鉴称a s ) ，应用路由器 ( h s a r ，在文中简称a r ) ，集中管理平台( h s a d m i n ) 及客户端框架( h s c l i e n t ) 四部 分。 8 复门人学t 程颂 ：论义第一二章数据中间件 作为服务端系统的h s a s ，h s a r 运行于w i n d o w s l i n u x u n i x 多种操作系统下 面向最终用户客户端系统的h s c l i e n t ，h s a d m i n 运行于w i n d o w s 下。 在下面的讨论中，可能要用到一些术语的专用词，请参见表2 1 。 表2 i 数据中间件专_ j 术语表 定义 说明 中间什 泛指业务运行中间件，包括h s a r 、t l s a s 、i i s c i l e n t 、h s a d m i n 等子系统： h s a r中间件中的客户端框架部分简称a r ； h s a s 中间件中的应用服务器，简称a s ： b s c i i e n t中间什中的客户端框架部分，简称c l l e n t ； h s a d m i n 中间件集中管理客户端，简称a d m i n ： h s i n i t 中间件中的发布及进程滥控服务，简称i n i t ； a d m i n s e r v e r中间件集中管理服务器； i s t n i t 中间件中的发布及进程监控服务，简称i n i t ； n b s t u d i 0 中间件中客户端开发工具( n e wb u s i n e s ss t u d i o ) ，开发 h s c i i e n t 使用的客户端应用界面： 组什泛指中间件中按特定接口规范实现的、独立封裟的功能单元： 一般封装成动态库共享库： 1 、理解a s 在恒生公司采用的数据中间件技术架构中，a s 是业务逻辑的实现平台，位 于数据存储层( 数据库服务器) 及通信按入层( a r ) 中间。如图2 1 所示。 图2 i 数据中闻件技术架构图 9 复口人学f 。程硕i j 论文第二常数据中问件 a s 的对象模型主要描述了a s 通用基础平台的组成，对行业个性化定 制服务，一般采用功能组件的形式实现。 a s 组件对象模型如图2 2 所示。 1 0 复口人学t 程颂i ：沦文 第二帝数据中问件 口妻用上下文对皇i 瑚t 吐t 啦冀s 内置) 一 s 鬲统埘毫i 可：l _ 恤鱼l 置) 1 1 复丑人学t 程硕i j 论文第一二章数据中间件 a s 的业务流程示意如图2 3 所示。 ； 图2 3a s 的业务流程示意 2 、数据中间件采用的技术 本文的数据中间件采用了以下技术，可以有效解决目前数据中间件在系统集 成平台中存在的问题： ( 1 ) 多平台数据库访问技术，支持在不同操作系统( w i n d o w s ，l i n u x ，u n i x ) 下，以统一的接口访问不同的数据库( o r a c l e ，m ss q ls e r v e r ，s y b a s e ，d b 2 ) 。 ( 2 ) 分布式内存数据库技术，支持大容量内存数据库( 1 g 以上) 缓存数据， 实现多点之间的缓存同步。 1 2 复口人学丁程倾i ：论史 第= 审数据中问件 ( 3 ) 中间件集群，中间件网络中的任何逻辑节点都可以由多个物理节点以 群组方式实现集群，通过集群防止单点故障、实现负载均衡及处理能力的线性扩 展。 ( 4 ) 应用路由技术，中间件可以组成复杂的网络拓朴结构，根据应用数据 的特征，实现高效的应用路由( 数据转发) 。 ( 5 ) 全面应用数字证书技术，通过数字证书保证数据通信通道安全性和不 可抵赖性：通过数据签名保护系统的各类组件及配置文件免遭非法修改。 ( 6 ) 集中式应用网管技术，通过集中的应用网管平台，实现对整个中问件 网络的统一规划、系统部署、软件版本管理和运行监管。 ( 7 ) 面向组件的设计技术，中间件的各环节均采用面向组件的小核心设计 模式，确保系统的可扩展性与可维护性。 2 3 数据中间件的选型 根据数据中问件的类型和各自采用的技术，恒生公司系统集成平台所采用的 数据中间件是采用o l ed b ，以x m l 数据交换格式为基础的数据中间件： ( 1 ) 常见的数据中间件有以下几种：o d b c 、j d b c 、o l e d b 。常被戏称为o d b c 的“大哥”，它定义了一个数据访问服务器的集合，通过这些服务器可以很容易地 连接到任意数目的数据源。这样，开发者就可以把多种不同的数据源作为单一的 虚拟数据库来管理。o l ed b 允许使用标准的c o m 接口访问数据。 o l ed b 提供开发者访问关系数据库、文件、扩展表、电子邮件等数据的方 法。通过c o m 接口，开发者可以使用o l e d b 方便地集成面向对象的数据库和多维 数据库。使用o l e d b 时，数据库被简单的看作一个数据提供者组件。任何通过 o l e d b 使用本地数据格式和表现方法的组件都被视为数据提供者，包括关系数据 库( 使用o d b c ) 、i s a m 文件、文本文件、e - m a i l 、微软w o r d 文件和数据流文件。 这里的核心思想是生成独立的o l e d b 组件对象用以调度数据提供者的各种附加 特性和功能。这些独立的o l e d b 组件叫做“服务提供者”。服务提供者类似于查 询处理器允许应用程序使用它们实现不同数据联合( 同族的或异族的) 之间的互 联。数据以单一的视图的形式存在，而不管它们的数据模型是关系型的、面向对 象的还是多维的。1 。 与数据提供者相对的是o l e d b 数据消费者、单个数据提供者的应用程序或作 用于任意多数据提供者的类属消费者。如微软的e x c e l 、w o r d 、p r o j e c t 都可以 成为数据消费者。 ( 2 ) 在数据中间件的发展中，有两个主要的技术发展对数据中间件起着重 要的影响。它们是纯j a v a 开发和以x m l 作为企业阃和因特网的数据交换格式。 1 3 复q 人学t 程颂 ：论文 第一二章数据中问件 x m l 作为一种用于企业间和企业内信息交换的d e f a c t o 标准出现。许多机构正 大量投资以实现各种应用系统问的无缝信息交换。这为基于黼乙的数据中阎件 丌发商带来了机遇和挑战。 2 4 数据中间件的通用性与专用性 企业的新一带的系统集成平台的重要使命，就是加快应用的开发时间和部署 时划，提高商业的敏捷度。数据中自j 件具有融合性、集成性、面向业务、可扩张 性、客户需求个性化、跨平台性和技术平台无关性等特点，具备使原先的单纯管 理( 信息孤岛) 转向统一管理的能力。 作为专门开发的数据中问件，a s 在通用性与专用性两方面，提供了多层次 的服务。 1 、通用基础平台上提供三个层次的服务 恒生公司系统集成平台所采用的数据中间件在通用基础平台方面，提供了如 下三个层次的服务： ( 1 ) 数据访问服务层d a t a s e r v i c e s 提供对关系式数据库、平面文件系统、l d a p 等数据存储的访问封装：尤其 重要的是对上述数据的数据缓存及缓存同步的封装。 ( 2 ) 通用基础服务层b a s e s e r v i c e s 通用基础服务提供在各类行业应用系统中有必须有的通用服务，包括f 1 志服 务、配置服务、消息通信服务、远程调用服务( 非阻塞子服务调用) 、安全服务 等。 ( 3 ) 高级关键服务层a d v a n c e s e r v ic e s 提供基于上述两层服务构建的更高层次的服务，如业务脚本引擎、状态管理 服务( 会话、分页查询缓存、计时器、主动任务) 、文件上传与下载、集中式应 用网管支持等。 2 、个性化定制提供三个服务 恒生公司系统集成平台所采用的数据中间件在通用平台的基础上，提供了如 下三个层次的服务： ( 1 ) 用户认证服务 随着系统集成平台的集中趋势，要求对用户信息进行统一管理；即时数据的 主动推送服务。 1 4 复q 人学t 程硕i 。论_ ! = =第= 章数据中问件 ( 2 ) 即时信息服务 结合实际应用的复杂性，支持多服务器的即时信息服务，可以通过即时信息 服务，为公司用户提供最新的资讯即时推送等服务。如系统集成平台中系统管理 子系统，需要知道系统用户认证状况，系统同志状况等服务。系统管理子系统的 即时信息服务模型如图2 4 所示。 2 5 数据中间件的特点 图2 4 即时信息服务模型 恒生公司系统集成平台采用的数据中间件具有以下几个方面的特点。 1 、提供高效性 数据中间件提供的高效性有效预防了在系统集成平台中可能会出现的性能 瓶颈问题： ( 1 ) 在系统架构各层次上预防性能瓶颈，数据库层动态透明扩展，使用按 逻辑名访问的数据库连接池：a r a s 成组配置。 ( 2 ) 数据缓存，应用服务器缓存不常变化的数据，应用服务器缓存查询频 率高的数据，客户端缓存个性化数据。 ( 3 ) 通信机制的改进，促进业务流程的转变，从而提升性能，以主动推送 替换请求应答，从而减少对数据库的查询频率，以业务会话的方式，用有状态的 服务替换无状态服务，减轻数据库处理压力，以并发予服务替换阻塞的函数调用， 1 5 复q 大学r 程砸i 论史第一二章数姑中间件 提升系统并发吞吐能力。 ( 4 ) 先进的应用路出算法，保证关键业务的及时传送与处理。 2 、提供可扩展性 数据中间件提供的扩展性能确保了系统集成平台中数据存储能力的线性扩 展。 ( 1 ) 性能的线性扩展 通过堆叠低成本a r a s ，确保通信能力，与业务处理能力线性扩展，通过支 持业务逻辑与物理数据库的分离，确保数据库数据存储能力的线性扩展。 ( 2 ) 面向组件的设计 应用服务器 通过动态加载的功能组件扩展应用业务能力，通过动态加我的基础服务组 件，扩展a s 可共用的服务组件，提升公共服务，通过动态加载的命令组件，扩 展对a s 的管理能力，通过动态加载的数据库驱动组件，扩展a s 的数据库访问能 力。 应用路由 通过加载不同的加解密组件，保证通信安全，通过加载不同的压缩算法组件， 保证通信能力，通过加载不同的桥接组件，保证专用中间件与其他系统的互连互 通。 客户端框架 通过客户端界面组件，实现不同业务的用户界面，通过加载客户端插件，扩 展框架本身的处理能力。 3 、提供安全可靠性保证 数据中问件采用标准的数字证书应用，提供标准化的系统安全保证：身份认 证与通道安全。合理的容错冗余机制( a r a s 成组配置) ，提供可靠性保证。有效 解决了系统集成平台的安全机制问题。 4 、提供可维护性 数据中间件提供客户端开发工具，降低开发维护难度，方便用户进行个性化 二次开发，提供统一的集中管理界面，方便用户在任何位置接入，即可对整个中 间件网络进行规划、部署、监控；a r a s 组按组名配置，自动进行名字解析，简 化系统配置；统一的在线管理接口设计，统一的母志谗最设计，也确保了系统的 1 6 复q 人学工程硕j ：论文第二章数据中间件 可维护性；在开发管理上，面向组件、面向接口的设计和开发，采用先进的文档 生成工具，保证代码与文档的一致性和可读性，确保系统的可维护性。采用自动 测试工具，提高测试效率和测试覆盖率。 数据中间件的这种特性为系统集成平台的开发提供了快捷，方便的开发方 式，大大减短了系统集成平台的开发周期，降低了系统集成平台的开发成本，有 效解决了目前企业系统集成平台存在的开发周期太长的问题。 5 、业务逻辑的实现特点 数据中间件支持以统一的接口调用不同数据库的存储过程，同时也充分支持 在a s 上实现业务逻辑。 目前主流系统集成平台大量使用存储过程实现业务逻辑，从而导致业务逻辑 与数据严格绑定，数据库移植困难，昂贵的数据库服务器成为性能瓶颈。 将业务逻辑前移到a s 上实现，可以减轻数据库服务器压力，使同样档次的 服务器可以支持更大的交易容量；由于a s 的运行硬件平台相对低廉，可以通过 成维配置低成本扩展处理性能。更重要的是，业务逻辑前移后，可以实现系统集 成平台的业务逻辑与数据物理位置的无关性，从而使数据库服务器的分割与扩展 更加灵活、透明。 1 7 复咀人学_ 程删l 论史第三章数据中问件在恒生系统集成、y - 台中的脚用 第三章数据中间件在恒生系统集成平台中的应用 本章通过分析恒生公司系统集成平台的目标用户，定位整个系统集成平台， 并探讨了人力资源子系统、客户服务子系统等部分的系统需求，以这两个子系统 的模块为例，详细介绍数据中间件这两个子系统中的数据集成，解决了恒生公司 原有旧系统用户认证管理混乱，管理信息整合不畅，数据接入不健全，缺乏个性 化服务等问题。 3 1 目标用户 ，对目标用户进行分析是系统需求分析的第一步，恒生公司系统集成平台的目 标用户分成如下几种； l 、恒生公司的内部员工 内部员工可以通过各自的系统( 包括人力资源系统、客户服务系统等) ， 对各自系统信息进行维护和管理。内部员工使用的系统将会在的基础上进行逐 步的改造，添加各种信息服务的功能。 2 、恒生公司的产品客户 使用恒生软件的客户能够在互联门户网站上订阅信息，能够享受恒生客户 服务人员提供的信息的服务，如产品更新提醒，技术在线支持，软件升级包的 发送等。 3 、系统管理和运行维护人员 系统管理员负责对系统的正常运行进行管理，对用户、权限、信息等内容 进行控制。运行维护人员能够根据系统提供的监控界面对系统的状念进行监控， 及时地了解系统的运行，性能等状况，并且能够进行一定程度的系统运行状况 的统计。 4 、公司领导决策层 公司的领导决策层需要使用管理系统提供的各种统计查询功能，了解公司的 人事、客户、产品信息等信息资料，以辅助决策。他们对软件系统本身不要求有 很深的了解。管理系统的操作界面要求非常友好。 5 、恒生公司中的其他的应用系统 将会建设一个集中的系统集成平台，其他的应用系统能够从这个系统中获取 1 8 复且大学丁程硕士论文第三章数据中间件在恒生系统集成平靠中的心用 信息，能够向这个系统添加信息。 3 2 系统总体设计原则和规划 恒生公司的系统集成平台应该具备易用性、可扩展性、开放性和实用性等一 系列要素，并且功能齐全。在充分调研的基础上尽量把各种用户、各类业务的合 理需求覆盖进去，能满足现在以及将来可能会有的各种服务需求：站在使用者的 角度去考虑问题，从用户的使用习惯方便来设计系统，而不应单从计算机实现的 方便性来考虑问题，要真正使用户感到一致、简洁、方便、快速；系统在设计时 应有合理的模块结构，做到层次清晰，设计风格统一，使系统可调试性良好，具 有很好的稳定性；系统在设计时应充分考虑系统的可扩充性，尽量将系统抽象化、 参数化，使系统尽可能地应付各种业务变化，便于加入各种新的业务需求。 公司系统集成平台通过入力资源子系统，客户服务子系统等多个子系统模 块，集成多方用户信息，形成完整的管理信息数据源，进行系统化、规范化和网 络化管理，在公司现有条件下实现最大限度共享。为公司决策层对企业的发展状 况和方向决箢提供完整数据分析。 在采用先进的系统整体架构基础上，将公司的系统集成平台划分为多个子系 统。如图3 1 所示。 图3 1 恒生公司管理系统结构图 公司的系统集成平台通过整合不同的子系统信息数据源，并加工处理相关信 息和业务流程，按照需求返回给用户。恒生公司系绕集成平台数据逻辑架构如图 3 2 所示。 1 9 复巨人学t 程硕i 论文第兰章数据申问件在恒生系统集成平台中的心j f 幽3 ，2 恒生公司系统集成平台逻辑结构简幽 本系统所采用数据中间件要实现的任务就是在业务逻辑层中集成各子系统 的数据源和业务逻辑模块。 各子系统信息数据源类型复杂，而且变化也非常快，但本系统采用的数据中 问件接口标准，扩展方便，同时提供大量的工具方法，如数据接口的自动生成， 简化了数据中间件的二次开发，保证快速地适应新出现的数据源。 因本文篇幅有限，所以仅以我所负责开发的人力资源子系统和客户服务子系 统在系统集成平台中的应用为例来说明数据中间件在系统集成平台中的应用。 3 3 人力资源子系统的数据集成 3 3 1 人力资源信息系统现状与需求 1 、恒生公司目前的入力资源现状 因公司发展的需要，部门和人员的规模不断增加，组织机构随之调整，优胜 劣汰，人员流动率提高。岗位工资的改革要求加强对员工的考核力度，这就迫切 要求对公司的人力资源信息进行系统化、规范化和网络化管理，最大限度实现信 息共享。而原来是借助e x c e l 、w o r d 以及简单的人力资源信息库进行人工管理， 一个员工的6 0 余项属性数据部集中在一张表中，一方面是难于管理：另一方面 存在着很多的不足，数据问一对一、一对多的关系普遍存在，数据的冗余度很大； 复咀人学t 程硕j ：论文第三章数据中问件在恒生系统集j 戍、p 台中的心用 数据的共享层次很低( 只能通过文件复制) 。不同格式的数据流以及不规范的数 据库支持导致在统计的时候难以避免的会出现文档丢失、统计遗漏、统计工作量 巨大等弊病。 2 、人力资源系统的需求 以人为本，人是企业的最大资源。需要对公司人力资源信息进行管理、 查询和统计，其功能包括员工基本信息、劳动合同、岗位工资套改、员工离职、 应聘、通汛录查询、系统管理等。建设人力资源的信息数据集成，进行系统化、 舰范化和网络化管理，在公司现有条件下实现最大限度共享。 3 3 2 人力资源系统的结构模块 在充分了解了人力资源系统的现状和功能需求以后，规划设计了人力资源予 系统的功能模块，如图3 3 所示。 图3 3 人力资源子系统的模块结构图 3 3 3 人力资源系统的数据逻辑模型 人力资源系统的数据逻辑模型是成功运用数据中间件的关键数据中洲件根 据人力资源系统的数据逻辑模型将分散的数据源集中。 系统逻辑模型即数据流程图如图3 4 所示。 2 1 复且人学t 程倾l 。论文第三章数据中问件在恒生系统集j j 兑平台中的虎用 幽3 4 人力资源子系统数据流程图 注：为简略幽形，上图中仅列出了系统的最主要的处理功能及信息流动情况。 在人力资源子系统中，数据流程的复杂是它的一个特点，将复杂的数据业务 流程模块化，缩短开发时间，提高开发效率，也是本文采用的数据中间件当初设 计的一大初衷。了解人力资源子系统的数据概念模型( e r 实体关系图) ，也是 成功运用数据中间件将复杂数据源集成的关键之一。 人力资源子系统的数据概念模型( e - r 实体关系图) 如图3 5 所示。 复口人学t 程坝i 论文第三章数据中间件在恒生系统集成平台中的_ 世用 图3 5 人力资源子系统的数据概念模型 3 3 4 人力资源系统的数据集成 l 、集成多样数据格式 人力资源系统数据信息格式多种多样，如经常产生的公司人力资源现状分析 报告( m sw o r d 文档) ：公司的各层机构，各分公司的组织结构图；公司的特殊 员工名单、工资报表( m se x c e l 文档) ；以及员工信息库等等，这些数据除了人 力资源系统，很多数据都存储在其他不同的系统中。 以上人力资源系统的数据源格式多样性的特点体现了数据中间件对数据源 的支持： ( 1 ) 在同一框架下支持不同类型的信息源。 ( 2 ) 能够接入结构化和非结构化的信息。 ( 3 ) 能够同时支持数据库类型、文件系统等不同的类型。 数据中间件对人力资源系统的数据流格式集成如图3 6 所示。 复咀大学t 程硕【：论史第三章数据中间件在恒生系统集成；卜台中的虑用 幽3 6 人力资源数据流格式集成 2 、多样数据格式集成实现 以数掘中问件对员工的工资信息和岗位信息的集成为例。数据集成后最终返 回的客户端显示界面为w e b 浏览器。员工每月的工资存贮在一张e x e c l 表中，而 员工的岗位信息说明存放在数据表中，如图3 7 所示。 图3 7 工资信息数据集成图 数据中间件的业务逻辑层将员工工资表( e x c e l ) 的员工编号，员工岗位编 号员工工资与员工岗位信息表( 数据库表) 一起采集出来，以标准的x m l 数据 流格式返回给员工的工资条。实现了对员工工资信息和岗位信息的数据集成。下 面详细说明其集成实现过程。 u s i n gh a n d s o m e c r m h s b r o k e r i n t e r f a c e ： l 1 s i n gh a n d s o m e c r t l h s b r o k e r f u n c t i o n c l a s s ； 复旦人学t 程硕上论文 第三章数据中间件在恒生系统集成，f 台中的应用 u s i n gh a n d s o m e c r m