大型项目SOA集成方案

1、基于soa应用集成规划xx有限责任公司2013.031目录1项目概况.41.1项目背景.41.2集成必要性.52总体规划.62.1项目特色.62.2总体设计原则.62.3系统总体解决方案.72.3.1技术分析.82.3.2系统架构图.92.4总体预算规划.133主集成技术解决方案.133.1平台技术方案.133.1.1技术方案综述.综合分析工具.后台服务层.数据处理层.开发平台层.系统应用层.信息展现层.193.1.2基于soa架构.soa架构.soa

2、组成要素.soa核心特征.soa优点.soa解决方案的价值.233.1.3技术平台的先进性.web2.0技术的应用.开放性.可维护性.2可移植性.2规范性.2实用性.2可靠性.2高效性.2可伸缩性.300系统性能技术.303.2系统集成应用实现方案.323.2.1系统集成应用方案.323.2.2与oa对接.3223.2.3单点登录.323.2.4用户集成.333.3系统集成技术方

3、案.343.3.1产品化、平台化的外部系统集成.343.3.2主数据同步方案.363.3.3业务数据集成方案.363.3.4集成平台技术框架.383.3.5集成平台技术特性.3灵活的接口应用方式.3多样的接口实现技术方式.4基于webservice的成熟接口技术.4快速的接口集成开发.4方便的接口维护.474保障措施.484.1组织管理.494.1.1组织机构.494.1.2管理机构.494.1.3管理制度.494.2资金保障.514.3教育和培训.515实施步骤.525.1实施建议.525.2实施计划.5331项

4、目概况1.1项目背景近年来，随着xx系统信息化建设的不断深入，信息化建设已从单一系统建设发展到重规划、重管理、重集成的整体持续发展的重要阶段，正逐步着力打造集中、一体化、标准化、开放式的信息化新格局。xx多年来积淀了众多的生产系统，使用人员，系统的使用和管理的复杂度日益加大。各系统单一，数据不规范，信息的孤岛会给经济造成不小的损失，由于信息的离散和数据来源不一致，会导致决策层对市场信息把握不足，使成本没有达到最优化。因此有必要整合xx的各个it应用系统的数据以及流程，以简化用户的访问和系统管理，提高工作效率；xx信息化建设已建系统和预计在建系统有：财务管理系统、全面预算管理系统、设备资产管理系

5、统、生产管理系统、质量管理系统、物流管理系统、mes系统、决策支持系统、oa系统等。如果没有对已有的各信息系统和待建的信息系统进行总体集成规划，将会导致以下的问题：1.数据不规范1)各个系统之间数据经常出现不一致，对财务计划影响很大。2)数据分布散，平台杂，上、下级单位之间以及公司的不同部门之间，存在着信息孤岛的现象，得不到准确的数据。2.数据流向不清晰1)现有各系统或者未来系统将会积累了大量重要的业务数据，随着业务的扩展和客户量的猛增，数据流程不畅通，数据流失和重复，口径不一致、信息共享困难，难以数据共享。2)各业务系统都有自己的处理及分析系统，在进行数据处理的时候，将会花费较长的时间才能查

6、询出报表数据,所以甚至会存在数据处理与数据查询之间抢占资源的冲突。3.不能提供有效的决策支持1)目前各独立的业务系统只能提供单个系统的数据基本查询功能，其提供的分析数据只体现在本业务范围内，不能体现整体运营层面间的数4据逻辑，难以对决策分析提供有效支持，更难以建立现代智能决策分析系统功能。目前xx的信息化建设只停留在业务层面上，没有达到全面的管理，数据资源没有被充分利用起来，管理成本高。1.2集成必要性为了解决以上问题，如何将各系统数据集成，把信息孤岛的数据整合起来，如何解决现有的各管理系统的弊端，如何将业务数据加工整理成有价值的信息，以保证信息的共享和高效率利用，对已有系统及在建系统进行数据

7、集成是迫在眉睫的任务，建设xx集成企业服务总线（esb）、数据共享是该行业建设的目标，也是全国复烤企业的共同问题，系统的建成对烟草行业发展有很好的推进作用。运用现代化的信息技术进行沟通、协调、办公、安全监控、收费等工作，以提高工作效率和管理水平已经成为迫切的需要。通过信息化系统的集成建设，能够提高管理的质量、降低运营成本、提高管理部门工作效率，向社会提供优质、高效的服务；信息化系统集成建设有利于职能转变，履行高效、敏锐、与社会联系紧密的企业职能。正是在这种背景下，加强信息化体系的集成建设，无论是在生产经营与建设管理的战略和战术上，各单位管理与业务工作需求，还是在近期和长期发展下，增强企业经济效

8、益及市场竞争力都具有重要的意义，建立基于soa架构的xx的信息集成系统是符合企业的发展需要和目标。通过实施esb数据集成交换平台，可以在信息化集成方面一举走在了全国同行业的前面。它给信息系统建设带来了以下好处：（一）解决了基础数据编码“数出多门”的问题，使得基础数据的准确性、完整性和唯一性从根本上得到了保证，真正做到了“数出一处”。（二）解决了企业信息集成呈现“蜘蛛网”模式而带来的一系列问题，使得企业信息集成可控、可管和可视从根本上得到了保证。（三）由于引入第三方管理机制，以前接口数据丢失现象得到了彻底解决。（四）由于基础数据的统一和信息交换的全面实施，从根本上避免了企业的物流、资金流和信息流

9、的脱节，从而造成账账不符、账实不符，不仅难以进行准确的财务核算，而且难以对业务过程及业务标准实施有效监控等现象。5（五）两个平台（搭建基础数据管理平台、搭建数据交换平台）的实施为今后新的信息集成提供了规范化约束，从而大大提高了信息集成的进度，节省人力物力。2总体规划2.1项目特色以主集成商为公司建立企业服务总线（esb），以整合财务管理系统、全面预算管理系统、设备资产管理系统、生产管理系统、质量管理系统、物流管理系统、mes系统、决策支持系统、oa等系统的数据，保证数据的一致性、准确性，为决策支持奠定良好的基础，实时全面的反映业务的全局和局部信息，为xx的经济获取更大的效益。xx集成系统与时俱

10、进，在系统建设方面使用准备web2.0技术，更加注重用户的交互作用，在系统应用性上更好的提高了用户体验度。2.2总体设计原则(一)总原则是：在管理上遵循尽量选择国内大型软件开发商，其包含的产品范围应能覆盖企业大部分的系统应用，这样能有效地减少软件的集成数量，同时降低投资成本。(二)其次是选择已建应用系统的企业协调各集成商提供主集成服务，新建系统厂商必须有能够支持esb总线的能力。(三)遵循“符合规划，分步实施，短期见效”原则。应用集成建设过程是一个渐进的过程，必须按照企业的要求，结合信息技术架构规划，按照总体规划，分步实施的原则，并在一期见到成效。(四)在技术上应遵循“标准、开放、统一、面向服

11、务架构（soa）”原则。应用集成相关平台和系统作为支撑各应用系统的基础运行环境，其设计和建设必须坚持开放和标准的原则，必须符合统一标准、统一平台、统一网络和统一数据库要求，符合当前开放的标准和接口，以便系统今后可以进行灵活的6扩展。保证系统和平台的开放和标准是应用集成的重要特性之一。应用集成相关平台和系统的建设必须遵循soa的架构理念，平台架构必须是面向服务的架构，能够全面支持soa的实现，以便it架构能适应业务的变化，支持把公用业务功能抽象和封装成服务，发布到平台架构上，供其他系统调用，并能通过软硬件平台的相关功能实现端到端的流程。新建系统的应用必须是以服务为导向的soa架构理念，保障it快

12、速适应业务变化和用户要求。(五)建设上应遵循“业务驱动、资源重用、分层架构”原则。应用集成相关平台和系统的构建必须以业务发展、需求为导向，必须能够满足、支持业务的需要。应以业务驱动为原动力，同时能够根据业务的发展而进行动态、灵活的调整。应用集成相关平台和系统的构建应遵循it资产重用的原则，应用集成平台建成后，应用系统的开发和部署都要按照应用集成平台的相关技术规范要求部署在软硬件平台上，最大化的重用it资产，投标人对应用集成平台的设计必须保证各应用系统能最大限度重用应用集成平台的软硬件资源，除非有特殊的要求，可作一些适当的扩展或变更。同时必须能方便的集成现有系统。应用集成平台的设计要采取分层架构

13、的原则，层次设置必须科学合理，符合soa思想，并易于部署和管理，各层次之间应符合松耦合的原则，某个层配置的改变不能影响其他层的使用，每个具体的应用可被分成多个层次，部署在应用集成平台的相关层上，便于配置和管理。2.3系统总体解决方案主集成商为xx基于面向服务的架构（soa），建立企业服务总线（esb），搭建两个平台：基础数据管理平台、搭建数据交换平台，统一集成规范（webservices）及统一改造接口方式。以整合财务管理系统、全面预算管理系统、oa、设备资产管理系统、生产管理系统、质量管理系统、物流管理系统、mes系统、决策支持系统等系统的数据，保证数据的一致性、准确性，为决策支持奠定良好的

14、基础，实时全面的反映业务的全局和局部信息，为xx的经济获取更大的效益。soa是基于标准以及松散耦合的。本项目按照国家的标准（如xml和soap）提供了在各不同平台之间的交互性。本方案将以解决主集成商与各业务系统的接口以松散耦合的方式实现。交互两边某一方的改动并不会影响到另一方。这两者7的结合可以实现数据的某些webservices的更改，对各业务系统不会有影响。这种基于标准的、松散耦合的面向服务的架构作为烟草行业的标准soa。2.3.1技术分析为了更好的规划和管理企业的webservice数据服务，业务系统的集成采用以下的设计方案：企业的业务数据请求服务统一由基于was集群的前端webserv

15、ice提供解析转发。由于esb是构建在ha和集群架构之上的高可靠性和高负载的，当mb集群中的任何一个节点出现当机，统一业务数据同步服务都将及时获取到后端的这一变化并及时将业务消息转往正常的集群节点中，因此有效地提高了业务数据同步服务的可靠性和负载能力；这里我们定义它为businessdatainfosyn统一业务数据同步服务，businessdatainfosyn将作为数据请求代理的角色，将上游业务系统发起的业务请求进过esb企业服务总线进行消息处理，同时esb会根据企业数据消息规范进行消息的解析，通过业务服务请求配置获得业务需求的目标下游系统配置信息，将数据消息请求到目标下游系统的数据服务上

16、，最终将下游目标系统的返回消息反馈给上游服务请求者。技术结构图如下：8上游系统企业服务总线下游系统业务操作esb数据服务请求webservice数据服务was集群webspheremq集群业务操作如上图所示，要完成所需数据从发送方系统到执收方系统的转换，可以分为封装、转换和处理三个阶段，需要完成的工作包括：发送方对所需的数据进行封装，发布成web服务；数据交换平台通过调用发送方系统发布的web服务获取数据，经过格式转换转变为接收方系统所能够识别的数据格式，并通过调用接收方系统发布的web服务，将转换后的数据传入接收方系统；接收方系统接收到数据以后，需要对接收到的数据进行解析并更新到相关的业务库

17、表中。2.3.2总体架构基于总体的建设框架和整体架构设计原则，规划了xx的soa逻辑架构图：9根据对客户整合需求的分析，按照建设目标的要求，参照上述整合平台的设计模型，我们从以下两个层面进行整合平台的设计和搭建：用户交互整合：实现用户的统一管理，将分散在各个业务系统中的用户信息统一在一个管理机制中进行管理，同时提供统一的认证服务，减少多系统、多环节认证所带来的弊端；满足对外部客户一户式服务的需求；满足内部职工实时协同工作的需求；提供可裁减与综合处理的信息资源，实现客户管理机关对外信息发布渠道；基于esb的应用整合：规范业务系统之间的信息交换规范；建立业务系统之间信息交互的通道，实现各个管理系统

18、之间的互联互通；构建xx统一对外的信息交换接口，规范数据格式，规范数据输入/输出标准，建立交换渠道；在用户交互整合层构建一个客户统一应用入口及界面整合平台，实现客户应用系统入口归并，在界面级实现交互，实现用户统一管理和单点登录等功能；在应用连接与流程整合层构建一个客户应用功能整合平台，实现多客户应用系统在应用功能层面的连接交互，实现事务级的数据交换，通过一个集成业务流程控制引擎实现跨当前业务流程的定义和实现；102.3.3系统设计关键点搭建基础数据管理平台、搭建数据交换平台（esb）、统一集成规范及统一改造接口方式，围绕这四个方面问题，在xx建立基于esb的信息集成。搭建基础数据

19、管理平台建立统一基础数据管理平台，各业务系统共用的基础数据代码都在该平台中管理，同时支持逆向同步。既所有集成范围内的新增或变更的基础数据都能通过数据交换平台实时同步到各业务系统中去。1.变更各业务系统基础数据结构。各业务系统改造基础数据表的结构，改造内容如下：在所有需要同步的基础数据表中增加对照例，该列存放基础数据平台中的该基础数据的系统内码；增加xx基础数据平台中新增的表；对于那些不能修改现有基础数据表结构的系统来说，应增加对照关系表，该表由三列组成，分别是代码表种类，本系统基础数据编码和基础数据平台编码。2.建立各个应用系统与xx基础数据编码初始对照关系，基础数据编码初始对照关系基本上由下

20、面几种情况组成：（1）基础数据属性细度一致，两边基础数据层次、所属类别及唯一索引相同，附加属性不同的，将双方内容相同的基础数据建立一一对应关系；对于那些各业务系统没有，基础数据编码新增的记录，各业务系统用程序导入或手工录入；对于各业务系统比基础数据编码多的记录，需要和基础数据整理小组确认，在基础数据编码添加这些记录，或者对这些数据进行合并整理；对于基础数据编码新增的属性，各业务系统用程序添加；本数据改变，不能对业务系统历史数据造成影响。（2）基础数据属性细度不一致，但所属类别相同时，当各分系统层次比基础数据编码粗时，各分系统增补层次；当各分系统层次比基础数据编码细时，各分系统合并同层次数据，调

21、整该层次下的基础数据和业务数据。保持细分部分的代码不变，将细分部分的id都对应基础数据编码父级同一id。（3）基础数据所属类别不同时，各分系统移动基础数据到xx制定的新类别，本变化有可能涉及到业务数据调整（按类别统计的记账数据）。11(4）建立基础数据同步机制。各业务系统开发基础数据同步webservices服务，当xx基础数据变化时，通过数据交换平台调用该服务，实现各分系统基础数据和xx基础数据同步。如果有特别要求的，还需要提供对应代码表的校验服务。3.部署基础数据管理平台。从现有业务系统中，收集整理各类基础数据，完成以下工作内容：（1）根据业务种类、划分基础数据类别；（2）分析现有系统的基

22、础数据，设定基础数据种类；（3）针对每个基础数据，确定其属性组成；（4）按照属性，从现有系统中提取数据；（5）将分类、种类、属性及数据导入到基础数据平台；（6）启用各个基础数据的同步服务。搭建数据交换平台（esb）可以采用ibm的websphereenterpriseservicebus或者webspheremessagebroker产品，同时部署数据交换管理平台，对平台进行管理和监控，实现分布式应用+集中式管理，充分发挥数据交换平台的作用。为了使企业信息集成基于企业服务总线（esb）方式实现，需要完成以下工作：1.收集各系统间的接口资料；2.开发接口服务程序并点对点调试成功；3

23、.将所有点对点接口迁移到数据交换平台上；4.部署数据交换管理平台。统一集成规范（esb）建立统一的数据交换规范，最大限度的降低对系统的开发和维护成本，降低系统的复杂度，进而提高系统的稳定性和可靠性。规范包括至少以下几个方面：1.数据交换格式统一，数据交换采用xml格式，元素及属性描述要一致，能让数据交换平台识别发送方、接收方、调用的服务和数据格式。2.所有数据交换均采用webservices服务。3.统一的入口调用，服务调用都指向数据交换平台。124.各系统接口中的基础数据均用基础数据平台编码。2.4总体预算规划结合企业“十二五”建设规划的要求，从优化我公司的管理流程和业务流程的

24、角度出发，对信息系统集成建设进行全面规划，加快建设系统集成、采用先进适用的管理信息系统，实现传统业务模式的改变、优化企业业务流程、系统提升管理效率、从而全面提升管理水平，为实现我公司经营战略目标服务。3集成技术解决方案3.1平台技术方案3.1.1技术方案综述1、基于soa技术，实现外部系统有效协同。soa可以看作是b/s模型、xml/webservice技术之后的自然延伸。soa将能够帮助我们站在一个新的高度理解企业级架构中的各种组件的开发、部署形式，它将帮助企业系统架构者以更迅速、更可靠、更具重用性架构整个业务系统。soa凭借其松藕合的特性，使得企业可以按照模块化的方式来添加新服务或更新现有

25、服务，以解决新的业务需要。2、综合分析展现工具，利用先进的信息技术结合分析模型、分析主题，实现数据综合分析、监控与展现，建立分析决策平台，提供决策支持。综合分析工具综合分析是集智能查询、智能报表、智能报告、仪表盘经理(dashboardmanager)、智能图示化分析、数据整合及数据挖掘功能为一体的软件产品。系统除提供强大的商业智能功能外，还提供进一步的二次开发功能，让用户轻易定制、开发自己的特殊商业智能应用。系统技术架构如下图所示：13信息展现层浏览器/ie客户端/officebidesigner综合分析技术架构图设计器插件bicontainer运行呈现插件开发平台层ide（集

26、成开发环境）：formbuilder+saxbasicscript应用程序1应用程序2模块查询报表模块报告模块分析模块webservices系统应用层信息域模块地图模块图表模块仪表盘模块websphereweblogic后台服务层t/iisinfoserverrepositoryservice对象及元数据管理服务xmlhttp安全控制/权限管理udeservice统一关系数据服务umeservice统一多维数据服务repositoryrdboracle/oraclecube数据处理层sqlserver/ssasdb2/cubingservice.xmljdbc/oledb/o

27、dbc/nativecubexmla/oledbforolap图烟草行业财务分析系统技术架构图系统采用分层、组件化的设计技术，层与层之间、部件与部件之间以xml为粘合剂，是完全松散偶合的关系，甚至可随意装卸，实现软件的plug&play。比如后台的安全管理模块，可以随时卸除（相当于没有安全管理），也可以挂接第三方的安全控制系统，或让系统集成商开发自己的安全控制系统。前端组件也可随意装卸，或挂接用户开发的新模块，扩展系统功能。后台服务层系统前端组件以浏览器插件的形式提供，这样财务分析系统以纯web页面的形式存在，可以集成到任何web应用程序中。插件内部支持功能强大的脚本语言，支持o

28、o设计，支持丰富的界面定制，可以灵活方便地与j2ee后台交互。这样，前端与纯java后台服务（包括webserver和biservice）就构成一个富客户端的应用环境。下图是jserever服务器的内部结构图。14jserversecuritycontroller信息库访问对象repository前端xmlhtt消息分发器biservicerepositoryservice数据库访问对象安全控制用友ncdatabaseudeconnudeconnpool说明：jserver是系统专门为跨平台设计，它可以独立的运行于任何支持java的操作平台以响应系统前端组件的请求。securitycontro

29、ller（安全接口）和udeconnpool（数据库连接池接口）为系统提供的两个纯虚接口，供用户集成使用。系统支持webservices并提供有soapapi，可以连接至bi元数据层、运行报表、使用业务术语检索数据、执行分析查询以及执行工作流任务。系统提供1,800多个api接口，便于快速整合不同系统或平台，更提供少于20行代码量安全整合jsp,.net等oa,bpm平台。数据处理层1、统一的ude引擎所有客户端统一通过服务器上的统一数据库引擎（ude）访问数据库，避免在客户端直接连接数据库所导致的不安全因素，也免去了在每台客户端安装数据库前端软件，配置数据库连接的烦琐工作。支持

30、多数据源：ude引擎支持可处理整合和处理来自多个数据源的数据，在一张报表中融合多个同构或异构数据源的数据。15支持跨数据源：ude数据源管理器提供了十多个数据库访问接口，支持各种连接方式（odbc、oledb、bde、progress等）和oracle,ibmdb2,sybase,microsoftsqlserver、xml、excel、access和文本文件等数据源。连接缓冲池技术：提供客户端接入速度，并节约数据库的连接。对于每个数据源，可设定允许的最大数据库连接数，以及自动释放数据库连接的空闲时间。2、高速的etl引擎系统支持通用的etl引擎，包括：oracle、sqlserver、inf

31、ormix、db2、sybase、progress等，同时研发了支持从简单到高度复杂的数据结构中进行大量数据的收集、集成和转换的etl引擎，支持db2、oracle与sqlserver，对抽取与加载测试指标为100万行含18个各种类型字段的数据，比microsoftdts速度快10倍以上。3、强大的信息域功能可视化创建数据库语义层，用类和对象重组、重构数据库结构，提供一个面向业务人员的智能查询环境。将数据库中的表及字段改为有意义的业务术语，使最终用户不需要依赖it人员即可轻松构建查询和报表；预建表关联（以后做查询、报表不必再建）；将复杂统计表达式作为单个对象，象使用字段一样方便查询和做报表；数

32、据转换，把代码转为代码值；实现单点更新，修改一处，更新全部；数据库信息分类管理（按用户的习惯分类）。开发平台层1、创新的对象概念系统将一切用户可能需要操作的元素，包括数据源、表、字段、条件、参数、公式、函数、查询、报表等，经过提炼、封装、命名，成为可单独管理、重复使用、灵活组合的对象。对象这一全新的概念，为构建各种应用奠定了坚实的基础，大大提高信息利用率。2、细致的对象管理16系统提供一套科学的对象管理机制，将对象自动分门别类（如参数、条件、公式等）管理。并支持用户自定义对象管理规则，实现对象的自动管理，极大地方便用户的使用。系统对每一个对象可进行版本回溯：可回顾对象的构造过程，

33、并保存对象的每一个版本，各版本均可在需要时随意调用。授权：对对象进行嵌入式的安全管理，控制用户对对象的操作权限。派生：通过对对象的修改、组合，衍生新的对象3、灵活的对象应用对象以复制或引用两种方式实现重用。对象可以复制，对原对象的修改不影响复制的结果；也可以引用，实现单点更新修改一处，更新全部。通过拖放将不同工作区的对象进行灵活组合，您可以迅速搭建查询、报表等多种应用。4、科学的对象分区系统的分区管理概念，将对象按不同的共享范围分区放置，分别设有当前工作区、个人共享区、系统共享区等不同层次的工作区，对象可逐层或跨层提交，分类存放。您既可将当前工作区的对象提交到个人共享区，方便其它应用，提高个人