工程硕士毕业论文_系统集成的方案建模.doc

摘要计算机软件技术已经有了很大的发展，比如加密解密技术、web技术、数据仓库技术等，软件体系结构也有了大程度上的发展，分布式的软件体系结构成为正在成为现代软件的趋势和主流。如何配置大型分布式系统的软件和硬件，如何对系统集成进行建模，从而使得系统建模量化，工程化，对于复杂的分布式应用具有深远的意义。系统集成的建模、方案选取、测试和优化是系统集成质量控制的最终手段。它们以图论为理论基础，以一套分层建模的方法论为基础，参考最终的用户需求，结合一系列的测试工具，提出并选取具有一定可靠性概率保证的方案。本文针对系统集成的特点结合结构理论，提出系统集成的压力，支撑，自由度的观点，并且在此基础上提出了一套应用图论结合网络传输的OSI七层结构进行多层的建模系统集成的方法论。其中，本文重点介绍了对系统集成进行应用层和TCP/IP层的建模方法，可以求出系统的压力向量，支撑向量，以及网络流量等系统集成的关键指标。最后本文结合一个实际项目ECMS来对这样的理论进行实际的应用。在应用层和TCP/IP两层上对系统集成进行了建模，并且进行了分层优化。最后使系统达到横向和纵向上的负载平衡。提高了系统的可靠度。关键词：系统集成、服务、计算单元、建模、图、节点、路径、应用层、TCP/IP层1.引言系统集成是将不同的软硬件产品集成起来，并在此基础上为客户开发专门定制的应用软件，最终完成满足客户需求的计算机系统，包括定制软件开发、应用软件平台转换、新增功能开发、集成和调试等。在信息化中，买了服务器、交换机、办公软件等软硬件设备，只有经过高质量的系统集成，才能用起来，并且用得好、用得稳。系统集成的作用由此可见一斑。尤其是，随着政府信息化、行业信息化及企业信息化的深入开展，基于软硬件产品的应用成为当前用户关注的焦点，而这更少不了系统集成1。【1】系统集成评价及需求调查作者：胡敏，崔晶炜 发表：2003.11.07 来源：中国计算机用户1.1课题的来源信息系统开发至今已有40多年的历史，计算机把人们从繁重的信息处理中解放出来，大大的提高了人们的工作，随着现代大型软件应用的发展和计算机硬件性能和软件架构的逐渐增强，越来越多的高质量，多功能的大型集成系统成为了热点问题1。【1】基于统一过程的信息系统集成与设计徐慧，管致锦，南通工学院，江苏，南通，226007。90年代计算技术最引人注目的进展之一就是应用计算环境从集中走向分布。其间，Client/Server计算技术一度成为分布式计算的主流技术。在分布式Client/Server计算机系统的建立及应用系统的开发过程中，人们深刻地认识到系统集成是决定成败的关键因素之一。然而，当今企业计算的分布性、可扩展性和异构性等要求使Client/Server结构在大型企业和机构的分布式计算应用方面遇到了新的挑战。与此同时，随着分布对象技术和构件技术的发展，各软件生产商和研究机构纷纷推出各自的解决方案，如COMDCOM、JAVARMI和CORBA标准。其中，OMG的CORBA标准支持对异构平台的互操作和可移植，并以其技术的开放性和灵活性赢得了900多家软硬件厂商的支持1。【1】分 布 式 计 算 软 件 平 台（项 君 - 周 立- 王 怀 民）在这样以分布，异构，并行为特点的现代软件中，从多线程到服务器群分布式并行计算，卓越的性能是系统集成自始自终追求的目标。可以说，多线程的并行是程序级的，代码级的集成；而服务器群的分布式并行计算则可以看作是服务器级别的集成，在超大型的应用里，还要应用到服务器集群，这时的系统集成就更加成了整个系统良好运行的关键。本文所论述的系统集成是指对分布式服务器群的集成和优化1。【1】1.2课题的意义本论文开题的背景是：计算机软件技术已经有了很大的发展，比如加密解密技术、web技术、数据仓库技术等，软件体系结构也有了大程度上的发展，分布式的软件体系结构成为正在成为现代软件的趋势和主流。本文的目的和思路是：在现今的分布式软件背景下，为系统的集成和优化提出一套方案建模和方案选取的方法学。它们以图论为理论基础，以一套分层建模的方法论为基础，测试和优化是系统集成质量控制的最终手段，参考最终的用户需求，结合一系列的测试工具，模拟真实情况下的服务器计算和处理情景，应用一套建模和优化的算法，提出并选取具有一定可靠性概率保证的方案。考虑到影响到性能的因素时，不仅仅有分布式并行服务器群内在的物理上，逻辑上的复杂关联，还有硬件设施的性能，如网络带宽，磁盘I/O速度等。根据离散数学中图论的概念和理论，可以对系统集成的方案进行建模，并按照集成，在几种系统集成的方案中，可以根据这样的标准算法，比较出合理或者相对较优的方案。这是在C/S和B/S等多层计算体系框架的服务器端的服务器集成方法。可以为大型企业级应用计算提供合理的配置计划。向更大一些的应用范围扩展，从局域网到广域网，综合配置和集成广域网上的各种应用，减少网络延迟等。系统集成是整个系统的静态配置方案，结合动态资源管理方法，动态平衡网络负载等动态调度方案，可以使系统集成真正达到协调，合理。1.3研究的现状从集群到网格1：现代分布式软件和硬件的集成工程，正在呈现需求趋于多样化、软件和服务焦点化，需要更加专业化、品牌化的集成服务。这使得网格应用的概念明确的提了出来。网格应用领域目前主要有四类：分布式超级计算、分布式仪器系统、数据密集型计算和远程沉浸。1分布式超级计算(Distributed Super computing)是指将分布在不同地点的超级计算机用高速网络连接起来，并用网格中间件软件“粘合”起来，形成比单台超级计算机强大得多的计算平台。2分布式仪器系统（Distributed Instrumentation System）是指用网格管理分布在各地的贵重仪器系统，提供远程访问仪器设备的手段，提高仪器的利用率，大大方便用户的使用。在网格出现之前，人们就试图通过网络访问一些仪器设备或仪器数据，但当时的软硬件环境都不成熟，只能实现一些低要求应用罢了，而网格将分布式仪器系统变成了一个非常易于管理和有弹性的系统。3数据密集型计算并行计算技术往往是由一些计算密集型应用推动着的，特别是一些带有重大挑战（Grand Challenge）性质的应用，它们大大促进了对高性能并行体系结构、编程环境、大规模可视化等领域的研究。但是，相比之下，数据密集型计算(Data Intensive Computing)的应用好像要比计算密集型应用多得多。它对应的数据网格更侧重于数据的存贮、传输和处理，而计算网格则更侧重于计算能力的提高，所以它们的侧重点和实现技术是不同的。4远程沉浸(Tele-immersion)这个术语是在1996 年10 月， 由伊利诺州大学芝加哥分校的电子可视化实验室EVL (Electronic Visualization Laboratory)最早提出来的。远程沉浸是一种特殊的网络化虚拟现实环境。这个环境可以是对现实或历史的逼真反映，可以是对高性能计算结果或数据库的可视化， 也可以是个纯粹虚构的空间。“ 沉浸”的意思是人可以完全融入其中： 各地的参与者通过网络聚在同一个虚拟空间里，既可以随意漫游， 又可以相互沟通，还可以与虚拟环境交互，使之发生改变。这些大型的网格应用中，建模和优化无疑是最为关键的主题之一。在更加复杂的应用中，相关建模和优化技术和方法学也随之扩展，直到神经网络算法学和拓扑学。开放式系统集成模型（OAIM, Open Application Integration Model）正是对于系统集成建模的一整套成功的理论和方法学。本文是在开放式软件架构系统集成的基础上，对于压力和配置的建模研究。1.4本文的几点工作本文针对系统集成的特点结合结构理论，提出系统集成的压力，支撑，自由度的观点，并且在此基础上提出了一套应用图论结合网络传输的OSI七层结构进行多层的建模系统集成的方法论。根据离散数学中图论的概念和理论，提出一套对系统进行建模，设计集成的方案；其中，本文重点介绍了对系统集成进行应用层和TCP/IP层的建模方法，可以求出系统的压力向量，支撑向量，以及网络流量等系统集成的关键指标。并且给出了一种选择系统集成方案的标准和根据。在几种系统集成的方案中，可以根据这样的标准算法，比较出合理或者相对较优的方案。这是在C/S和B/S等多层计算体系框架的服务器端的服务器集成方法。可以为大型企业级应用计算提供合理的配置计划。向更大一些的应用范围扩展，从局域网到广域网，综合配置和集成广域网上的各种应用，减少网络延迟等。系统集成是整个系统的静态配置方案，结合动态资源管理方法，动态平衡网络负载等动态调度方案，可以使系统真正做到理论化，并能在各个层面正确分析和控制。最后，本文结合HP惠普实施的一个真实项目H3GA来验证并演示这种建模和优化的理论。1.5 本文的结构本文共分为6章：【1】阐述了本研究的起因和意义，介绍了研究的现状，给出了所做的几点工作；【2】简要地介绍了系统集成的充分必要性，以及现在系统集成在实务中面临的问题，以及介绍现代大型Web应用的系统集成；【3】第三章实本文的理论核心部分，主要介绍了用图论和结构的理论指导建模分布式系统的方法，提出按照OSI网络传输协议模型的七层结构来进行建模。并通过分析系统竖直方向和水平方向上的压力瓶颈，能够在各个层面上，针对不同的主题调优系统集成方案，最终达到在满足系统的使用要求条件下的最小投资；【4】简要介绍SEVEN系统的需求，为什么分布式系统，有些什么样的系统特性？包括那些包，包与包之间的关系如何？系统使用流程；其中包括系统使用的预估。【5】第五章主要应用系统集成建模理论建模SEVEN系统；分别进行应用级别建模和TCP/IP层建模；并且分析系统集成模型，提出优化策略；【6】第六章总结图论建模系统集成的方法，以及此方法在SEVEN系统中的应用。2. 系统集成相关概要2.1 理解系统集成集成的概念绝不只是把各个单项器件、设备和技术互连在一起，而是一个全系统内外全方位的综合问题。集成是指系统中的核心把若干部分、要素联结在一起，使之成为一个统一整体的过程。简单的要素结合在一起并不能称为集成，因为集成的原动力是系统核心的凝聚作用，只有当要素经过优化，相互之间以最合理的结构形式结合在一起，形成一个由合适的要素组成的、优势互补的有机体，才能称为集成。集成的目的是成倍地提高整体效果，即通常所说的“1+12”。欧洲的科研战略计划ESPRIT/CIM-OSA课题组把集成过程分成物理系统集成应用集成经营集成三个阶段1。【1】系统统集的约束机理研究冯绍军 陈禹六 北京大学自动化系 2002年5月2.1.1 物理系统集成物理系统的集成可分为器件、设备和系统三个层次。器件级集成是最低层的，它将各种最基本的元件（如三极管、二极管等）集成在一起，形成了集成电路，并且集成的规模越来越大，所完成的功能越来越多。设备级集成是在计算机网络支撑下实现计算机及企业低层执行设备的集成。系统级(硬件)的集成是将各分系统进行集成，这里所谓的分系统不仅包括生产分系统，还包含设计、管理等技术支撑分系统。这样，通过不同层次的硬件集成，为从管理决策到生产运行中各个层次及同一层次之间架起了信息沟通的桥梁1。【1】系统统集的约束机理研究冯绍军 陈禹六 北京大学自动化系 2002年5月2.1.2 应用系统集成应用集成关心的是整个系统内各部分的应用软件及其用户，包括人和机器之间的控制和信息集成。软件集成就是要在硬件集成所架起的桥梁上建立上桥和通行规则，解决异构软件的相互接口问题。如果没有软件集成，则设备级以上的硬件集成就没有什么意义。因此在一定程度上，软件集成比硬件集成更为重要。软件集成要求所使用的各类软件应符合国际统一标准和开放的要求。信息集成是指对系统中各种类型的数据进行统一处理，避免不必要的冗余，为用户提供统一和透明的界面，实现信息的共享1。【1】系统统集的约束机理研究冯绍军 陈禹六 北京大学自动化系 2002年5月2.1.3 经营和人的集成经营和人的集成是要在上面两个层次集成的基础上，充分发挥效益。经营集成中更重要的问题是人的集成。经营思想能否正确贯彻，最根本的是要通过人来实现;上述技术工具也只是一种辅助手段，能否用好这些工具，真正改善经营，取得经济效益，归根结底也取决于人。“人的集成”实际上是技术改造和社会改革相结合的问题，是工程技术和社会科学相结合的问题。集成对人的工作责任心、协作精神、知识水平、生产技能等各方面的素质都提出了更高的要求，能否改造人、改造组织去适应集成的要求是一个很困难但又极重要的问题。互连、互通、互操作是集成的基础，集成是以集成度作为指标来衡量的，集成度是指相互集成的要素之间关联的程度，集成度越大，表示要素之间的关联越密切，反之集成度越小。然而无论哪种集成，要素之间的关联都要受到周界的约束，物理系统的关联要受到器件、设备、硬件系统的周界的约束，应用集成要受到软件、信息周界的约束，经营和人的集成要受到管理、组织、文化等周界的约束1。【1】系统统集的约束机理研究冯绍军 陈禹六 北京大学自动化系 2002年5月计算机系统的集成2.2 系统集成的必要性【1】信息系统集成的现状和未来费奇，余明晖 华中科技大学系统工程研究所，湖北武汉，2001.3系统集成的必要性体现在以下几个方面1：1)各个信息技术企业所提供的产品仅仅限于它所专长的领域，比如：Microsoft公司重点在与操作系统和办公自动化领域；Oracle、Informix等公司专注于数据库领域；Sybase公司则在开发工具和开发平台方面予以重点关注;3Com、Cisco等公司在网络平台上各有所长;Amd公司则一心要在CPU市场上与Intel公司一争高下。几乎没有一个厂商能够提供一个企业建设信息系统所需要的全部产品和技术，由此必然要求使用多家的产品构成解决方案。2)从企业信息系统的安全和发展的角度来看，采用多家信息技术公司的产品可以降低对某个特定的供应商的依赖性，有利于公司的信息安全。3)实行系统集成可以统筹规划企业的资源，提高资源的利用率。实行系统集成可以共享式的数据管理代替分散式的管理，实现大范围的数据共享，保证基于Client/Server体系的分布式计算信息的统一管理和快速传输。理顺企业的业务及信息流程，强化各级决策环节，对企业管理方式进行重组(Reengineering)，提高企业的综合效益。此外，从企业信息体系结构的基本要求来看，它包括：信息访问:通过公司网络访问有效的信息资源和服务，使得信息可以以每个人需要的方式从各个信息源中进行集成。维护一致性:检测不同形式的模型和数据中的不一致性，并采取措施加以消除。监测和自动化:跟踪如何并从那里得到信息，使得相应的软件和人员能够注意到影响他们的决策和事件，以便采取相应的行动。协同工作:人和计算机在时间(例如在一个产品生命周期的不同阶段)和空间(例如设计和生产工程师一起解决一个问题)上作为一个团体进行合作，团队的成员必须共享知识和信息，并且对可能冲突的决策加以修正。系统集成:独立开发的软件包必须能够易于集成到一个框架中，以便它们能够无缝地操作并且易于使用和维护。而且，这个框架必须提供一个方法使得企业能够渐进地从完全人工操作移植到人机合作的环境中。MIT开展了一项称之为“90年代的管理”的研究，该项研究调查了IT应用对各类机构的影响，研究人员发现:成功的企业在应用IT的方式上比办公室自动化和事务处理自动化的应用方式要先进。研究结果显示，企业的信息化应用水平可以分为5种层次：第1级：本地化应用。信息技术相互独立地应用在一个企业的各个部门，如财务、客户记录、存货等，以实现单项业务管理效率化。第2级：集成化应用。当一个企业应用信息技术进入成熟期时，他们会认识到需要将各个独立运行的系统联接到一起，如通过共享数据将财务与生产系统集成一体化。第3级：业务流程重新设计。应用信息技术转变企业工作方式而不是简单地实现已有工作自动化。第4级：业务网络重新设计。重新设计企业与企业之间的业务处理过程，即对企业的整个供应链（Supply Chain）的工作流程进行重新设计。第5级：业务范围重新定义。通过信息技术应用扩展企业业务范围。对新的或已有的市场提供新产品或服务，或为新的市场提供已有的产品(服务)。从第1级到第2级是一个自然发展的渐进过程，一般发生在开始应用信息技术的一段时间之后。这一阶段的收益无疑是一个缓慢过程，企业一般没有充分发挥信息技术手段的潜能，但是它们也是系统建设中不可逾越的关键阶段，为以后阶段的成功实施打下坚实的基础。第3、4、5级则是革命性的变化，这些级不是从现有的工作方式开始应用信息技术，而是注重工作任务与工作流程，然后发挥信息技术手段支持新的工作方式的能力。由此可见，系统集成不仅是企业信息体系结构的基本要求之一，而且企业信息化的成功实施是以信息系统的有效集成为基础的，它不但是企业信息技术应用的发展和成熟，更是以后企业进行业务流程重组的有力保障。2.3 系统集成的现状条件和发展现代软件的大部分应用是在应用服务器技术，组件和框架技术的基础之上，建立可伸缩，强壮的，支持WEB分布式应用的中间应用服务器系统平台，功能包括：组件容器、管理控制台、事务服务、外部资源管理、名字服务等等。当前的分布对象计算模型有OMG组织的CORBA、Microsoft公司的COM/DCOM、SUN公司的Java RMI等。现代软件要求整个系统易于开发和管理，方便加载卸载服务等1。基于web中间件系统集成框架应用服务器的研究系统集成的建模是对系统集成的理论化和方法学。现在的系统集成建模方法有开放式应用系统集成模型等。开放式应用系统集成模型【1】开放式应用系统集成模型（OAIM, Open Application Integration Model）的设计思想是面向开放标准，简单易实现，即插即用，低成本，无厂商、产品或平台依赖性。开放式应用系统集成模型的核心是应用程序集成协议（AIP），应用程序会话语言（AIL），和应用集成组件（AIC），AIP的具体实现是TCP/IP、HTTP/HTTPS等，AIL的具体实现是XML等。AIC包括三部分：应用连接适配器（AIC Adapter），应用连接交换机（AIC Switch）和应用连接网关（AIC Gateway）。连接组件通过应用程序集成协议构成应用系统集成网（AI Network），其拓扑结构如图：2.4 小结本章简要地介绍了系统集成的充分必要性，以及现在系统集成在实务中面临的问题，以及介绍现代大型Web应用的系统集成；对于系统集成的建模方法，本章大致介绍了开放式应用系统集成模型的理论概念。这些对于建立图论建立系统集成模型都是重要的背景知识和理论依据，同时也是实际应用中系统集成的行之有效的方法。SEVEN系统分布式集成就是依据开放式应用系统集成模型建立而成，系统中配置以明确的系统集成变量，对应模型中的各个节点。本文理论是建立在开放式应用系统集成模型的成果之上，对系统集成的服务和压力进行研究，寻找一种对系统压力的建模方法，并压力模型而寻找优化的方法。3. 用图论建模分布式软件系统集成图论建模系统集成是本文的重点介绍的内容，是系统集成的方法学，可以贯穿于整个系统集成的过程中，包括集成方案的设计，分析，选择以及优化。另外本章提出：集成方案设计过程的统一过程；利用图论分层建模系统集成；系统集成方案分析和选优，以及优化的建模。3.1网络图论在作为系统集成的方法学3.1.1 分布式服务器问题的描述分布式服务器问题为：分布式系统中提供多种服务，系统通过服务之间的协作，完成对请求的处理；服务是物理的配置若干主机之上；外界对系统的使用情况是不确定的，但是符合一定的概率分布的，而且可以通过一定的方法预估出来；整个系统的使用情况是来自于外界的压力，因此压力是由系统的使用情况唯一确定的，给定系统的使用方式集合U=U1, U2, , Ux，代表请求种类，其中每个元素又是服务向量的组合；系统的使用频率的定义是实际使用要求系统需要在每秒钟处理的某场景请求的数量Q=Q1, Q2, , Qx，其元素以“次/秒”为单位。在系统集成的时候考虑一定概率之下的使用情况的组合情况，作为系统集成方案设计的标准压力。系统集成要解决的问题是：在这样的标准压力之下，选择最优的系统配置方案，使得设备和计算单元在一定使用要求和费用要求下满足标准压力。结合对应于建筑结构学中的知识，笔者提出几种分布式系统的概念：自由向量分布式系统中的服务所构成的向量，它标志分布式系统的维度；支撑分布式系统中服务在主机上的配置，一个服务配置在一台主机上，就说系统在自由向量上的这个服务维有一个支撑；自由度F分布式系统中未正确配置到物理主机上的服务的个数，每有一个服务配置到了主机上，系统的自由度就减少1，自由度标志系统的可靠度，由定义可知它可以为负值；应力支撑上某服务的压力情况。稳态结构系统中的每个服务都有相应的支撑；非稳态结构系统中的某个或者某些服务没有物理主机的支撑，即没有配置到物理主机之上。稳态结构又可以分静定结构和超静定结构。静定结构系统中的每个服务和主机都是单一映射关系；超静定结构系统中的某些服务可以配置于多个主机之上，即一个服务可以有多个支撑；超静定结构的自由度小于0。压力，描述外界对系统的使用情况，是在系统的自由向量之上的使用，因此压力描述应为和系统自由向量相对应的向量，可以给定压力的描述算法PP1, P2, , Pn = g (U, Q)。如果系统是非稳态结构，则说明运行系统的功能还不全，某些组件或者服务器没有配置；如果系统是静定结构，则预求得每个主机的运行状况，必须知道的条件是：系统运行中对每个服务的请求状况，即每个服务的压力相当于在相应自由向量上的压力总和；如果系统是超静定结构，则除了需要知道系统运行中对每个服务的请求状况之外，还需要知道系统对于请求负载的分配策略，即应力的分配比例支撑的内部协作机制。3.1.2 网络图论指导系统集成网络图论已经被广泛的应用于系统工程、通信工程、计算机科学、物理学、化学、经济学和社会学等各个领域。如果用点表示相互联系的事物，用线及其权数表示它们之间相互关系机器关联程度，那么所研究的问题就能被抽象为一个网络图模型，在运用网络图论的方法，便是问题得到解决。关于网络图论的基本模型与算法有：最短路径问题，最小连接问题，分配问题，运输问题等。这些网络图论的基本模型算法可以帮助解决很多现实中的问题。图就是用点和线表示的现图。点通常表示某种确定事物，叫做顶点，节点或端点；两个顶点间的联系表示事物之间的关系，叫做边；顶点和边组成的集合就是图。若途中的边具有方向，则称图为有向图，否则成为无向图。由系统集成的特性可知，网络图论无疑是现代的分布式WEB系统的系统集成的天然理论指导。分布式系统的节点、组件、通讯、协作等特征完全对应了网络图论的理论成分，对应网络图论中的结点、边、通路等。有网络图论作为天然的理论指导，却仍然存在许多未解的问题，比如：分布式WEB系统集成涉及到的很多不确定的因素，是否全都能用网络图论来建模，在模型中它们的关系是什么，比如系统的网络拓扑，逻辑路由和流量分配等问题；是否用到分层的模型，如果需要分层的建模，如何来分层；是否都可以用图论来建模，如果能够建模，这些模型之间的关系是什么，如何综合考虑这些模型，而得到一个对系统集成方案的综合评定指数。3.1.3 按照OSI七层模型建模考虑到现代分布式WEB系统的集成是基于网络通讯技术实现，开放系统互连OSI的七层网络协议模型是计算机网络通讯的通用模型，包括了从网络硬件到软件的全部协议描述，并且各个层面实现机制不会对其他层产生影响，高层的应用就如同底层传输情况的视图，如图所示1：OSI参考模型每层的任务：1.Application层：提供用户接口；保持应用程序之间建立连接所需要的数据记录，为用户服务。2.Presentation层：表述数据；对数据的操作诸如加密，压缩等等；处理通信信号的表示方法，进行不同的格式之间的翻译，并负责数据的加密解密，数据的压缩与恢复。3.Session层：建立会话，分隔不同应用程序的数据；主要负责两个会话进程之间的通信，即两个会话层实体之间的信息交换，管理数据的交换。4.Transport层：提供可靠和不可靠的数据投递；在错误数据重新传输前对其进行更正；最关键的一层，向用户提供可靠的端到端（End-to-End）服务，它屏蔽了下层的数据通信细节，让用户及应用程序不需要考虑实际的通信方法。5.Network层：提供逻辑地址，用于routers的路径选择；主要负责路由，选择合适的路径，进行阻塞控制等功能。6.Data Link层：把字节性质的包组成帧；根据MAC地址提供对传输介质的访问；实行错误检测，但是不实行错误更正；在两个主机上建立数据链路连接，向物理层传输数据信号，并对信号进行处理使之无差错并合理的传输。7.Physical层：在设备之间传输比特(bit)；定义电压,线速,针脚等物理规范；主要功能为定义了网络的物理结构，传输的电磁标准，Bit流的编码及网络的时间原则，如分时复用及分频复用。决定了网络连接类型（端到端或多端连接）及物理拓扑结构。这一层主要负责实际的信号传输。OSI参考模型每层的功能1：1.Application层：提供文件，打印，数据库，和其他应用程序等服务；2.Presentation层：数据加密，压缩和翻译等等；3.Session层：会话控制；4.Transport层：提供端到端的连接；5.Network层：路由(routing)；6.Data Link层：组成帧；7.Physical层：定义物理拓扑结构；【1】Cisco Certified Network Associate 640-801 ICND Course Notes，Feb.17th.2004 这正好符合了系统集成的多因素影响和因素之间不相关的情况，因此，本文将系统集成的建模也根据OSI的七层协议模型来划分层次。底层的系统集成模型是高层系统集成模型的基础，高层模型的实现需要有底层模型的实现，他们也是系统在不同分析层面上的模型表示。比如第三层路由层（IP）反映的是分布式系统内部的路由情况，比如系统内部通讯的数据包的路由和分配等，应用层则是反映系统应用级别的集成情况，是应用级别的，逻辑层面上的，比如HTTP的WEB服务的状态等。开放式系统互连OSI模型是一个标准的协议框架，然而实现OSI并将的协议种类繁多，并且应用中可能有多种选择，必须根据具体应用的分布式服务器的结构和特性来建模。在实际的分布式WEB应用中，最重要的是TCP/IP（Transport Control Protocol/Internet Protocol）协议和HTTP协议。相对于OSI，它是当前的工业标准或“事实的标准”，TCP/IP协议主要用于广域网，TCP协议相当于OSI中的网络层(Network Layer)，TCP协议相当于OSI中的传输层(Transport Layer)。它分为四个层次：应用层（与OSI的应用层对应），传输层（与OSI的传输层对应），互联层（与OSI的网络层对应），主机-网络层（与OSI的数据链路层和物理层对应）。一般的，系统集成在应用层(Application)和互连层(IP)上对系统进行定制，以达到费用标准和使用标准上的最优。因此，在系统集成建模的时候，最长使用的就是应用层建模和IP层建模。这两个层面上的建模包括了点到点，应用到应用信息。是系统集成建模和优化的最主要和通用的部分。这样按照七层协议的分层建模只是网络传输方面的建模，这里对于应用软件部分的建模还很粗略。如果有需要，可以在七层的基础上细化最顶层，将其分解为多层，分层机制随考察应用软件或者应用服务器的主题不同而不同，甚至可以考察到面向对象的对象实现机制或者过程语言的算法层面。这样就能把整个的分布式软件架构的模型表达得清楚明白，无论是从哪一个网络传输层面，还是应用软件的角度，这个模型都是可以正确的表达分布式系统的。一般的，系统集成是在软件架构一定的基础之上。而七层模型中的很多主题是根据网路传输的具体协议不同而不同，工程项目中对于系统集成的分层建模尤其是在考察系统压力和配置的情况下最多的是对应用层和TCP/IP层面的建模。在SEVEN系统的系统集成建模便应用了这两个层面的模型，从而提出了多层优化的系统集成方案。3.1.4 应用建模方法在七层模型中的某个层面上对系统集成建模的时候，应该考虑一下几点：节点是什么；边是什么；终要解决的问题是什么；模型最边上的权值是什么；用什么样的计算公式来表达问题；以及公式中的决策变量。考虑自由向量，支撑，自由度，应力等概念在该层上的体现和相互之间的联系。 首先从应用层入手在建模的时候可以先从应用层入手，如HTTP，FTP，TELNET，SMTP，REMOTE DATABASE ACCESS等协议，这些协议是直接建立在TCP协议之上，位于OSI模型中的最顶层应用层，如图所示。【节点】：系统标志应用层模型中节点的是系统中的分布式服务，每个服务有一个节点与之相对应，不论几个服务在同一个物理机器上，还是一个服务有几个并行的物理服务器，一种服务标志模型种的一个节点。设服务节点集合为S=S1, S2, , Sn；【 边 】：服务之间的协作关系可以看作是节点之间的边，即服务之间的逻辑通路（如同软件测试的MM路径和系统路径）。设节点间的可行链路矩阵为SE= SEij| i, j=1, 2, , n ；【问题】：结合系统的实际使用情况，考察服务上的荷载压力和服务之间的信息流量。设服务的荷载集合为LS= LSi | i=1, 2, , n，设服务之间的逻辑链路上的协作流量为TS= TSij| i, j=1, 2, , n 。考察荷载压力时，可以根据服务的协作逻辑，用一个集合Ux表示此x场景在整个分布式系统中的实现，它代表这个场景所对应的服务协作，确定一个完整的使用方式集合中的一个元素。Ux由两部分描述，一个是这个场景的预估使用情况Qx（完成次数/秒），另一个是此场景对各服务的使用集合，Cx = Cx1 , Cx2 , , Cxi , Cxn，其中Cix是此场景中对服务i的消耗情况系数，标志此场景在所有场景中对i服务所需的资源情况和处理情况，此参数可以参照相关工业标准制定，或根据实际项目的具体情况制定（根据CPU利用率、内存占用情况、磁盘I/O情况的不同而变）；Ux = QxCx = QxCx1, Cx2, , Cxn。则有： 考察服务之间信息流量时，可以根据服务的协作逻辑，用一个矩阵TSx 表示此x场景实现所要求的服务之间的信息流量。Tx 由两部分描述，一个是这个场景的预估使用情况Qx（完成次数/秒），另一个是矩阵，表示一次场景实现所需要的服务之间的信息流量。则有：；【权值】：在应用层建模中，为求服务上的荷载压力，不考虑资源和时间等因素，节点上的自反权值可设为与之相对应的压力PP1, P2, , Pn = f (U, Q) ；边上的权值可设为TSij。s【公式】： （1）； （2）； （3）； 【决策变量】：从公式中可以知道，应用层模型中，服务的荷载Li 是在预估系统使用情况的情况下，对服务荷载的建模，它的决策变量是Ck和Qk，在Qk一定的时候，Ck即为决策变量，即分布式系统的软件架构；协作流量TSij的决策变量是除了CTkij和Qk，在Qk一定的时候，CTkij即为决策变量，即服务之间的调用方法；由此可以看出，在分布式系统的软件架构一定，并且预估系统的使用情况的条件下，这种应用层的系统集成建模已经可以考察系统架构中各种服务上的荷载压力以及服务之间的信息流量。 其次建模点到点的通讯层面TCP/IP层；在分布式系统的软件架构一定，并且预估系统的使用情况的条件下，应用层的系统集成建模已经可以得出服务上的荷载压力以及协作流量。对应于这样的需求，在将分布式服务实施到物理主机的时候，可以应用很多种的分布式服务器配置方案；系统集成建模在通讯层面TCP/IP层的建模正是对比这些服务器配置方案，找出系统性能等指标的决策变量，对系统配置进行优化，并最终选出几种方案种的最优解。从应用层建模可以得到：服务的荷载集合LS= LSi | i=1, 2, , n；协作流量矩阵。 【节点】：系统标志传输层模型中节点的是系统中的分布式物理服务主机，主机和节点一一对应。设主机节点集合为M=M1, M2, , Mr，应用层和TCP/IP的节点有对应关系矩阵：其中，系数矩阵元素取值为0或1。此关系矩阵可描述两个概念：当描述服务S向主机M映射的时候，它表述为服务配置主机的配置情况；当描述主机M向服务S映射的时候，它表述为主机上配置了哪些服务；【 边 】：主机之间的通讯可以看作是节点之间的边，即主机之间的物理网络拓扑。设节点间的可行链路结合为E= Eij| i, j=1, 2, , n ，因为主机之间的通讯是有方向的，因此模型应该是一个有向图，即Eij Eji；【问题】：结合系统的实际使用情况，结合应用层建模的结果分布式系统种分布服务的荷载压力和协作流量，考察主机服务器上的荷载压力以及真实的物理网络流量。模型建立在对实际使用情况的预估和模拟下，前提条件是应用层建模结果，根据预估并建模的服务使用情况和通信流量，在将分布式服务实施到物理主机的时候，可以应用很多种的分布式服务器配置方案；配置方案的内容包括：分布式服务器的物理拓扑结构，各个物理主机的配置情况，服务S向主机M的映射关系，以及物理主机之间的协作关系等。系统集成建模在通讯层面TCP/IP层的建模正是对比这些服务器配置方案，找出系统性能等指标的决策变量，对系统配置进行优化，并最终选出几种方案种的最优解。在TCP/IP层建模的时候，根据系统配置方案，列出主机节点集合，和系统物理链路作为网络模型中节点的边。现在已知：系统的物理拓扑也就是图模型的结构以及主机的配置情况；系统使用的各种请求的分布情况；以及由此可以得出的服务上的压力情况。预求的结果是：压力在物理主机上的分配情况，以及由此可得的系统平均反映时间。由此可以看出，模型中缺少的一个计算条件是：物理主机之间的协作关系，即配置有同一个服务的主机如何分配服务的请求。考察系统的节点压力，可以设系统自由向量S=S1, S2, , Sn；系统的支撑为关系矩阵 （aij的值为0或1），系统的自由度为 ，与系统的支撑为关系矩阵相对应的应力的分配比例有比例矩阵，其中（，表示矩阵纵排之和为1，系统意义是一个服务在各个主机上的的分配；，系统意义是横排元素和服务压力之积的和为此横排代表主机的总压力），它由负载均衡策略和请求分配方法决定。设相应的应力矩阵为 ，则有计算公式：【公式】：；【权值】： TCP/IP层的系统集成建模中，节点是系统中的计算单元，权值可设置为节点之间的实际通讯流量；【决策变量】：从公式中可以知道，TCP/IP层系统集成模型中，主机的荷载矩阵是在预估系统使用情况的情况下，对物理主机荷载的建模，它的从公式中可以知道，它的决策变量是服务的荷载LSi和分配矩阵B ，LSi的决策变量是Ck和Qk，在Qk一定的时候，Ck即为决策变量，即分布式系统的软件架构；分配矩阵B，即系统对于请求负载的分配策略，即应力的分配比例支撑的内部协作机制。3.2 系统集成方案的设计过程系统集成的基础是充分的理解本身系统和条件：了解系统的软件架构，系统内部是如何进行通讯和协作的，即了解系统的自由向量，自由度。预估系统使用方式和使用频度，使用第一节中应用层的建模方法建模，可以得到系统在自由向量上每个服务的压力需求，和服务之间的信息量要求，将用户使用的视图转换成系统的服务视图。然后根据应用层建模的结果可以选择为服务配置计算单元的配置方案、网络拓扑方案以及流量分配荷载均衡的方案。再应用第一节中TCP/IP层建模方法建模，可以得到系统在主机上的压力需求，和主机之间的通信量要求。分析模型的决策变量，可以找到系统集成的瓶颈，并进行改进。并且可以应用建模方法对比几种系统集成的方案，如服务器的使用，网络传输的延迟情况以及平均的请求返回时间等。3.3 系统集成方案分析和选优，以及优化的建模进行系统优化，首先应明确系统集成优化的目标。分布式系统集成的优化目标是在满足系统正常使用的情况下，设计分布式系统的网络拓扑方案和服务器配置方案，使得系统的投资达到最小。系统就如同一个平面结构，有竖直方向和水平方向概念。竖直方向是指完整处理用户请求的串行数据流方向。如一个HTTP请求进入系统需有WEB的服务器接受请求，再访问数据库，最后返回Response。这样的方向就是竖直方向。可以说竖直方向代表的是分布式系统的软件架构。竖直方向上的荷载分流和均衡技术需要有很好的软件架构，即系统不会让系统中竖直方向某个层面上的负载过重这种不均衡现象。这样的现象会产生某个层面工作过重，而其他层面上的计算单元处于闲置状态，出现系统瓶颈。水平方向是指系统处理同类的不同请求的并行数据流方向。如系统有多个WEB服务器和DB服务器作为集群系统。则同类请求可能由不同的主机来同时处理。这样的并行方向就是水平方向。水平方向代表的是分布式系统的并行计算结构。水平方向的荷载均衡技术需要有很好的请求分配技术，即系统不会某台或者某几台计算单元处理过多的请求而提供同样服务的其他主机处于闲置状态，出现压力分布不均衡。系统的优化可以分别从竖直方向和水平方向来进行。竖直方向上，即应用层模型的优化，可以采用多服务协作的软件架构，将不同的服务配置到不同的主机上，使得复杂的过程被分解为几块，由多个计算单元来依次处理。当系统的软件架构一定的情况下，则可以使用许多其他的方式方法来平衡竖直方向的压力，比如判断请求的地址和内容来决定是否处理请求等。水平方向杀过那的优化方法，则更直观和丰富。可以给压力最大的服务配置多台主机等。系统集成的建模是在多个层次上进行的，按照系统集成可以定制调优的层面，每个层次对应不同的主题。在系统集成模型的基础上，分析模型的决策变量，找到系统集成的瓶颈，并进行改进。可以进行系统集成的优化。系统优化也是可以针对不同层次的主题而进行。从而把系统集成的优化工程化，结构化。3.4 小结本章是本文的理论核心，主要介绍了用图论和结构的理论指导建模分布式系统的方法，提出按照OSI网络传输协议模型的七层结构来进行建模。并通过分析系统竖直方向和水平方向上的压力瓶颈，能够在各个层面上，针对不同的主题调优系统集成方案，最终达到在满足系统的使用要求条件下的最小投资。SEVEN系统正是在这样的建模方法之下，进行了多层的建模，并且针对不同的主题，在各个层面上调优。最终达到竖直方向和水平方向上的压力平衡。在很大概率上保证系统的可靠性。4.SEVEN系统简介ECMS系统是HP CSSC（China Software Solutions Center）正在进行的分布式应用系统。ECMS(External Corporate Messaging Solution)是这样一套成熟的产品，它是一整套基于J2EE的运算框架，运用Apache&RESIN作为WEB服务器，由Apache来处理HTTP请求和回复，由RESIN作为应用服务器，其他服务是Java Application。它分个人版和企业版本，在客户端分别是两个client端桌面程序，它们可以读取个人PC机器上的Outlook Express等邮件客户端和邮件服务器上的邮件，穿过VPN以SSL加密的方式，通过web服务器发送到Web浏览器，WAP浏览器，PocketPC和palm的浏览器上。使企业中的移动用户可以无论在什么样的地方都可以存取自己的重要信息。另外，系统还有数据仓库功能，方便系统管理员查阅从前的系统使用情况。当用户在企业内收到新的邮件的时候，可以收到由系统发出的提醒短信。本系统集成了多种技术，提供给用户一套完整的服务，SSL加密信息安全技术，Oracle AQ信息队列技术，SMPP协议短信技术，SMTP协议邮件技术，HTML模板技术等等，共同支撑起这样完整的一套移动信息系统。4.1功能简介SEVEN系统是一个移动软件架构，能使移动运营商快速的Deliver 给企业用户Turekey数据访问服务。有了SEVEN系统，用户移动设备安全的访问在企业防火墙之后的企业数据。4.1.1需求移动用户的数量比过去5年增长了2倍。并且现在政府以及各行各业推行无纸化办公，无论是商业上，行政上，亦或是娱乐生活上，Email已经变成了沟通和联系的最主要方式之一。但现在移动设备的用户不能及时的接收到他们的电子信件。因此很多需要立即接收并且得到回复的电子邮件就无法处理，而通常这样的信件又是非常重要和紧要的。因此这样的损失是巨大的。而一个移动用户在出差，旅行，或者开会等外出时候，每天平均会花至少53分钟的时间处理接收电子邮件的事情。有时候甚至没有办法接收到企业电子邮件。4.1.2系统功能功能：Email接收；读，写，恢复，转发电子邮件服务个人信息管理Personal Information Management；编辑修改日历和计划；编辑管理个人和企业地址本Multiple Access Points多路访问带有WAP浏览器的移动设备，如Pocket PC, Palm OS等；桌