（计算机应用技术专业论文）基于soa的企业计算网格系统及其在金融分析中的应用研究.pdf

摘要 摘要 网格计算是近年来分布式计算在科学研究领域和商业领域的新的研究和发展 趋势。网格计算系统的部署使企业的闲置计算资源得到充分利用，省却了企业在 超级计算机上的投入，使得企业内部不同部门的计算和存储资源能够共享，消除 应用孤岛，并行计算的性能和规模得到提高和扩展。而亦是近年研究和开发热点 的s o a 系统架构将企业应用纳入到一个灵活的信息基础架构之上，使软件组件在松 耦合的基础上得到最大程度的复用，构建在这样的系统中的各种服务可以以一种 统一和通用的方式进行交互。 本文针对金融分析领域分布式计算的传统应用和网格计算的应用现状，分析 了现有企业网格解决方案存在的不足，并提出了针对这些不足企业网格计算系统 应该完成的改进，结合s o a 架构的优点，分析了一种基于s o a 的企业计算网格设计 和实现方案，并着重研究了资源管理层的计算资源分配和负载管理层的负载调度 改进算法。然后分析了这种系统在金融分析应用中的可行性，利用此系统实现了 一个金融分析的应用：基于m o n t ec a r l o 方法和v a r 的资产组合优化模型计算，使得 s o a 的服务组合的灵活性和网格系统计算资源的高利用率能够得以体现。最后， 依据设计目标分析了此系统在w i n d o w s 和l i n u x 网格中的性能参数，系统在具有复 杂分布式计算需求的金融分析领域提供了一种实时的具有高可扩展性的解决方 案。 关键词：企业网格计算网格s o a 金融分析负载调度 a 转s t r a c ?3 a bs t r a c t w h i l en o w a d a y se n t e r p r i s e sa si nf i n a n c i a la r e ar e q u i r em o r ea n dm o r ec o m p u t i n g p o w e rt os u p p o r tb u s i n e s so p e r a t i o n sa n dc o m p u t a t i o n a ls e r v i c e s ，e n t e r p r i s eg r i d s y s t e m sp r o v i d et h ec o m p u t i n gp o w e rb ys h a r i n gr e s o u r c e sa n ds e r v i c eo r i e n t a t i o n a r c h i t e c t u r ei sd r i v i n gt h ea d o p t i o no fe n t e r p r i s eg r i d sa st h eb i n d i n go fs o aa n d e n t e r p r i s e 鲥d sa n s w e r i n gt h ec h a l l e n g i n go fd e p l o y i n ga n dm a n a g i n gt h e v a s t c o m p u t i n gp o w e r t h ed e p l o y m e n to fg r i ds y s t e m sm a k e st h e b e s tu s eo fi d l e c o m p u t i n g r e s o u r c e si ne n t e r p r i s es c o p ea n dr e s o u r c e sa m o n gd i f f e r e n td e p a r t m e n tn o w c a nb es h a r e da n di n t e g r a t e ds e a m l e s s l y t h o s er e s u l t si nd e c r e a s e dc o s t sp r e v i o u s l y s p e n ti ns u p e rc o m p u t e r s ，t h u si n f o r m a t i o ns i l o si se l i m i n a t e d ，t h es c a l a b i l i t ye x t e n d e d a n dc o m p u t i n gp e r f o r m a n c eg o tp r o m o t e d 。s o ap r o v i d e sav i s i o no ft h ee n t e r p r i s ew i m d y n a m i c a l l yo r c h e s t r a t e dd i s t r i b u t e ds e r v i c e sw i t ha u n i f o r mm e a n st od i s c o v e ra n du s e t h e s es e r v i c e s 。 b a s e do nt h et r a d i t i o n a la p p l i c a t i o n si nf i n a n c i a la n a l y s i sa r e aa n dt h et r e n do ft h e d e p l o y m e n to fg d ds y s t e m s ，t h i sp a p e ra n a l y z e st h ep r o b l e m si ne x i s t i n ge n t e r p r i s e c o m p u t i n gg r i ds o l u t i o n sa n df o c u s e so nt h ed e s i g na n di m p l e m e n t a t i o no fan e w e n t e r p r i s eg r i da r c h i t e c t u r ec o m b i n i n gw i t ht h eh i l g he f f i c i e n c yo fg r i dc o m p u t i n ga n d r e u s a b i l i t yo fs e r v i c e si ns o a t h ea l l o c a t i o np o l i c yo fc o m p u t i n gr e s o u r c e si nb o t h r e s o u r c ea n dw o r k l o a dm a n a g e m e n tl a y e r si sp r e s e n t e da n de s p e c i a l l yt h ew o r k l o a d b a l a n c i n ga l g o r i t h m si nw o r k l o a dm a n a g e m e n tl a y e ri si m p r o v e d 。t h ep o l i c ym o d u l e s s t r u c t u r ei sr e d e s i g n e df o rg e t t i n gm o r ee x t e n d a b l e ，a n dn e wb a l a n c i n ga l g o r i t h m sa r e p r o p o s e da n di m p l e m e n t e dt os a t i s f ym o r eq o sr e q u i r e m e n t s 。t h e n t h ef e a s i b i l i t yo ft h e s y s t e mi nf i n a n c i a la n a l y s i si sc h e c k e da n da d e m o n s t r a t i o ns e r v i c ei si m p l e m e n t e d ：t h e c o m p u t a t i o n o fp o r t f o l i o o p t i m i z a t i o nm o d e lf o rb a n k sb a s e do nm o n t e c a r l o s i m u l a t i o na n dt h ec o n s t r a i n to fv a r a tl a s t ，as e r v i c et ot e s ts y s t e mp e r f o r m a n c e u n d e rw i n d o w sa n dl i n u xi si m p l e m e n t e da n dt h et e s tr e s u l ti sa n a l y z e d t h i ss y s t e m p r e s e n t sar e a l t i m es o l u t i o no fh i g hr e u s a b i l i t ya n dl a r g es c a l a b i l i t yf o ra d d r e s s i n gt h e c o m p l e xd i s t r i b u t e dc o m p u t i n gr e q u i r e m e n t si nf i n a n c i a la n a l y s i sa r e a k e y w o r d s ：e n t e r p r i s eg r i d c o m p u t i n gg r i d s o af i n a n c i a la n a l y s i s w o r k l o a db a l a n c i n g 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 本人签名： 导师签名： 日期 日期 第一章绪论 第一章绪论 1 1 研究背景 网格计算是近年来分布式计算在科学研究领域和商业领域的新的发展方向。 运用于网格计算的系统统一地管理地理上分布的异构计算或存储资源，组成功能 类似于超级计算机但相对松散耦合的资源群体，用来解决大型的分布式计算和存 储问题。在网格计算领域，比较权威的组织和项目有： 1 g g f ( g l o b a lg i r df o r u m ) 。全球网格论坛是由一群技术人员和研究人员创建 的，这个研究和开发组织的目标是使网格计算能够在商业领域取得成功。 2 0 0 2 年6 月公布了开放网格架构( o p e ng r i ds e r v i c e sa r c h i t e c t u r e o g s a ) 。 这是一组基于现有开放标准的技术规格和标准，旨在为世界各地的网格提 供一个公共的技术基础。o g s a 以服务为中心，它的服务概念很广，包括 各种计算资源、存储资源、网络、程序、数据库等。简而言之，一切都是 服务。 2 g l o b u s 网格项目。由美国a r g o n n e 国家实验室等科研单位共同研发，是目 前国际上最有影响的网格计算项目之一。它发起于2 0 世纪9 0 年代，其最 初目的是希望把美国境内的各个高性能计算中心通过高性能网络连接起 来，方便美国的大学和研究机构使用，提高高性能计算机的使用效率。网 格计算环境形成一个统一的“虚拟组织 ，其中的用户、成员、资源可随 时加入这种虚拟组织。g l o b u s 项目组对信息安全、资源管理、信息服务、 数据管理及应用开发环境等网格计算的关键理论和技术进行了广泛的研 究，开发出能在多种平台上运行的网格计算工具包软件( g l o b u st o o l k i t s ) 。 目前，g l o b u s 工具包已经在美国国家网格和欧洲数据网格1 2 1 等多个项目中得 到应用。 在商用领域，业界目前在企业计算网格领域已经建立共识，认为将企业计算 纳入不同规模的网格是今后数十年的基本趋势。不少公司都基于此目标提出了分 布式计算和存储框架，并有可用的产品提供【3 】【4 】【5 】，试图将企业计算和存储资源在 企业内部不同地域的不同部门之间达到共享。这一类集群计算的网格计算产品， 提供资源调度和负载均衡机制，并有相应的资源策略提供支持。 面向服务的架构( s e r v i c eo r i e n t e da r c h i t e c t u r es o a ) 是g a r t n e r 在19 9 6 年提出 的，到了2 0 0 2 年1 2 月，g a r t n e r 又提出了s o a 是“现代应用开发领域最重要的课 题 ，并预计到2 0 0 8 年，s o a 将成为占有绝对优势的软件工程实践方法。s o a 是 一个组件模型，它将应用程序的不同功能单元( 称为服务) 通过这些服务之间定义良 好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实 2 基于s o a 的企业计算网格系统及其在金融分析中的应用研究 现服务的硬件平台、操作系统和编程语言。这使得构建在这样的系统中的各种服 务可以以一种统一和通用的方式进行交互。 s o a 和网格计算正在结合以构成更灵活的企业信息架构。在o g s a 标准中指 出，“面向服务的观点能够满足网格系统对于标准接口定义、本地远程的透明性、 对本地o s 服务的适应性和唯一的服务语义的要求 【。 1 2 问题的提出及研究现状 国内外现在对网格的研究主要有以下三个方面的趋势。 1 标准化趋势 网格计算由于发展速度太快，各家标准又不尽相同，因此出现了网格计算没 有世界标准的局面。g l o b u s 项目组在网格协议制定上有很大发言权，因为目前大 多数研究性质的网格项目都是基于g l o b u st o o k i t 所提供的协议及服务建设的，例 如美国的物理网格g r i p h y n 、欧洲的数据网格d a t a g r i d 、荷兰的集群计算机网格 d a s 2 、美国能源部的科学网格和d i s c o m 网格、美国学术界的t e r a g r i d 等等。 2 0 0 2 年2 月，在加拿大多伦多市召开的全球网格论坛g g f 会议上，g l o b u s 项目组和i b m 共同倡议了一个全新的网格标准o g s a 。o g s a 叫做开放网格服务 体系( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) ，它把g l o b u s 标准与以商用为主的w e b s e r v i c e s 的标准结合起来，网格服务统一以s e r v i c e s 的方式对外界提供。目前为 止，o g s a 已经广为接受。 2 技术融合趋势 在o g s a 出现之前，已经出现很多种用于分布式计算的技术和产品。例如， 1 9 8 7 年，s u n 公司就推出了开放网络计算( o p e nn e t w o r kc o m p u t i n g ) ，1 9 8 9 年分别 出现了o s f 的d c e 和对象管理组织o m g 的c o r b a ，1 9 9 6 年微软推出了d c o m 。 这些机制互不兼容，严重到了同一家公司的产品都不兼容的程度。在o g s a 出现 之前，各种以填补异构平台之间的差异为己任的网格平台，如c o n d o r 、l e g i o n 、 n i n f , g l o b u s 等，也都是各行其道、互不兼容的。 9 0 年代末，基于x m l 的w e b s e r v i c e s 技术开始大行其道。w e bs e r v i c e s 在各 种异构平台之上构筑了一层通用的、与平台无关的信息和服务交换设施，从而屏 蔽了互联网中干差万别的差异。w e bs e r v i c e s 得到了各大公司的支持，g l o b u s 项目 组亦看到了w e bs e r v i c e s 的巨大潜力，在2 0 0 2 年迅速将g l o b u s t o o l k i t 的开发转向 了w e bs e r v i c e s 平台，试图用o g s a 在网格世界一统天下。基于o g s a 之后，网 格的一切对外功能都以网格服务( g r i ds e r v i c e ) 来体现，并借助一些现成的、与平台 无关的技术，如x m l ，s o a p , w s d l ，u d d i ，w s f l ，w s e l 等，来实现这些服务的 描述、查找、访问和信息传输等功能。 3 大型化趋势 第一章绪论3 美国能源部d o e 支持的科学网格( s c i e n c eg r i d ) 用6 2 2 m b p s 的e s n e t 网格连接 了能源部的两台超级计算机，网格计算能力达到每秒5 万亿次，存储能力达到1 3 千万亿字节；美国国家科学基金n s f 支持的t e r a g r i d 将连接位于五个不同地方的 超级计算机，达到每秒2 0 万亿次的计算能力，并能存储和处理近l 千万亿字节的 数据。美国物理网格g i r p h y n ( g r i d p h y s i c sn e t w o r k ) 计划建立每秒千万亿次级别的 计算平台，用于数据密集型计算。 除此之外，欧洲还有d a t a g i r d 、u n i c o r e 、m o l 等网格研究项目正在开展 【2 】。其中，d a t a g r i d 涉及到欧盟的2 0 几个国家，是一种典型的“大科学 应用平 台。 另一方面，s o a 系统结构的演化正在朝服务的工程化支持方面发展。在s o a 系统的分类中，最复杂而又灵活的系统架构的特征是：支持服务的动态组合和动 态重组( 见3 2 ) ；支持服务的容错控制中心( 见3 2 ) ；拥有多种对服务的工程 化支持，如服务的开发和测试方法支持，服务的调试、部署、修改等等对服务生 命周期的各个阶段的方法和工具支持。 通过网格发展趋势不难看出现在对网格的研究主要集中在网格的实现技术上 和规模上。而且随着网格产品的商业化，推动了网格由研究向实现的转化。近年 来在企业网格的应用发展过程中，金融行业由于其业务中存在大量的分布式计算 需求而积极采用网格方案。大部分的金融公司有多条业务线( l i n e so fb u s n e s s ， l o b ) ，经常出现每个业务线使用独占的i t 资源，业务线之间并不共享资源和服 务，造成i t 资源的巨大浪费。使用网格和s o a 结合的系统架构使得多个业务线 之间的i t 资源可以共享，企业可以开发出一套完整的业务服务模块供不同部门根 据各自的业务模型定制组合。 金融行业实现分布式计算的传统方式有m p i 并行编程( 复杂的编程模式) 、 超级计算机( 比如c r a y ，非常昂贵) 和在l s f 和p b s 等分布式集群计算系统上开 发批处理应用( 缺乏应用程序的重用和重组能力) 。 而目前金融行业在部署分布式应用时有其自身的特征，首先企业内部有大量 闲置和低利用率的计算资源，包括服务器和前端业务主机资源；金融分析应用中 大部分计算以批处理任务的形式完成，单个计算服务当有多个服务请求时，用户 难以指定某个服务请求或一组计算任务的q o s ；这些应用的计算量大，计算所需 数据量大，如果实施分布式计算导致数据传输的通信延迟大；而且特定应用占用 固定的计算资源集群，单个应用形成孤岛，应用或服务之间的可重组能力很低。 金融行业应用的现状是，在共享网格资源的企业基础设施中，如果不给金融应 用开发人员提供容易配置、调试和测试资源和服务的工具，部门之间的多个业务 线仍然会拒绝使用共享资源的网格而继续部署独占的集群和网格系统。 由此，在企业网格领域涌现了一些能在企业内部署的商用网格产品，如 4 基于s o a 的企业计算网格系统及其在金融分析中的应用研究 g i g a s p a c e s ，d i g i p e d e ，d a t a s y n a p s e 公司的网格方案，但现有的解决方案具有一个或 多个以下方面存在不足：h e t e r o g e n e i t y ( 支持异构平台) 、s c a l a b i l i t y ( 支持管理和调 度更大规模的主机数量) 、p e r f o r m a n c e ( 部署后的网格应用的性能达到充分利用 网格计算资源) 、m a n a g a b i l i t y ( 支持企业i t 的复杂管理，如提供工具管理和监视 网格服务) 、p r o g r a m m a b i l i t y ( 满足网格应用开发者的需求，如网格应用易于编程， 调试，测试，打包和部署等) 。 为了解决以上问题，综合s o a 和网格的优点我们需要设计一个更加能为企业 接受的分布式解决方案，设想它有以下特征： 将s o a 和网格结合，消除信息孤岛和提供区别于静态s o a 的动态服务实 例机制。利用企业网格的资源共享特性消除针对特定分布式应用的信息孤 岛，将计算节点的范围扩展至部门之间，经过资源策略配置，s o a 的一个 服务可以在企业内部任何符合条件的主机上启动服务实例，并且如果服务 实例所在主机发生故障，网格中间件系统立即选择其它主机提供服务。对 应于网格服务的用户在不同时间发送的计算任务集合，每次运行时服务实 例所映射到的主机集合可能根据系统的资源策略和当前的负载状况而各不 相同。 单个计算服务当有多个服务请求时，指定某个服务或一组计算任务的q o s ， 提供服务重新组合和动态重新组合( 见3 2 ) 的能力。即使对于同一个服务， 用户对从不同客户端发送过来的计算任务集合也可能有不同的q o s 需求。 我们需要定义更为丰富的参数控制对同一服务的不同类型的客户端请求的 服务质量。 为了提供实时性和更好的性能，在大量数据传送的环节避免s o a p 消息传 递导致的处理延迟。对企业内部或部门内部通过v p n 发送的经过s o a p 封 装的计算任务数据的处理通常会大大增加系统用于数据通信的时间，而此 时如果分布式任务的计算本身占用很少的时间，企业网格的用户会怀疑分 布式应用相对于串行处理所带来的性能提升。 提供易用的c l i e n t 和s e r v i c e 编程模型。这里的易用包括两个方面：一方面 是使原有的分布式应用容易迁移到企业网格上，另一方面是用户易于开发 新的网格应用。 具有以上特征的系统需要对传统s o a 系统结构作针对性的改进。它需要利用 企业网格的计算资源管理能力提供真正的动态服务，根据系统负载和用户配置的 策略动态启动、停止服务实例。需要提供改进的应用程序编写模式。在中间件之 上用户遵循提供的a p i 编程，编写应用时只注重业务逻辑。客户端程序注重串行 处理，服务程序完成并行处理。服务之间可以建立父子和递归关系。网格应用程 序的编写应不局限于具体的语言和编译器。此外，在服务的数据和消息传送环节 第一章绪论 5 不使用s o a p 封装，以求得更高的系统处理和响应速度。在服务的管理和监视上 提供w s d l 接口，使得对服务的管理标准化，并且用户可以开发自己的服务监视 工具。 1 3 论文主要工作及章节安排 本文的工作主要是： 研究基于s o a 的企业计算网格系统的设计和实现，对构成系统的主要模块 加以分析，然后着重研究和设计对体现s o a 和网格特征的特性如服务组合、 服务生命周期管理和q o s 控制、容错等方面的功能要求。 对计算资源在资源管理层和负载管理层的分配策略和路径进行阐述，着重 讲述了系统在服务的各个会话之间的计算资源分配算法的改进。对原有的 基于优先级的f c f s 算法做了两次有针对性的改进，使其更符合服务的q o s 要求。 对系统在金融分析中的应用进行分析和研究，并依据m o n t ec a r l o 模拟算法 实现了一个金融应用服务，利用了s o a 系统的服务可复用性和网格系统的 计算资源的高利用率。 实现了一个专用于测试系统性能的服务，对系统的各项性能参数进行分析。 本文各章节内容安排如下： 第一章首先阐述了网格计算和s o a 系统的研究背景以及趋势，然后针对企业 网格和s o a 的研究现状，分析了当前企业网格系统特别是金融行业计算网格的特 点和缺陷，提出了解决这些问题的系统应作的改进，最后介绍了本文的主要研究 工作和各章节内容安排。 第二章讲述了企业计算网格系统的概念和特点，并根据网格的规模和功能特 性对网格系统进行分类阐述，然后对网格中资源的特点进行描述，接着分析了网 格计算在金融行业的应用和发展趋势。 第三章首先介绍了s o a 的概念和特征，s o a 框架带来和好处以及这种设计和 其它架构的主要区别，对s o a 分类所依据的四个参数作了分析。然后研究了基于 s o a 的企业计算网格系统的结构设计，对其主要模块的功能进行了分析，对s o a 系统和网格系统的设计涉及到的几个比较重要的特性进行了阐述，比如服务的生 命周期管理、对服务请求的q o s 参数控制、系统的容错机制以及服务程序的结构和 编程方式等。 第四章介绍了系统对计算资源的分配流程，首先分析了计算资源在资源层的 分配模式，然后重点分析了负载管理层的对资源和负载的调度策略，阐述了原有 分配算法的缺点，在此基础上对策略模块进行了改进设计，对分配算法进行了两 次改进。 6 基于s o a 的企业计算网格系统及其在金融分析中的应用研究 第五章分析了网格计算在金融分析中的应用，然后实现了系统的两个实例服 务，一个依据基于m o n t ec a r l o 方法和v a r 的资产组合优化模型实现了银行资产组合 优化的计算，另一个用于对系统在指定参数下的性能进行测试和分析。 最后，第六章是本文的总结部分，概括全文并阐述本系统在企业应用中的可 行性以及需要进一步研究和解决的问题。 第二章企业网格计算 第二章企业网格计算 2 1 网格计算的概念 超级计算机在复杂科学计算领域的得到很好的发展，但以超级计算机为中心 的计算模式存在明显的不足，而且目前正在经受挑战。超级计算机虽然处理能力 强大，但造价极高，通常只有一些国家级的部门，如航天、气象等部门才有能力 配置这样的设备。而另外一方面，企业中的大多数桌面电脑仅仅用到了其工作能 力的1 0 - - 2 0 ，多数服务器能够达到应用峰值的时间只有2 0 。而随着人们日常 工作遇到的商业计算越来越复杂，人们越来越需要数据处理能力强大、类似于超 级计算机功能的计算机，而超级计算机的价格显然阻止了它进入普通人的工作领 域。于是，人们开始寻找一种造价低廉而数据处理能力超强的计算模式，这就是 网格计算的产生背景。 网格就是一个集成的计算与资源环境，除了各种类型的计算机，这里的计算 资源还包括网络通信能力、数据资料、仪器设备等各种相关的资源。网格的最终 目的是希望给最终的使用者提供的是与地理位置无关、与具体的计算设施无关的 通用的计算能力【6 】【7 】。2 0 0 2 年，i 锄f o s t e r 在g r i dt o d a y ) ) g l o b a lg r i d 周报上，从 三个方面更清晰的定义网格，他认为网格是一个满足如下三个条件的系统1 8 1 ： 1 能协调非集中式控制的资源，即网格能协调资源与用户在不同控制域内的活 动； 2 使用标准的、开放的、通用的协议和接口，网格是使用多用途协议和接口来构 建的，该协议将能解决诸如鉴别、授权、资源发现和资源访问等一些基本问题。 3 提供非常的服务质量，网格允许按协作的方式来使用其成分资源，以提供各种 各样的服务内容。 从广义上讲，网格就是一个集成的计算与资源环境，或者说是一个计算资源 池。网格能够充分吸纳各种计算机资源，并将它们转化为一种随处可得的、可靠 的、标准的同时还是经济的计算能力。从狭义的角度讲，网格被称为计算网格 ( c o m p u t a t i o n a lg r i d ) ，即主要用于解决科学与计算问题的网格，它的资源指的仅是 计算资源。网格计算( g r i dc o m p u t i n g ) 是指基于网格问题的求解，它将分布的计算 资源组织起来协同解决复杂的科学与工程计算问题。 2 2 网格计算的特点 网格计算是利用互联网或专用网络把地理上广泛分布的各种计算资源互连在 一起的技术，这些计算资源包括超级计算机、计算机集群、存储系统和可视化系 统等。 8 基于s o a 的企业计算网格系统及其在金融分析中的应用研究 网格计算总体来说的特点是可以协调管理非集中控制的共享资源；提高系统 响应时间，流通量，有效性，安全性及资源重新定位，使得联合后系统的功效比 其各部分的功效总和要大得多；可以解决动态v o 中的资源共享和分配问题。 网格计算有如下特点 9 1 1 1 0 】【1 1 】： 1 资源的物理分布和逻辑共享。组成网格的资源一般都是地理上分布的，由于网 格平台上的资源本身就不是指单一的计算机资源，这些资源往往是分布在世界 各地的。网格的目的就是要使网格平台上的任何资源都可以让网格上的任何使 用者使用，这种共享是一种广义的共享。 2 资源的动态变化。网格平台本身的定义决定了网格平台是一个始终处于变化中 的网络群体，网格平台上的资源和它拥有的功能会动态地增加或者减少。因此， 网格平台本身的设计就要具有很好的扩展性。 3 资源的异构性。网格系统由分布在不同规模的组织中甚至是i n t e m e t 上的各类资 源组成，包括各类主机、工作站和p c 机，它们是异构的，可以运行在u n i x n t 等各种操作系统下，也可以是上述机型的集群系统、大型存储设备、数据库或 其他设备。由于网格分布在广域网上不同管理域的各种计算资源中，怎样实现 异构机器之间的协作和转换是网格计算要解决的重要问题。 4 资源的可扩展性。计算系统初期的计算规模较小，随着超级计算系统的不断加 入，系统的计算规模也随之扩大。要在网格资源规模不断扩大、应用不断增多 的情况下，不至于降低网格计算的性能。 5 动态自适应性。在网格计算中，某一资源出现故障或失败的可能性较高，资源 管理器必须能动态监视和管理网格资源，从可利用的资源中选取最佳资源服 务。 6 结构的不可预测性。与一般局域网系统和单机的结构不同，网格计算系统由于 地域分布和系统的复杂性，使得整体结构经常变化，网格计算系统必须做到能 够适应这种经常变化的结构。 7 多级管理域。由于构成网格计算系统的资源通常属于不同的机构或组织，使用 不同的安全机制，因此需要不同的机构和组织共同参与解决多级管理域问题。 总之，网格的基本特征是资源共享。 2 3 网格的分类 按照网格系统所基于的组织结构的规模，网格可以分为【1 2 】： 部门网格 部门网格被部署用来解决企业内部的某个部门的分布式计算或存储问题。 部门网格中的资源不能被其它部门共享。与部门网格相关的网格类型有 c l u s t e rg r i d s 和i n f r ag r i d s 。c l u s t e rg r i d s 是由s u n 公司提出的网格术语，是 第二章企业网格计算9 由一个或多个系统组合起来并提供给用户单一入口点。典型情况下，集群 网格被用于单个组织或项目，可以支持高吞吐量和高性能的作业执行。 i n f r ag r i d s 是由i b m 提出的，用来优化一个企业或组织内部的资源共享，它 可以部署在校园网内部或跨校园网。 企业网格 企业网格将企业内部的各种资源统一管理并提供给企业内部的所有用户。 与企业网格相关的网格类型有e n t e r p r i s eg r i d s 、i n t r ag r i d s 和c a m p u sg r i d s 。 根据p l a t f o r mc o m p u t i n g 公司的定义，e n t e r p r i s eg r i d s 被部署在一个大型企 业或组织内，但地理位置可以广域分布，不同地理位置的资源可以共享。 这种共享在企业防火墙的范围之内。根据i b m 的定义，i n t r ag r i d s 可以跨越 企业内不同的部门共享资源，可以是本地的也可以跨越广域网。根据s u n 公司的定义，校园内部多个项目和组织可以在c a m p u sg r i d s 内部共享资源 并相互合作，它可能包括多个管理域中的集中控制服务器或分布在各处的 工作站。 跨域网格 跨域网格可以建立在企业、其合作伙伴或客户之间，网格资源在v p n 内部 可用，与它相关的网格类型有e x t r ag r i d s 和p a r t n e rg r i d s 。i b m 将e x t r ag r i d s 定义为可以和企业合作伙伴共享资源的网格，它假定企业之间的联系通过 可信服务比如v p n 来进行。p l a t f o r n lc o m p u t i n g 将p a r t n e rg r i d s 定义为在相 似类型行业之间建立的网格，这些行业组织之间需要合作并相互使用资源 以达到一个共同的目标。 全球网格 全球网格是在i n t e m e t 上建立的网格，企业组织可以从i n t e m e t 上的服务提供 者购入部分或全部需要的服务项目。与全球网格相关的网格类型有g l o b a l g r i d s 和i n t e rg r i d s 。s u n 公司将g l o b a lg r i d s 定义为用户可以任意或付费使用 外部服务提供者提供的资源。这里的用户可以是世界任何地方的企业、 组织或个人，他们将自己的计算或存储资源暂时无法完成的作业或任务通 过公用网络委托给服务提供者来完成。i b m 将i n t e rg r i d s 定义为可以在公用 w e b 上共享使用的网格，这包括卖出自己富余的资源或买入其它组织的资 源。 而如果按网格系统的功能划分，网格系统又可分为以下几种【7 】f 1 1 】【1 3 】【1 4 l ： 计算网格( c o m p u t i n gg r i d ) ，主要用来完成大规模计算问题，可以处理关键 数据，或是为其他负载较重的计算机分担任务。 数据网格( d a t ag r i d ) ，为同一机构中的所有数据存储库提供分布式存储方案 和统一界面，通过这个界面可以实现对数据的查询、管理和保护。 l o 基于s o a 的企业计算网格系统及其在金融分析中的应用研究 信息网格，是要利用现有的网络基础设施、协议规范、w e b 和数据库技术， 为用户提供一体化的智能信息平台，其目标是创建一种架构在o s 和w e b 之 上的基于i n t e m e t 的新一代信息平台和软件基础设施。在这个平台上，信息 的处理是分布式、协作和智能化的，用户可以通过单一入口访问所有信息。 信息网格追求的最终目标是能够做到服务点播( s e r v i c eo nd e m a n d ) 。 服务网格，它采用w e bs e r v i c e 和网格计算技术，遵循o g s ag r i ds e r v i c e 的 标准，面向企业集成、支持服务连接、管理、集成、优化和运行。服务网 格将成为商业网格系统的一个重要发展方向，它为实现多企业或部门之间 广域分布业务应用的集成和协同提供了按需服务、系统互操作和可监控等 方面的有力支持。 + 设备网格，指用网格管理分布在各地的贵重仪器系统，提供远程访问仪器 设备的手段，提高仪器的利用率，大大方便用户的使用。 2 4 网格资源及其特点 网格资源指所有能够通过网格远程使用的实体，包括计算机软硬件、仪器设 备等。同以往分布式系统中的资源相比较，无论是种类的多样性方面还是功能的 多样性方面，网格资源都具备了一些以往系统中的资源所不具备的特点，这些特 点对于网格构建，网格研究和网格应用有重要的影响： 1 分布性。组成网格的资源在地理位置上是分布的，跨越不同的管理域。在这种 分布环境下，需要解决网格资源针对任务的分配和调度问题、传输和通信问题， 人与系统的交互和协同问题，网格应用在分布环境中自动执行和协作问题。 2 异构性。网格中的资源种类繁多，功能各异，访问接口也不尽相同，本地管理 系统不同，共享规则也各不相刚b j 。如同样是计算机资源，有的机器运行的是 l i n u x 操作系统，有的机器运行的是w i n d o w s 操作系统。 3 自治性。网格中的资源首先是属于某一本地的个人或者组织，网格资源的拥有 者对资源具有最高级别的管理权限，网格应该允许资源拥有者对其资源有自主 的管理能力，因此具有自治性。同时这些资源根据一定的约束规则接受网格的 统一管理，实现资源的共享和互操作，这使得网格管理比一般的分布式系统更 为复杂，具有管理的多重性。 4 动态性。由于网格中的资源具有自治性，因此网格资源可能动态的加入或退出 网格，也可能出现故障导致不可访问，另外资源的性能状况也可能发生较大的 变化，使得供网格用户使用的资源也会发生相应的变化，即网格资源的可获得 性是随时间的变化而动态变化的。 5 二分特性：网格资源最终都是由具体的资源拥有者提供的，除了一部分专用的 网格资源是专门提供给网格用户使用的之外，大部分的资源都同时作为网格用 第二章企业网格计算1 l 户可以使用的网格资源和资源拥有者自己使用的本地资源。网格用户远程使用 资源不能损害资源拥有者和本地用户的利益，即使那些专用网格资源，也要有 时间来运行本地管理系统。网格作业所能进行的操作和拥有的权限要保证资源 本身的安全工作和资源拥有者的合法权益以及使用该资源的其他网格用户的 安全。 综上，网格资源的特点决定了网格资源管理机制应该具备的功能和特点，即 要隐藏网格资源的异构性，为用户提供统一的访问接口来屏蔽网格资源的动态性， 要尊重资源的本地管理机制和策略，使资源更好地为网格服务。 2 5 网格计算在金融行业的应用和发展 过去金融行业的分布式计算的发展并不是一帆风顺的，已经融入企业业务流 程的应用若要改写成可以获得分布式计算架构之好处需要很强的技术和相应的资 源。举例来说，以前很多的金融类应用在e x c e l 里面开发数值分析和其它的业务管 理程序，通常情况下，要把这一类应用转换成可分布式计算需要程序员将电子表 格中的逻辑转换成另外一种语言的代码，而这种转换又需要很多的专业技能和更 细致地理解底层的业务逻辑，这些需要程序员在网络、安全、并发和性能上具有 很多的专业知识。 在金融企业网格中间件出现之前，金融企业为了加快i t 业务执行的速度的方 式通常有以下几类方法：使用m p i 编程【1 6 】【1 。7 】实现业务逻辑的可并行化；使用超级 计算机；将应用移植到批处理分布式系统如l s f 、p b s 实现并行计算。 以上几种方式的缺点都是显而易见的，m p i 编程接口是一种对应用开发人员来 说复杂的编程模式，开发团队需要花费大量的时间去研究进程的分布、文件和数 据的部署等问题，在分布式计算所需要的基础设施和框架支持的开发上花费过多 的时间，而不是专注于应用的业务逻辑的开发。使用超级计算机使得计算成本庞 大，而同时大部分的桌面计算机多数时间处于低利用率状态。l s f 和p b s 等批处 理系统显著降低了在异构平台上开发和执行分布式应用的成本，更使得分布式计 算更容易地扩展到企业各部门的桌面机器。但是这些系统往往仍然需要应用开发 人员具有一定程度的对分布式架构的知识和理解，将普通应用移植到分布式平台 上仍需要对原有的业务代码作很大的转换，而且系统在实时性、应用模块的松耦 合性上仍有不足。 近几年出现的针对金融企业的网格中间件极大促进了企业网格的发展，应用开 发人员可以利用中间件以最小成本和时间完成分布式应用的部署，比如p l a t f o r m 、 g i g a s p a c e s 、d a t a s y n a p s e 和d i g i p e d e 等公司的网格产品【1 8 】，还有另外一些分布式 的数据框架如来自g e m s t o n e ，t a n g o s o la n ds c a l e o u t 的软件，和来自于p r o g r e s s a p a m a 和b e a 的消息处理系统。这些系统使得更复杂的分布式设计和框架成为可 1 2 基于s o a 的企业计算网格系统及其在金融分析中的应用研究 能，通过各种集成方法将金融分析应用推向服务虚拟化的方向【l9 1 ，金融行业的应 用开发人员在分布式计算框架上需要花费的时间越来越少。 众多的中间件软件研究和开发人员立志于解决金融行业在分布式计算上遇到 的问题，他们分成了两个方向【1 8 】：一个是尽量满足i t 部门的需求，提供更好的用 于管理、交互、安全和监视大型网格资源的工具，另一个是尽量满足应用开发人 员的需求，使得分布式应用易于编码、测试、调试、打包和部署。 2 6 小结 网格能够充分吸纳各种计算资源，并将它们转化成一种随处可得的、可靠的、 标准的同时还是经济的计算能力，i a nf o s t e r 将网格定义为能够满足以下三个条件： 能协调非集中式控制的资源；使用标准的、开放的、通用的协议和接口；提供非 常