（计算机系统结构专业论文）基于虚拟服务的异构网格工作流管理机制研究.pdf

华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 i 摘摘 要要 作为一种新型的分布式资源共享方式，网格技术有效地整合了分布的计算资源、 存储资源和信息资源。网格互操作研究是为了解决异构网格系统由体系结构和接口 等方面的差别所带来的相互之间资源难以共享的问题。其中异构网格工作流管理整 合异构网格系统的服务资源，将异构网格平台提供的原子服务包装成粒度更大、功 能更强的复合服务，并部署在网格平台中。如何屏蔽异构网格平台服务之间的差别， 如何提供一种灵活的服务组合方式，是研究的重点。现有的网格工作流管理机制一 般采用静态服务组合的形式，可以实现异构网格服务复合的目标，但存在稳定性、 通用性较差的问题，针对原子服务缺少必要的调度管理。 为解决上述问题而提出的基于虚拟服务的异构网格工作流管理机制，向上符合 bpel4ws标准，向下屏蔽了异构网格服务的差别。该机制弥补了传统的基于 bpel4ws的工作流机制在服务选择和服务调度方面需要事先静态绑定的弱点，增加 了服务备份、 基于qos的动态服务选择等功能， 提高了工作流管理的灵活性和稳定性。 此外，该机制采用了基于虚拟数据空间的数据传输方式，解决传统工作流管理中由 于数据和服务无法分离所引起的紧耦合问题。基于该机制而设计的异构网格工作流 管理系统vsflow，采用分层结构，通过对异构网格服务的虚拟化，有效地屏蔽了中 国教育科研网格支撑平台cgsp（chinagrid support platform）和织女星网格操作系 统gos（grid operating system）的服务资源在服务信息描述、服务调用方式等方面 的差异，并在此基础上对虚拟服务增加了错误检测、动态服务调度等管理功能。此 外，在vsflow的设计中，在底层保留了方便其他网格平台加入的接口，提高了系统 的可扩展性。 测试结果表明，系统vsflow能通过bpel4ws动态，透明地组合和选择cgsp和 gos网格平台上的服务。与此同时，服务的虚拟化及对虚拟服务进行的各种管理所 带来的响应时间的开销，与网格服务的复杂程度和服务运行时间无关，被基本控制 在146.5ms至156.0ms的范围内，并没有使系统的性能明显下降。 关键字：关键字： 网格互操作，工作流管理，虚拟服务，动态绑定 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 ii abstract as a new way to share resources, grid organically connects the distributed computing resources, storage resources and information resources. the research of grid interoperation aims at the difficulties that it is hard to share resources among heterogeneous grid systems. heterogeneous grid workflow management integrates different grid system service resources, packages them as atomic services into a composite service, with larger particle size as well as more functions, which is deployed on the grid platform then. the attention focus of the research is on how to shield the differences among heterogeneous grid services and how to provide a flexible way to compose services. the existing mechanism of grid workflow management usually uses static form, which achieves the aim to compose heterogeneous grid services. but it lacks of flexibility, stability as well as necessary management of atomic services. heterogeneous grid workflow management mechanism based on virtual service complies with bpel4ws standards and shields the differences among heterogeneous grid services. the mechanism compensates for the weakness that traditional mechanism requires prior static binding in the service selection and scheduling. service backup, dynamic service selection based on qos and so on are all new functions that improve the flexibility of workflow management. in addition, in order to address to the issues of tight coupling between data and service, the mechanism employs virtual data space and relevant data transferring solution. system vsflow, designed based on such mechanism of service virtualization, integrates the service resources of cgsp (chinagrid support platform) and gos (grid operating system) and adds functions such as error detection and dynamic service scheduling to the management of virtual service. by the way, the system reserves interfaces for new grid systems to join in, which improves the scalability of vsflow. the results show that the vsflow can compose and select grid services on cgsp and gos, dynamically as well as transparently. by the way, the response time overhead brings by the service virtualization and related management functions, controlled basically between 146.5ms and 156.0ms, has nothing to do with the complexity and time cost of grid service, which does not make system performance decline markedly. key words: grid interoperation, workflow management, virtual service, dynamic binding 独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密 ，在_年解密后适用本授权书。 不保密。 （请在以上方框内打“”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 本论文属于 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 1 1 绪论绪论 本章介绍了异构网格工作流管理机制涉及的相关研究工作，概述了国内外现有 网格平台的项目开展和研究状况。网格环境下的工作流管理作为网格领域研究的新 课题，国内外科研机构对其有了初步的探索，本章描述了网格环境下工作流管理的 研究现状和存在的问题，以及本课题的项目背景及研究内容，最后介绍了本文的组 织与结构。 1.1 问题的提出问题的提出 网格是高性能计算和信息服务的战略性基础设施，它将地理上分布的、异构的 各种资源通过高速网络连接并集成起来，共同完成重大的科学研究问题，它不仅仅 能够为信息资源的获取、分布、传输和有效利用带来革命性和结构性的巨大变化， 而且将根本改变人们的研究方式、教育方式、生活和生产方式1。网格通过因特网将 分散在各地的计算机连接起来，不仅可使每台个人电脑的处理能力得到充分利用， 还可以使成千上万的用户在大范围的网络上共享电脑的处理能力、文件以及应用软 件。与 www (world wide web)技术相比， 网格技术所提供的服务更加方便，能真 正实现资源使用的透明性，提供更强的处理能力。传统的互联网实现了计算机硬件 的连通，web 实现了网页的连通，而网格则实现了互联网上所有资源的全面连通。 它要把整个互联网整合成一台巨大的虚拟超级计算机，实现计算资源、存储资源、 通信资源、软件资源、信息资源及知识资源的全面共享和协同工作2。 工作流管理技术是一种过程建模和过程管理核心技术，它可以与其它应用系统 有效地结合，利用网络上已有的 web service，据此对问题求解过程进行重组，以提 高效率。针对具体应用可以利用工作流方法进行过程的建模和深入分析，不仅可以 规范应用的流程，发现流程中不合理的环节，进而对整个过程进行优化重组，优化 处理过程。 将网格技术和工作流技术相结合，通过工作流技术来编排，组合，包装网格服 务，甚至是异构网格平台下的服务，将大大增强网格服务在服务计算领域和科学计 算环境中解决复杂问题的能力，提高网格服务的利用率，也将提高异构网格平台之 间服务交互的能力。然而，当前各网格平台下开发的网格服务虽然都基于 web 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 2 service，但各自有其不同的特点，因此不能很好的嵌入到工作流技术中。如何通过 工作流技术管理网格服务，如何面向工作流的定制和使用者屏蔽底层异构网格服务 的细节，如何提高异构网格环境下工作流管理的灵活性和可靠性，成为当前亟待解 决的问题。在工作流管理中需要提出一种更为灵活的机制，通过统一的信息描述和 服务组织方式将服务虚拟化，并在 bpel4ws 对复合服务的描述和异构网格服务之 间实现动态绑定。 1.2 异构网格工作流管理研究背景异构网格工作流管理研究背景 1.2.1 网格平台中间件概述网格平台中间件概述 在异构网格工作流管理的研究展开之前，对当今国内外各个网格平台的系统结 构和关键技术的分析是最基本的。只有充分熟悉各网格平台件自身的特点，才能在 其上通过工作流管理技术使用这些各类异构网格服务。目前在网格平台中间件领域， globus toolkit, cgsp和gos是国内外比较著名的网格中间件，下面分别对它们的基 本结构和特点进行介绍。 1. globus toolkit globus toolkit34是由美国argone国家实验室开发的网格计算工具箱，来源与 globus项目。 globus项目是国际上最有影响力的与网格计算相关的项目之一， 是由来 自世界各地关注网格技术的研究人员和开发人员共同努力的结果。globus toolkit是 一个开放源码的网格基础平台，基于开放结构，开放服务资源和软件库，并支持网 格和网格应用，目的是为构建网格应用提供中间件服务和程序库。globus的网格计 算协议建立在互联网协议之上，以互联网协议中的通信，路由，域名解析等功能为 基础。网格内的全局应用都通过协议提供的服务调用操作系统。 globus toolkit version4(gt4)包括一系列的服务和相关的程序库, 包括核心组 件，预发布组件和建议废弃组件。gt4中的核心组件总体可以分为web service(ws) 组件和non-ws组件两部分，具体包含的服务和组件可以划分为五类，分别是安全组 件，数据管理组件，执行管理组件，信息服务组件，公共运行时组件。 安全组件(security)建立在网格安全架构(gsi)之上，负责建立用户身份与服务认 证，保护通信，授权，管理用户证书和维护群消息。 数据管理组件(data management)负责分布式数据的管理，传输和定位。主要分 为两大类：数据移动和数据复制。数据移动主要有gridftp工具和rft(reliable file 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 3 transfer)服务；数据复制有rls(replica location service)，它是网格环境下数据服务 管理组件之一。 执行管理组件(execution management)负责网格环境中作业的初始化，监控，管 理，调度和协同。 信息服务组件(information services)即mds(monitoring and discovery services)， 包括一组在虚拟化组织中资源发现和监控的服务。 公共运行时组件(common runtime)提供了一组开发ws和non-ws服务时必需的 基本库函数和工作集。在客户端可以使用java，c，python等编程语言调用服务器端 提供的服务或应用程序接口。 2. cgsp chinagrid56公共支撑平台（chinagrid support platform）是为chinagrid的建设 和发展而开发的网格中间件。cgsp7基于当前cernet（中国教育科研网）及将来 cernet高速传输网，将分布在cernet上自治的，分布异构的海量资源集成起来， 实现资源的有效共享，消除信息孤岛，提供有效的服务，将高性能计算送到用户的 桌面上，成为国家科研教育服务的大平台，它对教育和科研系统中的各种资源进行 整合，屏蔽网格资源的异构性和动态性，为各种科学计算与工程研究提供高性能的， 高可靠的，安全方便的透明网格服务，形成一套面向cernet的公共网格服务体系。 cgsp提供chinagrid的服务门户， 同时也为各种网格应用提供一套完整的开发和部署 环境。 图1.1描述了cgsp的模块结构图，图中标识了各软件子系统的模块结构，包括网 格portal、网格开发环境、信息服务、域管理器、作业管理器、服务容器、网格安全 以及数据管理等。网格门户是最终用户使用网格的入口，用户可以提交作业，监视 作业运行状态，查询网格服务和网格资源信息。作业管理器提供了作业提交，作业 调度和作业部署等功能，并能提供作业状态监控和服务支持管理。信息中心主要功 能是负责网格环境中各类资源信息的管理，实现一个全局的资源视图。数据中心负 责网格服务所需数据的管理功能，为不同用户提供不同的全局文件视图，使得用户 能透明的访问网格环境下的各种数据文件。安全中心负责用户身份的认证，资源和 服务的授权，加密传输以及用户身份到资源授权的映射。 3. gos 织女星网格系统软件grid operating system (gos) 89是中国科学院计算开发的 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 4 远程和热部署远程和热部署 网格网格portal portal 开发工具开发工具资源包装资源包装编程模型（编程模型（rpc/ gridppi）作业定义工具作业定义工具管理管理gui安装工具包安装工具包 网格开发环境网格开发环境 服务管理服务管理 服务匹配选择服务匹配选择资源管理资源管理 超级服务管理超级服务管理 分类信息管理分类信息管理 域间信息共享域间信息共享 服务元数据描述服务元数据描述 信息 服务 容错 机制 信息 服务 容错 机制 qos 管 理 管 理 信 息 服 务信 息 服 务 拓扑结构管理拓扑结构管理 状态监控状态监控 协 商 策 略 协 商 策 略 用户管理用户管理 跨 域 身 份 映 射 跨 域 身 份 映 射 域管理器域管理器 网 格 安 全网 格 安 全 身份认证身份认证 代理证书管理机制代理证书管理机制 单 点 登 陆单 点 登 陆 认证中心（认证中心（ca） 容器和服务安全管理容器和服务安全管理 资源访问控制资源访问控制 节点资源监控节点资源监控 服务监控服务监控 批作业服务批作业服务 服务 容 器服务 容 器 生命周期生命周期 资源属性资源属性通知通知 服务组服务组 错误 处理 错误 处理 globus toolkit 4.核心核心 作业管理器作业管理器 作业提交作业提交作业调度作业调度 服务支持管理服务支持管理 工作流流程管理工作流流程管理 作业状态监控作业状态监控 作业 远程 部署 作业 远程 部署 日志和记帐日志和记帐 数据管理数据管理 数据访问服务器 存 储 资 源 数据访问服务器 存 储 资 源 元 数 据 管 理元 数 据 管 理 数据资源管理数据资源管理 存储资源管理存储资源管理 数据资源管理策略数据资源管理策略 存储资源管理策略存储资源管理策略 扩展管理扩展管理 信 息 汇 报信 息 汇 报 数据访问客户端或数据访问客户端或 portal 存储资源代理存储资源代理副本管理副本管理 0 图1.1 cgsp系统结构图 网格中间件。织女星网格体系结构的基本思想是把网格看成一台虚拟的超级计算机 系统。gos强调体系和结构上的统一，旨在解决网格资源管理，网格用户管理和网 格安全三个方面的内容。为解决上述问题，gos提出了以下解决方案。 首先，借鉴传统计算机系统的构造方式确定网格系统软件与硬件和应用之间的 关系。网格系统软件组织并管理分布式的网格资源，为网格使用环境及网格应用提 供了简单且友好的资源访问界面。其次，对于互联网上海量无序的资源，提出三层 资源地址空间模型evp作为资源管理的基础，使散乱的资源局部化，有序化。再次， 提出网格级进程（网程，grip）作为系统级抽象，一方面成为用户访问资源的代理， 一方面也为用户屏蔽资源访问的技术细节，如资源定位、资源访问和安全机制等。 在gos中，以社区作为资源、用户、策略等信息的非运行时、持续存储的系统信息 点。信息使用者能够获取访问资源所需信息；信息提供者能够利用规则、策略和信 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 5 息类型等提供信息。gos中通过资源路由器（router）存储和管理全局资源，并完成 虚拟资源到物理资源的转化。 如图1.2所示，gos体系结构分为硬件层，操作系统层和应用层三层。其中硬件 层包括广域分布的计算资源，如高性能计算机，贵重仪器以及互联系统。网格操作 系统层是基于网格硬件开发的系统软件，完成资源管理，数据管理，协议处理并提 供应用编程接口（api）。网格应用层向网格用户提供一体化，透明的使用模式。 网格硬件 网格操作系统 网格应用 服务器 其他服 务器 网格浏览器 （gsml） gcp协议 gsrp协议 网格应用层 图1.2 gos层次结构图 1.2.2 国内外网格工作流管理研究现状国内外网格工作流管理研究现状 1. gpe中的工作流机制 gpe(grid programming environment)10是intel公司提出的网格编程环境的一种 新网格架构，目的为网格下层调用执行建立一种统一的接口规范，使网格应用程序 开发更容易。依靠gpe，屏蔽底层相关技术，如网格协议和语言等，因此，网格用 户可以灵活地跨越异构网格平台访问各种资源。 gpe中最为重要的一个组件称为gridbean， 该组件在网格各层协议与应用之间添 加一层接口，将下层的协议和服务调用封装为类库，向上提供完整的实体或调用接 口， 以此实现异构网格系统间的互操作。 目前， gpe4unicore， gpe4globus， gpe4cgsp 的gridbean组件都开发完成，用户通过定制和编写专用的gridbean，就可以接受gpe 应用客户端的请求，并将请求转交给底层各异构网格平台。 gpe采用自身开发的expert client作为网格用户定制，编排，组合工作流服务的 工具。gpe的工作流管理中将原子服务定义为element，而每个element实际由 gridbean构成，另外包括启动gridbean所需要的输入和输出文件。每个复合服务的实 例由一个用户导入的输入文件启动，由用户在面板上添加新的原子服务和定制业务 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 6 逻辑。 gpe的工作流管理机制中为原子服务之间的组合定义了simple， if-then-else 和do-while三种关系。 这种原子服务的组合方式具有以下特点： (1) 透明性：gpe的工作流管理系统只面向gridbean，而不关心底层所调用的各 类网格服务的类型和细节。 (2) 异构性：由于已完成的工作中gridbean可以透明地访问unicore, globus, cgsp等异构网格中间件上的服务，所以通过gpe的工作流管理系统，可以编排异构 网格服务来组成复合服务。 但gpe的工作流管理机制也存在以下弱点： (1) 业务逻辑过于简单：gpe的工作流机制中仅含有分支和循环两种组合原子复 合的方式，没有例如并行，事务处理等概念，这远不能满足网格环境中通过工作流 机制解决复杂问题的需要。 (2) 通用性较差：由于gpe本身并没有形成一个标准，而gpe的工作流管理系统 只识别它自身的gridbean组件，不面向通用的web service，对gridbean开发程度的 依赖很大，例如gpe4gos的组件尚未开发，那么gpe的工作流管理系统就不能编排 组合gos网格平台上的服务。 2. cgsp中的工作流机制 cgsp的工作流管理属于其作业管理的一部分，开发建立在商用工作流引擎 activebpel engine之上，服务定制遵循bpel4ws1.111规范。cgsp工作流管理提供 的功能包括，工作流的任务执行，流程控制和作业监控，引擎间的负载均衡，动态 的工作流部署，远程排错等。 cgsp作业管理建立在globus toolkit4容器上，使用wsrf(web service with resource framework)服务，而通用的bpel4ws规范只支持web service，在语法上不 理解wsrf服务中的某些特殊属性和资源。cgsp的工作流管理通过修改activebpel engine， 并扩展bpel4ws中的部分语法标签， 使引擎可以支持wsrf服务， 与此同时， 保持向前兼容的能力，不影响web service在工作流复合服务中的组合和定制。 在一个开放式的网格环境中，资源可能失效，必须有一种错误恢复或是通过冗 余的方式来解决这个问题，另一方面，网格计算很重要的一个目标就是提供高性能 的计算，网格环境下的工作流模型要对资源的分配，调度和执行提供一个高效的算 法。作业调度到各个资源节点上执行，在这个过程中，通过对工作流执行情况的监 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 7 控，适当的调整工作流的执行，实现自适应的工作流执行方式。 cgsp的工作流管理针对上述工作流任务执行可靠性和性能的问题提出了负载 均衡的解决方案。cgsp的工作流管理如图1.3所示，包括负载均衡器和工作流引擎两 部分。负载均衡器是工作流管理的入口点，负责根据网格环境中分布式引擎的实时 负载状态，将工作流服务分发部署在恰当的引擎中。单一工作流引擎失效，不影响 系统的稳定性；多工作流作业并行时，任务也会通过负载均衡器分配到多工作流 作业提交管理接口 负载均衡器 bpel engine bpel engine bpel engine wsrf/ ws grsbpel 图1.3 cgsp中的工作流管理系统结构 引擎上执行。经过修改后的bpel engine支持cgsp网格平台上的wsrf/ws服务类 型，grs作业类型和bpel语言描述的工作流服务作业。 上述解决方式关注的重点在activebpel engine上层，而针对activebpel engine 以下服务本身的可靠性以及自适应性没有很好的解决，另外由于修改了bpel4ws中 的部分标签来支持扩展后的工作流引擎，而本身并没有形成一个标准，使得工作流 业务的定制者必需熟悉wsrf的服务接口细节，以及对应在bpel4ws的标签。这种 方式的通用性和灵活性较差，不熟悉网格开发的工作流定制者不容易通过扩展后的 工作流引擎编排定制工作流复合服务。 3. gos中的工作流机制 gos网格平台中没有专门的工作流机制概念，网格用户可以将工作流复合服务 当作web服务的一种特殊形式封装成网格应用部署在gos网格平台中。与此同时， 为更好地支持高性能计算，同时满足cngrid用户要求，gos开发了一套批作业应用 子系统。通过该系统，cngrid的各个节点可以将各种本地资源无缝地集成到cngrid 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 8 网格平台中，实现异构分布资源的全网格共享。批作业服务以网程非安全方式调用， 负责接受作业提交，作业状态查询请求，并将这些请求以合适的方式转发给下层批 作业系统。与传统面向web服务的工作流管理机制不同，批作业服务中的原子服务 称为批作业元调度服务。它使用平台监控服务提供的数据，对所注册节点的处理器， 存储器，磁盘容量等做综合评测，按照空闲程度对注册节点进行降序排序，并把排 序结果返回给用户。 1.3 课题背景和研究目标课题背景和研究目标 在网格研究中，由于缺乏统一和标准的协议框架，各研究机构针对不同应用设 计了不同的网格平台中间件。网格平台中间件在一定程度上消除了互联网上的信息 孤岛，整合了一定的资源。但是由于各个网格平台对底层资源的描述，使用方式， 资源管理机制和服务调度等设计的不同，导致以网格中间件为单位，形成若干个规 模较大的信息孤岛。异构网格平台之间难以互享资源成为阻碍网格技术发展和应用 的新瓶颈。 针对以上问题，国外网格界已开展了相关的研究。在2006年希腊召开的ggf16 会议上，正式成立了gin(grid interoperation)工作组。gin工作组下设gin-job， gin-info，gin-auth，gin-data四个项目组，分别负责服务互操作，信息互操作，安 全互操作以及数据互操作四个方面的研究，其目的是为了达到各网格平台间的服务 共享，信息共享，安全互信和数据共享。 在国内，几大网格中间件之间的互操作也受到广泛关注。本课题受国家自然基 金委支持，作为网格计算应用支撑中间件研究内容的一部分，主要致力于中国教育 科研网格与其他网格中间件之间的互操作模式研究。其中异构网格工作流管理作为 服务互操作的一个重要部分，旨在研究异构网格服务整合中的难点和异构网格工作 流管理模型。 根据课题研究目标和要求，以cgsp2.0和gos2.1网格平台间的互操作为研究重 点，研究了相关理论，提出了一种基于虚拟服务的异构网格工作流管理机制。面向 bpel4ws设计抽象服务接口，面向异构网格服务设计虚拟服务模型，并通过在抽象 服务接口和虚拟服务模型之间设置代理的方式，对工作流管理屏蔽底层网格服务选 择和调度的细节。针对原有工作流模型中服务静态绑定不够灵活的问题，该模型通 过服务虚拟化的方式对服务进行组合，在考虑各资源服务的域内自治特性的同时， 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 9 充分考虑网格计算环境中的动态特性，从而在服务级别上提高了工作流系统的服务 质量。该模型具有灵活性高，兼容性强和扩展性强等优点。 1.4 本文组织与结构本文组织与结构 本文各章内容大致安排如下： 第一章概述了网格及网格工作流管理的研究背景和国内外当前的研究现状，以 及在异构网格环境下实现工作流管理的意义和研究目标； 第二章主要从两个方面介绍了异构网格工作流管理的相关技术，首先结合 csgrid 项目介绍了异构网格的互操作的设计模型和实现框架，工作流管理是互操作 系统的一个核心组成部分。随后，介绍了系统的总体结构，分为虚拟服务抽象接口 层，代理层和资源管理层三层阐述了各个功能模块的设计与实现，以及相互之间的 依赖关系，最后描述了部分核心模块的执行流程。 第三章提出了网格环境下对工作流管理系统的需求，描述了传统工作流模型及 其在解决异构网格互操作方面的缺点和不足，进而提出了一种基于虚拟服务的异构 网格工作流服务管理模型和在此之上的一种基于虚拟数据空间的异构网格工作流数 据管理模型。 第四章具体描述了异构网格工作流管理系统中涉及的主要技术，分别是异构网 格服务的虚拟化技术，代理层的负载均衡机制和工作流服务中的分层用户管理。 第五章具体描述了系统测试。首先介绍系统的测试环境，然后按照既定的步骤 从系统功能和性能两个方面对系统进行测试。其中性能测试主要针对经过代理层调 度之后的原子服务开销分析并测试数据，在此基础上对异构网格工作流管理系统进 行全面评价。 第六章对全文进行总结并展望了未来的工作。 最后是致谢以及本文的参考文献。 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 10 2 异构网格工作流管理系统异构网格工作流管理系统 vsflow 的设计的设计 为解决异构网格平台之间资源难以利用的问题，csgrid（china e-science grid） 项目设计并实现了网格互操作系统。通过工作流管理来实现异构网格服务之间的合 作与通信是网格互操作中的一个重要研究点。工作流管理本质上一个服务复合的过 程，将简单的原子服务通过某种定义好的规则编排组合成较为逻辑上复杂的复合服 务，异构网格环境下的工作流管理即是一个异构网格服务复合的过程。当复合服务 部署成功，任务开始执行时，系统会在运行时根据事先定制好的业务逻辑调用各原 子服务，而这些原子服务可能属于不同的网格平台，有不同的服务类型，不同的服 务发现和调度方式。而在本课题中，异构网格工作流管理系统 vsflow 是 csgrid 网 格互操作系统的核心子系统。系统 vsflow 采用了商用 activebpel engine，服务描 述遵循 bpel4ws 规范，通过服务的虚拟化及对虚拟服务的管理，在上层工作流引 擎和下层异构网格服务之间增加一层代理，以此屏蔽了目标系统服务组织和调度的 异构性，并通过运行时动态绑定的方式提高了工作流管理系统的灵活性和可靠性。 此外，对于工作流作业执行过程中的数据复制和迁移，系统给出了一种基于虚拟数 据空间的解决方案。 2.1 异构网格互操作系统异构网格互操作系统 csgrid 本节介绍了网格互操作系统 csgrid 的设计目标和结构功能。 csgrid 包括信息服 务互操作、作业管理互操作、工作流管理互操作、数据互操作等部分，旨在通过统 一的方式整合现有网格中间件的计算资源、软件资源、数据资源等。 2.1.1 csgrid 系统概述系统概述 csgrid 系统由国家自然科学基金委资助，是网格计算机环境综合试验平台重大 专项的子项目，又称做中国的 e-science 研究计划。目标是以网络为基础的科学活动 环境综合试验平台，依托国家自然科学基金委已有的中国高速互联研究实验网，以 及正在建设的国家下一代互联网示范工程，连接国内重要的科学研究资源。针对网 络计算环境的重点科学问题开展原创性研究，突破网络计算环境的体系结构、中间 件、协议和安全机制等关键技术，确立试验平台的体系结构及其评价机制，初步建 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 11 立起支持示范应用的科学活动环境试验平台，为跨地域和跨学科的大型科学研究活 动提供基于网络的协同应用支撑环境，开展有典型示范意义的科学研究活动，并用 于验证网络计算环境的基础科学理论及关键技术的研究成果。 csgrid 互操作系统为了实现网格中间件之间的资源共享，主要从以下方面来达 到各平台之间的互联互通。 网格资源的统一访问接口。整合现有网格中间件所整合的各种资源，主要包括 计算资源、存储资源、数据资源、软件资源等，以及不同网格服务的相互调用，为 网格用户和应用开发人员提供一个统一的访问入口和网格应用编程接口。 网格服务的虚拟化。实现不同网格服务的透明访问，包括服务级的透明和平台 级的透明。服务级的透明体现在系统会根据服务质量和负载来动态选择服务的某个 实现；平台级的透明体现在 csgrid 根据用户所需要的服务以及各个平台的瞬时负载 来选取执行用户任务的平台。对于同样的任务可以采用不同的服务来实现，对于同 一个服务可以部署在不同网格中间件的服务容器当中。 csgrid 互操作系统采用层次结构，利用虚拟化和插件技术，实现异构网格平台 之间的互操作，屏蔽了底层网格平台的分散性，异构性，为用户提供统一的逻辑视 图，实现安全，信息服务，作业管理，工作流管理和数据服务的互操作。基于虚拟 化和插件技术，在实现异构网格平台资源共享的同时，保持了各异构网格平台的独 立性，提供透明访问的能力，具有很好的扩展性和可靠性。 2.1.2 csgrid 系统结构系统结构 互操作系统结构 csgrid 如图 2.1 所示， 采用层次结构， 总体框架可以分为三层， 最低层为异构的目标系统层，中间层为虚拟管理层，最上层为系统与用户交互的网 格门户层。 1. 网格门户层： 它是 csgrid 与用户的交互部分， 为用户提供统一访问操作界面， 主要支持用户对作业提交、信息查询、用户管理以及目标系统注册等功能。 2. 虚拟管理层： 它是 csgrid 的核心部分， 虚拟层的任务是实现各个网格系统中 各个部件的统一接口，并对用户请求进行解析和转发。这些部件主要包括作业管理、 信息管理和用户身份映射和网格安全等。虚拟层屏蔽了下层异构网格系统的异构性， 为上层提供透明的信息服务、作业管理等服务。 用户管理：不同的网格平台都有不同的用户管理机制，包括用户的身份认证， 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 12 cgsp 作业管理 gos 网程 其他网格平台 作业管理 cgsp插件gos插件 目 标 系 统 层 虚 拟 管 理 层 用户管理信息中心安全身份映射 作业管理工作流管理数据管理 网 格 门 户 层 chinagrid 门户 cngrid 门户 csgrid 门户 其他插件 图 2.1 csgrid 系统结构图 授权，服务记账等。为实现用户跨异构网格平台进行资源访问，系统采用用户身份 映射机制，避免了频繁的用户身份申请和证书发放。 信息中心：不同网格系统的信息服务在服务描述，服务发现和信息存储上差别 很大， 为屏蔽异构的网格信息服务， 使网格平台之间服务信息达到透明共享， csgrid 创建了虚拟信心管理中心，主要负责对各个网格中间件信息（包括服务注册信息， 系统资源信息等）的收集与处理，并且以统一的方式保存在本信息中心12 。除此之 外，信息中心还需要维持这些信息的一致性。 作业管理：作业管理的功能是为最终用户的任务提供一个作业管理、调度和监 控的支持，以便实现网格内数据和资源的透明访问和分布资源之间的协同工作。由 于网格系统多针对于特定应用开发，其面向的具体应用类型和特点差别很大，因此 不同的网格系统平台支持的作业类型存在很大差异。为保证网格平台的独立性和提 高网格互操作的可扩展性，csgrid 在设计上通过插件模块与各网格平台作业管理器 进行交互。虚拟作业管理器提供作业提交、监控和部署等功能，它接收网格平台的 作业请求，根据用户指定平台进行作业提交。 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 13 工作流管理：以服务为基本构成元素的服务网格已成为网格构建的主流方向之 一13，而网格工作流管理是为实现网格中资源协同工作的重要技术手段，把多个网 格服务包装成一个更大粒度的服务部署在网格中，供其他服务或上层的应用访问。 工作流的协同包括工作流的创建、执行、调度、监控等1415。工作流互操作的主要 的任务是将不处于同一个平台当中的原子服务通过定制的协作步骤包装成一个粒度 更大的服务。 3. 目标系统层：它相当于 csgrid 的资源层，主要包括现有的网格系统平台。它 为用户提供各种计算、存储、网络等资源，它是 csgrid 互联互操作的主要对象。 2.2 系统系统 vsflow 的体系结构的体系结构 基于虚拟服务的异构网格工作流管理系统 vsflow， 在上层工作流引擎和下层异 构网格服务之间增加一层代理层，通过代理层的设计屏蔽底层异构网格服务的差异 性，并在此基础上增强系统对服务的管理。如图 2.2 所示，系统 vsflow 分为三层， 分别是虚拟服务抽象接口层，虚拟服务代理层1617和资源管理层。其中虚拟服务抽 象接口层向上与工作流引擎交互，提供网格应用服务的抽象接口；虚拟服务代理层 需要实现抽象接口，执行原子服务的具体业务功能，主要为选择，调用，管理 cgsp 和 gos 网格平台上的各类网格服务；资源管理层利用 cgsp 和 gos 分别提供的信 息和数据模块的 api， 组织和管理虚拟服务信息， 并对工作流中的数据提供存储和传 输的支持。 以下分层分别介绍系统 vsflow 主要设计思想和在总体系统结构中的角色。 1. 抽象接口层 抽象接口层在系统中体现为 web 服务的形式，该服务可以作为某一网格应用的 服务模板，在工作流服务的定制中多次使用18。工作流作业的定制者可以针对不同 形式的输入参数和应用需求设计不同的模板。虚拟服务抽象接口层使得用户在定义 bpel 时忽略任何网格服务的细节，只根据模板格式定义 web 服务即可。 虚拟服务抽象接口层在系统的顶层，它本身是一个面向 bpel4ws 的接口，符 合任何一个web服务所表现的wsdl特征， 具有porttypes， operations和input/output message 等 bpel4ws 需要的元素。可以将抽象接口层定义的 web 服务视为 bpel4ws 流程的复合服务中一个普通的原子服务，该服务的作用是接受来自 bpelengine 的输入参数，向下层传递参数并提交请求，收回结果，并以输出参数的 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 14 虚拟服务抽象接口层 activebpel engine 资源管理层 代理队列 管理 服务调度服务选择 工作流用户 管理 服务信息 管理 工作流数据 管理 虚拟服务代理层 goscgsp 错误检测 图 2.2 vsflow 系统总体结构图 形式返回 bpelengine。 2. 虚拟代理层 虚拟服务代理层一方面作为抽象接口层的具体实现形式，具体执行网格服务的 业务功能，一方面虚拟化底层异构网格服务和各类网格资源，是系统中最为重要的 一层。虚拟代理层主要包括服务的虚拟代理和数据的虚拟代理。服务的虚拟代理主 要负责完成虚拟服务与物理服务的转化，实现服务的动态绑定机制；数据的虚拟代 理主要负责将工作流复合服务中的数据从服务中分离出来，统一管理，通过动态迁 移的方式解决数据和服务不在同一地的问题。虚拟代理层主要包括代理队列管理模 块，服务选择调度模块，服务参数转换及解析模块和工作流用户管理模块。 3. 资源管理层 资源管理层介于虚拟服务代理层和底层网格平台之间，作为虚拟服务代理层的 支持，为代理层提供必须的资源管理，主要是服务信息资源管理和数据资源管理。 服务信息资源管理主要负责网格服务的虚拟化组织，包括底层各网格平台服务信息 的抽取，实现统一的服务描述方式及服务的分类，以及虚拟服务信息与网格平台服 务信息的同步更新。数据资源管理负责虚拟化工作流服务中的数据，在服务间屏蔽 数据的物理地址，以虚拟数据空间的形式保存，底层通过网格数据传输协议实现数 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 15 据在工作流中相邻服务间的迁移。 2.3 系统系统 vsflow 的功能结构的功能结构 系统