高性能网格并行计算论.docx

高性能网格并行计算摘 要 ：对高性能计算的各种方式进行了分析和比较，并阐述了网格和元计算的关系。通过对当前各种网格工程的透视，论述了网格体系结构和网格服务语义。探讨了网格的两个关键特点：异构性和动态性及其解决方法。对于认识网格概念以及指明未来高性能并行计算发展方向有一定意义。关键词：网格；高性能计算；开放网格服务体系结构； 异构性1 高性能计算的各种形式1.1 分布式计算所谓分布式计算是指在分布式计算机系统上的程序设计 和实现。而分布式系统又是指由多个地理上分散的计算机经 互联网连接而成的系统，它是多计算机系统的一种形式，强 调资源、任务、功能和控制的全面分布。就物理资源而言， 包括处理机、输入输出设备、通信接口和辅助存储器等。就 逻辑资源而言，包括进程、任务、文件、表格和数据库等。 早期分布式计算的侧重点是分布资源的共享利用，以便减少 购买昂贵设备( )如激光图形打印机 的开销。由于分布式计算 系统中有多个处理结点，因此应用任务在各个结点上的负载 平衡也是分布式计算追求的目标。分布式计算主要是支持具 有地理分布特征的应用项目，如飞机售票系统、银行通存通 兑系统等。而且还能利用分布资源实现容错功能，但计算任 务的高性能不是它刻意追求的目标。 1.2 并行计算并行计算简单地说，就是在并行计算机上所做的计算， 它和常说的高性能计算、超级计算是同义词。并行计算的物 质基础是高性能并行计算机，如单指令多数据流机 、SIMD 并行向量处理机PVP、对称多处理机SMP、大规模并行处理 机MPP、工作站机群COW，也包括分布网络计算机等。任 何超级计算都离不开使用并行技术，从理论上讲，没有因果 关系( )或依赖关系 的两个事件可以并发执行。直觉上，则是 指两个事件同时执行。开发并行性的途径有3种，即时间共 享、空间共享和资源重复。如流水线计算机是通过时间共 享，让多个部件在时间上交错重叠地执行运算和处理；阵列 处理机利用的是资源重复。由于业已提供的计算能力总是满 足不了人类对计算能力的需求，而且这种需求是无止境的， 因此并行计算的宗旨是追求高性能，有时甚至不惜代价去达 到这样的目标。另外，并行计算理论还不成熟，尚没有成为 主流计算技术，许多问题有待解决。 1.3 异构计算自 Freund首先提出优化选择理论之后1，异构计算便成 为近年并行处理研究的新台阶。 IEEE每年组织召开一次 HCW(heterogeneous computing workshop)。所谓异构计算， 是指将性能、属性各异的计算机(如PC、工作站群、向量机 等)，通过高速网络连成并行计算环境，充分利用程序和体 系结构的异构性，各尽潜能，合理分治，协同完成一个计算 任务，使得完成时间最少的过程。形象地说，异构计算如同 交响乐团演奏一首乐曲，各种乐器协同弹奏，产生最美妙的 乐感。据报道，许多超级计算机的峰值性能只发挥了 ，5% 原因是程序特征和体系结构不匹配。异构计算追求的目标正 是充分挖掘程序和机器潜在的特征，并且让这两种特征匹 配，从而大大提高任务的执行效率。 1.4 元计算元计算概念是伴随着LAN向WAN、 Internet的发展过程 中提出来的。要回答什么是元计算，先要搞清楚什么是元系 统、元计算环境等概念。一般来讲，具有存在的主要任务和 根本目标的任何形式的集体均可算是一个元系统。广义上 讲，元系统是一个异构系统，这个系统通过某种网络将各个 构件无缝地结合在一起，每个构件有自己的分工，完成一种 特定的任务。整个系统将所有构件协调起来完成一个总体目 标，并对外表现为单一的整体，且构件对外是不可见的。如 果为了计算目的而组建的元系统，则称之为元计算环境。在 元计算环境中开展的程序设计和程序运行，则被称为元计 算。如果将元计算环境引入到广域网范围内，使得广域网上 的空闲计算机资源集成和共享起来，对那些亟需科学计算的 用户提供统一界面的服务，而不必关心用户提交的任务是如 何划分的，在何种机器上运行，结果如何收集等，这就是元 计算追求的目标 1.5 网格计算网格计算是在元计算的基础上发展起来的，是Internet 应用的新发展，是在巨型机与互联网技术的基础上推出的一 项新变革，是完成超级计算任务的一种新模式，又称为虚拟 计算环境，或全球计算统一平台。网格试图实现互联网上所 有资源的全面连通和共享，包括计算资源、存储资源、通信 资源、软件资源、信息资源等。网格计算需要使用一套能够 把一个应用程序划分成能在上千个计算机上执行的软件和机 制，感觉上如同个人使用一台超级计算机一样。从学术上 讲，网格是分布计算的一种形态。网格追求的目标来源于人 们对“电力网”的类比理解，人们希望从网格中获取“计算 或服务”，就像家电用插头从电力网中获得“电能”一样方 便和普及。2 著名的网格工程2.1 Globus工程Globus是美国Argonne国家实验室的研发项目，全美有 12所大学和研究机构参与了该工程。 Globus对资源管理、安 全、信息服务及数据管理等网格计算的关键理论进行研究， 开发了能在各种平台上运行的网格计算工具软件。 工Globus 程的目标是阐明网格化应用的需求和开发必要的技术来满足 这些需求。 Globus系统的主要部分是Globus元计算工具软 件，提供了实现高层服务需使用的底层机制。 Globus最重要的成果是 Globus Toolkits ，它是开放代 码， 第1版在1999年推出 ,目前可得到的版本是 。Release 2.2 另外，基于OGSA机制的下一代Globus Toolkits 3.0即将推 出。 Globus技术已在NASA网格(NASA IPG)、欧洲数据网格 (Data Grid)、美国国家技术网格(NTG)等10多个网格工程中 得到了广泛应用。 2.2 Legion工程Legion工程是基于对象的元系统软件2。它始于 1993 年， 由Virginia大学的课题研究组开发。 Legion工程的目标 是在一定的原则下构建高可用的、有效的、可扩展的系统。 Legion工程研究的关键问题是可扩展性、易编程性、容错和 安全等。它支持应用代码级的大规模并行计算，以及物理系 统复杂性的管理。 Legion工程开发了一个丰富的对象模型来 提供元计算服务，它提供了一个编程工具集、一个人机交互 的环境，以及一个应用程序请求元计算的执行环境。在一个 Legion应用程序里，分布的构件被看作对象。2.3 Condor工程Condor工程 于 20 世 纪 80 年代中期开始于 Wisconsin Madison ,大学是具体实现元计算含义的最初的平台之一2。 一个Condor机群由局域网互联的同构的工作站组成。 Condor 主要思想是认为并不是所有时刻、所有工作站都是忙碌的。 因此，在空闲机器上的CPU周期可以用来处理其它待执行的 任务。 Condor网格包含一台作为中央资源管理器的机器，它 负责把任务分配到其它空闲的Condor结点上。所有其它的 Condor结点运行两个守护进程，一个负责与中央资源管理器 协商，并把本地任务迁移到其它机群上；另一个负责当该结 点空闲时通知中央资源管理器。 2.4 Ninf工程和Netsolve工程Ninf工程始于1995年，由日本开发，旨在构造一个强大 的 、 灵 活 的 网 络 使 能 服 务 (NES) 系 统 。 Netsolve 是 由 Innovative Computing Laboratory开发的基于RPC /的客户机 代 理/服务器系统2。 Ninf工程和Netsolve工程都以科学计算应 用为目的，它们链接有著名的数学库，如ScaLAPACK. Ninf 和Netsolve使用一系列RPC函数调用的作为编程接口，用来 取代传统的库函数，通过极少量的代码修改和重新编译，应 用程序使用这些系统是可能的。这两个系统非常相似，所以 开发了一个“桥”，用来转换两系统间的内部数据格式，就 能使用彼此的资源。近来，两个系统能够与其它的元计算环 境接合， 如 和Globus Condor系统。 Ninf和Netsolve的不足是 被局限在数学应用上。 3 网格体系结构描述网格体系结构的目的不是提供对所需的协议和服务 进行完整罗列，而是阐明各组成部分的需求和关联。一般用 “沙漏模型”来描述网格的层次结构，如图1，两头大中间 小，最上层是应用服务，最下层是各种网格资源，中间层是 网格资源管理核心件。同时，每层的组成和功能可以利用其 任意下层的能力和行为来构建。并且如图1所示的结构抽象 层次很高，在设计和实现上几乎没作什么限制。 图 1 Globus协议结构及与互联网协议的关系构造层是物理或逻辑实体，它实现本地的具体资源的构造层是物理或逻辑实体，它实现本地的具体资源的操 作。连接层定义网格中网络事务的通信与认证控制的核心协 议，构造层提交的各种资源间的数据交换都在这一层的控制 下实现，各资源间的认证、安全控制也在这里实现。资源层 的作用是对单个资源实施控制，资源和连接层形成了“沙漏 模型”的瓶颈。汇集层的作用是将资源层提交的受控资源汇 集在一起，供虚拟组织3的应用程序共享、调用。应用层是 网格上用户的应用程序。应用程序通过各层的API调用相应 的服务，再通过服务调用网格上的资源来完成任务。 4 网格异构性及其解决方法从哲学的角度来说，同构是相对的，异构是绝对的4。 基于Internet的信息系统无处不存在异构性，主要体现在以 下方面：计算机硬件平台的异构性，网格中进行计算的服务 器可以是大型机、小型机、工作站或PC. 这些机器在计算机 体系结构和指令系统上的都存在异构性。基础操作系统的异 构 性 ， 网 格 上 计 算 机 的 基 础 操 作 系 统 可 以 是 、Unix Windows NT、 Mac等。操作系统之间的文件系统、命名规 则、文件类型、操作命令的解析和执行、进程之间的通信机 制不可能相同。数据库的异构性，网格中可以有一个或多个 数据库系统。最流行的是关系型数据库系统， 如 、Oracle Sybase、 SQL Server等。也可采用由不同数据模型的数据 库，如关系、模式、层次、网络、面向对象型数据库共同组成一个异构数据库系统。此外，还有通信网络、应用程序、信息本身的异构性。下面是异构性的一些解决办法： (1)制定统一的规范、 协议，通过制定统一的规范和接口，使网格中的服务标准 化，用户访问网格中的共享资源都遵循统一的协议，调用标 准的接口来获得所需要的服务。如在网格系统中，可利用 Web服务描述语言(WSDL)来描述所有的资源，屏蔽资源的 异构性。 (2)采用转换机制和代理，在网格系统中，由于硬 件、操作系统、体系结构、数据库等众多资源的异构性，用 户在请求利用这些异构资源时，必须对分配到这些异构资源 上的服务请求进行合理的转换。采用代理的方法是一种行之 有效的转换机制。 (3)采用虚拟机(VM)技术（这也是隐藏异 构性的一种方法），用户通过虚拟机提供的标准接口访问异 构资源，而标准接口的具体实现由各异构资源提供者负责落 实，因此用户感觉不到请求的资源的异构性。 和Java VM PVM是比较成功的采用虚拟机技术实现跨平台、屏蔽异构 性的典型例子。 Java源程序经过编译成为UniCode代码，并 利用不同操作系统上的Java VM转化为本地的机器代码执 行，从而实现了Java源程序的平台无关性。 (4)逻辑与物理的 映射，在网格系统中把物理资源都映射成逻辑资源，网格成 为逻辑共享资源的集合。一个或多个物理资源可以映射到一 个逻辑资源，一个物理资源也可以映射成多个逻辑资源。用 户通过访问逻辑资源的形式间接访问物理资源，映射关系负 责屏蔽资源的异构性。 URL是运用逻辑与物理资源映射技术 的成功实例。5 网格动态性及其解决方法动态性是网格的另一关键特征，表现在：网格规模和配 置是动态变化的；网格资源的利用率和服务质量是可调节 的；网格中服务请求是随机的；网格中资源故障事件是不可 预测的；网格结点协同合作是不固定的。网格的动态性增加 了网格资源利用和管理的复杂性，为了充分地利用网格中的 共享资源，以下是一些解决方法： (1)预约，由于网格中共 享资源的动态性，一个资源在当前时间是可用的，但不能保 证在以后的某一时刻是可用的。通过预约机制对用户请求的 资源进行预约，保证用户可以拥有必要的资源，从而顺利地 完成应用程序的执行。如在宾馆预定了某一天的房间，而不 用担心当天可能定不到房间。然而预约请求也会增加网格内 新资源协作的成本5。 (2)协商， 用户不能无期限地独占网格 中的共享资源。因此，资源的消费者应该与资源的提供者协 商资源使用的生命期。当请求的共享到达协商的生命期时， 共享资源被回收，以提供给其它的需要此共享资源的用户使 用。资源的生命期是资源提供者与消费者双方共同协商的结 果。资源的消费者可能希望更长时间地占用此资源，而资源 提供者则希望每个消费者占用资源尽量少的时间，以便更多 的消费者可以使用该资源。 (3) -生产者 消费者模型方法，网 格中可利用的共享资源是动态的，不断有新资源产生，也随 时有因不可预测的原因而变得不可用的资源。生产者 消 费- 者模型用于管理动态的资源。当某些共享资源因利用率过高 而负载太重时，消费者将进行排队等待资源生产者产生的共 享资源，资源的利用将依据一定的优先规则，公平、有序地 进行着，从而保证动态资源的合理使用。 (4)自适应方法， 事实上，由于网格资源的动态特征，共享资源经常只有在运 行时才能确定。因此，成功的应用任务必须能够自我调节配 置，以适应动态的网格执行环境，使它们的动作适应资源特 征的不断变化。例如， 在Globus网格工程中提出构建一个自 适 应 广 域 资 源 环 境 (Adaptive Wide Area Resource Environment)来配置应用问题和优化性能5。 (5) 容错，资源 故障是无法避免的，也是不可预测的。它影响了应用任务的 顺利执行，降低了服务质量。容错是解决资源故障问题的有 效方法,但也带来其它一些问题，如降低资源利用率、增加系统复杂性等。 6 网格服务语义6.1 Web 服务Web 服务描述了一种重要的分布式计算示例，不同于 DCE、 CORBA、 Java RMI这样简单的、基于Internet标准的 分布式计算途径，它强调异构分布式计算。 Web服务是一种 中性编程语言、编程模型和系统软件。 Web服务标准由W3C 等标准组织定义，已成为主要新工业技术的基础，如 Microsoft的 .NET、 IBM的 Dynamic e-Business 和 的Sun Sun ONE. Web服务中有3个很重要的标准： 和SOAP, WSDL WSInspection. Web服务框架有两个优势： (1)在异构环境里支持动态发现和组合服务，定义注册机制和发现机制的接口，并 为具体的接口动态生成基于绑定的代理机制； (2)广泛使用Web服务机制意味着基于Web服务的框架可以利用许多工具 及扩展服务， 如WSDL处理器、工作流系统等。6.2 Grid 服务Grid 服务是一种提供良好接口集和遵循具体约定及协 议的Web服务6。 Grid服务的接口集强调资源的发现、动态 服务创建、生命周期管理、通知和可管理性。 Grid服务的约 定和协议强调命名、可升级性、授权和流控制。今后， Grid 服务还将考虑授权和并发控制。 Grid服务的接口和约定，特别考虑了关系到临时服务实例管理的行为。虚拟组织参与者维护的不仅是一个永久静态的服务集，它们需要动态地创建新的临时服务实例，这些实例处理与特定的活动状态相联系的管理和交互，当活动状态不再需要时，服务就被撤消。6.3 OGSA、 Globus Toolkits、 Web的联系开放式网格服务体系结构(OGSA) (是将网格关键技术 包 括Globus Toolkits)和Web服务机制集成起来，面向网格服务 而创建的一种分布系统框架。 OGSA的基本假定是把任何东 西都表示成服务6，具体地说，就是Grid服务。计算资源、 存储资源、网络、数据库等都是服务。一个Grid服务实例就 是满足一组约定和规范的服务。采用这种统一的面向服务的 模型意味着环境中的任意构件都是虚拟的。 OGSA的产生代表了Globus Toolkits 2.0的自然发展，虽然在Globus Toolkits中存在着工厂、注册、可靠的和安全的 调用等概念，但不如 在 OGSA中的通用、灵活。 Globus Toolkits是OGSA实现的基础。 OGSA的完善也代表了 服Web 务的自然发展。通过利用存在的Web服务技术集成支持临时 的、有状态的服务实例 , OGSA扩展了 Web服务框架的能 力。 7 结语网格是新生事