网格计算综述报告

网格计算综述报告刘扬2004.6 主要内容n 什么是网格计算？n 为什么需要网格计算？n 网格计算必须要解决的问题n 网格计算的发展过程n 网格计算的应用领域n 国内外网格计算的研究状况n 网格计算系统的组成结构n 网格计算的标准与实现n 网格计算包含的组件n 以服务为中心的网格体系结构 OGSAn FAQ举一个应用例子网格的由来n 大多数开发者在想到网格时，可能都会想起高压电缆和发电站组成的网络。实际上，网格本来的意思是一个互相连接的系统，这个系统被用来在一个广泛的区域内配送电流或电磁信号。因此，所有的电气和电子设备都可以通过插入到网络中来访问某些资源，这样就成了 “启用网格 ”的设备。n 大约在 1995 年，这个概念被应用到了计算领域。随着计算环境 特别是因特网和宽带技术 的发展，人们开始应用这些新的、互相协作的技术与思想来解决金融业、国防研究、医药发明、决策制定和协作设计等领域的问题。什么是网格计算？n 网格计算是一种新兴的技术，不同人有不同的定义。网格计算的概念十分简单：有了网格计算技术，就可以将原本毫无关系的服务器、存储系统、仪器等，通过高速互连网络联合起来，组成一个大的系统，为用户交付非同寻常的高质量服务。对于最终的用户或应用程序来说，网格看起来就像是一个单一的、巨大的虚拟计算机。n 网格计算的本质就是在分布式网络的环境下实现各种资源的全面共享。n 网格计算平台允许在一个分布式环境中发现资源、管理数据、调度在线资源并提供安全性。 n 什么样的系统不属于网格？集群、网络附加存储设备、科学装置、网络，这些都不是网格。它们可能是网格的重要组件，但就本身而言，都不能称之为网格。从技 术 上来 讲 .n 网格 计 算能 够对 位于分布的 计 算 资 源和数据 资 源 虚 拟化 ，例如 处 理器、网 络 带宽 、存 储 能力等，从而 创 建出一个 单 一系 统 映像 ，保 证 用 户 和 应 用程序能 够 无 缝地 访问 巨大的 IT能力。n 通 过 网格 计 算，地理上分布并且异构的 环 境或 组织 就可以互相通信，共享所有的 资 源， 协 同解决 问题 。是进化，不是革命n 相 对 于分布式 计 算、 Web技 术 、 P2P计 算、虚 拟 化技 术 而言，只有网格 计算被看作是最近以来的一次完全 进 化技 术 。n Like the Web： 网格 计 算如同 web一 样 都 隐 藏了复 杂 性， 许 多用 户 共享的是一个 统 一的界面；n Unlike the Web： 网格 计 算可以 协 同解决一个 问题 。n Like peer-to-peer： 网格 计 算如同 P2P一 样 都允 许 用 户 共享文件；n Unlike peer-to-peer： 网格 计 算允 许 多 对 多共享 不只是文件 还 包括其它 资 源。n Like clusters and distributed computing： 网格 计 算如同集群一 样 将 计算 资 源集中起来；n Unlike clusters and distributed computing： 集群要求 这 些 计 算 资 源物理位置是靠近的并且是同构的；而 对 于网格， 资 源可以是分布并且异构的。n Like virtualization technologies： 网格 计 算如同虚 拟 化技 术 一 样对 IT资源 进 行虚 拟 化；n Unlike virtualization technologies： 虚 拟 化技 术 是 对 一个 单 一系 统进 行的虚 拟 化，而网格 计 算 则 是 对 大量的、广域分布的、各不相同的 IT资 源 进行虚 拟 化。为什么需要网格计算？n 借助网格计算，企业可以优化使用计算和数据资源，把这些资源集中起来用于大容量的工作负荷；可以通过网络共享各种数据、信息资源，以及促进协作，协同解决各种问题。n 网格 计 算不再是一个 纯 粹的 计 算能力 问题 。今天的网格操作 环 境比以往更加有 弹 性、灵活和 综 合。位于世界各地的 组织 可以通 过 网格 执 行一些关 键 任 务 从而 获得商 业 上和技 术 上的双重利益。网格 计 算 带 来的好 处:Technologyn 优 化基 础设 施 巩固了 负载 管理 提供了 对 高需求 应 用程序的支持能力 加快了 执 行速度n 加大了数据的 访问 和 协 作 全局数据的 联 合和分配 支持多 协 作，使 协 作可以跨越多个机构和商 业组织n 提供 弹 性的、高可用的基 础设 施 负载 均衡 支持 错误 恢复网格 计 算 带 来的好 处 : Businessn 能 够 更加快速得到 结 果n 更加灵活的 协 同和互操作 不 仅 集成各种 IT资 源， 还 集成了人 允 许 广域分布的商 业 和部 门 形成虚 拟组织 ， 进 行广泛的数据和 资 源共享n 有效的可 扩 展性，能 够满 足各种商 业 需求 对 用 户 的需求能 够 快速反 应 ，并且作出回 应n 提高工作效率 用 户 可以不限制的使用他 们 需要的网格中的各种 计 算、存 储 、数据等 资 源 让员 工可以根据任 务计 划的 进 展快速移 动n 在 现 有的 资 金投 资 方面起到杠杆作用 优 化使用各种 资 源，减少不必要的开 销网格计算必须要解决的问题n 异构性 ：由于网格是由分布在广域网上不同管理域的各种计算资源组成，怎样实现异构机器间的合作和转换是首要问题。n 可扩展性 ：要在网格资源规模不断扩大、应用不断增长的情况下，不降低性能。网格必须能适应规模的变化。n 动态自适应性 ：在网格计算中，某一资源出现故障或失败的可能性较高，资源管理必须能动态监控和管理网格资源，从可利用的资源中选取最佳资源服务。n 结构的不可预测性 ：在传统的高性能计算系统中，计算资源是独占的，因此系统的行为是可以预测的。而在网格计算系统中，由于资源的共享会造成系统行为和系统性能的经常变化，因此网格计算系统必须能够适应动态和不可预测的系统行为。n 多级管理域 ：网格中的资源通常属于不同的机构或组织并且使用不同的安全机制，应此需要各个机构或组织共同解决多级管理域的问题。网格计算的发展过程n 到目前为止网格的发展基本上可以划分为以下几个阶段：n 第一阶段是网格的萌芽阶段，开始于 90 年代早期，研究内容是关于千兆网试验床以及一些元计算方面的工作；n 第二阶段是一些早期的试验，时间大概从 90 年代中期到晚期，出现了一些比较重要的开创性和奠基性的研究项目，比如 I-WAY， Globus， Legion等；n 目前是网格计算的迅速发展阶段，关于网格的研究、开发和应用项目大量出现，出现了影响很大的组织 全球网格论坛 GGF （ Global Grid Forum ），同时网格计算也不再仅仅局限于科学研究领域。工业界与学术界联盟，正致力于使网格计算在更广泛的领域得到推广和应用。使用网格 计 算可以做些什么？网格计算的应用领域（一）n 分布式超级计算分布式超级计算 (Distributed Supercomputing)是指将分布在不同地点的超级计算机用高速网络连接起来，并用网格中间件软件 “粘合 ”起来，形成比单台超级计算机强大得多的计算平台。事实上，网格的最初设计目标主要就是要满足更大规模的计算需求， Globus正是从这类应用起家的。在该方面的一个典型应用项目就是数字相对论 Cactus项目。图 1 模拟的黑洞网格计算的应用领域（二）n 分布式仪器系统 分布式仪器系统（ Distributed Instrumentation System）是指用网格管理分布在各地的贵重仪器系统，提供远程访问仪器设备的手段，提高仪器的利用率，大大方便用户的使用。 XPort 项目是该方面的一个典型应用。图 2 XPort上完成的晶体可视化结果网格计算的应用领域（三）n 数据密集型计算 相比于分布式超级计算，数据密集型计算 (Data Intensive Computing)的应用要比计算密集型应用多得多。它对应的数据网格更侧重于数据的存贮、传输和处理，而计算网格则更侧重于计算能力的提高，所以它们的侧重点和实现技术是不同的。在该方面的一个典型应用就是欧洲原子能研究机构 CERN 所开展的数据网格 DataGrid项目。 图 3 DataGrid的分布处理策略网格计算的应用领域（四）n 远程沉浸远程沉浸使分布在各地的使用者能够在相同的虚拟空间协同工作，就像是在同一个房间一样，甚至可以将虚拟环境扩展到全球范围内，创造出 “比亲自到那儿还要好 ”的环境。更重要的是，它将 “人 /机交互 ”模式扩展成为 “人 /机 /人协作 ”模式，不仅提供协同环境，还将对数据库的实时访问、数据挖掘、高性能计算等集成了进来，为科技工作者提供了一种崭新的协同研究模式。目前远程沉浸在虚拟历史博物馆、协同学习环境、数据可视化协同分析环境等方面有一些应用项目。 图 4 几个参与者就可视化图像的某一区域进行讨论网格计算的应用领域（五）n 信息集成 网格最早以集成异构计算平台的身份出现，接着跨入分布处理海量数据的领域，自然而然地，网格将在信息集成领域一展身手。所谓的信息网格，就是要建立一个体系结构并开发相应的中间件，向用户提供 “信息在你指尖 ”（ Information at your fingertip）式的服务。信息网格研究的中心问题有：如何描述信息、存储信息、发布信息和查找信息；如何充分利用现有网络技术，如 HTTP、 XML、WSDL、 UDDI、 SOAP等，构成一个完整的服务链；信息的语义表示，即如何赋予信息以内涵，以及如何避免信息的二义性；如何对信息加密，防止信息泄露，等等。美国国防部的 GIG项目 (Global Information Grid)是该方面的一个典型应用。国内外网格计算研究状况n 目前网格的研究主要在美国和欧洲。n 美国国家航空和宇宙航行局（ NASA）的 IPG（ Information Power Grid）项目：这是一个 20 年的研究计划，目的是让人们使用计算资源和信息资源就象使用电力网提供的电力资源一样方便快捷。n 美国能源部开发的 ASCI Grid 已经投入生产性使用，其主要用途是核武器研究。n 国防部的全球信息 Grid（ GIG）项目是最庞大的 Grid 计划，用于美军新世纪作战支撑，预计 2020 年完成。n 2001 年 8 月，美 NSF 宣布了一个重大科研项目，研制称为 “分布式万亿级设施 ”（ Distributed Terascale Facility）的 Grid 系统，简称 TeraGrid，它是世界上第一个从设计开始就面向 Grid 的广域超级计算平台，也是第一个无处不在的计算机基础设施（ Cyber-infrastructure）。n 欧洲共同体的 EuroGrid和 Data Grid，主要用于包括高能物理、生物计算、气候模拟等多个领域的应用。我国网格研究现状 n 清华大学的 “先进计算基础设施 ACI(Advanced Computational Infrastructure)” n 以中科院计算所为主的 “国家高性能计算环境NHPCE(National High Performance Computing Environment)”n 863 计划支持的 “中国网格（ China Grid） ”网格计算系统的组成结构n 通常一个网格计算系统可以自下向上的分为三层：n 网格基础设施层 ：包含网上可访问的所有资源，如运行的 PC机或 UNIX、 NT工作站；集群、存储设备、网络，数据库，科学仪器等。n 网格中间件层 ：网格中间件负责全面管理网格系统，提供核心服务，如远程进程管理服务、资源分配服务、存储访问服务、信息服务、完全控制服务、质量服务等。n 网格应用层 ：在网格计算平台接口之上实现各种应用，或者用于扩展计算能力，实现计算资源的全面共享；或者用于扩展存储能力，实现存储资源的全面共享。但是从目前网格计算的应用看来，网格计算最广阔、最有价值的应用领域当属数据 (信息 )共享 (集成 )领域，协同（工作、设计、开发）领域。网格计算有哪些相关标准？ 架构与规范n 架构。 网格计算的架构定义在开放网格服务架构（ Open Grid Services Architecture， OGSA） 的基础之上，这是由 Global Grid Forum (GGF) 开发的一种标准。本质上， OGSA 标准定义了什么是网格服务，网格服务可以做些什么，以及网格服务所基于的技术。但是， OGSA 并没有深入阐述规范中的技术细节，它的主要目的是澄清什么是网格系统，什么不是网格系统。 n 规范。 开放网格服务基础设施（ Open Grid Services Infrastructure， OGSI) 是 OGSA 所描述的概念的正式技术规范。OGSI 中包含如何管理任务、分配任务以及如何描述服务提供者和网格服务的规范。 Global Grid Forum 上有 10 多个工作组正忙于在各个领域定义一系列网格标准，这些领域包括：应用程序和程序设计模型、架构、数据管理、安全性、性能、调度和资源管理。网格计算标准的第一个实现Globus Toolkitn Globus Toolkit 3.0(GT3)是 OGSI标准的第一个完整实现，由 Globus Project开发 ,这个项目致力于研究和开发在科学与工程计算领域实现网格应用程序的方法。这个工具由一组支持网格和网格应用程序的服务和软件库组成，包含了针对安全性、信息基础设施、资源管理、数据管理、通信、故障检测、移植性等各个方面的软件。网格 计 算有哪些主要 组 件 ?n 正如消费者将电力网格看作墙上的插座一样，网格用户不应该看到网格的任何复杂性。用户通过网格门户（ Portal），透明地使用网格中的各种资源和服务。安全性n 网格计算的主要需求之一是安全性。在任何网格环境的基础部分，都必须有提供安全性的机制，安全性包括认证、授权以及数据加密等。信息服务n 网格通过网格计算中的信息服务确认网格中可用的和适合使用的资源作业和资源调度器n 一旦确认了网格中地可用资源，从逻辑上讲，下一步就是调度在这些资源上运行的作业。如果希望作业能够并发地运行，那么就需要使用作业调度程序来协调这些作业的执行。数据管理n 如果