网格计算综述报告.ppt

网格计算综述报告,刘扬 2004.6,主要内容,什么是网格计算？ 为什么需要网格计算？ 网格计算必须要解决的问题 网格计算的发展过程 网格计算的应用领域 国内外网格计算的研究状况 网格计算系统的组成结构 网格计算的标准与实现 网格计算包含的组件 以服务为中心的网格体系结构OGSA FAQ,举一个应用例子,网格的由来,大多数开发者在想到网格时，可能都会想起高压电缆和发电站组成的网络。实际上，网格本来的意思是一个互相连接的系统，这个系统被用来在一个广泛的区域内配送电流或电磁信号。因此，所有的电气和电子设备都可以通过插入到网络中来访问某些资源，这样就成了“启用网格”的设备。 大约在 1995 年，这个概念被应用到了计算领域。随着计算环境 特别是因特网和宽带技术 的发展，人们开始应用这些新的、互相协作的技术与思想来解决金融业、国防研究、医药发明、决策制定和协作设计等领域的问题。,什么是网格计算？,网格计算是一种新兴的技术，不同人有不同的定义。网格计算的概念十分简单：有了网格计算技术，就可以将原本毫无关系的服务器、存储系统、仪器等，通过高速互连网络联合起来，组成一个大的系统，为用户交付非同寻常的高质量服务。对于最终的用户或应用程序来说，网格看起来就像是一个单一的、巨大的虚拟计算机。 网格计算的本质就是在分布式网络的环境下实现各种资源的全面共享。 网格计算平台允许在一个分布式环境中发现资源、管理数据、调度在线资源并提供安全性。 什么样的系统不属于网格？集群、网络附加存储设备、科学装置、网络，这些都不是网格。它们可能是网格的重要组件，但就本身而言，都不能称之为网格。,从技术上来讲.,网格计算能够对位于分布的计算资源和数据资源虚拟化，例如处理器、网络带宽、存储能力等，从而创建出一个单一系统映像，保证用户和应用程序能够无缝地访问巨大的IT能力。 通过网格计算，地理上分布并且异构的环境或组织就可以互相通信，共享所有的资源，协同解决问题。,是进化，不是革命,相对于分布式计算、Web技术、P2P计算、虚拟化技术而言，只有网格计算被看作是最近以来的一次完全进化技术。 Like the Web：网格计算如同web一样都隐藏了复杂性，许多用户共享的是一个统一的界面； Unlike the Web：网格计算可以协同解决一个问题。 Like peer-to-peer：网格计算如同P2P一样都允许用户共享文件； Unlike peer-to-peer：网格计算允许多对多共享不只是文件还包括其它资源。 Like clusters and distributed computing：网格计算如同集群一样将计算资源集中起来； Unlike clusters and distributed computing：集群要求这些计算资源物理位置是靠近的并且是同构的；而对于网格，资源可以是分布并且异构的。 Like virtualization technologies：网格计算如同虚拟化技术一样对IT资源进行虚拟化； Unlike virtualization technologies：虚拟化技术是对一个单一系统进行的虚拟化，而网格计算则是对大量的、广域分布的、各不相同的IT资源进行虚拟化。,为什么需要网格计算？,借助网格计算，企业可以优化使用计算和数据资源，把这些资源集中起来用于大容量的工作负荷；可以通过网络共享各种数据、信息资源，以及促进协作，协同解决各种问题。 网格计算不再是一个纯粹的计算能力问题。今天的网格操作环境比以往更加有弹性、灵活和综合。位于世界各地的组织可以通过网格执行一些关键任务从而获得商业上和技术上的双重利益。,网格计算带来的好处:Technology,优化基础设施 巩固了负载管理 提供了对高需求应用程序的支持能力 加快了执行速度 加大了数据的访问和协作 全局数据的联合和分配 支持多协作，使协作可以跨越多个机构和商业组织 提供弹性的、高可用的基础设施 负载均衡 支持错误恢复,网格计算带来的好处: Business,能够更加快速得到结果 更加灵活的协同和互操作 不仅集成各种IT资源，还集成了人 允许广域分布的商业和部门形成虚拟组织，进行广泛的数据和资源共享 有效的可扩展性，能够满足各种商业需求 对用户的需求能够快速反应，并且作出回应 提高工作效率 用户可以不限制的使用他们需要的网格中的各种计算、存储、数据等资源 让员工可以根据任务计划的进展快速移动 在现有的资金投资方面起到杠杆作用 优化使用各种资源，减少不必要的开销,网格计算必须要解决的问题,异构性：由于网格是由分布在广域网上不同管理域的各种计算资源组成，怎样实现异构机器间的合作和转换是首要问题。 可扩展性：要在网格资源规模不断扩大、应用不断增长的情况下，不降低性能。网格必须能适应规模的变化。 动态自适应性：在网格计算中，某一资源出现故障或失败的可能性较高，资源管理必须能动态监控和管理网格资源，从可利用的资源中选取最佳资源服务。 结构的不可预测性：在传统的高性能计算系统中，计算资源是独占的，因此系统的行为是可以预测的。而在网格计算系统中，由于资源的共享会造成系统行为和系统性能的经常变化，因此网格计算系统必须能够适应动态和不可预测的系统行为。 多级管理域：网格中的资源通常属于不同的机构或组织并且使用不同的安全机制，应此需要各个机构或组织共同解决多级管理域的问题。,网格计算的发展过程,到目前为止网格的发展基本上可以划分为以下几个阶段： 第一阶段是网格的萌芽阶段，开始于90 年代早期，研究内容是关于千兆网试验床以及一些元计算方面的工作； 第二阶段是一些早期的试验，时间大概从90 年代中期到晚期，出现了一些比较重要的开创性和奠基性的研究项目，比如I-WAY，Globus，Legion等； 目前是网格计算的迅速发展阶段，关于网格的研究、开发和应用项目大量出现，出现了影响很大的组织全球网格论坛GGF （Global Grid Forum ），同时网格计算也不再仅仅局限于科学研究领域。工业界与学术界联盟，正致力于使网格计算在更广泛的领域得到推广和应用。,使用网格计算可以做些什么？ 网格计算的应用领域（一）,分布式超级计算 分布式超级计算(Distributed Supercomputing)是指将分布在不同地点的超级计算机用高速网络连接起来，并用网格中间件软件“粘合”起来，形成比单台超级计算机强大得多的计算平台。事实上，网格的最初设计目标主要就是要满足更大规模的计算需求，Globus正是从这类应用起家的。在该方面的一个典型应用项目就是数字相对论Cactus项目。,图1 模拟的黑洞,网格计算的应用领域（二）,分布式仪器系统 分布式仪器系统（Distributed Instrumentation System）是指用网格管理分布在各地的贵重仪器系统，提供远程访问仪器设备的手段，提高仪器的利用率，大大方便用户的使用。XPort 项目是该方面的一个典型应用。,图2 XPort上完成的晶体可视化结果,网格计算的应用领域（三）,数据密集型计算 相比于分布式超级计算，数据密集型计算(Data Intensive Computing)的应用要比计算密集型应用多得多。它对应的数据网格更侧重于数据的存贮、传输和处理，而计算网格则更侧重于计算能力的提高，所以它们的侧重点和实现技术是不同的。在该方面的一个典型应用就是欧洲原子能研究机构CERN 所开展的数据网格DataGrid项目。,图3 DataGrid的分布处理策略,网格计算的应用领域（四）,远程沉浸 远程沉浸使分布在各地的使用者能够在相同的虚拟空间协同工作，就像是在同一个房间一样，甚至可以将虚拟环境扩展到全球范围内，创造出“比亲自到那儿还要好”的环境。更重要的是，它将“人/机交互”模式扩展成为“人/机/人协作”模式，不仅提供协同环境，还将对数据库的实时访问、数据挖掘、高性能计算等集成了进来，为科技工作者提供了一种崭新的协同研究模式。目前远程沉浸在虚拟历史博物馆、协同学习环境、数据可视化协同分析环境等方面有一些应用项目。,图4 几个参与者就可视化图像的某一区域进行讨论,网格计算的应用领域（五）,信息集成 网格最早以集成异构计算平台的身份出现，接着跨入分布处理海量数据的领域，自然而然地，网格将在信息集成领域一展身手。所谓的信息网格，就是要建立一个体系结构并开发相应的中间件，向用户提供“信息在你指尖”（Information at your fingertip）式的服务。 信息网格研究的中心问题有：如何描述信息、存储信息、发布信息和查找信息；如何充分利用现有网络技术，如HTTP、XML、WSDL、UDDI、SOAP等，构成一个完整的服务链；信息的语义表示，即如何赋予信息以内涵，以及如何避免信息的二义性；如何对信息加密，防止信息泄露，等等。 美国国防部的GIG项目 (Global Information Grid)是该方面的一个典型应用。,国内外网格计算研究状况,目前网格的研究主要在美国和欧洲。 美国国家航空和宇宙航行局（NASA）的IPG（Information Power Grid）项目：这是一个20 年的研究计划，目的是让人们使用计算资源和信息资源就象使用电力网提供的电力资源一样方便快捷。 美国能源部开发的ASCI Grid 已经投入生产性使用，其主要用途是核武器研究。 国防部的全球信息Grid（GIG）项目是最庞大的Grid 计划，用于美军新世纪作战支撑，预计2020 年完成。 2001 年8 月，美NSF 宣布了一个重大科研项目，研制称为“分布式万亿级设施”（Distributed Terascale Facility）的Grid 系统，简称TeraGrid，它是世界上第一个从设计开始就面向Grid 的广域超级计算平台，也是第一个无处不在的计算机基础设施（Cyber-infrastructure）。 欧洲共同体的EuroGrid和Data Grid，主要用于包括高能物理、生物计算、气候模拟等多个领域的应用。,我国网格研究现状,清华大学的“先进计算基础设施ACI(Advanced Computational Infrastructure)” 以中科院计算所为主的“国家高性能计算环境NHPCE(National High Performance Computing Environment)” 863 计划支持的“中国网格（China Grid）”,网格计算系统的组成结构,通常一个网格计算系统可以自下向上的分为三层： 网格基础设施层：包含网上可访问的所有资源，如运行的PC机或UNIX、NT工作站；集群、存储设备、网络，数据库，科学仪器等。 网格中间件层：网格中间件负责全面管理网格系统，提供核心服务，如远程进程管理服务、资源分配服务、存储访问服务、信息服务、完全控制服务、质量服务等。 网格应用层：在网格计算平台接口之上实现各种应用，或者用于扩展计算能力，实现计算资源的全面共享；或者用于扩展存储能力，实现存储资源的全面共享。但是从目前网格计算的应用看来，网格计算最广阔、最有价值的应用领域当属数据(信息)共享(集成)领域，协同（工作、设计、开发）领域。,网格计算有哪些相关标准？ 架构与规范,架构。网格计算的架构定义在开放网格服务架构（Open Grid Services Architecture，OGSA）的基础之上，这是由 Global Grid Forum (GGF) 开发的一种标准。本质上，OGSA 标准定义了什么是网格服务，网格服务可以做些什么，以及网格服务所基于的技术。但是，OGSA 并没有深入阐述规范中的技术细节，它的主要目的是澄清什么是网格系统，什么不是网格系统。 规范。开放网格服务基础设施（Open Grid Services Infrastructure，OGSI) 是 OGSA 所描述的概念的正式技术规范。OGSI 中包含如何管理任务、分配任务以及如何描述服务提供者和网格服务的规范。Global Grid Forum 上有 10 多个工作组正忙于在各个领域定义一系列网格标准，这些领域包括：应用程序和程序设计模型、架构、数据管理、安全性、性能、调度和资源管理。,网格计算标准的第一个实现 Globus Toolkit,Globus Toolkit 3.0(GT3)是OGSI标准的第一个完整实现，由Globus Project开发,这个项目致力于研究和开发在科学与工程计算领域实现网格应用程序的方法。这个工具由一组支持网格和网格应用程序的服务和软件库组成，包含了针对安全性、信息基础设施、资源管理、数据管理、通信、故障检测、移植性等各个方面的软件。,网格计算有哪些主要组件?,正如消费者将电力网格看作墙上的插座一样，网格用户不应该看到网格的任何复杂性。用户通过网格门户（Portal），透明地使用网格中的各种资源和服务。,安全性,网格计算的主要需求之一是安全性。在任何网格环境的基础部分，都必须有提供安全性的机制，安全性包括认证、授权以及数据加密等。,信息服务,网格通过网格计算中的信息服务确认网格中可用的和适合使用的资源,作业和资源调度器,一旦确认了网格中地可用资源，从逻辑上讲，下一步就是调度在这些资源上运行的作业。如果希望作业能够并发地运行，那么就需要使用作业调度程序来协调这些作业的执行。,数据管理,如果任何数据（包括应用程序模块）都必须移到应用程序作业执行所在的节点上，或者必须使这些节点可以访问这些数据，那么数据管理就负责提供安全而又可靠的方法来将文件和数据移到网格中的各个节点上。,资源管理,网格资源分配管理器（Grid Resource Allocation Manager，GRAM）提供了实际启动某个特定资源上的作业、检查其状态并在其完成后检索其结果的服务。,网格体系结构,网格体系结构是关于如何建造网格的技术，包括对网格基本组成部分和各部分功能的定义和描述，网格各部分相互关系与集成方法的规定，网格有效运行机制的刻画。 网格体系结构贯穿着两条主线，一是“分”，另外一个就是“合”。 网格体系结构是网格的骨架和灵魂，是网格最核心的技术，只有建立合理的网格体系结构，才能够设计和建造好网格，才能够使网格有效地发挥作用。,以服务为中心的网格体系结构OGSA,OGSA 最突出的思想就是以“服务”为中心。在OGSA 框架中，将一切都抽象为服务，包括计算机、程序、数据、仪器设备等。这种观念，有利于通过统一的标准接口来管理和使用网格。 OGSA 在原来Web Service 服务概念的基础上，提出了“网格服务（Grid Service ）”的概念，用于解决服务发现、动态服务创建、服务生命周期管理等与临时服务有关的问题。 OGSA 将整个网格看作是“网格服务”的集合，但是这个集合不是一成不变的，是可以扩展的，这反映了网格的动态特性。,OGSA的核心网格服务,已有服务接口,基于OGSA 框架的应用服务环境的构造,图6 从简单到复杂的三种运行环境,基于OGSA的应用实例,图7 基于OGSA的数据挖掘应用实例,FAQ:网格与因特网和万维网的关系是什么？它是否会替代因特网和Web？,首先，网格是建立在因特网和Web基础上的，不会替代它们。因特网的出现，将独立的计算机个体联成网络，但是，它没办法共享其它机器的资源。Web兴起，通过网页的方式连接起来，计算机可以做包括电子商务在内的更多事情。但是，各行业在应用层面上的互联互通远远没有实现，计算机的使用也远不如电话这么方便。而网格将能实现应用层面上的互联互通，即用户使用层面上的互联互通。其次，网格可以实现全面的资源共享。第三，网格采用的是国际标准，标准化意味着，网格可以使接入设备像电话一样易用。,FAQ:我国网格技术的发展道路应该怎么走？,我们国家在应用、管理和基础设施建设层面上，与国外有很大差异，进行网格研究会有一些新的需求。我们曾经咨询过国际上的网格领域的专家，他们给我们的建议是：第一，网络和电脑是基础建设，要努力完善基础建设；第二，做好高性能的计算机和超级服务器，这是必备的计算和存储的能力；第三，与应用领域的专家联合起来，尤其是像计算方面、各行业信息系统管理部门以及应用系统方面的专家联合起来，共同开发；第四，搞好社会工程，即必要的宣传教育和人才培养工作。网格研究不是某一领域的事情，是跨领域的事业。,FAQ:中科院计算所为什么提出以应用推动网格发展？,国外在网格研究方面的投入都不小。我国要想在这个领域不落后，就需要有自己特有的东西。首先要有自己的技术创新。既根据电脑技术发展的趋势来创新，更以中国市场需求为依据来创新。要研究如何用网格技术解决国家的科技问题、国民经济问题和社会发展问题，这应该是我们的方向。所以，从一开始，我们在网格研究的定位上就跟国外不一