6网格体系结构五层沙漏模型

1、网格体系结构五层沙漏模型 郝卫东网格的基本概念n虚拟组织实例新建工厂n工厂建设位置所涉及的复杂金融预测模型.由应用服务提供商asp提供n存放企业历史数据和信息的企业数据库存放在一个存储服务提供商(sap)管理的存储系统n参加决策的部门首脑们处于不同的城市,需要交互协作地对厂址进行讨论nasp可以根据需要从按需计算周期(cycles)提供商获得额外的计算能力网格的基本概念n虚拟组织实例飞机联合设计n目标：完成下一代超音速飞机可行性研究n方法：整个飞机的多学科高精度仿真n整合由不同参与者开发的所有软件组件n软件组件运行在各参与者的机器上n访问适当的设计数据库，以及分布的其它数据网格的基本概念n虚拟

2、组织实例大规模在线游戏n由许多虚拟世界组成的大规模internet游戏n每个虚拟世界有自己的自然法则和因果关系，每个虚拟世界还有大量的居民，居民之间可以交互，可以从一个虚拟世界迁移到另一个虚拟世界，虚拟世界可能会按照需求扩张以容纳增长的居民。n仿真：增加模拟虚拟世界自然法则的新仿真技术，仿真过程之间需要合作以模拟当虚拟世界发生冲突时发生的情景网格的基本概念n虚拟组织实例分析探测器结果数据ncern的主要探测器lhc的探测结果n来自世界上几百所大学和科研单位的上千位物理学家聚到一起来设计、创建、操作和分析探测结果n集中了相关的计算资源、存储资源和网络资源，组建了可以分析pb数据量级的数据网格lh

3、c experimentsworld wide collaboration distributed computing & storage capacitylhc: 5000physicists 270 institutes 60 countries网格的基本概念n虚拟组织概念n上述实例的不同点n不同数量和类型的参与者;n不同的行为类型;n互操作的持续时间和规模不同;n访问的资源不同n相同点n拥有不同优先级的彼此不信任的参与者为了共同完成任务都需要共享资共享资源源n被共享的资源不仅是简单的文件资源,还包括软件资源,计算资源,数据资源,传感器资源,网络资源,通信资源等.n共享规则n资源提供者和资

4、源消费者需明确仔细的定义共享什么,谁可以共享,以及共享时所要满足的条件.n由这些共享规则定义的一组个体和/或机构形成”虚拟组织”(virtual organizations, vo)网格的基本概念ngrid的定义ncoordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations.n 动态多机构虚拟组织中的协同资源共享与问题解决ian fostersenior scientist, mathematics & computer science divisio

5、n, argonne national laboratoryprofessor, department of computer science,the university of c/foster网格的基本概念n共享关系带来的技术挑战n计算模式nc/s模式np2p模式n资源的异构性和多样性n程序,文件,数据,计算机,传感器,网络等n对资源的高级精确的控制功能n包括细粒度的多所有者的访问控制、授权、本地和全局策略的应用n资源虚拟化为服务n资源能以标准的方式透明访问，而不需要考虑其物理位置和实现方法n应用模式的

6、挑战n单用户 vs 多用户n性能敏感 vs 成本敏感n服务质量n记帐网格的基本概念n虚拟组织中的共享关系实例n物理组织naircar，boeing，cyclesrun虚拟组织nvo-space：n作用：使用不同位置(aircar，boeing)的程序和数据设计先进的航天工具n性质：国际性虚拟组织nvo-cycles:n作用:把未使用的计算周期聚集到一个本地服务提供者(cyclesru， boeing)以便完成计算密集型任务虚拟组织中的共享关系boeingaircarcyclesruvo-cycles中的参与者可以使用空闲cpu周期vo-space中的参与者可以运行程序b和dvo-space中的

7、参与者可以运行程序awhat is the grid?a three point checklist july 20, 2002ian fostergrid的三要素a grid is a system that:(1) coordinates resources that are not subject to centralized control 对非集中控制的资源进行协调对非集中控制的资源进行协调 (2) using standard, open, general-purpose protocols and interfaces 使用标准的、开放的、通用的协议和接口使用标准的、开放的、通用

8、的协议和接口(3) to deliver nontrivial qualities of service (qos) 提供非平凡的服务质量提供非平凡的服务质量网络计算体系结构的发展n五层沙漏结构n开放网格服务体系结构ogsanopen grid service architecturenweb service 资源框架wsrfnweb service resource framework网络计算体系结构的发展（续）n网格计算体系结构n层次体系结构n开放网格服务体系结构ogsanogsiwsrf（wsresource framework）八十年代中后期八十年代中后期2004自治多域服务联自治多域

9、服务联合计算合计算九十年代中期九十年代中期20012002多层网格多层网格体系结构体系结构n开放网开放网格服务体格服务体系结构系结构ogsaogsan技术体技术体系系ogsiogsinogsaogsan技术体技术体系系wsrfwsrf元计算元计算计算网格计算网格2020世纪世纪6060年代，提出了网格计算的基本思想年代，提出了网格计算的基本思想 。因特网的先驱：因特网的先驱：j.c.r.lickliderj.c.r.licklider提出银河间计算提出银河间计算机网络的概念，相信世界上每个人能随处使用计算机网络的概念，相信世界上每个人能随处使用计算机和获取数据。机和获取数据。2020世纪世纪8

10、080年代末，提出了年代末，提出了“元计算元计算”（meta-meta-computingcomputing）概念。）概念。 通过联网环境透明地获得和使用的强大的计算资源。通过联网环境透明地获得和使用的强大的计算资源。 9090年代末，提出了网格（年代末，提出了网格（gridgrid）概念。）概念。 一个无缝集成的计算和协同环境。一个无缝集成的计算和协同环境。网格的起源网格的起源 网格的发展v萌芽阶段：在90年代早期，主要是千兆网的测试床，以及一些元计算的实验；v如fafner(factoring via network-enabled recursion), v如i-way;v早期实验阶段：

11、在90年代中期到后期，包括一些学术性的软件项目，比如，globus，legion，还有一些应用实验；v迅速发展阶段：2002年以来，出现了大量的应用社团和项目，主要基础设施的开发的使用，工业对网格计算的兴趣在增长等，比如ibm，platform，microsoft，sun，等重要的公司； 网格特点 作为一种新出现的重要基础设施，了解这个设施的特点，可以帮助了解认识和把握网格。网格的特点如下： （1）分布性 网格特点（2）（2）自相似性 分形模型最重要特征就是自相似性，即整体和局部之间存在一定的相似性。整体和局部互相体现特征。网格特点（3）（3）动态性和多样性 动态性包括动态增加和动态减少两个方

12、面（4）自治性与管理的多重性 网络中的资源首先是归自身所有者拥有的，网格资源也必须接受网格的统一管理。 网格的自治性是指网格允许资源拥有者对他的资源有自主的管理能力。 网格管理多重性是指一方面它允许网格资源的拥有者对资源具有自主性管理，另一方面又要求网格资源必须接受网格的统一管理。网格体系结构v体系结构本身就是一个系统的整体框架结构，通过它从整体上了解一个系统的构架布局等。v网格体系结构也是如此，我们给出一个通用意义上的定义：v网格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功能，描述了网格各组成部分的关系以及它们集成的方式或方法，刻画了支持网格有效运转的机制。网格体系结构的精

13、髓n网格体系结构体现了一个分合思想，贯穿两条主线，一个是“分”，另一个就是“合”n网格体系结构的作用是在一定程度上对网格的解剖。nga必须要能够标识出网格的基本组成成分，要能够清楚地说明网格整体是由那些关键部分结合在一起形成的。nga还必须能够对各个部分地功能、目的、特点等进行清晰地描述，使人们能够了解各个组成部分的作用。这是“分”的作用。n“分”的基础之上，ga还需要进一步描述“合”的功能，n即充分了解网格的各个部分的作用机理、作用方式等的基础上，将分的部分按照一定的方式进行组织和集成，形成一个特定功能的整体对外提供服务。网格体系结构网格体系结构-网格的同轴模型网格的同轴模型高性能网络通信高

14、性能网络通信资源管理资源管理网格服务网格服务网格应用网格应用网格体系结构网格体系结构-网格系统的组件模型网格系统的组件模型网格体系结构网格体系结构-网格系统的组件模型网格系统的组件模型网格资源：网格资源：包括网络上所有分布的，可访问的计算资包括网络上所有分布的，可访问的计算资源。不仅仅实现了计算资源在物理上的连通。源。不仅仅实现了计算资源在物理上的连通。网格中间件：网格中间件：一系列工具和协议软件。屏蔽网格资源一系列工具和协议软件。屏蔽网格资源的分布、异构特性，提供透明、一致的接口。的分布、异构特性，提供透明、一致的接口。网格开发环境和工具：网格开发环境和工具：让开发人员开发不同的应用让开发人

15、员开发不同的应用以及用户代理在全局资源中调度计算。以及用户代理在全局资源中调度计算。网格应用层：网格应用层：是用户需求的具体体现。提供网格入口是用户需求的具体体现。提供网格入口(grid portals)技术技术。从网格开发角度体现出来的网格层次结构网格体系结构的演变v五层沙漏结构 由foster等最早提出的，是一个最先出现的应用和影响广泛的结构。vogsa体系结构 开放网格服务结构ogsa(open grid services architecture)是global grid forum 4的重要标准建议，是继五层沙漏结构之后最重要的一种网格体系结构。是由foster等结合web serv

16、ice等技术，在ibm合作下提出的新的网格结构。 五层沙漏结构v五层沙漏结构是一种以协议为中心的结构，也十分强调服务与api（application programming interfaces）和sdk （software development kits）的重要性。v五层沙漏的基本思想：v共享v互操作v协议vapi/sdkv五层划分沙漏结构设计原则n保持参与的开销最小n核心协议较少的，要普遍支持n提供一些核心服务为基础n类似os内核，移植方便n管辖多种资源，允许局部控制n用来构建高层的、特定领域 的应用服务n支持适应性n“ip hourglass” modeldiverse global

17、services核心服务核心服务local osa p p l i c a t i o n s 高层功能 向瓶颈部分 的映射瓶颈部分 功能向底层 的映射瓶 颈 部分hourglass grid architecture比较internet architectureapplication构造层构造层fabric“controlling things locally”: access to, & control of, resources连通层连通层“talking to things”: 通讯通讯 (internet protocols) & 安全安全资源层资源层resource“共享单个资源共

18、享单个资源”: 协商访问协商访问, 控制使用控制使用聚合层聚合层collective“管理多个资源管理多个资源”: 无处不在的底层基础服无处不在的底层基础服务务services应用层“specialized services”: 面向用户面向用户或面向应用的分布式服务或面向应用的分布式服务 servicesinternettransportapplicationlinkinternet protocol architecture每一层存在的协议、服务和接口languages/frameworksfabric layerapplicationslocal access apis and prot

19、ocolscollective service apis and sdkscollective servicescollective service protocolsresource apis and sdksresource servicesresource service protocolsuser service protocolsuser service apis and sdksuser servicesconnectivity apisconnectivity protocols五层沙漏结构构造层(fabric)n构造层本地控制的接口n提供资源n如计算资源，存储资源，目录，网络资

20、源，传感器等n资源可以是逻辑实体，如一个分布式文件系统、计算集群或分布式计算机池。n实现了本地的，具体于资源的操作n具有内省机制，该机制支持发现资源的结构、状态和能力n实现资源本地管理机制。如集群资源具有内部协议如集群管理协议和软件，网格可以利用该协议提供对服务质量的某种控制构造层(fabric)n构造层n计算资源n需要启动程序并监视和控制结果进程执行的机制；需要内省功能来确定硬件和软件的特征，以及相关的状态信息n存储资源n需要发送和获取文件的机制；需要对文件的部分子集进行读和写，以及执行远程数据选择和数据裁剪的机制；对分配给数据传输的资源（磁盘空间、磁盘带宽、网络带宽、cpu等）进行控制和管

21、理的机制；需要内省功能来确定可用的空间和带宽利用率等信息n网络资源n需要对分配给网络传输的资源（例如，优先级队列、预留的资源）进行管理的机制；需要内省功能来确定网络的特征和负载。grid体系结构各层说明n构造层(fabric)：提供一套对局部资源控制的工具和接口；n计算、存储、网络、数据和目录等n对所控制的共享资源进行局部管辖和调度n实现各种资源本身的一些控制管理机制n不同类型资源不同的控制管理机制yh资源和作资源和作业管理系统业管理系统sgi资源和作资源和作业管理系统业管理系统ibm资源和作资源和作业管理系统业管理系统特定构造层资源及其功能特性特定构造层资源及其功能特性构造层资源举例 功能特

22、性 计算资源启动程序，监控和控制进程的执行，控制进程资源分配的管理机制，提前预留机制，查询功能.存储资源存放与获取文件的机制，第三方高性能传输方式，读写文件子集机制，远程数据选取与归约机制，对分配用于数据传输资源的控制管理机制，提前预约机制，查询功能.网络资源对网络传输资源的管理机制，查询功能（用来得到网络特性和负载）.代码库源代码和目标代码管理机制，比如cvs控制系统.目录目录查询与更新操作机制，比如关系数据库连接层n连接层安全便利的通信n定义了通信和认证核心协议n通信协议n通信协议实现传输（ip/tcp/udp, ipx/spx）、路由（ospf/rip/eigrp）和命名(dns/net

23、bios)n不局限于tcp/ip协议栈，还包括atm，高性能光纤网，无线网络等通信协议连接层n连接层安全便利的通信n保证通信安全的认证核心协议n单一登录n网格用户需要启动访问多个远程资源的计算任务，但是用户应该只认证一次，而不必为访问每个资源或管理域都“登录”n委托和限制性委托n一个用户必须能够赋予一个程序代表他运行的能力，以便该程序能够访问授权该用户访问的资源n被委托的程序能够有选择的把它的权限的一部分委托给另外一个程序，即限制性委托n与本地安全方案的集成n在异构网络中，每个资源提供者通常都有本地安全方案，不能要求对本地安全方案进行大规模替换。n网格安全方案必须能和不同的本地方案互操作，实现

24、对本地环境的映射。n基于用户的信任关系n如果用户拥有地点a和地点b的权力，那么该用户应该能够一起使用地点a和地点b，而不需要地点a和地点b的安全管理者之间进行交互grid体系结构各层说明n连通层(connectivity):定义了grid网络事务处理的通信和验证协议，基于internet协议；n基于internet协议，完成通信；n认证和安全通信连接层安全认证特性连接层安全认证特性特点描述单一登陆用户只需登陆一次，就可以以该身份访问不同的构造层网格资源，不需要对不同的资源多次重复登陆，也不需要用户进一步介入.代理用户必须有让程序以自己身份运行的能力，因此程序就能够访问用户认证的不同资源.该程序

25、还能够有条件将它的部分权限授予另一个程序（受限制的代理）.与局部安全方法的集成不同的资源可以使用其局部的安全方案，但是网格安全方案必须与那些局部的方案进行互操作.不要求网格安全方案完全代替局部安全方案，但是它必须能够实现向局部安全的映射.基于用户的信任机制用户可以使用多个提供者提供的资源，但并不是要求资源提供者在安全环境中协同操作或互操作.即如果一个用户有权使用站点a和b的资源，用户能够将a和b的资源结合起来使用，并不要求a和b的安全管理相互作用.资源层n资源层实现经过身份认证的网格用户与远端资源和服务进行交互的功能n定义单一资源上的共享操作协议n如安全协商、初始化、监控、控制、记帐、付费等n

26、资源层协议调用fabric层的功能来访问和控制本地资源n两种主要协议类型n信息协议：用来获得资源的结构和状态信息，如配置负载代价等n管理协议：用来协商对共享资源的访问，指定资源请求策略（如资源预留，或资源qos），以及资源操作（如进程创建数据访问等）的实例化grid体系结构各层说明（续）n资源层（resource)：定义了一些对单个的资源共享操作协议n定义了某类资源的管理和操作等的标准协议和接口n可以远程统一的访问和共享操作资源n如交换、启动、监视、控制、记帐和支付等，以及应用程序接口和软件包；例如：标准的作业管理系统接口和标准资源层的协议类型与描述资源层的协议类型与描述协议类型描述信息协议得

27、到资源的结构和状态信息，比如配置，当前负载，使用策略等.管理协议通过判断访问共享资源，指出资源需求以及执行的操作.初始化共享关系，保证要求的协议操作与底层共享资源提供的共享策略一致.还要考虑记账和付费的问题，协议还可能需要具有监控操作的状态并控制某些操作的功能.汇聚层n汇聚层所定义的协议和服务不是同某一特定资源相关的,而是用来定义资源集之间的交互n汇聚层能够实现多种不同的共享行为而不需要对共享资源施加新的限制,如n网格目录服务:mds-2n协同分配调度代理服务:apples, condor-g,nimrod-g等n监控和诊断服务n数据复制服务n汇聚层提供编程工具和编程模型n编程模型(chap24)n工作流系统n软件发现服务（netsolve, ninf）n虚拟社区内协同信息交换（如access grid, b, 群件系统等）n汇聚层同样涉及安全策略和记帐问题grid体系结构各层说明（续）n聚合(collective)：提供多个资源协同工作n联合资源调度和预约，信息服务，数据复制服务、资源发现服务、团体授权服务、协作服务和分布记帐服务等；