第二网格体系结构

第二章网格体系结构龚斌山东大学计算机科学与技术学院山东省高性能计算中心什么是体系结构?

ArchitectureArtandArchitectureWhat’sthedifferencebetweenArtandArchitecture?LyonelFeininger,MarktkircheinHalleArtandArchitectureWhat’sthedifferencebetweenArtandArchitecture?NotreDamedeParis内容五层沙漏结构开放网格服务体系结构OGSAOpenGridServiceArchitectureWebService资源服务框架WSRFWebServiceResourceFrameWork一个虚拟组织例子:CERN’sLargeHadronCollider1800Physicists,150Institutes,32Countries100PBofdataby2010;50,000CPUs?GridCommunities&Applications:

DataGridsforHighEnergyPhysicsTier2Centre~1TIPSOnlineSystemOfflineProcessorFarm~20TIPSCERNComputerCentreFermiLab~4TIPSFranceRegionalCentreItalyRegionalCentreGermanyRegionalCentreInstituteInstituteInstituteInstitute~0.25TIPSPentiumII300MHzPentiumII300MHzPentiumII300MHzPentiumII300MHzPhysicistworkstations~100MBytes/sec~100MBytes/sec~622Mbits/sec~1MBytes/secHPSSHPSSThereisa“bunchcrossing”every25nsecs.Thereare100“triggers”persecondEachtriggeredeventis~1MByteinsizePhysicistsworkonanalysis“channels”.Eachinstitutewillhave~10physicistsworkingononeormorechannels;dataforthesechannelsshouldbecachedbytheinstituteserverPhysicsdatacache~PBytes/sec~622Mbits/secorAirFreight(deprecated)HPSSHPSSHPSSTier2Centre~1TIPSTier2Centre~1TIPSTier2Centre~1TIPSCaltech~1TIPS~622Mbits/secTier0Tier1Tier2Tier41TIPSisapproximately25,000SpecInt95equivalents

网格技术挑战网格体系结构和网络计算模型Internet活动规律和特性网格计算的资源共享和协同的基础理论Agent？协同优化理论？标准和协议体系建立一个开放的信息处理基础设施平台一个开放的体系结构、标准和协议，以形成信息获取、传输、访问和处理的单一虚拟系统基础平台屏蔽异构平台、异构语言网格技术挑战（续）虚拟组织的管理和协同工作基于服务的协作集成技术等；多个系统的协调和集成服务和应用的自治管理和优化自动配置和部署网格的高可靠和可用性技术资源多层次和多方面的异构性系统状态的不确定性异构分布的环境高可靠的保证单点失败不导致系统崩溃网格的安全机制和可信技术多域的安全问题访问控制模型可信技术网格技术挑战（续）高度灵活的共享关系定义和共享资源的复杂高级控制细粒度访问控制、代理灵活，可应付许多资源类型和共享方式可扩展大量资源、许多的参与者和程序模块ＱoＳ的调度和联合分配记帐技术各个站点同时履行资源分配的合约，具有事务性原则网格技术挑战（续）海量分布数据的存储、分发、访问和管理高速透明访问多个地点的海量存储系统统一的数据操作和管理空间结构化数据访问和管理非结构化数据访问和管理etc网格资源与服务的发现、组织和调度与管理的方法和算法在线设备的数据自动注释和分类目录网格技术挑战（续）高性能分布数据密集型系统必须使用网络级别、平台级别和构件级别的并行和流水线（如下图）高速系统的精确监控对于算法分析、问题监测和动态自适应配置非常重要资源、系统、应用的监控网格系统的自治管理技术灵活的、自治的资源管理（自动的服务器重启、数据迁移、拥塞避免等）流水线举例（指令）取指分析执行kK+1kkK+1K+1K+2K+2K+2部件分析取指执行时间网格技术挑战（续）网格的编程模型和语言我们需要突破传统的程序设计和并行程序设计语言与编程模型MPI－G？网格环境下网格服务的应用形态和高层shell语言网格工作流语言和机制面向服务的工作流？多域环境下的工作流网格系统的自适应技术和机制应用系统在异构分布环境中优化执行；基于构件技术的网格应用开发环境和工具面向应用领域的基础支撑工具和服务。对体系结构基本要求在技术上，从应用的角度看：不能破坏现有系统，不能重蹈覆辙（分布操作系统）为应用提供单一分布资源全局视图和聚集各种分布的自治资源成为一个系统不导致应用程序的重新编写移植简单对体系结构基本要求不同组织之间的资源共享互操作是必不可少的对资源直接访问，不单单是文件共享和交换体现在各种资源构件之间和机制之间标准的协议是至关重要的允许跨节点的

interoperability互操作允许sharedinfrastructure共享设施需要标准的协议、服务是重要的标准的APIs/SDKs是重要的允许应用可移植没有标准协议互操作很难(everySDKspeakseveryprotocol?)基本服务的定义可共享，避免重复开发和安装E.g.,oneport/service/protocolforremoteaccesstocomputing,notonepertool/applicationE.g.,CertificateAuthorities:expensivetorun网格与WWW工作方式的区别wwwGrid服务器的驱动先后驱动，同时只有一个同时驱动客户与服务器界限明显界限不明显客户端浏览器不限制，客户端多样化资源网页，数据库计算、存储、软件、仪器等网格的层次分布式资源网格系统网格用户ClassicGridArchitectureDatabaseDatabaseNetsolveComputingCollaborationCompositionContentAccessResourcesClientsUsersandDevicesMiddleTier

Brokers

ServiceProvidersMiddleTierbecomesWebServices网格的多方参与性资源的的归属于不同的管理域资源种类繁多，接口和使用方式不同网格的建设需多方参与网格用户的多样性一个网格用户要在多个资源上活动分布式系统与网格特征分布式系统网格开放性需求和技术有一定确定性、封闭性开放技术、开放系统通用性专门领域、专门技术通用技术集中性统一规划、集中控制自然进化、非集中控制使用模式主机终端、C/S服务模式标准化领域标准、行业标准通用标准（+行业标准）平台性应用解决方案平台或基础设施网格的协议层次Internet协议（HTTP,FTP,SMTP,…）XML协议（SOAP,WSDL,…）网格系统（系统软件，工具集，API,…）网格应用通信与安全管理网格系统的基本管理功能界面管理资源管理作业管理数据管理信息管理公共管理网格系统的基本管理功能（续）信息管理：为网格中的活动提供依据资源管理：管理资源数据管理：管理数据的存储、表示和副本通信与安全管理：活动合法，信息通达界面管理：用户与网格的接口作业管理：作业的执行管理公共管理：用户的管理，系统监控，记账等网格的层次结构面向协议的网格层次结构面向服务的网格层次结构面向协议的网格层次结构Internet（分布式资源，Internet协议,…）网格协议（描述，表示，组织,…）网格软件（系统软件，工具集，…）应用接口（API，命令，开发语言，…）网格应用面向服务的网格层次结构Internet（分布式资源，Internet协议,…）服务协议与标准（描述，发现，访问，…）基本服务通用服务应用支持环境网格应用网格体系结构设计在技术上，从Grid实现者的角度：一个层次型中间件服务集合（like现行的系统）按照现代软件系统的设计原则，以服务的方式为应用工具和应用的开发提供支持；服务的实现必须能够自由地使用各个层次上的功能和服务进行构造。（这和许多系统的设计原则不同）Grid“体系结构”从标准协议、服务角度分析Grid系统结果是一个层次协议体系结构五层沙漏体系结构IanFoster等描述了一种具有代表性的体系结构沙漏结构设计原则保持参与的开销最小核心协议较少的，要普遍支持提供一些核心服务为基础类似OS内核，移植方便管辖多种资源，允许局部控制用来构建高层的、特定领域的应用服务支持适应性“IPhourglass”modelDiverseglobalservices核心服务LocalOSApplications高层功能向瓶颈部分的映射瓶颈部分功能向底层的映射瓶颈部分Hourglass（沙漏）并行作业执行系统WhatisNexus ?Nexusisalibraryprovidingthemultithreadedcommunicationfacilitiesrequiredtoimplementadvancedlanguages,libraries,andapplicationsinheterogeneousparallelanddistributedcomputingenvironments.Itsimplementationsupportsmultiplecommunicationprotocolsandresourcecharacterizationmechanismsthatallowautomaticselectionofoptimalprotocols.GridArchitecture

比较InternetArchitectureApplication构造层Fabric“Controllingthingslocally”:Accessto,&controlof,resources连通层“Talkingtothings”:通讯(Internetprotocols)&安全资源层Resource“共享单个资源”:协商访问,控制使用聚合层Collective“管理多个资源”:无处不在的底层基础服务services应用层“Specializedservices”:面向用户或面向应用的分布式服务servicesInternetTransportApplicationLinkInternetProtocolArchitecture每一层存在的协议、服务和接口Languages/FrameworksFabricLayerApplicationsLocalAccessAPIsandProtocolsCollectiveServiceAPIsandSDKsCollectiveServicesCollectiveServiceProtocolsResourceAPIsandSDKsResourceServicesResourceServiceProtocolsUserServiceProtocolsUserServiceAPIsandSDKsUserServicesConnectivityAPIsConnectivityProtocols详细构成工具与应用目录代理诊断与监控等资源与服务的安全访问

应用层汇聚层资源与连接层

各种资源，比如计算机，存储介质，网络，传感器等

构造层

网格工具包GlobusToolkit

MakingGridcomputingareality主要组成部分资源管理信息服务数据管理安全Grid体系结构各层说明构造层(Fabric)：提供一套对局部资源控制的工具和接口；计算、存储、网络、数据和目录等对所控制的共享资源进行局部管辖和调度实现各种资源本身的一些控制管理机制不同类型资源不同的控制管理机制LinuxCluster资源和作业管理系统(OpenPBS)SGI资源和作业管理系统IBMp690资源和作业管理系统(Loadlevel)特定构造层资源及其功能特性构造层资源举例功能特性计算资源启动程序，监控和控制进程的执行，控制进程资源分配的管理机制，提前预留机制，查询功能.存储资源存放与获取文件的机制，第三方高性能传输方式，读写文件子集机制，远程数据选取与归约机制，对分配用于数据传输资源的控制管理机制，提前预约机制，查询功能.网络资源对网络传输资源的管理机制，查询功能（用来得到网络特性和负载）.代码库源代码和目标代码管理机制，比如CVS控制系统.目录目录查询与更新操作机制，比如关系数据库Grid体系结构各层说明连通层(connectivity):定义了Grid网络事务处理的通信和验证协议，基于Internet协议；基于Internet协议，完成通信；认证和安全通信连接层安全认证特性特点描述单一登陆用户只需登陆一次，就可以以该身份访问不同的构造层网格资源，不需要对不同的资源多次重复登陆，也不需要用户进一步介入.代理用户必须有让程序以自己身份运行的能力，因此程序就能够访问用户认证的不同资源.该程序还能够有条件将它的部分权限授予另一个程序（受限制的代理）.与局部安全方法的集成不同的资源可以使用其局部的安全方案，但是网格安全方案必须与那些局部的方案进行互操作.不要求网格安全方案完全代替局部安全方案，但是它必须能够实现向局部安全的映射.基于用户的信任机制用户可以使用多个提供者提供的资源，但并不是要求资源提供者在安全环境中协同操作或互操作.即如果一个用户有权使用站点A和B的资源，用户能够将A和B的资源结合起来使用，并不要求A和B的安全管理相互作用.Grid体系结构各层说明（续）资源层（Resource)：定义了一些对单个的资源共享操作协议定义了某类资源的管理和操作等的标准协议和接口可以远程统一的访问和共享操作资源如交换、启动、监视、控制、记帐和支付等，以及应用程序接口和软件包；例如：标准的作业管理系统接口和标准例如：标准的作业管理系统接口和标准资源层的协议类型与描述协议类型描述信息协议得到资源的结构和状态信息，比如配置，当前负载，使用策略等.管理协议通过判断访问共享资源，指出资源需求以及执行的操作.初始化共享关系，保证要求的协议操作与底层共享资源提供的共享策略一致.还要考虑记账和付费的问题，协议还可能需要具有监控操作的状态并控制某些操作的功能.Grid体系结构各层说明（续）聚合(Collective)：提供多个资源协同工作联合资源调度和预约，信息服务，数据复制服务、资源发现服务、团体授权服务、协作服务和分布记帐服务等；例如：标准的作业管理系统接口和标准联合分配汇聚层服务和协议服务与功能名称描述目录服务允许虚拟组织参加者发现存在的资源或者是存在的资源的特性，允许用户根据名字或者属性来查询资源.协同分配，调度以及代理服务允许虚拟组织参加者申请一个或者更多的资源，并且在相应的资源上进行任务调度.监控和诊断服务用于监视虚拟组织资源的失败，恶意的攻击，入侵检查，过载等等.数据复制服务支持虚拟组织存储，网络与计算的管理，按照响应时间，可靠性，费用等标准优化数据访问性能.网格支持下的编程系统可以才网格中提供熟悉的编程模型，使用不同的网格服务解决资源发现，安全，资源分配以及其它问题.负载管理系统与协同分配工作框架提供描述，使用以及管理多步，异步以及多组件工作流.软件发现服务基于求解问题的参数发现和选择最好的软件实现和执行平台协作服务用于潜在较大的用户社团内的协同交换信息，包括同步和异步两种方式.Grid体系结构各层说明（续）应用层：提供Grid的系统开发和应用开发工具、环境程序设计语言和应用开发方法、环境可视化工具资源发布和预定工具工作流管理工具Portals应用代码构件应用五层结构应用例1应用层多科学模拟光线追踪汇聚层（面向问题）联合求解器，分布式数据文档检查点，作业管理，故障避免，分段运输汇聚层（通用）资源发现，资源代理，系统监控，社团授权，收回证书资源层访问计算，访问数据，访问系统结构，状态与性能信息连接层通信（IP），服务发现（DNS），认证，授权，代理构造层存储系统，计算机，网络，代码库，目录五层结构应用例2应用层高吞吐率系统汇聚层（面向问题）检查点，作业管理，故障避免，分段运输.汇聚层（通用）代理，证书授权.资源层计算访问，数据访问,网络性能访问.连接层通信，服务发现（DNS），认证，授权，代理构造层存储系统，调度五层结构应用例3应用层特定科学的数据网格应用汇聚层（面向问题）移植性控制，选择复制，任务管理，虚拟数据目录，虚拟数据代码目录.汇聚层（通用）目录复制，复制管理，协同分配，证书授权，元数据目录.资源层数据访问,计算访问,网络性能访问.连接层通信，服务发现（DNS），认证，授权，代理构造层存储系统，机群，网络，网络缓存.RequestPlanningServicesDiscipline-Specific

Data

Grid

ApplicationsCommunication,

service

discovery

(DNS),

authentication,

delegationApplicationCollectiveResourceConnectivityFabricStorageSystemsComputeSystemsNetworksCatalogsReplicaSelectionServicesReplicaManagementServicesCommunityAuthorizationServiceCodeRepositoriesStorageMgmtProtocolComputeMgmtProtocolNetworkMgmtProtocolCatalogMgmtProtocolCodeMgmtProtocolServiceReg.ProtocolEnquiryProtocolOnlineCertificateRepositoryInformationServicesCoallocationServicesDistributedCatalogServicesConsistencyManagementServicesSystemMonitoringServicesResourceBrokeringServicesUsageAccountin