网格计算-grid - 网格技术

第二部分 网格技术和系统,网格技术（续）,如果把整个因特网看成一台计算机，那么它的处理器、存储器、外部设备是什么？它应该采用什么样的体系结构？,网格技术（续）,什么是网格这台计算机的操作系统？它的进程和线程是什么？什么是它的地址空间？如何管理它的资源？,网格操作系统分布空间,网格技术（续）,什么是网格的编程环境和使用环境？什么是网格的用户界面？什么是网格的程序设计语言？ 什么是网格的应用？它们有什么样的模式和特征？,结构,网格多层体系结构核心服务对应着一些关键技术,详细构成,工具与应用,目录代理诊断与监控等,资源与服务的安全访问 等,应用层,汇聚层,资源与连接层,各种资源，比如计算机，存储介质，网络，传感器等,构造层,核心技术,网格技术,网格的核心服务层技术资源管理监控数据存储和分布管理安全自适应技术和机制服务的管理自治计算等,网格技术,网格的编程和开发环境技术网格程序设计语言工作流网格开发环境基于构件的开发集成环境网格Portal技术网格web门户Portal,第四章 网格的资源管理技术,第一节 集群资源管理技术,内容,传统局部资源管理技术单机系统OS集群Cluster资源管理技术网格资源管理问题DRM GT3Condor-g,集群资源管理系统,Resource management System（RMS）将应用分布在多台机器上执行，以便获取最大吞吐率的管理能够有效而充分地开发可用资源一个软件系统资源管理器定位和分配计算资源，认证、进程创建和迁移资源调度器应用任务排队，任务调度,资源管理系统目的,有效的管理资源，提高资源的利用率屏蔽底层资源的异构性和复杂性管理多个机器协同工作，实现负载平衡支持多种应用使用方式，有效管理多个用户的各种任务按照管理员的意愿可以控制资源的使用方式提供容错能力管理对资源的访问,操作系统的资源管理技术,任务的管理CPU管理内存管理I/O管理设备管理进程的管理和调度用户管理等,集群资源管理实现方式,两种方式分布式操作系统集中控制破坏原有的OS单个OS上建立资源管理和调度中间件,集群资源管理实现方式（续）,单个OS上建立资源管理和调度中间件不破坏原有的OS和应用便于资源的控制和计划实现较言之简单一个透明易于使用和理解的方式提供资源提供独立于厂商的独立用户接口,机群管理软件,编译依赖底层硬件特征 安装需要操作系统和通信协议支持 执行需要相应编译器和并行软件包支持,作业管理系统结构,RMS Components,RMS的接口环境,用户接口：命令行和图形化接口任务的发送任务状态查询任务的删除等管理环境：命令行和图形化接口定义HOST的机器特性定义可行的任务类和合适此任务类的机器定义用户的访问权限为用户和任务定义资源限制条件根据负载或优先级别等定义任务分配的策略控制和确保RMS系统操作分析记账信息,集群资源管理对象,任务一个或多个交互的程序：利用OS的功能批处理任务交互式任务并行任务Checkpointing任务主机服务结点：资源管理结点：管理网络、调度、配置等计算结点：执行任务发送和控制结点：传递任务到资源管理器中资源任务执行需要资源：CPU、Memory、I/O设备、通讯等,集群资源管理对象（续）,队列根据属性和资源要求优先级别执行、等待、挂起等策略计算环境的高级自动控制机制多种策略,集群资源管理对象（续）,没有策略的系统应用很少达到优化的性能，多机环境下负载不平衡是经常现象，不是特例重要或紧急的任务常常被耽误或饿死一个用户可能长期占有的资源超过所需多种策略基于共享的策略资源利用的权限公平分配：多组织和用户，统计共同建立的集群功能策略按照功能分配资源，也定义资源使用权利，不同：更加灵活，不考虑过去的使用情况Deadline策略完成时间限制的任务分配一定的资源给deadline任务，另一部分给其它任务,集群资源管理对象（续）,多种策略手工干预策略管理员人工干预任务执行和资源分配和自动策略共存调度策略根据属性和特性分配任务和资源：FIFS、Select-least-loaded，Select-fixed-Sequence, Priority,混合等多种策略的结合使用,集群资源管理系统体系结构,系统基本结构是C/S结构同步异步单向系统内部典型功能分布结构数据库的管理、调度、任务执行，信息收集各个功能组件的通讯（TCP/IP）,RMS系统结构主要模块,Master：资源管理和调度中心维持主机信息，配置的队列，负载的情况、用户的访问权限、任务的管理、资源的配置、策略等接受用户任务的请求和状态查询Scheduler：调度任务根据资源状态的信息，采用各种方式和算法调度应用任务 独立于master，便于各种调度算法和调度方式实现基本结构,RMS系统结构主要模块（续）,Execd负责维持主机上的任务队列任务的执行和管理Collector负责收集整个系统的资源状态负责收集各个应用任务的状态等Sensor收集HOST上的资源状态收集Host上的应用任务状态等,集群资源资源管理结构图,RMS服务功能,异构支持异构的机器和OS批处理支持Off-loading批处理并行处理支持并行任务交互式任务支持输入输出和错误消息可以返回用户交互的机器负载平衡平衡资源的工作负载多种应用队列优先级、类型等,RMS服务功能（续）,任务执行时间限制任务完成时间的限制和要求断点检查任务状态的保存进程迁移计算结点负载太重，运行的进程迁移到其它机器Fault tolerant 支持容错利用空闲资源对用户的影响最小良好的用户接口GUI,RMS的未来挑战和需求,开放的高级接口原因复杂应用使用负载平衡和分配功能的接口等获取应用和资源的状态软件开发需要传递信息给RMS，例如什么数据和软件等，便于调度和其它软件的集成RMS管理员根据应用需要写特殊用途的RMS命令支持不同环境的图形化界面基于RMS开发的应用系统可移植,RMS的未来挑战和需求（续）,开放的高级接口要求API易于使用API独立于程序设计语言API对应用开发必须隐藏RMS的实现细节内部的RMS变化不导致基于API开发的系统发生变化尽量接近标准化,RMS的未来挑战和需求（续）,Mainfrmaelike的控制机制Mainfrmae模式的RMS和OS紧密结合，功能强大现行RMS支持多种类型机器，OS的功能不同,RMS的未来挑战和需求（续）,异构的并行环境透明地集成专用的并行机器进入RMS框架共享主存的并行机器专用的分布主存并行机器结点是OS的一个小部分，RMS不易于移植上依赖硬件生产商提供功能，不易于集成到RMS基于Cluster的分布共享主存并行机器广域环境下的RMS,流行的资源管理系统,集群资源管理技术总结,实质上集群资源管理由三个模块组成资源全局管理和调度资源的信息服务资源的监控,Open portal batch System（OpenPBS） architecture,Server: 保持和跟踪所有任务情况Scheduler: 告诉server什么时候和什么机器运行任务，资源分配MOM (Machine Oriented Miniserver): 运行在每个结点，接受server的指令，启动执行、监控和结束任务POSIX 兼容的批处理系统支持文件staging不需要共享的文件系统,一个 OpenPBS 配置例子,可移植性,运行在大多数的UNIXlike系统上Linux/Irix/Unicos/HPUX/IA64 etc.支持多种体系结构的MOMs充分利用系统的特性e.g. checkpointing supported on certain architectures支持异构的网络,Queues and nodes,Unlike NQS, PBS does not rely on queues for scheduling decisionsQueues are not tied to nodes, but can specify resourcesRouting queues can pass jobs to execution queues, possibly on different PBS serversNodes can have any number of virtual processors,Resource definition,Server-defined properties group nodes into classes - e.g. “intel” for all Intel architecture machinesAdditional resources (e.g. tape drives, software licences) can be specified by each MOMCustom resources are not utilised by the default scheduler,Resource usage,Timeshared nodes: balanced by loadCluster nodes: jobs allocated to virtual processors, usually exclusivelyMOMs track jobs and kill any that exceed resource limits (e.g. CPU or wall time, memory)No unified mechanism for accounting of running and finished jobsqstat for running jobsServer accounting logs for finished jobs,Scheduling,Scheduler is just a privileged clientWell-defined PBS scheduling APIFacilities to write schedulers in C/BaSL/TclOpenPBS provides a simple FIFO scheduler, as well as custom schedulers to take advantage of system-specific featuresMaui scheduler (third party) also integrates with other batch systems, and provides powerful scheduling,Security,Uses rhosts mechanism for authentication of clients to the server (consistent user name space not required), but does not require rshMOMs can use rsh, ssh or cp (via NFS) to stage files in and outAccess Control Lists can also be used to provide extra securityPBS daemons use non-random port numbers, and TCP for most communication, allowing straightforward firewallingAll daemons run as root! (No reported vulnerabilities to date, however.),Parallel support,Conventional MPI mechanisms rely on well-behaved users, and lack resource trackingOpenPBS provides a Task Manager (TM) APIAllows parallel PBS jobs to spawn processes on nodes other than the mastermpiexec (third party) allows start-up of MPI jobs via the TM mechanism (MPICH/EMP/LAM)Current LAM CVS also has a PBS-TM boot SSI (system services interface) for job start-up,Customisation,Full source code available, for commercial or non-commercial useSite-specific modification routines allow easy customisation of “likely targets”Defined C API for job submission, query etc.Third-party projects and patches, e.g. mpiexec, Cplant (fault tolerance), PyPBS, scalability patches, AFS token management,作业管理用户手册(1),检查状态：qstat -Q队列限制列表,作业管理用户手册(2),检查状态qstat q队列状态列表,作业管理用户手册(3),检查状态qstat Qf 列出指定队列属性,作业管理用户手册(4),检查状态qstat B server状态列表,作业管理用户手册(5),检查状态qstat f Q 列出所有队列属性qstat a 所有作业状态列表qstat r 执行作业状态列表qstat au userid 指定用户的作业状态列表qstat f jobid指定作业的状态列表,作业管理用户手册(6),提交作业qsub script 指定作业脚本提交如：qsub myvim my qdel jobid删除提交的作业,作业管理用户手册(7),xpbs用户图形界面,作业管理用户手册(8),作业管理用户手册(9),Grid integration,Globus Resou