（计算机应用技术专业论文）网格资源管理与调度算法的研究与实现.pdf

南京航空航天大学硕士学位论文 i 摘 要 网格计算作为下一代互联网技术成为当前国内外研究的热点。 资源管理与调度算 法是网格计算中的两个核心问题。 本文以现有主流的网格中间件 globus 为基础平台， 以校园计算网格为应用背景，重点研究了网格资源管理与调度算法。 本文首先分析了校园网环境中存在大量计算资源闲置与科研人员科学计算需要 得不到满足之间的矛盾，给出了建立校园计算网格的构想及具体的设计方案，并提出 了校园计算网格推广到 internet 计算网格存在的问题及解决方案；研究了 globus toolkit 3.2 中的资源分配管理器 gram 及其相关技术，并给出了扩展 gram 对任务 再调度和协作型任务支持的解决方案； 设计实现了校园计算网格中任务管理模块的核 心部分基于 web 的 gram 客户端，并介绍了资源发现与任务迁移模块的设计；然后 在分析 min-min 调度算法基础上， 借鉴 qos guided min-min 算法的思想， 并利用主机 资源分类的思想，给出了在负载平衡和时间跨度都有较大改善的 balance-qos guided min-min 算法模型的思想与实现；最后设计实现了调度算法验证模块，并在此模块上 对比了改进的算法 balance-qos guided min-min 与 min-min 算法的调度性能。 关键词：校园计算网格，资源管理，调度算法，globus，gram，min-min 网格资源管理与调度算法的研究与实现 ii abstract grid computing, as a key technology for the next generation internet, becomes one of the hot areas of current research at domestic and international. resource management and scheduling algorithm are the two fundamental problems in grid computing. based on the platform of the main stream grid middleware globus, this article focuses on the resource management and scheduling algorithm of grid computing in the context of its application in campus computing grid. this article first analyzes a paradoxical phenomenon that is predominant in campus lan settings where there is a large amount of idle cpu cycles available while at the same time the computing needs from many researchers cant be met.it proposes an idea of setting up a campus computing grid with a detailed plan for its implementation,discusses the challenges of upscaling a campus computing grid into an internet computing grid and suggests possible solutions. gram (grid resource allocation manager) of globus toolkit 3.2 and relative technology on it is studied, and the solutions to extend gram to support task rescheduling and the cooperation type task are proposed. the design and implement of the gram client based on web that is the kernel part of the task anagement module are discussed, and the design of resource discovery module and task transfer module are gived. then, based on analysis of the min-min scheduling algorithm, using qos guided min-min scheduling algorithm and the idear of categorizing computer resource as reference, the idear and implement of balance-qos guided min-min algorithm model that does better in load balance and makespan are proposed. finally, the design and implement of scheduling algorithm verification module are discussed, and the contrast of scheduling performance between balance-qos guided min-min scheduling algorithm and min-min scheduling algorithm on the module is gived. key words: campus computing grid，resource management，scheduling algorithm， globus，gram，min-min 承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进 行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外， 本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所 涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标 明。 本人授权南京航空航天大学可以有权保留送交论文的复印件，允许 论文被查阅和借阅,可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或其他复制手段保存论文。 (保密的学位论文在解密后适用本承诺书) 作者签名： 日 期： 网格资源管理与调度算法的研究与实现 vi 图、表清单 图 1.1 网格系统图. 2 图 1.2 电力网和网格作用的对比. 3 图 1.3 五层沙漏结构图. 5 图 1.4 ogsa 结构图. 6 图 1.5 gt3 结构图. 8 图 2.1 校园计算网格平台的结构图.11 图 2.2 网格门户模块图. 13 图 2.3 树状层次代理结构图. 17 图 3.1 gram 沙漏图. 20 图 3.2 gram 服务的调用过程. 21 图 3.3 基于 gsi 的 ca用户代理信任链. 26 图 3.4 作业执行情况管理服务. 27 图 4.1 基于 web的 gram 客户端的运行流程. 31 图 4.2 gram 客户机测试结果. 36 图 5.1 min-min 和 max-min 算法得到的时间跨度. 43 图 5.2 min-min 和 qos guided min-min 算法得到的时间跨度 . 44 图 5.3balance-qos guided min-min 算法模型. 45 图 6.1 调度算法验证模块的总体设计图. 50 图 6.2simulate 类的类图. 53 图 6.3 调度算法验证模块界面. 56 图 6.4 高质量任务比例不同时两种算法仿真数据对比. 57 图 6.5 可划分其类型主机比例不同时两种算法仿真数据对比. 57 表 5.1 一个理想的 etc 矩阵 . 42 表 5.2 一个例子的 etc 矩阵 . 44 南京航空航天大学硕士学位论文 vii 注释表 acp agent communication protocol 代理通讯协议 ggf global grid forum 全球网格论坛 gt globus toolkit globus 工具包 gram grid resource allocation manager 网格资源分配管理器 gsh grid service handle 网格服务句柄 gsi grid security infrastructure 网格安全基础设施 jdbc java database connectivity java 数据库连接 jsp java server pages java 动态网页语言 ldap lightweight directory access protocol 轻量级目录访问协议 mds monitor and discovery service 监视和发现服务 ogsa open grid services architecture 开放式网格服务体系结构 ogsi open grid services infrastructure 开放网格服务基础设施 qos quality of service 服务质量 rsl resource specification languag 资源描述语言 sde service data element 服务信息元素 soap simple object access protocol 简单对象访问协议 vo virtual organization 虚拟组织 wsrf web service resource framework 网格服务资源框架 wsdl web services description language 服务描述语言 xml extensible markup language 扩展标记语言 南京航空航天大学硕士学位论文 1 第一章 绪论 1.1 网格简介 1.1.1 网格的概念 由于网格是一种新技术，因此具有新技术的两个特征：其一，不同的群体用不同 的名词来称谓它；其二，网格的精确含义和内容还没有固定，而是在不断变化发展。 目前被广为认同的网格定义如下：网格是把整个因特网整合成一台巨大的超级计算 机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源等的全面 共享。其实网格并不一定非要如此大的规模，也可以构造地区性的网格，如中关村科 技园区网格、企事业内部网格、局域网网格、甚至家庭网格和个人网格。事实上，网 格的根本特征是资源共享而不是它的规模7。 最“正统”的网格研究来源于美国联邦政府过去 10 年来资助的高性能计算项目。 这类研究使用的名词就是“网格”(grid)或“计算网格” 。早期还使用过另外一个名词 “元计算”(metacomputing)。这类研究的目标是将跨地域的多台高性能计算机、大 型数据库、贵重科研设备(电子显微镜、雷达阵列、粒子加速器、天文望远镜等)、通 信设备、可视化设备和各种传感器整合成一个巨大的超级计算机系统，支持科学计算 和科学研究。这方面的代表性研究工作包括美国国家科学基金会资助的 npaci、 “国 家技术网格”(ntg)、分布万亿次级计算设施(dtf)、美国宇航总署的 idg、美国能 源部的 asci grid 以及欧盟的 data grid 等。 也有人把网格看成是未来的互联网技术。国外媒体常用“下一代 internet” 、 “internet2” 、 “下一代 web”等词语来称呼与网格相关的技术。而“下一代 internet” (ngi)和 “internet2” 又是美国的两个具体科研项目的名字， 它们与网格研究目标相交， 但研究内容和重点有很大不同。中国科学院计算所所长李国杰院士认为，网格实际上 是继传统因特网、web 之后的第三个大浪潮，可以称之为第三代因特网。简单地讲， 传统因特网实现了计算机硬件的连通， web 实现了网页的连通， 而网格试图实现互联 网上所有资源的全面连通，包括计算资源、存储资源、通信资源、软件资源、信息资 源、知识资源等1。 网格之父 ian foster 给出了判断什么是网格的标准，他认为网格的含义本质上应 该包括以下三点6： (1)协调各种非集中控制的资源。网格中的资源在地理上和管理权上都是分散的， 协调分散的资源是网格最基础的功能。 网格资源管理与调度算法的研究与实现 2 (2)使用开放、标准、通用的协议和接口。标准的协议和接口使得各方面能动态 地在资源共享方面达成协议，也是建立通用的服务和工具的重要方式。 (3)给用户提供非平凡的服务。网格中各资源应该能协作满足用户各种服务要求， 如高吞吐量的服务要求、迅速响应的服务要求等。 这三个条件非常严格，如图 1.1 所示，两个虚拟组织 a 和 b 协调工作，共享资 源。 图 1.1 网格系统图 1.1.2 网格的意义 网格概念的提出将从根本上改变人们对“计算”的看法，因为网格提供的是与以 往根本不同的计算方式。randy bramley 认为网格提供的计算能力是以前所无法得到 的，而且也是不能够通过其他的方式得到的1。网格的概念的核心就是突破了以往强 加在计算资源之上的种种限制，使人们可以以一种全新的、更自由的、更方便的方式 使用计算资源，解决更复杂的问题。 首先是计算能力大小的限制， 网格所提供的计算能力要远远超过以前我们所能够 想象的程度， 对于大多数用户来说， 网格提供给他们的计算能力足以满足其计算需求， 在这种计算能力的支持下，人们可以做许多以前无法想象和无法完成的工作。 其次是地理位置的限制，网格把“到资源所在的地方”对资源进行使用的限制打 破了，对资源的使用和使用者所在位置以及资源的位置无关，突破了在使用资源时对 位置的限制，是网格的具有突出意义的功能。 最后一点就是网格打破了传统的共享或协作方面的限制， 以前对资源的共享往往 停留在数据文件传输的层次，而网格资源的共享允许对其他的资源进行直接的控制， 而且共享资源的各方面在协作时可以以多种方式更广泛的交流信息， 充分利用网格提 供的各种功能。比如为了分析臭氧层问题可以通过网格将各个领域的专家、各种大型 的专业数据库、大型计算设备、各种模型库和算法库等充分结合起来，协同研究这一 问题。网格使得共享与协作的方式和方法更广泛了，而且为这种合作提供了各种控制 策略与手段，可以根据需要，动态的与不同的组织与个人建立各种级别的工作关系。 南京航空航天大学硕士学位论文 3 过去人们往往很自然的把计算资源和特定的有形的计算机联系起来， 而网格就是 在剥去了各种具体的计算资源外在的“形”的基础上，将其内在的“神”即计算能力 抽取出来，形成一种分布在网上的抽象的计算能力，在实现了“形”和“神”分离的 同时，将原来有形的、专用的计算能力转化为一种无形的、更通用的计算能力，正如 同电力网将具体的各种类型的发电机的电力转化为一种我们认为根本没有什么差别 的统一的电力一样。 这种观念和使用方式上的改变，是由网格技术支持的，不是凭空产生的。网格的 意义，就如同互联网改变了人们传统的通信方式和通信手段一样，它将改变人们传统 的计算方式和计算手段，网格技术将为人们提供更强大、更方便、更高级的问题求解 手段1。 图 1.2 电力网和网格作用的对比 1.1.3 网格技术发展现状及趋势 目前国外网格的研究主要在美国和欧洲。 美国政府用于网格技术基础研究经费则 己达 5 亿美元。美国自然科学基金于 1997 年底开始实施高级计算框架计划(paci )， 投资 3.4 亿美元，在美国建立遍及全国的计算网格(computational grid)，支持重大科 学与工程计算。其研究的重点是网格资源共享，为用户提供桌面上的虚拟高性能计算 环境。 美国军方正在实施 “全球信息网格” (global information grid, gig)的宏大计划， 计划在 2020 年完成。作为 gig 计划的一部分，美国海军和海军陆战队己先期启动一 个 160 亿美元的八年项目，包括系统的研制、建设、维护和升级。其它应用网格主要 包括：美国国家航空和宇宙航行局(nasa)的 ipg (information power grid)网格项目、 美国能源部开发的 asci 网格、欧洲共同体的 eurogrid 和 datagrid 等。2001 年英国 政府投资 1.2 亿英镑支持为期三年的网格研究项目“英国国家网格(uknational grid)” ，并且逐年追加。意大利政府的网格项目也是三年，总投入约 1341 万欧元， 并希望这些网格项目能够培养出一支掌握了网格技术的核心队伍。 随着网格研究在学 术界的加速，国外信息产业界的大公司也相继公布了与网格目标一致的研究开发计 网格资源管理与调度算法的研究与实现 4 划。ibm、微软、sun、惠普、platform 等公司都相继启动了自己的网格研究和开发 计划。 在国内，2002 年，科技部召开了“网格战略研讨会” ，确认将网格的研究和应用 列为“863 计划”的一个专项，随即成立了专项专家组。863 网格专项投资高达 3 个 亿，主要任务是研制面向网格的万亿次级高性能计算机、具有数万亿次聚合计算能力 的高性能计算环境；开发具有自主知识产权的网格软件；建设科学研究、经济建设、 社会发展和国防建设急需的重要应用网格；制定若干与网格相关的国家标准，参与制 定国际标准，使一批发明专利和软件获得受理和登记，形成自主知识产权。目前已经 完 成 的 网 格研究项目主要有清 华大学的先进计算基础设施 aci(advanced computational infrastructure) 和 以 中 科 院 计 算 为 主 的 国 家 高 性 能 计 算 环 境 nhpce(national high performance computingenvironment)。正在进行有：863 计划支 持的“中国网格(china grid)”建设、 “上海教育科研网格” 、 “仿真网格”的研究、 “织 女星网格” 以及全国几十所大学和研究机构己经开展的各种网格研究项目。另外， 产业界曙光公司积极将其超级计算机作为我国网格研究的主干节点， 将大大推动我国 网格计算的研究。中国国家网格于 2005 年 12 月 21 日正式开通运行。这意味着通过 网格技术的研发应用，中国已能有效整合全国范围内大型计算机的计算资源，从而形 成一个强大的计算平台，帮助科研单位和科技工作者等实现计算资源共享、数据共享 和协同作。 可以看出，网格研究正在迅速展开。有关网格的其它一些重大战略决策也正在积 极酝酿之中。许多大学和研究机构都投入了很大资源进行研究开发。国民经济和社会 发展的很多领域已对网格技术提出了实际需求，比如生物科学中的“基因信息处理” 、 运输业的“综合信息平台” 、制造业的“网络化虚拟制造” 、电子政务中的“资源共享” 与“协同工作” 、能源业中的石油勘探和油藏模拟、资源环境中的海量数据处理与共 享、科学研究中网络化虚拟实验室和虚拟天文台等等。 标准化、技术融合将是网格技术的发展趋势。 (1)标准化的网格协议有助于网格实现共享和互通。迄今为止，网格计算还没有 正式的标准，但在核心技术上，相关机构与企业已达成共识：globustoolkit 已成为网 格计算事实上的标准。 (2)在 ogsa 出现之前，已经出现很多种用于分布式计算的技术和产品，各种以 填补异构平台之间的差异为己任的网格平台，如 condor、legion、globus 等，也是 互不兼容的。web service 技术的出现有望解决这一局面，它在各种异构平台之上构 筑了一层通用的、与平台无关的信息和服务交换设施，从而屏蔽了互联网中千差万别 的差异，使信息和服务畅通无阻地在计算机之间流动。 南京航空航天大学硕士学位论文 5 1.2 网格体系结构 随着网格的发展，现在主要有两个网格体系结构标准：一个是面向协议的五层沙 漏结构，另一个是面向服务的开放式网格服务体系结构(ogsa)。在网格的初期发展 中，主要面向于科学研究、高性能计算，五层沙漏结构满足了这种发展的要求；随着 网格在科学研究的成功应用，工业界对网格的兴趣也日益增加，希望其可以应用在电 子商务领域，网格的体系结构也发生了相应的变化，采用了服务这种可以组合的概念 来构建出网格体系结构(ogsa)， 而ogsa的基础层也随着经历了从最初的开放网格服 务基础设施(ogsi)到网络服务资源框架(wsrf)的演变。下面对这种两种体系结构标 准的演变进行了相应的论述。 1.2.1 五层沙漏结构 五层沙漏结构(构造层、连接层、资源层、汇聚层、应用层)解决了通用的网格平 台所面临的异构性、扩展性以及适应性等问题。在这一时期网格主要是针对大规模数 据与计算问题的解决展开研究的，研究问题的重点主要是在科研领域。五层沙漏结构 以globus toolkit 版本 2的形式出现，gt2着重于可用性和互操作能力，它定义并实 现了一些协议、api和服务，gt2应用在世界范围内上千个网格中的应用，由此五层 沙漏结构也成为一个网格体系结构的事实标准，但这个标准既不正式，也没有接受公 开评阅。 五层沙漏模型中资源与连接层协议是协议层次结构中的最核心部分， 它支持上层 协议向核心协议的映射，同时实现核心协议向下层协议的映射。在五层结构中，资源 层和连接层共同组成这一核心的瓶颈部分。它促进了单独的资源的共享。由底向上分 别是构造层、连接层、资源层、汇聚层和应用层。每一层中的各个组件都具有共同的 特点，它们建立在它下面任意一层所提供的能力和行为之上。s 图 1.3 五层沙漏结构图 网格资源管理与调度算法的研究与实现 6 1.2.2 开放式网格服务体系结构(ogsa) ogsa 是一个具有多种实现的真正社区标准。它是由全球网格论坛(global grid forum， ggf)osgi 工作小组于 2002 年 6 月制定的。 这个结构的出现也标志着网格以 科学计算研究为主的范围扩展到了主流商业计算环境的方方面面， 这也是网格体系结 构目前最新的发展阶段。 开放网格服务体系结构的设计目标： 分解部件功能：确定网格的本质功能，并对这些功能以一定的方式来描述， 将以前集中在一起的多项功能分解成多个部件， 从而可以利用部件组合出不同的功能 来适应不同的环境； 面向服务：在 ogsa 框架中，将一切网络上的实体都抽象为服务，包括计 算机、 程序、 数据、 仪器设备等。 有利于通过统一的标准接口来管理和使用网络实体； 与 web service 相结合：ogsa 的创始者很有远见地利用了现有解决方 案。ogsa 是利用行业标准的集成技术 web service 标准(如 web 服务定义语言、 wsdl)以及应用平台和开发标准，定义开放的、公布的接口。ogsa 的基础是 web 服务。 这样的设计目标最后形成了一个面向服务的体系结构(serviceoriented architecture，soa)。图 1.4 是 ogsa 的体系结构图，它的三个主要逻辑组件是开放 网格服务基础结构、ogsa 服务和 ogsa 模式。 图 1.4 ogsa 结构图 1.2.3 从 ogsi 到 wsrf 2004 年， ibm、 globus 联盟和 hp 在 globus world 会议上共同提出了网格服务资 源框架(wsrf)。wsrf 是在保持 ogsi 概念和功能的前提下，对 ogsi v1.0 规范 中所开发的概念和接口的直接的重构和发展，作为一种新的底层技术实现基础设施， 南京航空航天大学硕士学位论文 7 它代替 ogsi 为 ogsa 提供基于 web 服务的广泛而强大的支持。wsrf 实现了网格 与 web 服务的融合，它既可以充分利用已有 web 服务领域的各种成果，又吸纳了网 格技术，可以支持网格的需求，为网格和 web 领域的发展建立了一个共同的基础。 这时，网格服务已经与 web 服务彻底融为一体了。这标志着网格已经调整好方向， 将信息集成作为第一目标了。这一步，标志着网格商用化的时代已经来临。 对应开放网格服务基础架构 ogsi 1.0 版的推出，并试图解决 ogsi 和 web 服务 之间存在的矛盾，web 服务资源框架 wsrf 被提了出来。2004 年 3 月，ibm 、bea 与微软联合发布了 ws- addressing 协议。 基于该协议规范， globus 联盟和 ibm 迅速 推出了 web 服务资源框架 wsrf。结构信息标准化促进组织(oasis) 随即成立了两 个技术委员会，分别是网络服务资源框架技术委员会(wsrf tc) 和网络服务通告技 术委员会(wsn tc)。 wsrf 采用了与网格服务完全不同的定义：资源是有状态的，服务是无状态的。 为了充分兼容现有的 web 服务，wsrf 使用 wsdl1.1 定义 ogsi 中的各项能力，避 免对扩展工具的要求，原有的网格服务已经演变成了 web 服务和资源文档两部分。 wsrf 推出的目的在于，定义出一个通用且开放的架构，利用 web 服务对具有状态 属性的资源进行存取，并包含描述状态属性的机制，另外也包含如何将机制延伸至 web 服务中的方式。 wsrf 的规范是针对 ogsi 规范的主要接口和操作而定义的，它保留了 ogsi 中 规定的所有基本功能，只是改变了某些语法，并且使用了不同的术语进行表达。对于 wsrf 本身而言，由于其提出不久，其规范还有待在实践中得到进一步应用证明，并 逐步得到完善。基于 ogsa 和 wsrf 的服务网格平台和规范协议，将最终成为下一 代互联网的基础设施，所有的应用都将在网格的基础平台上得以实施。 1.3 globus 项目 1.3.1 globus 的起源和发展 globus 项目是目前国际上最有影响力的网格项目之一。 它发起于九十年代中期， 其最初目的是希望把美国境内的各个高性能计算中心通过高性能网络连接起来， 方便 美国的大学和研究机构使用，提高高性能计算机的使用效率。当时在美国建立了一个 试验环境i-way， 它把位于美国 17 个不同地点的 60 多个组织的超级计算机和其 他资源通过高性能网络联系起来，进行大规模的科学模拟、协同工程、并行计算等科 学研究，这实际上是 globus 项目的前身。随着对 globus 项目的深入研究，针对它的 目标也进一步扩展，希望通过 globus 项目可以方便的对地理上分布的研究人员建立 网格资源管理与调度算法的研究与实现 8 虚拟组织，进行跨学科的虚拟合作。 globus 项目是美国 argonne 国家实验室的研发项目，在初始阶段，全美有十多 所大学和研究机构参与了该项目的研究工作。globus 对信息安全、资源管理、信息 服务、数据管理以及应用开发环境等网格计算的关键理论和技术进行了广泛的研究， 开发出能在多种平台上运行的网格计算工具包软件(globus toolkit)，能够用来帮助规 划和组建大型的网格试验和应用平台，开发适合大型网格系统运行的应用程序。 globus 工具包是 globus 最重要的实践成果，其第一版在 1999 年推出，2002 年推出 了 2.0 版，2003 年推出了基于 ogsa 体系结构的 globus toolkit 3.0 版本，2005 年推 出了基于 wsrf 的 globus toolkit 4.0 版本。 globus 工具包的源代码是公开的， 遵循globus toolkit public license(gtpl)协议， 任何人都可以从其网站上下载源代码并进行研究和修改。目前 globus 工具包已经在 nasa 网格(nasa ipg)、欧洲数据网格(data grid)、美国国家技术网格(ntg)等众多 项目中得到应用。 1.3.2 globus toolkit3.2 的结构 作者实验所使用的网格平台是 globus toolkit3.2 的版本，下面作者就简单介绍一 下 gt3 的结构。图 1.5 给出了 gt3 的结构图，从图中我们可以看出 gt3 的整个结构 图分为 5 层。gt3 core 也就是 gt3 的核心层，主要是实现了网格服务的接口和行为。 在 ogsa 的体系结构中一切都是以服务的形式出现的，下面作者一一介绍其他各层 中三所包括的服务： 图 1.5 gt3 结构图 gt3 security services： gt3 安全服务层 安全是基于网格的应用中重要的因素。 gt3 security services 可以帮助限制访问我们的网格服务，那样就只有经过审核的客 户端才能使用我们的网格服务。 除了通常的安全措施(在 web service 后面放一个防火 南京航空航天大学硕士学位论文 9 墙等等)，gt3 还向我们提供了更多例如 ssl 和 x.509 数据认证的安全技术。这一层 有安全会话服务 secure conversation service。 gt3 base services：gt3 基础服务层 这层实际上包含了一整套很多有意义的服 务：工作管理服务 managed job service、索引服务 index service、文件流服务 file stream service、可靠的文件传输服务 reliable file transfer (rft) service 等。这些服 务都是网格应用中的基础服务，通过使用这些服务我们可以实现诸如任务的远程提 交、资源状态的监控、文件的远程传送等功能。 gt3 data services： gt3 数据服务层 这层包括复制管理(replica management)， 这个功能在必需处理大量数据的应用中很有用。当处理大量数据时，不需要关心完整 的数据是否都已经下载，只需要处理一小部分数据。复制管理可以对所使用的数据子 集进行跟踪。 other grid services：其他非 gt3 服务运行在 gt3 体系结构的顶层。 在 gt3 中所有的网格服务都运行在 globus 的容器中，在运行的后台中可以看到 以上所列出的所有服务， 当然用户也可以根据需要在容器中部署自己所开发的网格服 务。 1.4 研究思路 在网格计算中，首先要查清网格里所有可用资源，比如哪些主机可供访问、还空 置多少处理能力、数据库里可供使用的数据是什么、共享的应用程序是否已准备好、 共享主机采用何种文件系统等。用户提交的任务要由系统来分配资源并控制其运行， 包括要将其分配到哪些主机上运行、调用哪些数据、启动何种应用程序、何时开始运 行等。 这样， 网格计算至少需要具备三种基本功能： 任务管理、 任务调度和资源管理。 任务管理 用户通过该功能向网格提交任务、为任务指定所需资源、删除任务并 监测任务的运行状态。 任务调度 用户提交的任务由该功能按照任务的类型、所需资源、可用资源等情 况安排运行日程和策略。 资源管理 确定并监测网格资源状况，收集任务运行时的资源占用数据。 网格计算的三要素在整个网格的研究中占有非常重要的地位， 本文主要研究内容 就是网格资源管理与调度算法。研究网格的最终目的就是应用，因此作者选取了校园 计算网格为应用背景，采取了以下的研究思路： (1) 选取 globus toolkit3.2 作为网格平台构建一个网格试验环境； (2) 分析设计了我校的校园计算网格； (3) 研究 globus 中网格资源分配管理器 gram(grid resource allocation 网格资源管理与调度算法的研究与实现 10 manager)； (4) 设计实现了校园计算网格的核心模块基于 web 的 gram 客户端，给出 了资源发现和任务迁移模块的设计； (5) 研究现有的网格调度算法，选取合适的算法加以改进； (6) 设计实现了调度算法的验证模块，对改进算法加以验证； (7) 总结现有的研发工作，对以后的工作进行展望。 1.5 论文组织结构 本文包括七个章节，各章的内容组织如下： 第一章第一章：绪论。介绍了网格的概念、意义以及网格在国内外的发展现状及趋势。 同时介绍了网格两种重要的体系结构和 globus 项目，简要介绍了本文在理论上和实 践上所做的工作。 第二章第二章：校园计算网格的设计。提出建立校园计算网格的必要性，给出了校园计 算网格的具体设计方案，并提出了推广到 internet 范围的构想。 第三章第三章：gt3.2 中的资源分配管理。介绍了网格中的资源管理基本内容，以及 gt3.2 中的资源分配管理器 gram 的相关内容， 并给出了扩展 gram 对任务再调度 和协作型任务支持的解决方案。 第四章第四章：基于 web 的 gram 客户端的设计与实现。介绍了实验系统的软硬件环 境、相关的配置工作以及基于 web 的 gram 客户端的设计；同时给出了 gram 客 户机的实现与测试；最后给出了资源发现与任务迁移模块的设计。 第五章第五章：校园计算网格中调度算法的研究。介绍了网格计算中任务调度的特点、 目标及研究情况；在现有 min-min 算法和 qos guided min-min 算法的基础上提出了 balance-qos guided min-min 算法模型。 第六章：第六章：调度算法验证模块的设计与实现。设计实现了调度算法的验证模块，验 证了改进算法的优越性，并提出了进一步改进的想法。 第七章：第七章：总结与展望。总结了研究和开发工作，并对下一步的研发工作提出了展 望。 1.6 1.6 小结 本章首先介绍了网格的概念、意义以及网格在国内外的发展现状及趋势；然后介 绍了网格两种重要的体系结构和 globus 项目；最后介绍了网格计算三要素以及作者 的研究思路和论文组织结构。 南京航空航天大学硕士学位论文 11 第二章第二章 校园计算网格的设计校园计算网格的设计 校园网的高性能计算机资源闲置与科研人员需求之间存在这样的矛盾：一方面， 许多专业的科研人员亟待借助高性能计算机帮助完成大量的科学计算工作， 提升研究 水平；另一方面，现有的高性能计算机却存在闲置情况。这是因为科研人员和高性能 计算之间存在鸿沟：主观上他们对高性能计算缺乏了解；客观上使用高性能计算机也 存在一定难度，而且访问不便和单位配合的问题也是访问高性能计算机的障碍。 因此作者认为可以利用现有的网格技术搭建一个适用于大学校园环境的校园计 算网格来解决这一矛盾。建立校园计算网格的目的在于将分布于校园网内的集群、高 性能服务器、超级计算机等计算资源有机地聚集起来，为校园网用户提供方便实用的 计算服务。在校园计算网格成功搭建之后，可以以计算网格平台为基础，继续开发校 园数据网格、信息网格等。可以把建设校园计算网格作为校园网格建设的第一步，为 以后更多的校园网格应用奠定理论基础和积累开发部署经验。 2.1 总体设计思想 图 2.1 校园计算网格平台的结构图 网格资源管理与调度算法的研究与实现 12 构建校园计算网格的目的就是为高校师生提供方便的高性能计算服务， 因此校园 计算网格访问方式的方便性、友好性就显得非常重要。面对 web 应用很普及的现状， 可以使校园网格用户访问校园计算网格就像访问 web 一样方便。作者从这一点出发， 参照国内已有的计算网格设计方案，设计了我校校园计算网格平台的结构。 图 2.1 是作者设计的校园计算网格平台的结构图，如图所示，校园用户可以通过浏览器方便 的向网格系统进行用户注册、任务提交、任务状态查询和执行结果取回的操作等。这 样校园计算网格系统就可以以“网页计算”的形式向用户提供高性能计算服务。如图 2.1 所示，校园计算网格有以下几个组成部分：基于 web 的网格门户、数据库系统、 ca 认证中心、资源节点。 ca 认证中心负责向网格用户以及资源节点颁发证书，并提供身份认证服务，ca 认证中心只需要在校园内的一台主机上安装 ca 软件即可， 可以直接使用 globus 提供 的 simple ca，也可以使用其他的 ca 系统。数据库系统用来储存用户信息以及任务 信息等，同样需要在校园网内的一台主机上安装数据库系统(如 mysql),网格门户服 务器可以通过 jdbc 与其连接，对数据库系统进行操作。 资源节点和网格门户是整个校园计算网格平台中最为重要的两个部分。 虽然校园 网已经实现了各个物理节点的连接，但是要形成所期望的计算网格系统，还需要在每 个资源节点以及网格门户上做相应的软件开发与部署工作。 作者选取 gt3.2 作为网格 的基础平台，采用 java 作为开发语言。下面就详细的讨论资源节点端和基于 web 网 格门户的设计。 2.2 资源节点端设计 校园网中所有资源节点构成了校园计算网格中的资源层。 用户通过网格门户提交 到网格系统中的任务最终是分配到资源节点上， 因此需要每个资源节点能够接受远程 任务提交的任务，并能够监控任务的执行情况，最终返回任务执行结果，也就是任务 管理服务。网格门户需要获取资源节点信息为任务调度提供依据， 因此资源节点还 需要提供信息服务。 globus toolkit都已经包括了可以提供相应服务的组件， 所以只需要在每个资源节 点上安装globus toolkit作为网格中间件， 并进行相应的配置工作就可以实现所需要的 功能。这些配置工作包括安全、信息服务和gram 等。 最后说一下安全问题， 在资源节点上建立合法认证用户与该机局部用户的映射关 系，对该局部用户的权限限制也就是对该合法