（计算机系统结构专业论文）层次化网格资源访问机制.pdf

中国科学技术大学硕：匕学位论文 摘要 摘要 网格计算技术已经成为科学研究的重要工具和下一代分布式计算系统的方 向。网格平台的出现解决了网格中的一些关键问题，如作业提交与管理，信息获 取，数据传输等。网格平台提供了使用网格资源的能力，但如何正确的使用网格 平台中的服务，高效使用网格资源，却取决于网格开发人员的能力。 网格可以用不同的技术手段实现，而w e b 服务是主流的实现网格系统的技 术。学术界和工业界正在发展多个基于服务技术的网格计划。网格中的服务可以 分为系统服务和应用服务两部分，作业提交，数据传输等系统服务，其访问方法 通常的服务有较大差别。网格中的应用服务与具体的网格应用相关，当前，网格 应用服务广泛采用新型的与状态相关的服务形式，如何动态高效的访问新型 w e b 服务关系网格是否能有效的使用。最后，为最终用户提供良好的使用界面 也是网格系统的一个重要任务。 本文主要关注的问题是在一个基于底层网格平台的网格环境中，如何有效 为最终用户和开发人员提供良好的使用网格资源的机制。主要解决三个不同层次 的访问问题，在网格系统服务层，设计可重用的作业描述方案，分析网格数据传 输特点，解决如何利用网格系统服务访问传统的传统程序和网格数据的问题：在 网格应用服务层，设计基于虚拟组织的服务发现机制和基于消息结构的服务调用 方法，解决w s r f 服务的发现与动态访问问题：在用户层，利用层次化的p o r t l e t 机制，解决如何构造一个方便的，可定制，可重用的网格用户界面。最后，本文 介绍了个实际网格系统的设计与实现，展示了如何综合使用上述手段有效的访问 网格资源。 本文的主要贡献和创新体现在以下几个方面： 1 降低传统应用网格化的复杂性。 网格软件使网格系统具备了基本的功能，网格系统上的网格应用的开发还没 有很好的模式，每一种应用的网格化，都需要开发人员的参与，极大的限制了网 格的能力。提出了一种可重用的基于s c h e m a 的作业描述方案，使大多数的传统 网格应用能以配置而不是编程的方式加入网格系统，并以自动的生成用户访问界 面，扩展了网格系统整合传统程序的能力，有改变网格应用开发模式的潜力。 2 设计与实现了一种快速访问网格服务的访问方法。 现代网格系统中存在着不同类型的服务，这些服务是很多网格应用的实现形 式，传统方法中，服务是面向开发人员的，每一个服务，都需要开发人员的开发 特定于该服务的应用系统。本文提出了一种基于消息结构的网格服务访问方法， 该方法根据服务的描述文档可以生成面向最终用户的w e b 程序，减轻了开发人 员的负担，并可以兼容w s r f 服务，这是当前的各种服务与网格平中所没有实 现的。 3 研究了网格中的p o r t l e t 机制，实现了基于p o r t l e t 的网格p o r t a l 系统。 本文所提出了特定于网格系统的层次化的p o r t l e t 机制，与传统的w e b 程序 相比，访问界面和用户逻辑有更好的可重用性，并可为最终用户提供了个性化的 统一访问视图。这种机制都已经在中国国家网格合肥结点，中国教育科研网格支 撑平台中得到了应用。已经开始服务于广大领域用户。 关键词：网格资源，网格应用，w s r f 服务，网格p o r t a l 中国科学技术大学硕士学位论文摘要 a b s t r a c t g r i dc o m p u t i n gh a sb e e na ni m p o r t a n tt o o lf o rs c i e n t i f i cr e s e a r c h ，a n dw i l lb ed e v e l o p e da s t h en e x tg e n e r a t i o ne n t e r p r i s ec o m p u t i n gs t y l e g r i dm i d d l e w a r er e s o l v e ds o m ek e yp r o b l e m si n g r i de n v i r o n m e n t ，s u c ha sj o b s u b m i t ，d a t a t r a n s f e r b u th o wt ou t i l i z et h eg r i dm i d d l e - w a r e e f f e c t i v e l yt oa c c e s sg r i dr e s o u r c ei sd e p e n d e do nd e v e l o p e r sc a p a b i l i t y t h ep r o b l e mt h i st h e s i sf o c u s e so ni sh o wt op r o v i d ep r o p e rm e c h a n i s mf o rd e v e l o p e r sa n d e n du s e r st oa c c e s st h eg r i dr e s o u r c ew i t ht h eg r i dm i d d l e w a r e t h i sp r o b l e mc a nb ed i s c u s s e di n t h r e el a y e r s i ns y s t e ml a y e r , t h ep r o b l e mi sh o wt ou s eg r i ds y s t e ms e r v i c et oa c c e s s 酣df a b r i c s o f t w a r ea n ds y s t e mi ns e r v i c el a y e r , t h ep r o b l e mi sh o wt of i n da n di n v o k eaw e b s e r v i c ei ng r i d e n v i r o n m e n t ，i ne n d u s e rl a y e lt h ep r o b l e mi sh o wt od e v e l o pac o n v e n i e n tw e ba p p l i c a t i o nf o r e n du s e _ 【- s i nt h i st h e s i s ，t oa c c e s sg r i dr e s o u r c em a n a g e db yg r i ds y s t e ms e r v i c e ，aj o bd e s c r i p t i o n s c h e m ai si n t r o d u c e dt oe n h a n c eg r i dl o bs e r v i c e st h eg r i dd a t at r a n s f e ri sa n a l y z e dt om a k et h e u s eo fg r i dd a t as e r v i c em o r ee f f i c i e n t t oa c c e s sg r i da p p l i c a t i o ns e r v i c e ，a r c h i t e c t u r eo fg r i d i n f o r m a t i o nc e n t e ri sp r o p o s e dt of m ds e r v i c eq u i c k l ya n dan e wm e t h o dt oi n v o k eg r i ds e r v i c ei s a l s oi m p l e m e n t e d t om a k ee n du s e ra c c e s se a s i l y , ap o r t l e tm e c h a n i s mi sa d o p t e d a tl a s t ，ag r i d s y s t e mi sd e s c r i b e dt ow i t hg r i dr e s o u r c ea c c e s sm e c h a n i s mm e n t i o n e da b o v e t h em a i nc o n t r l b u t i o na n di n n o v a t i o no ft h i st h e s i sc a nb es u m m a r i z e da sf o l l o w s ： 1 r e d u c e t h ec o m p l e x i t y o f i n t e g r a t e l e g a c ya p p l i c a t i o n i n t o g r i ds y s t e m g r i dm i d d l e w a r ep r o v i d e st h eg r i ds y s t e mb a s i cf u n c t i o n s ，b u tt h e g r i da p p l i c a t i o n d e v e l o p m e n ts t i l ld o n th a v ew e l l d e s i g n e dp a t t e r n e v e r ya p p l i c a t i o nn e e d sd e v e l o p e r st o w o r kf o ri t sd e p l o y i n gi ng r i d t h i st h e s i sd e s i g nas y s t e mw h i c hm a k e sg r i da p p l i c a t i o n sb e d e p l o y e db yc o n f i g u r a t i o nn o tp r o g r a m m i n g i nt h i ss y s t e m ，aj o bd e s c r i p t i o nd o c u m e n ti s c o n f i g u r e db yf i e l de x p e r t ，t h es y s t e mg e n e r a t eu s e ri n t e r f a c ef r o mt h ej o bd e s c r i p t i o n d o c u m e n t s og r i du s e r sc a i la c c e s sg r i da p p l i c a t i o n se a s i l yt h i ss y s t e mi m p r o v e dt h eg r i d s a b i l i t yt oi n t e g r a t el e g a c yp r o g r a m 2 d e s i g na n di m p l e m e n tam e t h o dt oi n v o k eg r i ds e r v i c e t h e r ea r ed i f f e r e n tk i n d so fg r i ds e r v i c e si nc u r r e n tg r i de n v i r o n m e n t ，m a n yg r i d a p p l i c a t i o n s i sr e p r e s e n t e db yt h e s e ss e r v i c e s i nt r a d i t i o ns y s t e m s ，s e r v i c ec a no n l yb e a c c e s s e db yd e v e l o p e r s d e v e l o p sn e e dt od e v e l o pw e ba p p l i c a t i o no t h e ru s e ri n t e r f a c ef o r e n du s e r t h i st h e s i sa d v a n c e dam e t h o dt oa c c e s ss e r v i c ea u t o m a t i c a l l yw i t h o u td e v e l o p e r s t h i sm e t h o di n t r o d u c e dai n v o k ed o et og e n e r a t et h ed y n a m i cp a g e s t h em e t h o di sa l s o c o m p a t i b l ew i t hw s r fs e r v i c e s ，w h i c hc a nn o tb ei n v o k e db yc u r r e n tg r i ds y s t e m 3 d e s i g na n di m p l e m e n tt h ep o r t l e tm e c h a n i s mi ng r i de n v i r o n m e n t t h el a y e r e dp o r t l e tm e c h a n i s mp r o p o s e di n t h i st h e s i si sm o r er e u s a b l ei ni t su s e ri n t e r f a c e a n di t sl o g i ci m p l e m e n t a t i o n ，c o m p a r e dc ot r a d i t i o nw e ba p p l i c a t i o n t h i sm e c h a n i s mi s i m p l e m e n t e di nc n g r i dh e f e ic e n t e r , a n dc h i n a g r i ds u p p o r t p l a t f o r m k e y w o r d s ：g r i d r e s o u r c e ，g r i d a p p l i c a t i o n ，w s r f s e r v i c e ，g r i d p o r t a l 第一章绪论 1 1 网格概念及其演变 1 1 1 网格的发展与现状 网格最著名的定义是i a n f o s t e r 1 1 作出的，即有如下三个重要特性的分布式 系统：“( 1 ) 在非集中控制的环境中协同使用资源；( 2 ) 使用标准的、开放的和通用 的协议和接e l ( i a nf o s t e r 认为目前只有g l o b u s 才算得上标准协议) ；( 3 ) 提供 非平凡的服务”。这个定义作为网格的一个经典定义，有着巨大的影响。但是， 从上个世纪9 0 年代至今，网格的研究和发展都发生了较大的变化，因此网格这 个词的内涵在不同时期是不同的。 网格的出现是计算机网络技术、高性能计算技术发展融合的产物，科学研究 的需求则是其原始需求。上个世纪，科学发展的模式有了新的特点，实验和理论 依然是科学发展的根基，而大规模的数字仿真，数据分析和协作对科学研究产生 了重大的影响。 传感器，存储系统、计算机、网络处理能力的容量的显著提高使创建海量数 据文件成为可能。天文、生物、医药、环境、工程程序和高能物理中出现了海量 数据，欧洲高能粒子物理实验室( c e r n ) 2 的强子对撞机( l h c ) 有着巨大的实 验规模，每次l h c 实验都会产生p b 级别的数据，这些数据必须进行预处理并 分布到指定位置以便宜研究团体中的所有成员进行深入分析。工业设备的监控， 天文观测，医学影像中数字技术的使用也产生大量的数据。科学研究中的另一个 倾向是数字仿真，即用大量的计算代替不可能进行的实验的研究方法变的日益重 要，高性能计算已经成为科学研究中的基本方法。日本的地球仿真器 3 以每秒 4 0 万亿次浮点运算的速度对地球气候进行仿真。在上述形势下，开发更高性能 的计算机并不能完全满足要求，尽可能的联合现有的高性能中心，乃至普通的计 算资源的需求是十分迫切的。计算机的网格系统的雏形渐渐形成。早期的网格系 统是近似于广域网上的并行计算如s e t i h o m e 4 等项目。这个时候，网格系统要 解决的关键问题是海量数据的处理，大量计算能力的融合。 联合超算中心与在广域网上进行并行计算的技术渐渐得到计算机研究者的 重视。他们认为这是一项有着广泛前景的技术。这种深层次的互联互通特性可能 成为下一代的互联网形式。因此，研究者们从各个分布式项目提取有效的技术， 希望能形成系统的标准化的技术，供未来的项目使用。这些系统化的，标准化的 技术形成了网格平台，网格的标准也开始制定。网格作为一个研究方向开始兴起。 这一阶段涌现出了大量的网格应用与网格平台。 欧洲与美国的一些网格项目用于科学研究的各个方向，对科学研究产生了一 定的推进作用。英国的e s c i e n c e 5 项目已经创造了巨大的社会效益。i a nf o s t e r 在”g r i d 2 ”一书中例举了网格在计算密集型，数据密集型，知识密集型和协作密 集型应用中的成功案例。大量的网格项目体现网格技术的一些优势。但遗憾的是， 中国科学技术大学硕士学位论文第一章绪论 ! i n n l 曼! ! 蔓蔓! ! ! ! ! ! 曼! ! ! ! 曼! ! ! ! ! 苎! ! ! 曼曼! ! ! 曼詈曼鼍! ! ! 曼曼! 曼曼! 皇寞苎蔓! 曼曼 目前还没有能影响生活的，有巨大经济价值的网格应用出现。 影响较大的网格平台有g l o b u s 6 ，u n i c o r e 7 ，l e i g i o n 8 等，这些平台从某种程 度上代表着网格研究的成果。其中g l o b u s 由于其开放性已经被许多的网格项目 所采用，成为学术界网格软件的一个事实标准。在g l o b u s 的基础上许多研究小 组还研究开发了一些相关软件系统和开发工具软件包，如g p d k ( g r i dp o r t a l d e v e l o p m e n t 鼬t ) 【9 和g r i d p o r t ( g r i dp o r t a l ) 1 0 1 等。网格平台着眼于解决网格建设 中的一些关键问题，如现有计算资资源共享与协作方法，大规模分布式系统中， 作业的提交管理，数据理的传输，访问；设计可靠的安全机制，同时保证网格资 源的自治性和之间的协作；网格中信息的保存和查找等。 g l o b u s 的演变过程一定程度上代表了网格理念的演变过程。早期著名g l o b u s ， t o o l k i t2 2 1 1 1 】专注于解决分布式计算，异构系统整合的问题。g l o b u s t o o l k i t3 1 1 】 则将g l o b u s 的框架移植到面向服务的架构上，服务计算与网格计算开始融合。 g l o b u st o o l k i t3 提出了o g s a 的网格体系结构，在网格的标准化上前进了一大 步。但g l o b u st o o l k i t 提出的o g s i 网格服务，是一种有状态的w e b 服务，却 没有获得业界的接受。在g l o b u st o o l k i t4 1 2 中，又提出了一种新形的w e b 服 务框架，即w s r f 框架，尽可能多的使用现有w e b 服务标准，降低服务本身的 复杂，g l o b u s 希望w s r f 能够成为w e b 服务的新标准。在网格本身的关键问题 上，如异构系统整合，海量数据处理，元调度，安全机制等，g l o b u st o o l k i t4 也有一定程度的提高。但总体来说，g t 4 与g t 2 在功能上，并没有本质的提升， 最大的不同在于面向服务的体系结构。这说明网格与w e b 服务的整合，也说明 网格希望在商业应用中希望发挥更大的作用。 在商业应用领域的初期，网格主要的优势在于其透明的计算能力。普遍认为， 商业应用中的计算机的利用率偏低，很多时候机器都是空闲的，造成了大量的浪 费。而这些利用率较低的计算机系统加入网格后，处于网格调度系统的管理下， 空闲的机器可以得到充分的利用。完成同样规模和功能的应用，需要更少的机器， 从而降低投资与维护的费用。 随着网格本身及概念的普及，各大i t 企业纷纷推出了基于网格的商业系统， 此时的网格系统。此时的网格系统不仅仅着眼于提高资源的利用率，虽然这是很 重要的方面，各个系统纷纷强调其内部自身的互联互通性。各个商业产品虽然都 自称使用了网格技术，但每个产品对网格技术的阐述都是完全不同的。实际上的 情形是。至此，网格，商业上，已经成为了下一代企业分布式系统的总称，它可 能是一套面向服务( s o a ) 的基础设施，也可能是数据库的应用与集成系统， 也可能是一个巨大的作业管理系统。 1 1 2 网格在中国的发展 网格在中国近年来有着迅速的发展，中国国家网格 1 3 已经正式开通运行， 开发了网格平台g o s ，整合了包括中国科学技术大学在内了全国八个网格节点 的计算资源，开发了环境资源，生物信息学，航空制造等十余个应用网格。中国 教育科研网格 1 3 用于连接国内各高校的计算资源，开发了网格平台c g s p ，目 前有包括中国科学技术大学在内的二十所大学加入中国教育科研网格，中国教育 科研网格有图像处理，大学课程在线，流体力学等五大应用。还有一些著名的网 格项目包括基于网络的科学实验环境 1 5 ，上海网格 1 6 等。 中国科学技术大学硕士学位论文第一章绪论 中国科学技术大学自2 0 0 1 年开始较早的开始了网格的研究，建立了基于 g l o b u s 的网格实验床，开发了独立的基于j e t s p e e d 的网格用户环境。部署了蛋白 质折叠模拟【1 7 】，分子链结构设计等多个网格应用，建立了基于g o s 2 0 的科学 计算工具网格系统，并发布了用于快速构建网格系统的u p o t r a l 1 8 i 具集。建 设了中国国家网格合肥中心，中国教育科研网格中国科学技术大学节点，并参加 中国国家网格网格平台g o s 2 0 ，中国教育科研网格平台c g s p 2 0 的开发，为我 国网格技术的发展作出了一定的贡献。 本文主要关注的网格系统是指当前学术界研究的面向服务的网格系统。本 文所涉及的网格系统实现主要是g l o b u st o o l k i t4 1 1 】，g o s 2 0 4 4 和 c g s p 2 0 5 3 1 。 1 2 网格资源 本文的研究对象是网格中的资源。资源一词在网格可以从不同的角度理解。 从网格基础设施的角度看，网格中的资源是计算机，存储设备，大型仪器等。 计算机可以执行计算，存储设备用于存储数据。运行于物理设备上的软件如操作 系统，集群作业管理系统，存储的结构化和非结构化数据，对于网格来说，也同 属底层的资源，网格中间件直接对底层软件和数据进行封装。向上层服务和最终 用户提供抽象接口。这些接口包括作业提交的接口，数据访问接口，以及作业管 理接口等。 从网格平台的角度看，本文所关注的网格平台都是面向服务的，所有的功能 都以服务的形式展现。上述的作业提交，数据访问接口都是系统服务，除了系统 服务之外，网格中还存在大量的应用服务。应用服务是为某个特定应用或任务编 写的w e b 服务，在面向服务的架构中，所有的应用都以服务的形式展现。网格 环境中，也必然集成了大量的应用服务。应用服务的接口，数量都是用户决定， 相对于网格系统服务来说，是动态服务。 总之，本文中所指的网格资源包含了这两个方面，即网格系统服务管理的物 理资源，和网格应用服务。网格资源的访问就是对网格系统服务的访问和网格应 用服务的访问。 1 3 层次化网格资源访问机制 本文研究的机制的目的是在一个基于网格平台软件建立的网格环境中，提供 一个面向最终用户和开发者的良好入口，可以理解为扩展了的网格p o r t a l 。与本 文第五章所阐述的通常的p o r t a l 不同，通常p o r t a l 是为最终用户访问提供集中视 图，仅仅是一个w e b 应用。本文所研究的机制不仅涵盖了面向最终用户的w e b 层技术，更重要的是对网格软件的系统服务的访问，和对网格环境中的通用服务 的访问。 本文所研究的网格资源访问机制分为如下三个层次： 1 1 网格系统服务的访问： 网格系统服务的访问主要是与网格平台的作业服务与数据服务交互。与作业 服务交互，是要向作业服务提交一个作业描述，作业通常是调用传统的计算 机程序。这之中的核心问题是如何表示传统的计算机程序，以便网格层处理。 与网格数据服务交互，包括如何利用网系统提供的数据存储和传输能力，在 作业提交与网格使用的过程中制定有效的数据传输与存储策略。 2 ) 网格应用服务的访问： 网格中的应用服务，有普通的w e b 服务，也有w s r f 服务，以及工作流服 务。要使用这些服务，要使用一定的方式去查找。查找到这些服务，就要执 行调用操作。这个过程中，核心问题是，如何设计一个服务访问框架，可以 方便的查找到需要使用的服务，查找到服务后，用统一的方法，在保证性能 的前提下，动态的调用不同类型的服务。 3 ) 最终用户的入口设计： 本层次是机制的最顶层，直接与最终用户交互，最终用户需要一个方便的访 问网格软件系统服务和应用服务的界面。通过动态页面或桌面应用程序的方 式可以提供友好的使用界面。近年来p o r t a l 技术，为用户提供可定制的视图， p o r t a l 的一些特点，以适合在网格中使用。网格p o r t a l 作为用户代理，与网格 的系统服务和应用服务交互，方便用户使用。 1 4 本文的主要贡献 本文的主要贡献和创新体现在以下几个方面： 1 降低传统应用网格化的复杂性。 网格软件使网格系统具备了基本的功能，网格系统上的网格应用的开发还没 有很好的模式，每一种应用的网格化，都需要开发人员的参与，极大的限制了网 格的能力。本文提出了种可重用的基于s c h e m a 的作业描述方案，使大多数的 传统网格应用能以配置而不是编程的方式加入网格系统，并以自动的生成用户访 问界面，扩展了网格系统整合传统程序的能力，有改变网格应用开发模式的潜力。 2 设计与实现了一种网格服务的访问方法。 现代网格系统中存在着不同类型的服务，这些服务是很多网格应用的实现形 式，传统方法中，服务是面向开发人员的，每一个服务，都需要开发人员的开发 特定于该服务的应用系统。本文提出了一种基于消息结构的网格服务访问方法， 该方法根据服务的描述文档可以生成面向最终用户的w e b 程序，减轻了开发人 员的负担，并可以兼容w s r f 服务，这是当前的各种服务与网格平中所没有实 现的。 3 研究了网格中的p o r t l e t 机制，实现了基于p o r t l e t 的网格p o r t a l 系统。 本文所提出了特定于网格系统的层次化的p o r t l e t 机制，与传统的w e b 程序 相比，访问界面和用户逻辑有更好的可重用性，并可为最终用户提供了个性化的 统一访问视图。这种机制都已经在中国国家网格合肥结点，中国教育科研网格网 格平台中得到了应用。已经开始服务于广大领域用户。 1 5 本文的主要内容和结构 本文就网格建设中的重要问题，网格的资源访问技术展开研究。首先介绍了 网格的相关概念以及网格概念的演变，随后定义了网格资源的范畴，对网格资源访 问的关键问题进行了分析。指出所谓网格资源访问是在一个基于网格软件搭建的 网格环境下，如何开向用户提供尽可能好的使用网格软件及其集成的软硬件资源 的编程和使用界面。 就网格资源访问的主要问题从三个层次提出了解决方案 中国科学技术大学硕士学位论文第一章绪论 从系统层面，着重论述了如何利用网格系统服务访问传统产程序，设计可重 用的结构便于遗产程序的整合，如何利用网格数据服务的功能，优化数据策略。 从应用层面，本文分析论述了w e b 服务的意义与实现和w e b 服务的种类， 对主要的服务访问方法作了回顾，就w e b 服务访问存在问题，描述了一个动 态的服务访问方式 针对网格的最终用户访问，介绍了网格入口的作用，主要的网格入口实现， 介绍了网格入口的相关项目，分析了在网格中使用p o r t a l 的优势。给出了网格基 于p o r t l e t 的层次化模型。 最后，利用本文所论述了网格资源访问的体系结构，中国科学技术大学科学 计算工具网格的设计与实现。 本文共分六章，组织结构如下： 图1 一l 论文结构 第一章绪论 第二章网格系统服务的访问 第三章网格应用服务的访问 第四章用户层网格访问 第五章c n g r i d 合肥结点科学计算工具网格( s c t g ) 第六章总结与展望 中国科学技术大学硕士学位论文 第二章网格系统服务的访问 m l 第二章网格系统服务的访问 2 1 网格系统服务 网格系统服务是指网格作业服务，网格数据服务，网格信息服务等网格软件 的核心服务。这些服务是构成网格系统的基础。 本章讨论如何为网格作业服务提供作业描述接口，如何根据网格数据服务的 特点制定合理的数据策略。主要内容如下： 1 面向网格作业服务，设计一种通用的作业描述方法，便于快速将传统应用整 合进网格系统。 2 研究一种典型的网格数据服务o r i d f t p 的传输性能，以制定合理的数据策略。 2 2 网格作业描述 2 2 1 网格作业描述的作用与复杂性 通常我们执行的作业，利用操作系统的s h e l l 环境执行二进制程序，从用 户角度，我们通过特定的命令行来执行程序，由于程序本身的性质不同，程序的 命令行也有所不同，主要源于命令行参数的多样性，其多样性表现在如下几个方 面： 1 参数格式的多样性，有的参数是真接填写，略微复杂的是每个参数是由一 定的参数命令引导，引导命令与参数之间可能存在空格，也可能不存在空 格； 2 参数类型的多样性，这些多样性是指，参数可能代表字符串，也有可能代 表输入文件，也有可能是给定常量集合中的若干个； 3 参数之间关系的多样性，有的程序其参数是相互独立，有的程序其参数间 存在先后关系的约束，有的程序其参数之间存在选择关系，即两类参数是 相互排斥的； 4 参数地位的多样性，有的参数是必须存在，有的是可选的。 网格作业描述的目的是描述底层应用程序，供网格作业服务使用。实际应用 中，底层程序的复杂性要求作业描述有着很好的可扩展性，可以描述不同的应用 程序。 当前的作业描述方法主要是g l o b u s 的r s l ，以及j s d l 。 2 2 1 r s l 简介 g l o b u s 项目中，g r a m 19 】为用户服务提供一个使用远程系统的简单接 口。用户通过该接口可在远程资源上执行“作业”。g r a m 可用于作业提交和 l o 中国科学技术大学硕士学位论文第二章网格系统服务的访问 iii 作业控制，g r a m 不是一个资源调度器，却是一个协议引擎，利用标准的消息和 一系列本地作业系统通信。 g r a m 的体系结构如下：用户将作业描述文档提交给g r a m ，g r a m 通过 g r a ma d a p t e r 与本地系统联系，执行用户所提交的作业，g r a m 同时提供数 据传输，作业监控等功能。 在上述过程中，本文最关心的是其作业描述文档，g l o b u s 曾经设计过资源 规范语言r s l ，为不同平台的资源描述提供一种公共的描述交换语言，r s l 定 义了一些属性，如命令参数，可执行文件的执行次数，文件输入和输出属性，以 及一些与资源相关的属性如，设置执行程序单次执行的最大cpu 时间，最小存 储空间等。在最新版本的g t4 中，r s l 使用了x m l 结构，以下是作业描述文 件的一个示例： b i n e c h o t h i si sa ne x a m p l e s t r i n g g i o b u sw a sh e r e $ g l o b u su s e rh o m e ) s t d o u t $ ( g l o b u s u s e r h o m e ) s t d e r r 该文件由执行命令，执行参数和输入输出处理三部分组成，从文档中，可以 推测客户希望在网格中运行的作业是执行b i n e c h o 命令，该命令有若干参数。 文档还表示将作业的标准输出的标准错误定位到文件当中 2 2 2j s d l 作业描述语言简介 之所以定义j s d l 2 1 主要是为了统一网格系统中的作业提交描述方式，提供 作业提交描述方式之间相互转化的一种很方便的方式。 j s d l 只用来描述作业的提交，描述作业提交的参数，包括要求的执行的系统 体系结构，资源需求，文件存储方式，要执行的程序，执行的相关参数，作业的输入 输出；j s d l 不负责作业的生命周期的管理；j s d l 不负责作业的监控，这些是作业 管理器的工作，当一个作业真正的进入了作业的运行状态，那么j s d l 的任务也就 完成了。”提交”是j s d l 的核心内容，也是j s d l 的全部内容；j s d l 不负责服务( 作 业) 的部属那是j p l 的职责目前许多的文献普遍混淆的个的一些术语中最常 见的就是服务( s e r v i c e ) 和作业( j o b ) 其实这两的关系和程序与进程之间的关系很 类似。一个作业就是对于服务的一次调用，也就是一个服务一次执行过程作业没 有部属的概念。作业只有提交，请求，和返回的概念。服务是个永久的概念，作业是 个瞬态的概念。一个作业只存在与一段特定的时间，也就是作业的生命周期内。 2 2 3r s l 与j s d l 存在的问题 g i o b u s 的作业描述文档功能较为强大，涉及到了对作业执行和底层资源的 选择等方面。这种方案并不是面向呈现的考虑在网格环境下，网格p o r t a l ( 门 户) 为将成为用户使用网格的主要方式。用户可以书写上述文档，并由网格p o r t a l 将文档提交给网格软件。在实际应用的情形下，某一个网格应用会被多个用户使 中国科学技术大学硕士学位论文 第二章网格系统服务的访问 用，这多个用户都将提交上述文件执行作业。一方面，每个用户都要独立编写相 对复杂的作业描述文档，对用户的能力和时间提出了挑战，也是一种浪费。另一 方面，每个用户所编写的作业描述文档都不尽相同，用户编写的文档可能不易解 析以至出错，对系统的效率产生影响。 2 3 基于x m ls c h e m a 的可重用作业描述方案设计与实现 针对g l o b u s 作业描述方案的不足，着眼于适应复杂命令需求，简化传统应 用的网格化难度本文提出了一种基于x m l s c h e m a 和可重用的程序命令表示方 法。本方法用于构建可重用的网格应用系统。 本方法着眼于解决命令参数的复杂性问题。考虑多种作业参数的多样性特 点，利用x m l 的可扩展的描述能力，可以展现不同的参数格式和类型，表现参 数之间的顺序，选择关系。领域专家根据这种方法可以订制x m l 文档，描述其 应用的使用方法，及命令的使用方法，将文档提交给网格系统。网格系统根据领 域专家提交的应用描述文档，进行解析，可以即时生成应用的调用界面和并可以 根据普通用户用户的输入形成最终命令，提交给本地系统。 由于s c h e m a 和x m l 本身都是结构化的数据，便于程序处理。由s c h e m a 生成x m l 数据绑定，辅之以动态页面技术，可以自动生成用户界面，获取用户 信息后，数据绑定可以通过面向对象的方法填写对象，形成作业描述文档，再提 交给网格软件，其应用模式如图2 - 1 所示。 牺曩黟蚱：恿归熙 絮：哪胃兰凰 2 3 1s c h e m a 定义 首先定义描述命令的x m ls c h e m a ，根据s c h e m a 可以生成x m l 数据绑 定。设计获取用户输入，对于每一个具体的应用，用户定，完成数据绑定类的属 性设置，生成程序执行描述文档。 s c h e m a ：定了了程序执行描述的规范。s c h e m a 的结构如图2 - 2 示： 中国科学技术大学硕士学位论文 第二章网格系统服务的访问 料# t 蛔札t “i b r 一一一 ! ! x ：r t d r ji ： r 一一l f ，。， 一，一t 岛 图2 - 2 作业描述s c h e m a 结构 该s c h e m a 规定作业描述文档由两部分组成，一部是p a r a m e t e r s ，这一 部分定义了程序执行所需要参数。可以有o 个或多个参数，每个参数都要包括 如下内容，参数的描述，参数的类型，参数的限制。 参数描述便于x m l 文档阅读者的理解，也可用于显示。 参数有以下类型：整形，浮点型，字符形，枚举型，布尔型，空值，输入文 件型，输出文件型。设计出这些类型是为了输入验证和便于处理。否则在作业调 用模块中，用户的输入的不合格式的数据就会传入底层程序。其中，输入文件和 输出文件都是字符串型的，之所以设计这两种类型是为了便于作业调用模块处 理，生成方便用户调用界面，便于用户从数据空间中定义输入文件和输出文件。 参数的格式是指参数的前导符与参数本身，不同的参数有不同的格式，如输 出常常用- o 作为前导符，而库则常常使用一l ，有的参数在前导符后要空出一格， 而一l ，j a v a 的虚拟机参数都不需要空格，需要使用一种表现形式来表现这些差 异，模仿c 语言中p r i n t f ( ) 函数的格式，我们使用特殊字符t 来代表参数本身， 如o t ，表示参数在一0 后一个空格处，而一l t 表式使有t 代表的库。这种 设计的目的有二： 1 可扩展性，多种不同形式的命令格式都可以得到兼容 2 面向表现，网格的最终是要给用户访问，每个网格应用都应当是定制的。 用户只将自己的关键元素“填”八之中，比填格式方便。 中国科学技术大学硕士学位论文第二章网格系统服务的访问 参数的限制包括参数地位与关系。 参数的地位是指参数是必须的还是非必须的，有的参数如果不存在，就会 导致程序不能运行或得不到正确结果。有的参数作为选项，可以实在附加功能等。 在x m l 文件中， 段中规定了参数是否必须。这种设计的目的是方 便用户输入，和便于用户输入的有效检测。 参数之间有如下两种关系： 1 串行：多个参数是顺序排列，也就是说多个参数是有序的。如有的命 令中，要将命令的标准输出和标准错误重定向文件当中，这个参数常常 要写在最后，我们必须要在卜1 l 中体现这种 2 选择：对于两个以上的参数，在同一次程序执行中，只能选择一个参 数。某些情况下，两个参数只能出现一次，如c c 中的优化级别，或是 l e v e l l ，或是l e v e l 2 。 通过上述s c h e m a 可以生成与s c h e m a 相关的数据绑定对象，完成x m l 文档和高级程序语言之间的映射，在本文实现的系统，采用j a v a 语言。利用 s h e m a 生成的数据绑定对象，可以方便的读取，存储，操作符合该s c h e m a 规 定的x m l 文档。 2 3 2 作业描述文档 图2 - 3 一个实际的作业描述文档，符合上述s c h e m a 描述。 c t 一0 t 一l t - o1 - o2 1 4 t 图2 - 3 一个作业描述文档 该文档描述了编译源文件的作业，其中： 1 元素：n a m e 属性表示应用名称，用以标志该应用，c m d 属 性表明这是一个人使用c c 程序的作业。 2 元；素：描述了网格应用的参数，其下第一个参数( p a r a m e t e r ) 是f i i l e n a m e ，它的格式是，c t ，如果用户填写的文件名是f o o c ，则 经过程序处理，提交给s h e l l 的将是c eqf o o c 。同理，如在 r e s u l t n a m e 参数中填写f o o ，0 ，则将形成命令格式c c - cf o o c 一0 f o o0 。下一个参数名称是l i b r a r y ，从c c 用法可以知道是这运行时 的库，如果用户使用的库名称为l i b ，则有c c f o o c 加l 1 i b 。依次 类推，最后得到如下命令：c c - cf o o c - 0 f o o 0 一l l i b 一0l 一0 2 m y l o g 1 0 9 ( 或s y s t e m l o g 1 0 9 ，取决于用户选择) 。这个命令格式上 是不正确，必须依赖于描述文档中的r e s t r i c t i o n s 中的内容。使用用 户做正确的选择 3 元素：定义参数的选择属性，优化级别只能选择一个，或选择 l e v e l l 参数，或选择l e v e l 2 参数，假设用户选择了l e v e l 2 ，则文档可 形成如下命令c cr cf o o c 如f o o o l l i b m y l o g 1 0 9 。 4 元素：我们希望 m y l o g 1 0 9 在各个参数的最后，这是由元 素限定的，s e q n e n c e 元素中，第一个节点的s e l e c t 属性是# a n y o t h e r ， 中国科学技术大学硕士学位论文 第二章网格系统服务的游问