（计算机软件与理论专业论文）gis网格服务中任务管理和资源匹配的研究.pdf

硕十学位论文 g i s 网格服务中任务管理和资源匹配的研究 摘要* 随着信息采集和空间分析技术的迅速发展，如何集成海量的空间数据和大规 模的计算资源进行空间分析和处理成为地理信息系统( g e o g r a p h i ci n f o r m a t i o n s y s t e m ，g i s ) 研究的热点。有效的计算资源共享方法、合适的资源查找技术成 为其中需要解决的主要问题。本文分析了传统的g i s 在这方面的局限性，利用 网格技术来解决g i s 领域的“信息孤岛”问题，设计和实现了“任务管理服务” 和“资源匹配服务”，有利于在动态的分布式环境中查找满足不同需求的计算资 源和数据资源，并透明地使用它们完成复杂的g i s 空间分析和处理。 本文的主要工作包括两个方面： 其一，设计和实现了“任务管理服务”。任务管理服务为计算密集型的g i s 空间分析和处理提供了统一的使用网络上分布的计算资源的接口，支持用户以任 务的形式使用这些计算资源来进行复杂的g i s 空间分析和处理，并提供了任务 状态的查询、任务的撤销等功能； 其二，提出了g i s 资源匹配框架，并根据这个框架设计和实现了“资源匹配 服务”。资源匹配服务根据服务数据和用户的资源请求，实现在网格虚拟组织内 查找合适的计算资源和数据资源的功能，使用户能够通过任务管理服务利用这些 资源进行g i s 空间分析和处理。资源匹配服务提供了资源请求的入口，支持两 种资源约束和多种匹配策略，以满足不同的应用对服务质量的不同需求。其中， 信息查询模块利用了网格的信息服务，从而可以实时查找网格虚拟组织中动态资 源的信息。 任务管理服务和资源匹配服务的原型采用被称为网格服务中间件事实标准 的g l o b u st o o l k i t3 2 版来实现，本文对任务管理服务和资源匹配服务进行了测 试，测试结果表明本文所提出的方案是可行的。 关键词：地理信息系统( g i s ) ，网格服务，任务管理，资源匹配 + 本文的工作得n t 广东省科技计划工业攻关项目“g i s 网格服务中间件及其应 用”的支持 硕士学位论文 g i s 网格服务中任务管理和资源匹配的研究 a b s t r a c t 木 a st h et e c h n o l o g yo fi n f o r m a t i o nc o l l e c t i o na n ds p a c ea n a l y s i si sd e v e l o p i n gr a p i d l y , h o w t o i n t e g r a t e m a s s i v es p a c ed a t aa n d l a r g e - s c a l ec o m p u t a t i o n r e s o u r c et op e r f o r ms p a c e a n a l y s i sa n dp r o c e s sh a sb e c o m ear e s e a r c hh o t s p o ti n t h ef i e l do fg e o g r a p h i ci n f o r m a t i o n s y s t e m ( g i s ) e f f e c t i v es h a r i n gw a yo fc o m p u t a t i o nr e s o u r c e a n ds u i t a b l et e c h n o l o g yo f r e s o u r c es e a r c h i n gb e c o m et h em a i np r o b l e mt ob es o l v e d t h i sp a p e ra n a l y s e st h el i m i t a t i o n o ft r a d i t i o n a lg i si nt h i sr e s p e c t ，u t i l i z e sg r i dt e c h n o l o g yt os o l v et h e “i s o l a t e di n f o r m a t i o n i s l a n d ”p r o b l e m i nt h ef i e l do fg i s ，h a sd e s i g n e da n di m p l e m e n t e d “j o bm a n a g e m e n t s e r v i c e a n d “r e s o u r c em a t c hs e r v i c e ”t h e l pt of i n do u tc o m p u t a t i o nr e s o u r c ea n dd a t a r e s o u r c et om e e td i f f e r e n td e m a n d si nt h ed y n a m i cd i s t r i b u t e de n v i r o n m e n ta n du s et h e mt o p e r f o r mc o m p l i c a t e dg i ss p a c ea n a l y s i sa n dp r o c e s s t h em a i nw o r ko f t h i sp a p e ri s ： f i r s t l y , t h i sp a p e rh a sd e s i g n e da n di m p l e m e n t e d j o bm a n a g e m e n ts e r v i c e ”，j o b m a n a g e m e n ts e r v i c eo f f e r sa nu n i f i e di n t e r f a c ef o rc a l c u l a t i o ni n t e n s i v eg i ss p a c ea n a l y s i s a n dp r o c e s st ou s ed i s t r i b u t e dc o m p u t a t i o nr e s o u r c eo nt h en e t w o r ki no r d e rt os u p p o r tu s e r s u s i n gt h e s ec o m p u t a t i o nr e s o u r c e st op e r f o r mg i ss p a c ea n a l y s i sa n dp r o c e s s i to f f e r ss u c h f u n c t i o n sa si n q u i r yo ft h ej o b ss t a t e ，c a n c e l l a t i o no f t h ej o b ，e t c s e c o n d l y , t h i sp a p e rh a sb r o u g h tf o r w a r daf r a m e w o r kf o rg i sr e s o u r c em a t c h ，a n d d e s i g n e da n di m p l e m e n t e d “r e s o u r c em a t c hs e r v i c e ”b a s eo nt h i sf r a m e w o r k r e s o u r c e m a t c hs e r v i c es e r v e sa c c o r d i n gt os e r v i c ed a t aa n du s e r sr e q u e s to fr e s o u r c e s i to f f e r st h e f u n c t i o no ff i n d i n go u ts u i t a b l ec o m p u t a t i o na n dd a t ar e s o u r c ei nt h ev i r t u a lo r g a n i z a t i o no f g r i ds e r v i c e ，s oa st oh e l pu s e r st ou s et h e s er e s o u r c e st op e r f o r mg i ss p a c ea n a l y s i sa n d p r o c e s st l ：i m u s hj o bm a n a g e m e n ts e r v i c e r e s o u r c em a t c hs e r v i c eo f f e r sa l le n t r yo f r e s o u r c er e q u e s tf o ru s e gs u p p o r t st w ok i n d sr e s o u r c er e s t r i c t i o na n ds e v e r a lk i n d so fm a t c h p o l i c y , i no r d e rt om e e td i f f e r e n tk i n d so f d e m a n d sf o rt h eq u a l i t yo fs e r v i c et h ei n f o r m a t i o n m o d u l eu t i l i z e si n f o r m a t i o ns e r v i c eo fg r i ds e r v i c e ，i tc a nf i n do u tt h ei n f o r m a t i o no f d y n a m i cr e s o u r c e si nt h ev i r t u a lo r g a n i z a t i o no f g r i ds e r v i c e t h ep r o t o t y p es y s t e mi sb u i l to rt o po ft h eg i o b u st o o l k i t3 2 ，w h i c hi st h ed e f a u l t s t a n d a r dm i d d l e w a r ee n a b l i n gg r i ds e r v i c e t h ew o r k i n ge f f e c to f j o bm a n a g e m e n t s e r v i c e ”a n d “r e s o u r c em a t c hs e r v i c e a n dw e r et e s t e d t h et e s tr e s u l ti n d i c a t e st h a tt h e i o b o f t h i sp a p e ri se f f e c t u a l k e y w o r d s ：g e o g r a p h i c i n f o r m a t i o ns y s t e m ( g i s ) ，g r i ds e r v i c e ，j o b m a n a g e m e n t ，r e s o u r c e m a t c h t h ew o r ko ft h i sp a p e ri ss u p p o r t e db yt h ep r o j c o t ”g i sg r i ds e r v i c em i d d l e w a r ew i t h a p p l i c a t i o n s ”o f t h es c i e n c ea n dt e c h n o l o g yp l a no f g u a n g d o n gp r o v i n c e ，er c h i n a i i 颈十学位论文 g i $ 刚格服务中任务管理和资源匹配的目f 究 槠i 习摹女 = 随着信息采集和空间分析技术的迅速发展，如 可集成海量的空间数据和大规 模的计算资源进行空间分析和处理成为地理信息系统( g e o g r a p h i ci n f o r m a t i o n s y s t e m ，g i s ) 研究的热点。有效的计算资源共享方法、合适的资源查找技术成 为其中需要解决的主要问题。本文分析了传统的g i s 在这方面的局限性，利用 网格技术来解决g i s 领域的“信息孤岛”问题，设计和实现了“任务管理服务” 和“资源匹配服务”，有利于在动态的分布式环境中查找满足不同需求的计算资 源和数据资源，并透明地使用它们完成复杂的g i s 空间分析和处理。 本文的主要工作包括两个方面： 其一。，设计和实现了“任务管理服务”。任务管理服务为计算密集型的g i s 空间分析和处理提供了统一的使用网络上分布的计算资源的接口，支持用户以任 务的形式使用这些计算资源来进行复杂的g i s 空间分析和处理，并提供了任务 状态韵查询、任务的撤销等功能； 其二，提出了g i s 资源匹配框架，并根据这个框架设计和实现了“资源匹配 服务”。资源匹配服务根据服务数据和用户的资源请求，实现在网格虚拟组织内 查找合适的计算资源和数据资掘的功能，使用户能够通过任务管理服务利用这些 资源进行g i s 空间分析和处理。资源匹配服务提供了资源请求的入口，支持两 种资源约束和多种匹配策略，以满足不同的应用对服务质量的不同需求。其中， 信息查询模块利用了网格的信息服务，从而可以实时查找网格虚拟组织中动态资 源的信息。 任务管理服务和资源匹配服务的原型采用被称为网格服务中间件事实标准 的g l o b u st o o l k i t3 2 版来实现，本文对任务管理服务和资源匹配服务进行了测 试，测试结果表明本文所提出的方案是可行的。 关键词：地理信息系统( g i s ) ，网格服务，任务管理，资源匹配 + 本文的工作得到了广东省科技计划工业攻关项目“g i s 网格服务中间件及其应 用”的支持 硕士学位论文 g i s 网格服务中任务管理和资源帆配的研究 第1 章综述 1 1 引言 1 1 1g i s 的发展趋势 地理信息系统( g e o g r a p h i ci n f o r m a t i o ns y s t e m ，g i s ) 是由计算机软件、硬 件和数据以及人员组成的协助处理、分析和表示空间位置相关信息的系统。随 着信息采集与空间分析技术的快速发展，目前g i s 的发展显现出以下的趋势： g i s 进行环境仿真、空间统计等工作所利用的数据量越来越庞大。 数据采集技术的发展使人们能够以更低的代价收集到更多的地理数据。例 如，廉价的扫描仪使用户可以在一天之内很容易地收集到g b 数量级的数据； 遥感卫星持续地工作产生大量的遥感图片。 g i s 的数据来源于不同的地方和部门。 g i s 的一个重要部分就是数据。实际上，整个g i s 都是围绕空间数据的采集、 加工、存储、分析和表现来展开的。为了充分利用已有的数据，降低成本， 实现信息资源的共享，g i s 经常需要采用各种不同来源的空间数据。此外， 还有许多基于地理信息的应用需要收集多个部门或机构提供的信息。 复杂的分析模型往往需要高性能的计算资源和大容量的存储设备才可能完 成。 随着对地理现象的研究越来越深入，新的空问分析方法和地理计算算法也得 到了很大的发展，通常这些新的方法和算法都比以前的复杂，这就意味着 g i s 需要更强的计算能力 2 】。例如对空间信息进行各种极为复杂的空间运算， 实现多元地理信息的叠加分析，这些都涉及到复杂多样的模犁和算法。此外， 用户对g i s 个比较重要的要求是更短的响应时间，有些场合甚至需要进行 实时的计算和处理。 1 1 2 存在的问题 g i s 的传统处理方式是采用集中式的生成、存储与加工。因特网、分布式对 象技术与w e b 技术的迅猛发展，使得g i s 与网络技术的结合越来越明显，分布 式的g i s 成为主流。g i s 与迅速发展的因特网结合使g i s 有了新的发展。首先是 产生了w e b g i s ，w e b g i s 是w e b 技术和g i s 技术相结合的产物，它支持用户通 硕十学位论文 g i s 网格服务中任务管理和资源匹配的研究 过w e b 浏览器获取w e b 服务器上存储的各种地理空间数据及属性数据、图像、 文件等信息，并执行诸如空间数据处理、空间查询与分析等操作；随着w e b 服 务的出现，又产生了g i s w e b 服务，g i s w e b 服务将w e b 服务技术和g i s 技术 结合，它是一种白包含、自描述、模块化的g i s 构件和应用，这些g i s 构件和 应用可在w e b 上发布、查找和动态调用。但是它们仍然存在以下的问题： 1无法有效地共享大规模的计算资源 当前的g i s 以传统的微机或服务器作为计算平台，计算时效满足不了生产要 求，甚至无法实现计算。例如，“数字黄河”工程应用系统对黄河的科学计算提 出了许多新的要求：“小花间暴雨洪水预警预报系统”中需要开发数十层的k m 级的中尺度降水预报模式；“黄河下游基于g i s 二维水沙数学模型”项目需要对 黄河下游河道在万分之一的地形图上进行m 级的地形数据处理和计算，其计算 节点达到数百万个：“黄河下游准实时遥感监测系统”中，需要对复杂图像进行 快速自动处理；南水北调西线工程的设计，也需要对水工建筑物进行精细的力学 分析计算“。 当前虽然有部分g i s 提供远程的空间分析和地理计算，但是共享的方式不够 灵活。这些g i s 只提供的特定的、有限的计算和操作，而且采用的是中央控制的 方式，导致服务器时常处于满载状态，造成对客户请求的响应缓慢，甚至经常出 现超时错误。例如，在e s r i 公司的服务器上调用同样的g i sw e b 服务操作序列， 返回结果的时间会从十几秒钟波动到一分多钟，甚至超时。 高性能计算不能满足g i s 走向产业化和商业化的需求。超级计算机或者计算 机集群的缺乏，阻塞了中小型用户对这些设备的利用。很多政府单位和企业为了 保证业务不间断地运转而不得不花费大笔的资金去购买那些昂贵的高性能计算 设备，而除了少数的业务高峰时间外，这些计算资源却又在白白浪费。 2 无法有效地集成数据资源进行计算 g i s 处理和分析除了需要大量的计算资源，还需要相应的数据资源，但是这 些资源所在的环境往往是高度分布和异构的。基于t c p i p 协议的万维网并不能很 好地解决人们在数据共享方面所面临的问题，这使万维网上出现了信息孤岛。信 息孤岛阻碍了信息的交流和共享，虽然各个部门的信息化建设促进了部门内信息 的交流和共享，但是还没有解决信息孤岛的现象。各个应用系统之间不能互联互 通，缺乏信息的交流和共享，存在严重的信息冗余现象。国家花费了大量人力、 物力获得的海量数据和信息被孤立于所属的部门，不能被广泛地访问和使用。需 要综台数据的应用发展要么受到限制，要么必须投入大量资金、人力来重复进行 硕士学位论文 g i s 网格服务中任务管理和资源匹配的研究 数据资源的建设。这就阻碍了g i s 方便地利用所需的数据资源进行计算。 1 2 网格服务 网格是在9 0 年代中期借鉴电力网的概念提出的，网格的最终目的是希望用户 在使用网格计算能力解决问题时像使用电力一样方便，用户不用去考虑得到的服 务来自于哪个地理位置，由什么样的计算设施提供。也就是说，网格给最终的使 用者提供的是一种通用的计算能力。 网格被定义为“在动态多机构虚拟组织中进行资源共享并协同解决问题- 5 1 o 这里面所指的虚拟组织( v i r t u a lo r g a n i z a t i o n s ，v o ) 是基于一些共享规则， 由一些个体或者团体形成的集合体。例如，相关的资源集中在一起，彼此分享， 共同解决问题，这些集中在一起的资源被称之为虚拟组织。这里所强调的“共享” 不仅仅是简单的文件交换，更强调直接对计算机硬件、软件、数据以及其它资源 的直接访问。这种共享必须是高度可控的，需要在资源提供者和消费者之间详细 地定义什么可以被共享，哪些人可以共享，在什么条件下可以共享：这里所强调 的“动态”是指虚拟组织的存在方式。为了完成某个任务，相关的资源结合起来 形成一个虚拟组织，任务完成之后，虚拟组织也随之解散，这些资源又各自参加 不同的新的虚拟组织1 5 l 。 总的来说，网格技术支持在动态v o 中共享和一致地使用不同的资源即使 用地理上和组织上分布的组件构建虚拟计算系统，并将这些虚拟计算系统充分地 整合以获得期望的q o s 【5 】。 2 0 0 2 年2 月，在加拿大多伦多市召开的全球网格论坛g g f 会议上，g l o b u s 项目 组和i b m 共同提出了开放网格服务体系( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ， o c s a ) 。 在o g s a 里面，一切都表示为服务。也就是说，一个符合一组约定( 用w s d l 表示) 的服务可用于如生命周期管理、功能发现和通知等目的。网格服务实现可 以以本地平台基础设施与已有的i t 基础设施相结合为目标。用于创建、注册和发 现网格服务的标准接1 2 1 ，可以配置来用于各种形式的v 0 结构。这一面向服务体系 机构的优点在于环境中的所有组件都是虚拟化的。虚拟化一方面要求所有网格服 务都实现一组一致的核心接口，使得分级的、更高级别的服务的构建能够跨多个 抽象层以一种统一的方式进行处理，另一方面还促使从多个逻辑资源实例到同一 物理资源的映射，不考虑实现的服务组合，以及一个v o 内的基于低级资源组合的 资源管理。正是网格服务的虚拟化加强了通用服务语义行为无缝地映射到本地平 台设施的能力【6 】。 o g s a 的发展还代表了w e b 服务的一个自然演变。通过将对短暂的、有状态的 服务实例的支持与现有的w e b h 务技术进行整合，o g s a 大大地扩展了w e b 服务框架 硕士学位论文 g i s 网格服务中任务管理和资源匹配的研究 的能力，同时仅仅要求对现有技术进行少量的扩展。 1 3 本文的解决方案 针对当前的g i s 无法有效地共享计算资源和无法有效地集成数据资源进行计 算的问题，本文利用网格服务技术设计和实现了“任务管理服务”和“资源匹配 服务”。主要思路是结合网格资源分配和管理服务共享计算资源的能力设计“任 务管理服务”，用来将本地的g i s 汁算程序以网格任务的形式提交到远程计算节 点进行运算，使g i s 能够突破本地计算能力的限制，有效地使用网格中的计算资 源进行g i s 计算；结合网格信息服务发现动态资源的能力设计“资源匹配服务”， 帮助用户在分布式环境下有效地寻找和匹配需要的资源，并通过任务管理服务有 效地使用这些资源完成g i s 计算。 1 3 1 任务管理服务 任务管理主要解决的是如何将一个任务提交到远程的计算机进行计算并对 计算过程进行管理的问题，也是网格中利用计算资源的一个重要的途径。本章所 设计的任务管理服务，支持用w s d l 描述的o g s i 接口集，以便能够创建、运 行和管理执行g i s 程序的网格服务。任务管理服务的功能包括与g t 3 2 的任务 管理者交互，分配计算资源，以计算任务的形式将g i s 计算程序提交给远程计 算节点运行，在任务的执行过程中，支持任务状态的查询和任务的撤销。任务管 理服务以网格服务的形式将任务管理的功能发布出来，减少了应用程序开发各自 的任务管理程序的复杂性。标准的网格服务接口也便于在面向服务的体系结构中 用来构建更加复杂的服务。 要利用远程的计算节点完成g i s 计算，包括编写和编译程序代码、描述任 务、任务管理、获取任务执行的结果四个方面的内容。本文从这四个方面考虑在 g i s 网格服务项目中对g i s 计算任务进行管理的问题。 编写和编译程序代码。考虑到在通常情况下对源文件进行编译这一步并不是 影响性能的主要部分，所以本文对g i s 计算的代码，采取的方式是先在本地节 点对源代码进行编译，然后通过任务提交程序向远程计算节点提交编译好的程 序，这样就避免了首先向远程计算节点提交一次编译任务，从而减少了不必要的 开销。 描述任务。要在远程计算节点运行计算任务，必须指定可执行文件、相应的 参数以及环境变量等内容，g t 3 2 采用资源描述语言来描述任务，本文考虑了描 述g i s 计算任务所需要的元素。 任务管理。本文利用网格的资源分配管理的基础设施设计和实现了任务管理 硕士学位论文 g i s 网格服务中任务管理和资源匹配的研究 服务，使用户可以在应用程序中方便地使用它来向远程计算节点提交g i s 计算 任务，也可以查询任务状态或者撤销任务。 获取任务执行的结果。g i s 对海量数据进行分析和处理之后的所产生的结果 数据通常也是海量的，所以本文采用g a s s 来将g i s 计算的结果从远程的计算 节点返回到本地节点，从而可以利用网格数据传输工具在传送海量数据方面的优 点。 1 3 2 资源匹配服务 进行g i s 计算不仅需要对g i s 计算任务进行管理，还需要利用相关的空间 数据资源，本文为此设计了资源匹配服务，以便更有效地支持g i s 计算。 资源匹配服务处于资源提供者和资源消费者之间，进行资源匹配工作，这就 要求双方对资源采取一致的方式进行描述。本文首先参考网格实验室统一环境 ( g r i dl a b o r a t o r yu n i f o r me n v i r o n m e n t ，g l u e ) 1 7 1 项目制订的描述网格资源的通 用标准，把处理器、内存等硬件信息和操作系统、应用软件等软件信息作为对计 算资源的描述：然后参考了我国的地理信息元数据标准f 8 i ，规定了网格中的空间 数据资源的描述方法。这样，就描述了网格中与g i s 相关的两种主要的资源。 接着，在资源描述的基础上设计了一个资源匹配服务，这个服务能够接收用 户的请求，利用网格的信息服务来查找网格环境下的动态资源，包括计算资源， 以及进行计算所需要的数据资源，然后利用收集到的信息对计算任务所需要的资 源进行匹配，找出合适的资源集合并返回给用户。 资源匹配服务考虑了g i s 计算对计算资源和数据资源的要求，它在“任务 管理服务”的基础上保证一定的服务质量，帮助用户更加有效地利用网格中的资 源。 1 ，4 论文的选题意义 1 提高g i s 的计算能力 在网格环境中存在大量的、可利用的计算资源和数据资源，本文设计了任务 管理和资源匹配服务，使用户可以突破本地资源的限制，动态地寻找到合适的资 源，有效地完成( 3 i s 计算任务。 2 成果可以折射到其他领域 本文虽然研究的是g i s 网格服务的任务管理和资源匹配，但是对于其他周 硕士学位论文 g i s 网格服务中任务管理和资源匹配的研究 样需要高性能计算以及相关数据资源的领域，例如天文计算等，也有借鉴的作用。 1 5 本文的组织和内容安排 本文余下的部分是这样进行组织的： 第二章介绍了国内外的相关工作，包括国家遥感应用工程技术研究中心设计 和实现的“适用于大规模地形分析计算的网格服务”、c o n d o r 项目中的一种资源 匹配方法以及资源选择框架，然后介绍了开放网格体系结构o g s a 的相关技术。 第三章首先提出了任务管理服务的总体结构，然后介绍了任务管理服务的设 计和实现，最后介绍了在g i s 网格服务中使用任务管理服务的流程。 第四章首先对g i s 计算中使用的两种资源提出了描述的方法，然后提出了资 源匹配服务的框架，最后介绍了资源匹配服务的实现。 第五章是对所实现的服务进行了测试，并对测试结果进行了分析。 第六章对本文的工作进行了总结，并对今后的研究工作提出了进一步的设 想。 第2 章相关工作和背景知识 2 1 国内外相关工作 相关工作包括对g i s 结合网格计算进行研究的国家遥感应用工程计算研究 所的r r 适合于大规模地形分析计算的网格服务”叭；对资源匹配进行研究的项目 主要有c o n d o r 项目和资源选择框架。 2 1 1 适用于大规模地形分析计算的网格服务9 1 国家遥感应用工程技术研究中心设计和实现的“适用于大规模地形分析计算 的网格服务”，主要研究通过提供系列网格服务，把计算和数据资源开放到因特 网，并使用s r t m 数据在这个系统上进行计算实验，这样凡是对数据感兴趣的 研究者都可以直接调用服务来获得感兴趣的结果，也可以编写自己的计算方法并 释放出来，从而形成数据、计算共享的研究环境。 该项目采用面向服务的体系结构o g s a ，封装了三个主要的服务工厂： 数据访问服务工厂 它通过调用一个封装了空间数据库访问功能的j a v a 接口来实现空间数据的 访问。服务里面规定了一致的数据访问接口，实现了数据访问的透明性。 分析计算服务工厂 分析服务工厂所创建的分析服务对外提供一系列分析计算接口，可以完成对 地形数据的各种分析处理功能。 地图发布服务工厂 地图发布可以使用o p e n g i s 的w m s 标准，也可以使用g s 厂商的w e b g i s 产品。此项目使用s u p e r m a pi s n e t 提供的地图发布功能，完成了计算结果 ( 地图) 在因特网上的发布。 此项目将分析计算服务工厂和地图发布服务工厂建立在提供服务的本地节 点上，所采用的方式是中央服务器的形式，它所能提供的计算能力受到服务器自 身的能力和负载的限制。 2 1 2c o n d o r 项目 分类广告( c l a s s i f i e da d v e r t i s e m e n t s ，c l a s s a d s ) 是用在c o n d o r 项目中的一种 资源匹配方法，它提供一种资源描述的语言分类广告语言( c l a s s a d sl a n g u a g e ) ， 硕十学位论文 g i s 网格服务中任务管理和资源匹配的研究 允许用户描述任意的资源请求，也允许拥有者描述他们的资源。c l a s s a d s 语言是 从属性名称到表达式的一个映射，在最简单的例子里，表达式就是简单常量( 整 型、浮点型和字符串型) ，而c l a s s a d s 就是一个性质表。它的主要目标是允许资 源和任务间的简单匹配，并保证任务在网格上的正确执行。如果两个包含特性要 求的逻辑表达式都被满足，那么c l a s s a d s 表达式匹配。匹配者被用来实现从请求 到合适的资源的匹配。当多个资源满足一个请求的时候，一个分级机制按照用户 提供的标准来将这些资源分类，并选择最佳的匹配。 c l a s s a d s 的语法简单、描述能力强大，但是由于c l a s s a d s 语言和匹配者被设 计用来选择一台单独的机器来执行一个任务，所以当一个任务需要多个不同机器 上的资源来协作完成的时候，它就显示出它的局限性。而且它使用的语法是属性 到表达式的映射这种方法，相 ：l x m l ，这并不是通用的方法。 2 1 3 资源选择框架1 1 1 在c h u a n gl i u ，l i n g y u ny a n g ，i a nf o s t e r ，d a v aa n g u l o 等人设计的资源选择框 架中发展了c o n d o r 的c l a s s a d s 语言，提出了e x t e n d e d - - c l a s s a d s ，以支持多资源 选择。匹配是在一个s e t 请求丰l l c l a s s a d ss e t 间产生的对s e t 的整体和s e t 中个体的 限制要在s e t 请求中表达，匹配的过程就是寻找满足要求的s e t ( e x t e n d e d - - c l a s s a d s 提供了一些特殊的语法，t y p e 用来描述s e t 的类型，m a x 、m i n 、s u m 可以来描述 某种整体要求：s u f f i x 类似于普通的字符包含，s e t s i z e 目1 1 是取得当前s e t 的大小) 。 瞄固 竺纠 奄 蓦哥 图2 1 资源选择框架结构 真正的匹配算法分两步：l ，过滤：去掉那些不满足个体要求的s e t ；2 ，建立 s e t 的过程是不断从剩余s e t 中寻找最优的s e t 放入c a n d i d a t es e t ，再将c a n d i d a t es e t 与 b e s ts e t e l 较，如果更优就替代当前的b e s ts e t ，这样不断进行直到没有剩余的资源 存在。在框架中存在一个发展了c o n d o r 的m a t c h m a k i n g 的s e tm a t c h i n g ，支持单一 和多重资源的选择，它同时提供了为用户个性化选择资源的接口。选择、构造、 一8 硕士学位论文g i s 网格服务中任务管理和资源匹配的研究 映射是整个资源选择的主要步骤。 图2 - 1 描述的是此框架的结构：m d s 是元计算目录服务( m e t a c o m p u t i n g d i r e c t o r ys e r v i c e ) ，g i i s 是网格资源信息服务( g r i di n d e xi n f o r m a t i o ns e r v i c e ) ， g r i s 是网格目录信息服务( g r i d r e s o u r c e i n f o r m a t i o ns e r v i c e ) ，它们是元汁算 目录服务的主要实现模块。n w s 是网络天气服务( n e t w o r kw e a t h e rs e r v i c e ) ， 提供网络的信息情况。而r s s ( r e s o u r c es e l e c t i o ns e r v i c e ) 中的r e s o u r c em o n i t o r 从m d s 中取得资源及其信息并完成暂存更新的任务，s e tm a t c h e r 执行匹配算法， m a p p e r 为可看做是特殊化的l i b r a r y ，面向用户。 r s s 虽然提供了一个可扩展的资源选择框架，但是它仍然不能很容易地满足 g i s 网格服务下的资源选择要求，主要表现在： 不利于面向服务的网格服务体系结构下的信息交换。r s s 所采用的资源描述 语言e x t e n d e d - - c l a s s a d s 虽然扩展了c l a s s a d s ，但是仍然采用的是名称和属 性对的形式。 没有专门的面向g i s 的资源匹配策略。r s s 提供的是通用的匹配策略，g i s 网格服务必须自行开发适合g i s 的策略。 2 。2 开放网格体系结构o g s a 本文对任务管理和资源匹配的研究基于开放嘲格体系结构o g s a ，并把g l o b u s 工具包3 2 版( c , t 3 2 ) 作为实现的基础。其中“任务管理服务”利用g t 3 2 的资 源分配管理( g r n ) 来管理任务；“资源匹配服务”利用g t 3 2 的信息服务来发 魂动态资源的信息。 2 2 1g l o b u s 资源分配稻管理 强2 - 2g r a m 概貌 g l o b u s 资源分配管理( g l o b u sr e s o u r c ea l l o c a t i o na n dm a n a g e m e n t ，g r a m ) 一9 * 硕士学位论文 g i s 网格服务中任务管理和资源匹配的研究 j 2 1 负责远程应用的资源请求处理、远程应用的执行以及远程应用的管理等工作。 用户可以根据资源描述语言r s l ( r e s o u r c es p e c i f i c a t i o nl a n g u a g e ) 来发出 任务的请求并交给g r a m 来处理。 从图2 - 2 【1 3 】中可以看出g r a m 对使用远程资源的作用 1 ”。g r a m 减少了使用远 程资源( 例如远程的计算系统) 所需要的机制的数量。本地系统可能使用各种不 同的管理机制( 调度器、队列系统、预约系统和控制接口) ，用户和应用程序开 发者需要学习的是如何使用g r a m 去请求和使用这些资源。这种能力与大部分 g t 3 2 组件所扮演的“沙漏”的角色是一致的：g r a m 是沙漏的瓶颈，在它上方是 应用程序和高层的服务( 例如资源代理或者元调度器) ，在它下方是本地控制和 访问机制，双方都需要和g r a m 一起协作，所以交互、应用程序接口和协议必须 最大限度地缩减。总的来说，g r a m 通过提供一个独立的标准化的接口来请求和 使用远程系统的资源来执行“作业”【i ”，从而简化了远程系统的使用。远程作 业的提交和控制是g r a m 的最通用的使用方法，用来支持分布式计算应用程序。 1 任务 任务( j o b ) ，也称为作业，是用户定义的将要被执行系统所完成的工作1 。 例如，用户需要在远程的计算节点运行一个程序，这个过程就是一个任务。在 g t 3 2 中，任务是用资源描述语言( r e s o u r c es p e c i f i c a t i o nl a n g u a g e ，r s l ) 来描 述的。 2r s l 2 r s l 2 是资源描述语言的第二版，它是基于x m l 的”1 。用r s l 2 描述的 任务，提交给远程的机器执行，执行任务的时候g t 3 2 使用标准的x m l 分析工 具来对其进行分析和验证，然后把这种通用的语言翻译成特定调度器的语言。从 下面的例子可以看到任务是如何用r s l 2 来描述的： 硕士学位论文 g i s 网格服务中任务管理和资源眄配的研究 j ；，j 誊蠢 。0 i ；| ； r s l ：p a t h i 曩 ；j 曩i。一 i 2x 一 _ * 一 ： 薯 一善誊j i 曩爱i 誊 叫 ：j ： | 萎 ； i 。 ! ? j 舞 ii ： 。? j ；( | ；鬻_譬i 耄 刖叫州这个n b l ：z 义仟璃还j21 、力回阴闪谷： 1 执行文件( e x e c u t a b l e ) r s l 2 里面规定的e x e c u t a b l e 可以是可执行文件或命令，它的范围比较广， 常见的有b i n i s ，j a va ，i a q a e ，等等。上面的例子中的e x e c u t a b l e 是b i n e c h o 。 2 输入、输出和错误报告 上面例子中分别指定了输入，输出和错误报告的路径，分别为d e v n u l l ， $ h o m e s t d o u t 和$ h o m e s t d e r r 。其中输出路径和错误报告路径里面用到了 变量替换，$ h o m e 默认为当前用户的主目录。 可见，通过指定远程计算节点运行程序所用的参数，r s l 2 描述了一个任务。 前面的这个例子比较简单，只指定了可执行文件名和输入、输出和错误报告，复 杂任务的描述除了这些，往往还包括执行程序的命令行参数、任务执行的目录、 硕士学位论文 g i s 网格服务中任务管理和资源眄配的研究 环境变量等等。 3g r a m 的体系结构 g r a m 的体系结构如图2 - 3 i t 3 1 所示。 图2 3g r a m 的体系结构 图中各主要组件介绍如下1 1 8 l ： 用户主机环境转向器( v i r t u a lh o s te n v i r o n m e n tr e d i r e c t o r ) 接受所有的s o a p 消息并将它们转发给用户主机环境。这个组件是核心的一 部分。 用户主机环境启动器( s t a r t e ru h e ) 这个j a v a 类由转向器用来解析对用户主机环境的调用。g r i d m a p 文件用来获 取针对特定主题域名的用户名。个u h e 就是一个用户在一台机器上的运 行环境。因为特定用户是在一个配置文件里维护的，故由用户名向u h e 的 端口号映射。当一个解析u r l 的请求进来，并有一个入口在配置文件中发 现，则目标u r l 就被构造并返回给转向器。如果在那个端口号上的u h e 没 堡主兰壁堡苎 鱼堡旦塑坚墨主堡箜篁里翌窒塑坚里丝! ! 墨 有启动，则s e t u i d l a u n c h 模块被用来作为一个用户启动一个u h e 。如果入口 在配置文件中不存在，一个预留端1 2 1 被选中，s e t u i d l a u n c h 模块被用来作为 一个用户在特定的端口号上启动一个u h e ，并且确认u h e 在运行后，本地 u r l 被返回给代理。配置文件也更新该入口。 新主机环境启动器( l a u n c hu h e ) 这个简单的j a v a 类用来调用一个c 程序，用用户帐号启动一个新的主机环境。 s e t u i dc 程序执行一个s u f o r k e x e c 的外壳脚本，启动u h e 。c 程序需要被 “s e t u i d ”r o o t 身份。当c 程序被编译后，l a u n c h s c r i p t s h 脚本的路径确定。 由一个用户启动一个新的主机环境，限制了r o o t 身份的