（计算机软件与理论专业论文）网格环境中虚拟组织服务子系统的设计与实现.pdf

信息工程大学硕士学位论文 摘要 网格环境下，资源和用户按照一定的策略被组织在虚拟组织( v 0 ) 中进行管理，资源 共享和协同建立在v o 基础之上。如何构建和管理虚拟组织，实现符合特定应用需求的资 源共享，是网格服务系统必须解决的关键问题之一。 本文所讨论的虚拟组织服务子系统( 以下简称子系统) 是特定网格应用环境下虚拟组 织构建与管理的一次具体实践。本文围绕高性能计算环境特点这一中心，通过对具有复杂 内联关系的应用环境的抽象描述，将广域环境下实现特定应用目标的异构资源共享问题， 转换为v o 成员间的资源共享问题；而后，通过v o 基本策略定义以及资源共享管理模型 构建，加以解决；并以此为依据，遵循层次化、模块化思想对孑系统功能进行划分，将其 分为四层：门户层、服务层、逻辑功能层和数据持久层。在各层功能模块实现过程中，综 合运用基于角色的访问控制模型、o 瓜映射工具、连通图的基本算法、a x i sh a i l d l e r c h a i n 、 s s l 以及刚a 等解决管理复杂度简化、j a v a 对象持久化、v o 成员身份转换二义性、资源 访问控制、子系统内部通信安全以及门户视图开发等问题，最终为网格用户提供统一、友 好的系统管理和资源使用方式。 最后，利用j m e t c r 对子系统进行并发和压力测试。测试数据表明，子系统性能稳定， 具有满足现有应用需求的并发能力。 关键词：网格；虚拟组织；虚拟组织服务子系统；高性能计算；资源管理；用户管理； 凭证； 第v i i 页 信息工程大学硕七学位论文 a b s t r a c t i nt h eg t i de n v i r o n m e n t r e s o u r c e sa r e l l a b o r a t i v e l ys h a f e di n 也ef b 彻o fv i n l i a l o r g a n i z a t i o n ( v o ) w h i c hi s ad y i l 嘣c l l e c t j o no fd i 秭b u 涮r e s o u f c e sa n d 砌i v i d u a j s ， d e f i n e da c c o r d i n gt oas e to fr e s o u r c es h 撕n gf u l e s ，h o wt of 砬i l i t a t et h ec o 枷t i o no fv o s t o m e e tt h er e s o u r c cs h 撕n gr e q u i r e m e mo fc c n a i n 印p l i c a t i o ni s t l l ek e yi s s u co fg r i ds e r v i c e s y s t e m t h ev i m l a lo r g a n i z a t i o ns u b s y s t e m ( v o s ) d i s c u s s e di nt l l i sd i s s e r t a t i o ni s 卸c x p l o r a t o r y p r a c t i c eo fv o sc o n s 打u c t i o na n d 衄m a g e r l l e mi nh i 曲p e r f o 珊a l l c ec o m p u t i n ge n v i r o 姗e n t ( h p c e ) t 1 u 曲a b s 恤t i n gm er e s o u r c e sh e t e r o g e n e o u sf e a t u r e s 强dt h ec o m p l e xl i i l i 【st h a t l i ei i lt h eh p c e sc u 玎e mr e s o 啉e ss 岫n gs t a t u s ，n l er e s o u r c es h 撕n gp r o b l e m si i lh p c ea r e t r a n s f o m e di n t or c s o u r c es h a r i n g 锄o n gv 0m e m b c r s o nt h i sb a s i s ，b yd e f i n i n gt h ev o sb 舔i c s t r a t e 西e s ，ar e s o u r c em a n a g e m e n tm e c i l a m s mi sc r e a t e d ，w t l i c hc o n s i s t so fv 砷】a lo 删绷i o l i ， m a i l a g e m e n td o 鼢i n ，鲥d 辩n r i c c s ，r e s o u r c eo w n e r s h 1c o n f o 珊i t y 研t h 也es 呲g i 韶a n d r e s o u r c em a i l a g e m e mm e c l l a l l i s m ，t h ev o s d e s i g na d o p t st 1 1 em o d u l a r i z a t i o np a t t e ma n d 锄p h 船i z e s l es o f h v a r ch i e m r c h y a c c o r d i n gt o 、】l j h i c hm ev o s i sd i v i d e di n t of 0 i l rl a y e r s ： p o r t a ll a y e r ，w 曲s e r v i c el a y e r l o g i cf i m c t i o nl a y a n dd a t ap e r s i s t e n c el a y e ld u r i n gt h e i m p l e m 肋t a t i o n ，r b a c ，o b j e c 棵e l a t i o nt o o l ，a x i s sh 卸d l 盯- c h a i l l ，s s la r eu s e dt o h i e v c r e l i a b l er c s o u r c e ss h a r i n ga n de n s u r et h es e c u r i t yo fi m e m a lc o i i u n u n i c a t i o n ，d e p t h f i r s ts e a 妯 i l lm ec o 衄e c t e dg r a p hi sa d o p t e dt oa v o i dt h ec o n 如s i o ni nt l l ec o l l r s eo f v 0m e m b c r si d e i l t i t y n 锄s f o m 脚i o n ，a i l di na d d i t i o n 廿l er j at e c h n o l o g yi se m p l o y e dt os u p p l ya 衔e n d l yp o r t a lf o r g r i du s e r s a tm ee n do f t h ed i s s c r t a t i o n ，t h ev o si st e s t c db yj m e t e r t h et c s t i n g 妇t ai n d i c a i e st h a tt h e s u b s y s t c m0 、n st h ea b i l i t yt 0m e e t c u n e n tc o n c u r r c n ta c c e s s i n gd e m a n do f h p c e k e yw o r d s ：秭d ；v i n 嘲0 r g a i l i z a t i o n ；v i n u a lo r g 砸z a t i o ns u b s y s t e m ；h 岫p e 渤r n l a n c e c o m p u t i n g ；r e s o u r c em 锄a g e m e n t ；u s e rm 锄a g e m e m ；p a s s p o 吒 第v i i i 页 信息：l 程火学硕士学位论文 表目录 表l 资源管理功能分配2 9 表2 用户管理权能分配表 表3 虚拟组织管理权能分配表2 9 表4 独立模块并发性能测试数据6 3 表5 独立模块并发性能测试结果6 3 表6 组合模块并发性能测试数据6 4 表7 组合模块并发性能测试结果6 5 表8 独立模块并发压力测试数据6 6 表9 独立模块并发压力测试结果6 6 表1 0 组合模块并发压力测试数据6 7 表1 l 组合模块并发压力测试结果6 8 第l v 页 信息工程大学硕士学位论文 图目录 图l 虚拟组织服务子系统在项目中的位置，2 图2 高性能计算资源共享模式8 图3 资源的全生命周期一1 0 图4 网格服务系统安全模型1 2 图5 采用嘶d m a p 用户一资源授权映射方式资源的本地映射文件1 5 图6 网格服务系统用户划分1 7 图7 虚拟组织服务系统策略层次图，1 8 图8 虚拟组织内资源访问策略2 0 图9 虚拟组织间的信任传递2 3 图1 0 虚拟组织生命周期2 3 图1 l 基于虚拟组织的资源管理基本模型2 4 图1 2 分层资源管理机截2 5 图1 3 资源使用权分配流程2 6 图1 4 虚拟组织内用户管理基本模型2 6 图1 5 虚拟组织服务子系统总体结构框架2 7 图1 6 门户层视图组织结构2 8 图1 7 逻辑层基本功能模块组成3 0 图1 8d a 0 模式工作流程，3 2 图1 9 网格服务系统开发平台拓扑图3 3 图2 0 虚拟组织服务子系统运行环境3 4 图2 l 用户认证凭证颁发流程图3 8 图2 2 凭证管理模块属性配置文件3 9 图2 3 用户授权凭证颁发流程图3 9 图2 4 授权凭证颁发模块u m l 类图4 0 图2 5 一级代理文件存储流程4 1 图2 6 二级代理的颁发机制4 l 图2 7 资源管理模块数据存储结构4 2 图2 8 用户管理模块数据存储结构4 3 图2 9 虚拟组织管理模块数据存储结构4 4 图3 0 信任传递过程可能存在的问题4 5 图3 1 服务层u m l 类图4 9 图3 2u s e r s e l f s e i c e 部署文件5 0 图3 3 门户层主要界面5 l 第v 页 信息1 = 程大学硕士学位论文 图3 4a x i sh a n d l e rc h a i n 5 2 图3 5 子系统日志配置文件5 3 图3 6 子系统主要通信过程5 4 图3 7 用户通过门户的网格登录流程5 6 图3 8 系统管理员用户管理典型场景时序图5 6 图3 9 域管理员用户管理典型场景时序图5 6 图4 0 资源管理典型场景时序图l 5 7 图4 1 资源管理典型场景时序图2 5 7 图4 2 虚拟组织创建场景时序图5 7 图4 3 针对虚拟组织的资源授权场景5 3 图“虚拟组织内角色创建和角色权限设置时序图5 8 图4 5 虚拟组织成员注册时序图5 8 图4 6 虚拟组织成员角色分配时序图5 9 图4 7 网格用户基于g f t p 的数据传输过程5 9 图4 8e c l i p 始c a p 测试数据6 0 图4 9 网格服务系统实验环境6 1 图5 0 认证凭证与授权凭证颁发平均时间对比6 2 第v i 页 原创性说明 本人声明所提交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表和撰写 过的研究成果，也不包含为获得信息工程大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并标示谢 意。 学位论文题目： 学位论文作者签 作者指导教师签 学位论文版权使用授权书 本人完全了解信息工程大学有关保留、使用学位论文的规定。本人授权信息工程大学 可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允许论文被查阅和借 阅；可以将学位论文的全部或部分内容编入有关数据库迸行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 学位论文题目： 学位论文作者签 作者指导教师签 信息：r 程大学硕士学位论文 第一章绪论 1 1 网格与虚拟组织 “虚拟组织”一词最早出现在美国学者普瑞斯( k e 加e t hp r e i s s ) 、戈德曼( s t e v e n l g o l d m a n ) 和内戈尔( r 0 9 e r m n a g a l ) 1 9 9 1 年向美国国会提交的2 l 世纪制造企业战略 的报告中。虚拟组织在当时，指的是两个以上的独立实体，为迅速向市场提供产品和服务， 在一定时间内结成的动态联盟，将原有分散的技术资源、入力资源和管理资源快速有效的 整合起来，以较低的成本实现组织目标。 近年来，网格逐渐成为分布式系统研究和应用的一个热点，与传统分布式系统不同， 网格关注广域地理分布环境下的动态、大规模资源共享，更易于实现动态环境下的海量数 据共享和面向复杂任务的协同工作。从本质上说，网格是一个集成的计算与资源环境，它 能够充分吸纳各种计算资源，并将它们转化成一种随处可得、可靠、标准而且经济的计算 能力【1 1 。网格环境下，资源与用户通常被组织在虚拟组织下进行管理【2 1 ，资源共享和协同 是建立在虚拟组织( 以下简称v o ) 基础之上。虚拟组织在网格环境下，是指一些根据资源共 享规则定义的个体和机构的集合【3 1 。而网格技术的目的就是要支持动态虚拟组织对资源的 共享和协同使用【3 1 。网格服务系统，通过提供相应的服务及策略，为v o 的构建与运作提 供支持【4 l ：通过v o 的构建屏蔽底层资源在体系结构、归属性等方面复杂的异构性，为用 户提供统一、标准的资源使用方式；同时，通过v o 对具有复杂内联关系的分布式系统的 抽象描述，将广域环境下实现特定应用目标的异构资源共享问题，转换为v o 成员问的资 源共享问题1 4 j 。 综上所述，v 0 是网格服务系统的基本管理单元，更是网格服务系统的核心组成；网 格虚拟组织研究，是网格研究的重要部分；网格虚拟组织的构建与管理，是网格计算系统 实现特定应用环境下的资源共享必须解决的关键问题。 1 2 课题背景 1 2 1 课题来源 本课题来源于“网格服务系统”项目，该项目是国家某重点项目的子项目。在论 文以下的章节中，“网格服务系统”项目以及该项目所构建的系统一律简称为“网格 服务系统”。 网格服务系统是网格在某特定高性能计算领域的实现，它将超级计算机、集群等高性 能计算资源聚合起来，形成面向商性能计算用户的网格计算环境。项目的总体技术目标是： 面向某特定高性能计算领域，通过需求牵引、技术推动的方式，研究、构造相应的系统软 件和开发环境，建立以超级计算机为核心的网格计算平台，使超级计算机能够提供更高层 次的服务，进一步发挥其效能，更好地服务于国家建设。 第l 页 信息工程大学硕士学位论文 网格服务系统软件层次结构主要由应用层、系统层、核心层以及主机环境构成。 应用层包括门户子系统和客户端。客户端为门户子系统和用户自己编写的应用程序提 供接口，客户端的开发基于门户子系统对系统层各应用服务的接口定义。 系统层包括虚拟组织、元调度和全局信息三个服务模块以及数据持久层。 核心层包括物理资源加入网格环境中所需部署的服务，主要为系统层服务提供底层支 持。 主机环境是运行网格服务需要配置的基本系统环境。 1 2 2 课题简介 正如入类社区必须要有一个管理机构来负责处理社区中的各类事务，对内部成员的资 源分配进行管理，社区才能以有序的方式稳定运作一样。网格环境下，必须要有一个特定 的模块对网格用户信息，资源访问权限分配等进行统筹管理，使得用户的资源访问以灵活、 可控的方式进行，网格才能向用户提供安全、稳定的资源服务。网格服务系统中，虚拟组 织服务子系统的主要任务就是通过对高性能计算环境中具有复杂内联关系的资源使用管 理现状和资源异构性的抽象描述，构建基于虚拟组织的资源共享模式和管理模型，解决特 定高性能计算领域跨域的资源共享和管理问题。 1 2 2 1 虚拟组织服务子系统设计与实现目标 在网格服务系统中，虚拟组织服务子系统设计与实现的目标是：针对高性能计算资源 的使用管理的特点，引入虚拟组织的概念建立灵活安全的资源共享和管理模式；同时，通 过凭证颁发和检测，实现单点登陆和可控的跨域资源共享，为用户提供统一、安全的网格 资源使用方式，为系统提供简捷、有效的用户、资源管理服务功能，使得以超级计算机、 集群计算机为核心的高性能计算资源通过子系统能够为广大高性能计算用户提供更高层 次的服务。 1 2 2 2 虚拟组织服务子系统在网格服务系统中的位置 子系统( 即虚拟组织服务子系统) 位于网格服务系统的系统层，负责系统内的资源、 用户管理，以及用户进行网格资源访问所需凭证的颁发。 蚺译作业提交 文件管理凭证莸取应用发布 敲据部信息壹懈 图l 虚拟组织服务子系统在项目中的位置 第2 页 信息工程大学硕士学位论文 子系统与其他系统基础服务之间的关系如图l 所示。网格服务系统基于凭证检测的资 源访问控制方式，使得用户对系统内基础服务模块的访问( 如作业查询、应用发布等操作) ， 以及对网格计算资源的使用( 与资源相关的基础应用服务如：作业提交、数据传输、文件 管理等) 都需要持有系统颁发的合法凭证支持。这使得负责用户凭证颁发与检测的予系统 在网格服务系统中处于核心地位。 1 3 网格虚拟组织相关研究现状 1 3 1 国外研究现状 目前国外现有网格项目中虚拟组织相关管理服务有：社区授权服务( c o 眦眦时 a u t h o r i z a t i o ns e r v i c e ，以下简称c a s ) f 5 】【6 】、虚拟组织成员管理服务( v i m 谢o r g a l l i z a t i o n m e m b e r s h j pm 锄g e m e ms y s t e m ，以下简称v o m s ) i7 l 以及斯坦福大学的p e i 洲i s ( p r i v i l e g e 觚dr o i em a i l a g e m e n ti n 觚n u c es t a i l d a r d sv a l i d a t i o n g ，详见【8 】) 等。我们主要对影响力较大 的前两者进行介绍。 1 3 1 1 社区授权服务 社区授权服务是由地球系统网格( e a r n ls y s t e m0 耐，e s g ) 组织提出的，得到了 g 1 0 b u s 【9 l 币目的支持，现己发布了第二个版本，c a s 提出了在一个v o 内实行策略管理和 对服务实行强制性策略的方案，在每一个v 0 内部建立一个c a s 服务器来维护社区的策略， 在用户的代理证书中加入c a s 的授权声明( 既策略声明) 来实现授权的访问控制。 用户要使用v o 中的资源时，首先要同c a s 服务器打交道，c a s 服务器根据用户请 求和其在v o 中的角色委托一定的权限给用户。这些权限以能力( c 印a b i l “i e s ，c a s 委托 给用户的扩展的x 5 0 9 证书) 的形式标识。用户可以将这些c a p a b i l i t i e s 出示给资源提供者 获取代表v o 的访问权限。用户最终得到的是资源提供者授予c a s 服务器的权限集合与 c a s 服务器授予用户的c a p a b i l i t i e s 中的权限集合的交集。 资源提供者和资源消费者通过c a s 服务器建立信任关系，使得加入v 0 的实体只需要 同c a s 服务器打交道，因此扩展v o 变得相当容易。资源提供者提供了哪些共享资源，这 些资源用于什么目的等都可以直接在c a s 服务器中描述( c a s 提供了策略描述语言) ，这 又使得v o 策略变化可以被灵活地反映。 1 3 1 2 虚拟组织成员服务 虚拟组织成员服务( n u a l0 唱a i l i z a t i o nm e m b e r s h i pm a i l a g e r n e n ts y s t e m ，v o m s ) 是 在欧洲d a t ag r i d 【1o 】和d a t a1 i a g 【l l l 项目框架下基于虚拟组织的网格资源访问控制和授权的 解决方案。 v o m s 和c a s 在体系结构上是很相似的，他们都由服务中心发布策略声明给用户， 用户将该声明提交给资源从而获得虚拟组织授予的权限。它们的不同主要是在于：c a s 的 策略声明直接包含了权限，并不需要由资源提供者来解释权限；而v o m s 的策略声明包含 一个角色或组成员的列表，用户将这个组关系策略声明发送给资源提供者，由资源提供者 第3 页 笪璺三堡查堂堕主兰生笙塞 基于本地的组策略来授予用户权限。v o m s 可以看作是分布式的授权机制，它为虚拟组织 颁发的带属性的证书( x 5 0 9 证书的扩展) ，将用户在虚拟组织中的身份，写入属性证书， 可以说它是基于角色的授权方式。 用户获取v o m s 属性证书后可以访问权限范围内的资源，也可以请求获取其权限子 集。这使得v o m s 具备了分布、灵活的特点，但是它颁发的属性证书还不具备标准性，也 没有考虑遵循w e bs e r v i c e 安全标准。 1 3 2 国内研究现状 目前国内也己建立了一系列重要的网格项目如国家8 6 3 计划中的c n g r i d 【1 2 】、教育部 的中国教育科研网格c l l i n ag r i d 项目【1 3 】，以及中科院的织女星网格服务系统【1 4 】。由于论文 篇幅有限，在此我们仅对织女星网格服务系统中的社区服务和中国教育科研网格的域管理 器进行介绍。 1 3 2 1 社区服务 织女星网格服务系统通过社区服务( a g o ms e r v i c e ) 进行社区管理。社区服务主要负 责对整个社区资源进行访问的授权以及对社区资源和用户进行常规的维护和管理。织女星 网格包括授权服务( a u 出o r i z a t i o ns e i c e ) 、资源管理服务( r e s o u 勰m a n a g e m e n ts e r v i c e ) 和用户管理服务( u s e rm 锄a g e m e n ts e r v i c e ) 【1 4 】。 授权服务实现的是授权代理功能，它负责根据社区服务请求签发一张访问资源所需的 令牌。为了增强系统的通用性，该系统通过配置不同的授权服务颁发两种格式的令牌：x 5 0 9 属性证书和安全断言标记语言【”1 断言。资源管理服务用于对注册到社区的服务进行集中管 理，并在用户访问资源时完成有效资源到虚拟资源的映射转换。在转换的同时它还提供资 源选择策略所需要的资源的动、静态属性信息。用户管理服务用于指定并管理社区内用户 所具有的角色、组级别等用户降低管理复杂度的主体属性【1 4 l 。 1 3 2 2 域管理器 教育部在“十五”2 l l 工程公共服务体系建设中设立了“中国教育科研网格( c m m g f i d ) ”重大研究专项，使用网格技术将中国教育科研网( c e r n e t ) 上分散的、异构的、 局部自治的巨大资源整合起来，通过有序管理和协同计算，消除信息孤岛，发挥综合效能， 实现资源的广泛共享、有效聚合、充分释放，提供高效的计算服务、数据服务、信息服务 等。 c h i n ag r i d 公共支撑平台( c h i n ag r i ds u p p o r tp l a t f o m l ，以下简称c g s p ) 是为c i l i i l ag r i d 的建设和发展而研制的网格核心中间件【1 3 】。c h i n ag r i d 是通过域管理器，按照域进行组织 的。域是指可以作为一个独立的网格对外提供服务的系统，一个域可以是一个专业网格， 也可以是一个区域网格。域管理器的主要功能是负责域内的用户管理、同志、记账、以及 与其他域之间的交互，使得域管理员可以方便地对本域的用户、服务、资源、域间交互策 略等进行管理【1 3 】。 第4 页 信息工程大学硕士学位论文 1 3 3 本课题与其它同类课题的区别 考察g l o b u s 的c a s ，织女星网格项目中的a g o r as e r v i c e 以及c l l i n a g r i d 域管理器， 可知这些系统建立的目的都是针对各自项目的特点，解决不同应用环境下的资源共享和用 户管理问题。如g l o b u s 项目关注网格关键理论的研究和实现，其目的是实现基于v o 的局 部自治，则c a s 侧重于实现v 0 可扩展性和共享策略定义的可描述性和灵活性；而 c h i n 娟融d 的目标是整合中国教育科研网上分散、异构的局部自治资源，因而，域管理器侧 重于实现资源整合和协同共享。 本课题隶属于网格服务系统项目，项目来源以及目标决定了其与其它网格项目( 如 g l o b l l s 、c h i i l a g r i d 等) 有两大重要区别； 网格服务系统强调高性能计算特性，更侧重于资源整合； 高性能计算领域内的资源，在异构性和使用管理模式上具有鲜明特性。 目前国内外已有的这些虚拟组织管理系统虽然解决了各自网格应用环境下数据、资源 的访问控制，但是不能够满足高性能计算环境下异构资源整合的需求，更重要的是它们的 资源共享机制不符合应用环境下的资源使用管理模式；因而，网格服务系统中虚拟组织的 构建与管理，不能借助现有项目中的构建策略与管理模式实现。为了实现异构资源整合以 及灵活的跨域资源共享，网格服务系统需要构建出符合应用需求的虚拟组织及其资源共享 管理模型。 面向特定高性能计算的项目目标决定了本课题与其它同类课题问的差异，是课题的难 点所在。子系统的设计与实现过程必须充分考虑这些高性能计算资源的各种特性，包括使 用模式、管理模式、安全模型等，使得对应用环境的抽象尽可能的与高性能计算资源原有 特性保持一致。 项目需求决定其目标，与其它同类课题相比，本课题在适用环境上具有鲜明的特性； 在设计目标上更侧重于通过虚拟组织的构建与管理，解决特定应用环境下的异构资源整合 和跨域共享问题；在实现目标上更侧重于为网格用户屏蔽底层资源复杂的异构性，提供统 一、安全的资源使用方式。 1 4 本文的组织结构 论文行文分为六部分： 第一章绪论。本章首先介绍网格与虚拟组织的关系；而后，对课题背景进行描述， 并对虚拟组织服务子系统在网格服务系统中的作用、功能要求和位置进行描述；最后，对 国内终虚拟组织研究现状进行介绍。 第二章虚拟组织服务子系统需求分析。对本课题所涉及的特定领域内的高性能计算 资源管理使用现状分析是确定虚拟组织服务子系统功能设置的重要依据。本章从管理模 式、使用方式、安全模型等方面对高性能计算资源使用现状进行描述和分析，并在计算资 源接入网格环境的特殊前提条件下给出网格服务系统对子系统内虚拟组织构建、资源和用 第5 页 信息工程大学硕士学位论文 户管理以及安全性等方面的需求。 第三章虚拟组织服务子系统的设计。本章详细描述了网格服务系统中虚拟组织服务 子系统的设计。本章首先介绍了子系统的设计要求；而后对网格应用环境下资源共享模式 给出了抽象描述，以此为基础搭建了网格服务系统用户、资源管理基础模型；在此基础上， 给出了虚拟组织基本策略定义并构建虚拟组织管理员、域管理员、系统管理员、资源所有 者四层资源共享管理机制。最后，给出了予系统的层次结构并对各层的模块组成以及功能 设置等进行划分。其中虚拟组织构建的基本策略定义以及系统基础管理模型和虚拟组织共 享管理模型设计是本章介绍的重点。 第四章虚拟组织服务子系统的实现。本章主要对虚拟组织子系统各组成模块的具体 实现进行描述，是论文的核心部分。子系统的设计实现过程中，综合运用0 瓜殃射工具、 s s l 、a x i s 的h a n d l e r - c 1 1 a i n 、富应用等技术手段以及图论中的基本算法解决实现过程中遇 到的问题。本章通过各模块相关u m l 类图、核心工作流程图以及数据存储结构图，清晰 的描述了子系统的实现细节，体现了软件工程思想、工具在子系统代码实现中的应用；同 时借助核心门户截图，以及子系统使用的典型场景图，对子系统实现结果给出了较直观的 展示。 第五章虚拟组织服务子系统性能分析。首先利用e c l i p s ec a p 软件对系统的实现代码 进行评测，并给出了评测数据。这些测试数据反映了子系统代码具有良好的结构，基本符 合测试工具所定义的理想代码的标准。而后，利用j m e t e r 对子系统核心功能模块进行并发 测试和压力测试，测试数据表明子系统性能良好，具有满足现有系统需求的耐压能力。 最后是结束语，对全文进行总结，给出下一步工作的一些设想。 第6 页 信息丁程大学硕十学位论文 第二章虚拟组织服务子系统需求分析 子系统主要功能是为面向特定高性能计算领域的网格服务系统提供资源、用户管理服 务，整合分布在广域网的资源，为上层用户屏蔽底层资源复杂的异构性：同时根据业务需 要建立基于虚拟组织的资源共享模式和资源、用户管理模型，为虚拟组织成员提供全新的、 更自由、更方便的计算资源使用方式。对该计算领域内资源使用管理情况和资源所有者对 资源安全关切进行分析，对构建出符合实际应用需求的资源共享模式和用户资源管理机 制，具有至关重要的指导意义。 2 。1 高性能计算环境概况 本课题面向的高性能计算环境是以超级计算机为核心、以各应用单位集群计算机以及 其它计算资源为重要支撑的分布式计算环境。 超级计算机、集群计算机以及其它计算资源，这三种资源是当前应用领域的主要计算 资源，具有鲜明的应用特性。具体表现在以下两个方面： 复杂的异构特性。计算资源作为应用系统中重要的计算力量，面向专有计算课题、计 算领域设计与构建。这些计算资源闻的体系结构、操作系统、软件环境以及安全模型 等均具有较大的差别。 复杂而严格的使用管理模式。计算资源具有复杂而严格的使用与管理模式，各个资源 使用、管理模式互不相同甚至存在某种程度上的矛盾。 2 ，1 。1 资源异构特性 高性能计算环境下资源的异构特性主要集中于以下几个方面：硬件、体系结构、操作 系统、软件环境以及安全模型等。与虚拟组织服务予系统相关的特性主要是安全模型。在 网格服务系统中，资源主要包括两大类型：集群和超级计算机。因而子系统的对资源异构 性的考虑分析主要集中在集群和超级计算机采用的安全模型 根据实际调研考察知，集群安全级别要求较弱，其安全控制主要是基于用户名密码的 安全认证体系，安全控制工作主要由操作系统实施，允许一定的特权用户存在。超级计算 机则具有较严格的安全控制体系，采用基于r s a 密码体系的i c 卡认证用户，存在防火墙 保护系统安全，防火墙存在单项穿透要求。超级计算机系统不倾向存在特权用户。 2 1 2 资源使用管理模式 高性能计算环境下，资源主要采用的是以计算中心为中心的星型资源共享模型( 如图 2 所示) ，资源按所属应用单位相对集中的分布，一般情况下，某一应用单位的用户只能使 用计算中心站和本单位内计算资源，不能使用其他单位资源。由于大型计算资源维护需要 的人力、物力消耗较大，计算资源、存储资源十分珍贵，即使是单位内部的共享往往也是 存在种种限制的，对它们的访问需要资源所有者的批准才能进行。通过了资源所有者的层 第7 页 信息工程大学硕士学位论文 层审批后，用户对本地资源的访问操作最终转化为某个本地账户对本地系统的操作，本地 系统采用基于u n i x l i n u x 用户授权模式对操作进行限制。这里的本地资源账户被称为“本 地用户”。 图2 高性能计算资源共享模式 高性能计算环境下，根据不同的安全级别，不同类型的资源采用不同的用户本地身份 映射方式，即使同类资源由于管理者的安全关切不同采用的用户本地身份映射方式也可能 各不相同。 超级计算机具有严格的本地授权、映射机制，使用前必须经过本地账户( “本地用户 名”+ “口令”+ “i c 卡或u s b k e y ) 认证。用户查看超级计算机资源信息以及向超级 计算机提交作业时，都需要出示超级计算机本地账户和口令。用户到本地的身份映射 由用户指定映射目的，由超级计算机的安全系统确定用户身份映射结果，该过程需要 用户参与。 对于某些集群，用户身份映射机制通过本地资源管理者对本地身份映射文件( 如 g r i d m a p f i l e ) 进行配置来实现。用户到本地的身份映射根据配置文件中指定的身份进 行，该过程不需要用户参与。 其它一些安全级别比较低的资源，自身不支持本地映射表，对授权和映射限制相对宽 松，它们信任和支持所属管理域的管理员( 一般为厅、处管理员) 的授权。用户身份 映射目的，需要由管理员事先指定。 在这种应用环境下，网格服务系统中资源使用需要遵循如下原则： 超级计算机按照原有的用户管理模式( 即由管理中心掌握和分配本地账户的模式) 对 各应用单位用户进行管理。用户可以使用超级计算机资源的前提是必须持有超级计算 机本地账户身份。 集群和其它计算资源，由资源所有者在本地账户中创建g r i d 用户组，该组中的用户都 是网格映射账户。网格用户通过本地账户的身份映射来达到资源的使用目的。 2 2 子系统内虚拟组织构建与管理需求 2 。2 。1 虚拟组织构建需求 如2 1 2 小节所述，由于某些资源( 如采用基于本地身份映射文件进行用户身份转换 的资源) 要求每一个访问资源的全局用户都需要在本地资源服务器上拥有一个自己的账 第8 页 信息工程大学硕士学位论文 号，每一个资源服务器都需要维护一个庞大笨拙的全局本地映射表，这种授权机制难以扩 展到拥有大量资源和大量用户的大规模环境中。同时在实际应用过程中，往往需要进行跨 域的临时共享。例如一些重要作业执行，需要多用户跨域共享资源。而这种共享关系在作 业来临时建立，在作业执行完成后宣告解除。在现有的资源管理模型下，要满足这种共享 需求，各域管理员将要针对各用户进行单独授权，而且在作业完成时，需要手动收回对各 用户的授权。这一过程十分繁琐，而且一旦授权或权限回收过程出现失误，将会影响作业 的执行和资源安全。现有的资源管理模型缺乏基于全局策略的具有良好扩展性的访问控制 机制。针对目前高性能计算环境中资源授权机制存在的问题，我们需要引入虚拟组织的共 享方式，在现有资源管理使用模型基础上实现灵活、高效的资源共享。 2 2 2 虚拟组织管理需求 网格服务系统设计的目的是为高性能计算用户提供灵活、便利的计算资源使用方式， 资源、用户是服务系统的重要组成，因此，资源管理，用户管理，资源一用户映射是子系 统设计必须要考虑的重要因素。 2 2 2 1 资源管理目标 在网格环境下，尽管资源共享是目标，但共享是相对的，拥有是绝对的。资源共享都 是有条件的，只有合法的授权用户才能进行资源访问。每个资源都有自己的所有者，资源 所有者对管理的资源拥有绝对的管理和使用权。专用资源只能被专人访问，不同级别的用 户在使用资源时得到的权限也不同。网格资源管理的主要目标就是在现有的资源管理模式 基础上，实现灵活的资源共享。网格环境下的灵活、有效资源管理，既是网格资源安全的 重要保证，也是吸引资源所有者加入网格进行资源共享的关键因素。 网格资源管理需要解决网格环境下的资源的描述、组织和管理等关键问题，把网格中 分散的各种资源管理起来，使多个资源请求者可以共享使用网格中的同一个资源，一个资 源请求者可以根据业务需要同时或先后使用网格中的多个资源而不需要资源请求者付出 额外的劳动。 在网格环境下，资源所有者对资源的使用是否保有控制权、网格用户对资源使用是否 是受控的、资源能否拒绝非法访问，对资源所有者是否愿意将资源加入网格起着决定性的 作用。网格环境下资源管理的目标包括如下内容： 根据高性能计算环境下用户资源使用特点，对资源进行抽象，建立符合当前资源管理 现状的基础资源管理模型。 协调资源的共享使用，既要支持多个用户对单个资源的需要，也要支持一个请求者对 多个资源的使用需要。 为资源所有者以及资源管理者提供资源管理服务。资源管理服务除了管理资源的使用 过程外，还要管理资源的生命周期。资源的生命周期包括从资源注册、资源授权到资 源注销的整个过程。全生命周期的资源管理是实现网格资源管理的前提，资源管理要 第9 页 信息工程大学硕士学位论文 达到自己的目标需要其他的模块如信息服务提供帮助。资源的全生命周期包括不同的 状态，如图3 所示。 图3 资源的全生命周期 网格虚拟组织是建立在网格资源管理模型之上的一种资源管理和共享方式。网格资源 管理偏重的是对网格资源的抽象，而基于虚拟组织的资源管理则偏重于网格资源的共享。 因此虚拟组织中的资源管理除了要满足以上的要求外，还要对资源在虚拟组织内部共享策 略的定义、执行等进行管理。 综上所述，网格虚拟组织的资源管理对内部资源共享策略提出了以下要求： 虚拟组织共享策略的定义要允许资源的动态加入与撤出。资源加入与撤出操作不能影 响组织内部其它资源的共享。 虚拟组织共享策略的定义要求是安全的、无二义的。策略定义的成功与否直接决定着 网格资源的安全。共享策略包含虚拟组织中资源如何加入、如何分配、用户权限分配 方式等必要信息，这一策略必须是无二义的。 虚拟组织内部的资源共享策略能够被严格的执行。资源共享策略执行状况直接决定着 虚拟组织资源共享的成败，也是吸引资源所有者加入虚拟组织进行资源共享关键因素。 2 2 2 2 用户管理目标 在网格中，用户数目和资源数目都比任何传统的系统要大得多，建立网格用户管理机 制，适应网格本身的特点也就成了网格技术走向成熟的必要条件。网格环境下的用户管理 包括用户i d 和用户信息以及行为的管理、用户对资源访问控制和单点登录( s i n g i e s i g l l 0 n 【1 6 】) 、网格用户和资源方本地用户的映射3 个层次的问题，涉及了全网格、管理域 和资源方本地3 个不同范围。网格中的用户包括多个级别，各个级别的用户权限不同，就 是同一级别的用户权限也会千差万别。网格用户管理除了要维护与用户主体相关的内容和 用户的登录、退出等简单的用户行为外，还要考虑与网格安全等服务的关系，用户对资源 的访问控制等其它行为【1 7 】。建立用户管理是网格计算的难点，也是网格服务系统中必不可 少的部分，关系着系统成败。 目前比较有影响的网格研究计划有g l o b u s 、l e g i o n 1 8 】等，他们都是将研究的重点放在 安全性，在安全系统中集成了一部分用户管理的功能。我们的目标就是将用户管理部分设 计成一个独立的模块，在网格范围内使用统一的用户管理系统。网格服务系统的用户管理 应当能够达到以下功能耳标： 第1 0 页 堡：垦三堡奎堂堡主堂堡兰壅 用户单点登录。网格用户只需要进行一次身份验证，即可使