（计算机应用技术专业论文）openpbs系统接入globus30平台的研究与实现.pdf

上海人学硕士学位论文 ! 堕! ! 塑型! 坐! ! 型! ! ! ! ! 塑吐型堕! i 堡! ! 塑 摘要 p b s 是目前已有的集群作业管理系统中颇具代表性和影响力的一种。p b s 有 o p e n p b s 和p b s p r o 二个系列。前者是免费软件，因而应用得更加广泛。但是 o p e n p b s 只支持g l o b u s 的p r e w s 版本，而不支持g l o b u s 3 0 以上的版本。上海 高校e 研究院项目“上海高校网格”要求网格平台采用g l o b u s 3 0 以上的版本。 而在要求接入的计算机系统中，有三个是采用o d e n p b s 管理工具。本论文的研究 日的是实现把o p e n p b s 接入到g l o b u s 3 0 平台。 高分子模拟计算网格是本论文研究的平台的一个应用实例。它主要为从事化 学与材料制造的基础研究人员提供分子模拟与分析方面多种资源服务，研究人员 可以利用网格各种资源进行复杂的分子模拟等科学研究。 本文主要包括如下三部分内容： ( 1 ) 提出了计算资源的网格管理平台的一种新的实现方法 集群式计算机系统在构建计算资源的网格管理平台时，采用g l o b u s 2 4 + 0 d e n p b s 的方案，有着比较多的经验。随着g l o b u s 的不断更新，在上海高 校网格中，要求对外接口符合g 1 0 b u s 3 0 所遵守的o g s i 标准，还要求能够最终 符合g l o b u s 4 0 的w s r f 标准，使得o p e n p b s 在和g l o b u s 连接时，增加了不少难 度。论文提出了一种新方案一一在g l o b u s2 4 之前添加一台前置机，在这台前 置机巾，设计安装g 1 0 b u s3 0 ( 或g l o b u s4 0 ) 的g r a m 和g l o b u s2 4 的客户 端。由g l o b u s3 0 ( 或g l o b u s4 0 ) 负责安全认证、信息服务部署等，而计算 作业由g i o b u s3 0 ( 或g l o b u s4 0 ) 交给g l o b u s2 4 + o p e n p b s 负责处理。这样， 高分子模拟计算网格的对外接口是g l o b u s3 0 ( 或g l o b u s4 0 ) 的标准，可以 很容易地接入到上海高校网格。 ( 2 ) 设计了安全的计算网格资源信息服务 通过向外提供计算资源信息的服务，详细说明了网格服务的设计，部署和测 试。同时，在该服务上使用了g l o b u s 的安全机制，保证了资源信息的安全性。 ( 3 ) 建立代理证书管理系统 网格安全基础的核心是证书，每个用户和服务都通过证书标识自己的身份， 为了方便用户获得、管理自己的证书并方便使用高分子模拟计算网格，采用了建 立代理证书平台作为证书管理系统，详述了该系统功能与优点，并进行了具体实 现。 关键词：o p e n p b s ；g l o b u s 3 0 ；代理证书；g r a m ：网格安全 上海火学硕士学位论文 t h ep o s t g r a d u a t et h e s i so fs h a n g h a iu n i v e r s i t y a b s t r a c t p b si st h eo n eo fw i d e l yu s e ds y s t e m st om a n a g et h eo p e r a t i o no fc l u s t e r c o m p u t e rs y s t e m s t h e r ea r ct w os e r i e so fp b s ：0 p e n p b sa n dp b s p r o t h ef o r m e ri s f r e es o f t w a r e s ot h a ti ti su s e dm o r ep o p u l a r b u t0 p e n p b so n l ys u p p o r t sg l o b u s p r e w sv e r s i o n i td o e sn o ts u p p o r tg l o b u s 3 0o rl a t e rv e r s i o n s h a n g h a im u n i c i p a l c o m m i s s i o ne i n s t i t u t e sp r o j e c t “s h a n 吐a ih i g he d u c a t i o ng r i d ”d e c i d e st ou s e g l o b u s 3 0a n dl a t e rv e r s i o ni nt h eg r i d a m o n g 恤ec l u s t e rc o m p u t e rs y s t e m sn e e d e d t oc o n n e c tt ot h eg r i d ，t h e r ea r et h r e cs y s t e m su s eo p e n p b sa st h e i rm a n a g e m e n t s y s t e m s t h ed u r p o s eo f t h ep a t ) e ri st oc o n n e c to p e n p b si n t og l o b u s 3 0p l a t f o r t n m a c r o m o l e c u l es i m u l a t i o nc o m p u t a t i o n a lg r i di sa na p p l i c a t i o ne x a m p l eo f s h a n g h a ih i g he d u c a t i o ng r i d i to f f e r sm a n yk i n d so fs e r v i c e so nm o l e c u l es i m u l a t i o n a n da n a l y s e sf o rt h er e s e a r c h e r st h a te n g a g e di nb a s i cf i e l d so fc h e m i s t r ya n dm a t e r i a l r e s e a r c h e r sc a nu t i l i z ev a r i o u sk i n d so fr e s o u r c e so fg r i dt oc a r r yo ns u c hs c i e n t i f i c r e s e a r c ha sc o m p l i c a t e dm o l e c u l es i m u l a t i o n ，e t c t h i sp a p e rm a i n l yi n c l u d e st h ef o l l o w i n gt h r e ep a r t s ： f11 ak i n do fn e wi m p l e m e n t a t i o nm e t h o do nc o n n e c t i n go p e n p b st og l o b u s 3 0 i sp r e s e n t e d i ti sm a t u r ct oc o n n e c to p e n p b st og l o b u s2 4w h i l es t r u c t u r i n gag r i dp l a t f o r m w i t ht h ec o n t i n u a lr e n o v a t i o no fg l o b u s i ns h a n g h a ih i g he d u c a t i o ng r i d i td e c i d e s t h a to u t p u ti n t e r f a c e sm n s tc o m p l i a n tw i t h0 g s is t a n d a r dt h a tg l o b u s 3 0o b s e r v e d a n dw s r fs t a n d a r dt h a tg l o b u s4 0o b s e r v e df i n a l l y i ti sn o te a s yt oc o n n e c t o p e n p b sw i t hg l o b u s 3 0 i nt h i sp a p e r ，ak i n do fn e wi m p l e m e n t a t i o nm e t h o do n c o n n e c t i n go p e n p b st og l o b u s 3 0i sp r e s e n t e d af r o n tp ci sa d d e db e f o r eg l o b u s 2 4g r a m a n dg l o b u s3 0 ( o rg l o b u s4 0 1g r a ma n dg l o b u s2 4c l i e n ti si n s t a l l e d i nt h ef r o n tp c ag l o b u s3 0 ( o rg l o b u s4 。01r e s 口o n s ef o rt h es e c u r i t yc e r t i f i e a t i o n ， i n f o r m a t i o ns e r v i c e g l o b u s2 4a n do p e n p b sa r ei nc h a r g eo fh a n d l i n gc o m p u t i n g t a s k s i nt h i sw a y t h eo u t p u ti n t e r f a c eo f 恤eg r i di si nc o m p l a i n tw i t hg l o b u s30 ( o r g l o b e s4 o 、s t a n d a r d i ti se a s i e rt oc o n n e c tw i t ho t h e rc o m p u t e rs y s t e m sa m o n gt h e s h a n g h a ih i g he d u c a t i o ng r i d f 2 1s a f e l yr e s o u r c ei n f o r m a t i o ns e r v i c e sa r ed e s i g n e di ng r i d d i s p o s i n ga n dt e s t i n ga n dd e s i g n i n go fg r i d s e r v i c e sa r ed e s c r i b e dt h r o u g h o f f e r i n gc o m p u t i n gr e s o u r c ei n f o r m a t i o ns e r v i c e so u t w a r d s m e a n w h i l e ，t h es e c u r i t y m e c h a n i s mo fg l o b u si su s e di ns u c hs e r v i c e st og u a r a n t e et h es a f e t yo fr e s o u r c e i n f o r m a t i o ni ns e r v i c e f 3 1s e tu pac e r t i f i c a t ea d m i n i s t r a t i v ea g e n ts y s t e m c e r t i f i c a t ei st h ec o r eo nt h eg r i ds e c u r i t ys y s t e m ，u s e r sa n ds e r v i c e su s e c e r t i f i c a t et op r o v et h e i ro w ni d e n t i t y i no r d e rt om a k ei tc o n v e n i e n tf o ru s e r st og e t a n dm a n a g et h e i rc e r t i f i c a t e s ，t h eg r i da d o p t sa na g e n t sc e r t i f i c a t ep l a t f o r ma st h e c e r t i f i c a t ea d m i n i s t r a t i v es y s t e m t h ef u n c t i o na n da d v a n t a g eo ft h es y s t e ma r e d e s c r i b e da n dt h es y s t e mi si m p l e m e n t e d k e yw o r d s ：o p e n p b s ；g l o b u s 3 o ；p r o x yc e r t i f i c a t e ；g r a m ；g r i ds e c u r i t y i i 原创性声明 本人声明：所呈交的沦文是本入在导菇器指导下进行的研究工作。除 了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表或 撰写过熬硬究成果。参与溺一工作的其纯嚣志对本研究所徽的任何员 献均已在论文中作了明确的说明并表示了谢意。 本论文使用授权说明 本a 完全r 辩上海犬学有关保瞽、使翊学位论文的规定，郄：学校有权保留论文致送交 论文复印件，允许埝文被查阅和惜蒯：学校可以公布论文的全部戏部分内容。 ( 保密的论文在勰密鑫应遵守诧撬瓮) 签名：辩导师签名： 霞赣：趟：主：哼 上海太学蘸七学藏论文 ! 壁旦! i ! g 翌! ! 坐殛型! ! ! i ! 婴g 匦些! 盟! ! l 旦 第一章绪论 1 1 网格技术综述 “网格”是2 0 世纪9 0 年代中期新出现的一个概念“。，代表了种先谶技术 和基础设施，是继i n t e r n e t 之后又一次重大的科技进步。3 。“网格计算”怒把网 络连接起来的各种自治资源和系统组合起来，以实现资源共享、协同工作和联合 计算，为各葶孛蠲户提供基予网络的各类综合性照”1 务。网格技术在计算方磷的应 用，为高性能计算提供了个公共的计算网格平台，该平台以通用网络为基础， 以斓撂乎台中阍传为娅粱，实觋了各黪计算资源之间豹互联互遁、瓷源共事帮执 同工作。 蹋格佟为一个集成静计算与瓷源环壤，畿够啜浚各耱诗算繁游，稳它们转 化成一种随处可得的、可靠的、标准的且相对经济的计算能力，其吸收的计算资 源包括各萃孛类壅静计算孝凡、黼络遴倍髓力、数据资籽、仪器设备饕至有操作戆力 的人等各种相关资源。 i 1 1 网络的典型体系结构 网格技术不断地发展使人们逐渐地意识到了网格体系结构的黧要性。网格体 系结构用柬划分系统的基本组件，指定系统组件的目的和功能，说明组件之闯鲡 俺相互作用，规定了网接番部分相互的关系与集成的方法。可以说，网格体系结 构是网格的骨架和灵魂，是网格技术中最核心的部分。 ( 1 ) 五层沙瀑结稳 五层沙漏结构是一种早期的抽象层次结构，以“协泌”为中心，强调协议在 潮捂的资源共享帮互攘乍中懿楚位“3 。逶过蛰议实瑷一耱辍裁，搜缮壹拟缀织的 用户与资源之间可以进行资源使用的协商、建立拱享关系，并且可以进一步管理 帮开发薪静关享关系。这一标难纯秘并敖络兹对翳捂豹扩浸瞧、互擦l 乍瞧、一臻 性以及代码共享都很有好处。图l 为五屡沙漏结构的典型结构图。 上海人学硕士学位论文 ! 生! ! ! 堡! ! ! ! 型! ! ! ! ! 堡! ! ! ! 塑g ! 型型巫! ! ! ! ! 堡 一焉磊i 鬲嘉：一。j 一一一一- t 一一一一一vu ，* + * - - ，。! 形始，赫 4 4 豢鬻曩鬻霉荔篙鬻篓蒜删 ! 一- 一一- - i 繁蓑篙糍粼t j 凝嚣的锯争，西即l 霞葶螯唆 绶瓣。o i 戳露。q 母，嚣川 ! - 一，i 符；黔瞪 镌茹鐾荣嚣整震翌体 ； 图1 1 五层沙漏的典型格式 ：舡层结构之所以形如沙漏，是由各部分协议数量的分布不均匀引起的。考虑 到核心的移植、升级的方便性，核心部分的协议数量相对比较少( 例如i n t e r n e t 上的t c p 和h t t p ) ，对于其最核心的部分，要实现上层协议( 沙漏的顶层) 向核 心| 办议的映射，同时实现核心协议向下层协议( 沙漏的底层) 的映射。按照定义， 核心协议的数量不能太多，这样核心协议就成了一个协议层次结构的瓶颈。在五 层结构中，资源层和连接层共同组成这核心的瓶颈部分，它促进了单独的资源 其享。 ( 2 ) 开放网格服务结构 开放网格服务结构”1 0 g s a 是g l o b a lg r i df o r u m 4 ”1 的重要标准建议，是目| j 仃 最新也最有影响力的一种网格体系结构，被称为是下一代的网格结构。1 。o g s a 的 目的就是要将g r i d 的一些功能，更确切的说是g l o b u s 的一些功能融合到w e b s e r v i c e 这个框架中。与前期网格不同的是，o g s a 是面向服务的结构，将所有事 务都表示成一个g r i d 服务，计算资源、存储资源、网络、程序、数据等都是服 务，所有的服务都联系对应的接口，所以，o g s a 被称为是以服务为中心的“服 务结构”，通过标准的接口和协议支持创建、终止、管理和开发透明的服务，其 发展象征着w e bs e r v i c e 的一个进步，结合目前的w e bs e r v i c e 技术，支持透明 安全的服务实例，o g s a 有效地扩展了w e bs e r v i c e 架构的功能。五层模型与o g s a 都相当重视互操作性，但o g s a 更强调服务的观点，将互操作性问题转化为定义 服务的接口和识别激活特定接口的协议。这一面向服务模型具有很多优点，环境 中的所有组件都是虚拟化的，通过提供一个所有g r i d 服务实现基础的一致接口 的核心集，可以使得分级的、更高级别的服务的构建能够跨多个抽象层以一种统 。的方式进行处理。虚拟化还促使从多个逻辑资源实例到同一物理资源的映射， 不考虑实现的服务组合，以及一个v o 内的基于低级资源组合的资源管理。正是 上海大学硕十学位论文 ! 韭! ! ! 塑! 鲤! ! 堡! ! 墅i ! ! ! ! ! 垫啦型竺! i ! 塑堑业 g r i d 服务的虚拟化加强了通用服务语义行为无缝地映射到本地平台设施的能力。 ( 3 ) w s r f 网格体系结构 对应开放网格服务基础架构o g s i1 0 版的推出，并试图解决o g s i 和w e b 服 务之间存在的矛盾，w e b 服务资源框架w s r f 被提了出来。2 0 0 4 年3 月，i b m 、b e a 与微软联合发布了w s a d d r e s s i n g 协议。基于该协议规范，g l o b u s 联盟和i b m 迅速推出了w e b 服务资源框架w s r f 。 w s r f 采用了与网格服务完全不同的定义：资源是有状态的，服务是无状态的”。 为了充分兼容现有的w e b 服务，w s r f 使用w s d l1 1 定义o g s i 中的各项能力， 避免对扩展工具的要求，原有的网格服务已经演变成了w e b 服务和资源文档两部 分。w s r f 推出的目的在于，定义出一个通用且开放的架构，利用w e b 服务对具 有状态属性的资源进行存取，并包含描述状态属性的机制，另外也包含如何将机 制延伸至w e b 服务中的方式。 w s r f 的规范是针对o g s i 规范的主要接口和操作而定义的，它保留了o g s i 中规 定的所有基本功能，只是改变了某些语法，并且使用了不同的术语进行表达。 1 1 2 网格核心技术 为解决不同领域复杂科学计算与海量数据服务问题，人们以网络互连为基础 构造了不同的网格，有代表性的如计算网格、数据网格“0 1 等，它们在体系结构和 需要解决的问题类型等方面不尽相同，但都需要共同的关键技术，主要有如下几 种： 高性能调度技术：在网格系统中，大量的应用共享网格的各种资源，如何 使得这些应用获得最大的性能，这就是调度所要解决的问题。网格调度技术比传 统高性能计算中的调度技术更复杂，这主要是因为网格具有一些独有的特征，例 如，网格资源的动态变化性、资源的类型异构性和多样性、调度器的局部管理性 等。所以网格的调度需要建立随时间变化的性能预测模型，充分利用网格的动态 信息来表示网格性能的波动。在网格调度中，还需要考虑移植性、扩展性、效率、 可重复性以及网格调度和本地调度的结合等一系列问题。 资源管理技术：资源管理的关键问题是为用户有效地分配资源。高效分配 涉及到资源分配和调度两个问题，一般通过一个包含系统模型的调度模型来体 现，而系统模型则是潜在资源的一个抽象，系统模型为分配器及时地提供所有节 上海火学硕士学位论文 ! 监! ! ! 塑! 塑! 塑些型! 堕! ! ! ! 业型堕! 堂皇丝 点上可见的资源信息，分配器获得信息后将资源合理地分配给任务，从而优化系 统性能。 网格安全技术：网格计算环境对安全的要求比i n t e r n e t 上一般的应用项目 的安全要求更为复杂。网格计算环境中的用户数量、资源数量都很大，且动念可 变，一个计算过程中的多个进程问存在不同的通信机制，资源支持不同的认证和 授权机制且可阻属于多个组织。正是由于这些网格独有的特征，使得它的安全要 求性更高，具体包括支持在网格计算环境中主体之间的安全通信，防止主体假冒 和数据泄密；支持跨虚拟组织的安全：支持网格计算环境中用户的单点登录，包 括跨多个资源和地点的信任委托和信任转移等。 1 2 国内外网格研究现状 ( i ) 国外网格研究现状 美国对网格的研究起步较早，处于领先地位。起先，研究者主要来自一些研 究机构，后来一些大公司都参与进来。 美国国家科学基金n s f 支持的t e r a g r i d 连接位于五个不同地方的超级计算 机，达到每秒2 0 万亿次的计算能力，并能存储和处理近l 千万亿字节的数据。 t e r a g r i d 最大特色是连接网格的专用网络带宽将达到惊人的4 0 g b p s 。 美国物理网格g r i p h y n ( g r i dp h y s i c s n e t w o r k ) 计划建立每秒千万亿次级别 的计算平台，用于数据密集型计算。 i b m 在2 0 0 1 年8 月宣布，将投入4 0 多亿美元进行“网格计算创新计划”( g r i d c o m p u t i n gi n i t i a t i v e ) ，全面支持网格计算。i b m 这一措施已经见效，它不仅 成为g o b u s 的首席合作伙伴，还成为o g s a * d w s r f 标准的制定者之一。 英国政府宣布投资1 亿英镑，用以研发“英国国家网格”( u kn a t i o n a lg r i d ) 。 欧洲还有d a t a g r i d 、u n i c o r e 、m o l 等网格研究项目正在开展。 ( 2 ) 国内网格研究现状 我国对网格计算的研究工作起步相对较晚，但发展速度很快。 教育部在“十五”2 l l 工程公共服务体系建设中设立了“中国教育科研网格 c h i n a g r i d ”重大专项，使用网格技术将c e r n e t 上分散、异构、局部自治的巨大 资源整合起来，通过有序管理和协同计算，发挥综合效能，实现资源的广泛、有 效聚合，提供计算服务、数据服务和信息服务等，形成中国最大、最先进、最实 上海大学颐】：学位论文 ! 生! ! ! ! 酬! 塑坠! ! i ! 堕! ! 婴g 蜮堕! ! ! ! ! 啦 点_ | ! 二可见的资源信息，分配器获得信息后将资源合理地分配给任务，从而优化系 统性能。 网格安全技术：网格计算环境对安全的要求比i n t e r n e t 上一般的应用项目 的安全要求更为复杂。网格计算环境中的用户数量、资源数量都很大，且动态可 变，一个计算过程中的多个进程间存在不同的通信机制。资源支持不同的认证和 授权机制且可以属于多个组织。正是由于这些网格独有的特征，使得它的安全要 求性更高，具体包括支持在网格计算环境中主体之间的安全通信，防l 匕主体假冒 和数据泄密：支持跨虚拟组织的安全：支持网格计算环境中用户的单点登录，包 括跨多个资源和地点的信任委托和信任转移等。 i 2 国内外网格研究现状 ( 1 ) 国外网格研究现状 美国对网格的研究起步较早，处于领先地位。起先，研究者主要来自一些研 究机构，后来一些大公司都参与进来。 美国罔家科学基金n s f 支持的t e r a g r id 连接位于五个不同地方的超级计算 机，达到每秒2 0 万亿次的计算能力，并能存储和处理近1 千万亿字节的数据。 t e r a s r i d 最大特色是连接网格的专用网络带宽将达到惊人的4 0 g b p s 。 美国物理网格g r i p h y n ( g r i dp h y s i c s n e t w o r k ) 计划建立每秒千万亿次级别 的计算平台，用于数据密集型计算。 i b m 在2 0 0 1 年8 月宣布，将投入4 0 多亿美元进行“网格计算创新计划”( g r i d c o m p u t i n gi n i tj a t i v e ) ，全而支持网格计算。i b m 这一措施已经见效，它不仅 成为g o b u s 的首席合作伙伴，还成为o g s a 和w s r f 标准的制定者之一。 英国政府宣布投资l 亿英镑，用以研发“英国国家例格”( u kn a tj o n a lg r i d ) 。 欧洲还有d a t a g r i d 、u n i c o r e 、m o l 等网格研究项目正在开展。 ( 2 1 国内网格研究现状 我国对网格计算的研究工作起步相对较晚，但发展速度很快。 教育部在“f 五”2 l l 工辑公共服务体系建设中设立了“中国教育科研网格 c h i n a g r i d ”重大专项，使用网格技术将c e r n e t 上分散、异构、局部自治的巨大 资源整合起来，通过有序管理和协同计算，发挥综合效能，实现资源的广泛、有 效聚合，提供计算服务、数据服务和信息服务等形成中国最大、最先进、最实 效聚合，提供计算服务、数据服务和信息服务等，形成中囝最大、最先进、最实 上海人学硕士学位论文 ! 生堕g 型! 坐堡嬖堡堕! ! 塑韭型坐堕业 用的网格系统。其节点覆盖2 1 l 建设的1 0 0 所部署高等院校。 国家高性能计算环境( 亦称国家计算网格) 是国家级高性能计算和信息服务 的战略性綦础设施，它将在全国范围内为各行业提供各种一体化的高性能的计算 环境和信息服务。在这个项目中，中科院计算所在成功地研制出曙光2 0 0 0 和曙 光3 0 0 0 超级服务器后，又着手研制下一代曙光高性能计算机曙光4 0 0 0 和曙 光5 0 0 0 ，它们的定位是“面向网格的超级服务器”( s u p e r s e r v e r sf o rg r i d c o m p u t i n g ) 。而网格系统软件将充分发挥各网格结点的高性能计算系统和大容量 数据信息处理系统的功能，使之成为网络上的可共享的国家高性能基础设施，为 各行业用户提供具有统一管理、易于远程使用、安全的高性能计算和大容量数据 处理的环境。 2 0 0 2 年底上海市宣布投入两个多亿建设e - i n s t i t u t e ( e 研究院) ，其中 上海高校网格建设是重点，将把上海交大、复旦、华东理工等多所重点高校用网 格整合起来，共享资源，协同教学科研并为其他e 一研究院提供资源支撑。 1 3 研究背景和目的 为了实现各个不同的网格系统之间的互相连接，对外接口的标准化是十分 必要的。g l o b u s 正在成为事实上的网格标准，它的资源管理部件( g r a m ) 也正 在成为计算资源的标准接口。随着技术的不断发展，g l o b u s 的标准也不断在变 化。从2 0 0 2 年以前的g l o b u s 2 x ，2 0 0 3 年1 月开始的以o g s a 为基础的g l o b u s 3 x ， 以及将在2 0 0 5 年1 月开始的以w s r f 为基础的g 1 0 b u s 4 x 。在这三个不同的版本 中，资源接口的标准发生了很大的变化。为此，g l o b u s 在各个版本中，提供了 各自的g r a m 部件。 随着g l o b u s 的不断更新，在上海高校网格中，要求对外接口符合g l o b u s 3 0 所遵守的o g s i 标准，还要求能够最终符合g l o b u s 4 o 的w s r f 标准，并且现在 要求接入的计算机系统中，有三个是采用o p e n p b s 管理工具，o p e n p b s 在和 g l o b u s 3 0 ( 或者g l o b u s 4 0 ) 连接时，有不少难度。本论文的研究目的是实现把 o p e n p b s 接入到g l o b u s 3 0 平台。论文提出了一种新方案在g l o b u s2 4 之 前添加一台前置机，在这台前置机中，设计安装g l o b u s3 0 ( 或g l o b u s4 0 ) 的g r a m 和g l o b u s2 4 的客户端。由g l o b u s3 0 ( 或g l o b u s4 0 ) 负责安全认 证、信息服务部署等，而计算作业由g l o b u s3 0 ( 或g l o b u s4 o ) 交给g l o b u s 2 4 + o p e n p b s 负责处理。这样，网格平台的对外接口是g l o b u s3 o ( 或g l o b u s4 0 ) 的标准，同样的方法，将来也可以用于把g l o b u s 2 4 的g r a m 对外接口转变为 上海大学硕士学位论文 ! 垒呈芏旦! ! g 翌璺坚堂! ! ：塾! ! 堕q ! 曼垫塑坚塾璺! 堕望i ! 呈垡i 生 g l o b u s 4 等新的g r a m 对外接口，完全符合w s r f 的标准。 高分子模拟计算网格是本论文研究的平台的一个应用实例。它主要为从事 化学与材料制造的基础研究人员提供分子模拟与分析方面多种资源服务，研究人 员可以利用网格各种资源进行复杂的分子模拟等科学研究。 1 4 课题主要研究内容 本论文的研究目的是实现把0 p e n p b s 接入到g l o b u s 3 0 平台，并通过服务方 式对外提供资源信息。主要包括如下三部分内容： 提出并且实现了一个新的计算网格管理平台 详细介绍了在o p e n p b s + g l o b u s 2 4 的基础上，实现g l o b u s3 0 的对外接口 的设计方案。该方案使计算网格平台的对外接口转变为g l o b u s3 o 的对外 接口。利用同样的方式，根据需要，可以把平台的对外接口转化成其他的对 外接口，这样，可以很容易的把该计算资源接入到新的网格系统中。 计算网格资源信息服务 详细介绍通过服务方式向外提供计算资源信息的方法。给出了实现该服务的 具体过程，同时，在该服务上使用了g l o b u s 的安全机制，保证了资源信息 的安全性。 引入代理证书管理系统 分析了建立证书和管理系统的必要性，详述了该代理证书管理系统功能与优 点并进行了具体实现。该证书系统的建立方便了用户获得证书凭证。 1 5 论文组织结构 本文其余部分的内容如下： 第二章计算网格资源平台的总体结构，介绍了其系统结构 第三章高分子模拟计算网格平台的建设，详细介绍了在g l o b u s 2 4 和p b s 作为计算资源，并为其设置g l o b u s3 0 的前置机，实现平台对外接口为g l o b u s 3 0 标准的方法。还介绍了实验环境的建设步骤和实验结果。 第四章资源信息安全服务的实现，详细介绍通过服务向外提供资源信息的 设计方法，并进行了具体的实现 第五章代理证书管理系统的设计和实现，详细介绍了g l o b u s 安全机制证书 上海人学硕十学位论文 些! ! 堕墅! ! ! 坐塑型! ! ! ! ! ! ! g 型坐蟹业z 和管理系统的功能与优点并进行了具体实现。 第六章对全文的研究工作进行总结，并提出了进一步的研究展望。 上海大学硕士学位论文 ! 堡! ! 堡! 塑! ! 塑! ! ! ! ! ! ! ! ! ! 垫业型型! i ! ! ! 堕堡 第二章高分子模拟计算网格平台的总体结构 高分子模拟计算网格是本论文研究的平台的一个应用实例。本章，首先介绍 高分子模拟计算网格平台总体框架，分析该框架包含的各个模块功能。其次，对 该平台需求进行了分析并提出了解决方法。最后，本章介绍了搭建该计算网格平 台需要用到的相关知识。 2 1 高分子模拟计算网格平台的总体框架 i n t e r n e t 3 jii=： ij e je j m y pr ox vg i bs 32 服务端 用户p orla lb r o k e oca 中_ 服务端 g i o bu s 24 害，璃 彳、广上 产彳产 i l 鐾嘉荨ll 数据库l1 “o ，b 。u s 2 。4 。m 。# l p b s m o m 图2 1网格平台的总体框架图 用户节点：提出计算资源的需求，上传用户计算包，查询结果，获取计、结果。 c a 中心节点：用户可以使用c a 中心发布的客户端产生证书申请和用户密钥， c a 中心通过s s l 协议接受用户的证书申请并签名并发送给用户，用户获得证书 凭汪。 p o r t a l 节点：实现与用户的交互。对网格内部，加密并且转发用户信息。b r o k e r 负责提供最适合这个作业的资源结点信息。 m y p r o x y 服务端节点：用于保存用户通过s s l 上传的代理证书，证书代号和口 令。用户可以根据需要通过证书代号和口令取回代理证书。方便用户使用代理证 书。 g l o b u s3 0 节点：对验证用户身份，启动f o r k 程序，调用g l o b u s 2 4 客户端， 把任务交给g o b u s 2 4 服务器，并转发用户计算包。同时，还要向g l o b u s 2 4 服 务器获取资源的状态信息，计算结果，发送给b r o k e r 。 g l o b u s 2 4 服务端：接受并且解密用户计算包，根据任务要求，通过p b s 上海人学硕士学位论文 ! 生! 墅g ! ! ! 坚! ! ! 箜! ! ! ! ! ! 竺g ! ! ! 望! ! ! 塑盟 分配计算任务给各个节点机求解并得出结果。按照g l o b u s 2 4 客户端的要求，发 送资源状态信息、计算结果等。 2 2 高分子模拟计算网格平台需求与解决方法 ( 1 ) 上海高校e 一研究院项目“上海高校网格”要求网格平台采用g l o b u s 3 0 以上 的版本。而在要求接入的计算机系统中，有三个是采用o d e n p b s 管理工具。 o p e n p b s 只支持g l o b u s 的p r e w s 版本，而不支持6 1 0 b u s 3 0 以上的版本。 解决方法：我们为高分子模拟计算网格计算资源的对外接口标准化设计了一种方 案，在g l o b u s2 4 之前添加一台安装g l o b u s3 0 的前置机( 以后，也可以在前 置机上安装新版本的g l o b u s ，也就是符合w s r f 规范的g l o b u s 4 0 ) ，由g l o b u s3 o 负责安全认证、信息服务部署等，而计算作业由g l o b u s3 0 转交给g l o b u s 2 4 + o p e n p b s 负责处理。这样，高分子模拟计算网格的对外接口是g l o b u s3 0 的标准。 ( 2 ) 为了保证网格用户合理有序地使用网格中各种资源，需要为用户提供透明访 问网格资源的接口，用户通过统一的接口使用远端的资源，把具体资源的技术细 节隐藏起来。 解决方法：我们丌发了网格资源信息服务，用户可以通过信息服务获取高分子模 拟计算网格平台中的信息。 ( 3 ) 主要为从事化学与材料制造基础研究的人员提供分子模拟与分析多种资源服 务的网格平台，研究人员可以利用网格各种资源进行复杂的分子模拟等科学研 究；用户要求网格平台具有简单、易用的特点。 解决方法：我们采用w e b 网页的形式，用户通过网页上递交任务。每个用户和服 务都通过证书标识自己的身份，为了方便用户获得和管理自己的证书，开发一种 证书管理系统，该系统具有证书、代理证书的产生、在远程的代理服务器保存代 理证书等功能，用户可以很方便地获得和管理证书凭证 上海人学硕十学位论文 ! 生! ! ! ! g 趔! 堕! ! ! ! 墅! ! ! ! ! 塑g ! 型型! i 塑! ! i 生 2 3 相关技术介绍 2 3 1p b s 介绍 p b s 是目前已有的集群作业管理系统中颇具代表性和影响力的一种。p b s 最 初由n a s a 的a m e s 研究中心开发，它提供了一个能满足异构计算网络需要的软件 包，特别是能满足高性能计算的需要。当前，p b s 常用的版本有o p e n p b s2 3 1 6 和p b s p r o5 2 。从总体看，p b s 由三个大模块构成，它们分别是p b s s e r v e r 、 p b ss c h e d 、p b s _ m o m 1 ，其中，p b s s e r v e r 是整个管理系统的核心部分，负责 接收各种外部请求、实现对资源的监测、分配和管理：p b sm o m 主要是进行资源 的探测，并反馈给p b s s e r v e r ，同时负责驱动任务的执行；p b s s c h e d 负责进行 任务的调度。这三个部分各自独立，分别以守护进程的形式出现。通常，在一个 集群系统中可以有一个主控节点，在该主控节点上同时运行这三个模块，而其他 的子节点则只运行p b s _ m o m 模块，这些子节点都由主控节点负责管理，它们三者 的关系见下图2 2 。 图2 2p b s 架构图 其中各部分的交互关系如下所示： ( 1 ) 用户递交运行任务的请求，p b s s e r v e r 负责接收该请求； ( 2 ) p b ss e r v e r 向p b s s c h e d 发出任务调度请求； ( 3 ) p b s s c h e d 返回调度的任务信息； ( 4 ) p b s s e r v e r 请求各个子节点信息； ( 5 ) p b sm o m 返回节点信息，p b ss e r v e r 依据返回信息进行节点分配 ( 6 ) p b s s e r v e r 将任务发送到各个子节点并驱动其运行。 上海人学硕十学位论文 ! 堕! 塾g ! 型! 坐! ! 型! ! ! ! ! 塑吐堂业! ! ! ! 生堕 2 32w e b s e r v i c e 技术 w e b 服务可以被想象为通过因特网或企业内部网连接调用其方法的组件，或 者把它想象为通过w e b 提供其接口的组件。w e b 服务建立在对开放标准x m l 广泛 接受的基础上，w e b 服务使用x m l 序列化其客户端收发的数据。即使客户端和w e b 服务主机使用不同的操作系统，或者应用程序使用不同的程序语言开发，只要客 户端程序可以解析x m l ，那么它就可以使用w e b 服务返回的数据。 w e b 服务基础框架组件 w e b 服务 w e bs e r v i c e 是一种部署在w e b 上的松散耦合的组件，它通过标 准的协议和技术实现与其他组件之间的动态交互。如图2 3 所示，其中最基本的 协议包括：s o a p ，w s d l ， u d d i 。 图2 1 3 w e bs e r v i c e 协议栈 简单对象访问协议s o a p 5 ：s i m p l eo b j e c ta c c e s sp r o t o c o l ，是消息传 递的协议，它规定了w e bs e r v i c e s 之间是怎样传递信息的。s o a p 解决了 通过防火墙传送往返于远程应用程序的消息的问题，同时解决应用程序的 交互性问题，可以使用一种平台无关性方式在远程( 或本地) 服务器上访 问对象和服务。 w e b 服务描述语言w s d l 6 ：w e bs e r v i c e sd e s c r i p t i o nl a n g u a g e ，是w e b s e r v i c e s 的定义语言。w s d l 和s o a p 一起构成了w e b 服务的核心结构单元。 w s d l 基于x m l 格式，用来描述w e b 服务。它描述了w e b 服务可以执行的操 上海大学硕十学位论文 ! 生! ! 塾丛生! ! 堡! ! ! 坐! ! !