（计算机软件与理论专业论文）面向科学与工程计算应用网格及其关键技术研究与实现.pdf

山东大学硕士学位论文 摘要 随着科学技术的发展，i n t e m e t 迅速蔓延到世界各地，成为人们信息沟通和 工作协同的有效工具。其中，通过i n t e m e t 连接的成千上万的计算资源、存贮资 源、信息管理资源等各种数字化设备共同构成了生产、传播和使用知识的重要载 体。而网格作为一种新兴的计算基础设施，将这些物理上互连的众多资源汇聚起 来，实现了资源共享、协同工作和联合计算的功能，并为广大用户提供了科学、 工程、金融、军事等各种综合性服务。 计算网格的出现使得隶属不同用户、跨越多个地理位置的分布式异构资源的 共享成为可能。而构建一种基于科学与工程计算的网格应用平台，集成异构环境 下的各种计算资源、数据存储资源，将它们统一组织起来，通过系统提供的应用 服务访问、数据访问和管理服务等功能，屏蔽底层资源异构性和多个管理域，为 用户提供直观、一体化的文件视图和方便、规范的访问和操作方法，具有重要意 义。另外，如何使用户作业高效的完成，即网格环境下任务调度，是现在研究的 热点也是难点，由于网格环境的灵活多变性，为用户合理分配资源，保证资源的 有效利用，满足用户共享资源的需求，则要依靠作业调度过程中所采取的调度算 法，它决定着资源的使用效率和用户的满意程度。 首先，本文设计构建了一种科学与工程计算应用网格平台。在系统软件平台 构建中，从前台门户到后台资源，实现上下层之间的无缝连接，层与层之间具有 严格的约束关系与嵌套关系，上层依附于下层，下层服务于上层。既可以呈现给 用户一个切实可用的计算服务，同时对用户屏蔽底层信息，从而完整地表示出本 系统软件结构的层次观念。底层采用g l o b u s 网格中间件设计并构建一个易于扩 展、满足不同应用需求的异构环境系统。上层使用g r i d s p h e r e 网格门户中间件 和扩展g r i d p o r t l e t s 网格组件来构建网格应用门户，实现不同计算模式科学与 工程计算应用的封装，同时集成网格记账、网格监控功能，为用户提供一个灵活 易用，可动态配置的网格应用环境。 另外，本文以大规模科学与工程计算为背景，网格为基础环境，着力研究了 网格过程中作业调度、资源分配与共享等相关问题，分别给出了满足实际需求的 作业调度模型和相应的调度算法。在研究现有平台资源部署的前提下，构建d a g 作业调度框架，并针对作业之间具有约束的应用调度需求，提出一种d a g 调度 山东大学硕士学位论文 算法思路，首先将作业进行r a n k 排序，然后采用分组思想进行作业分组，并调 整作业执行资源以优化性能。最终实现了两个目的，一是尽量降低作业权值赋值 方法对算法性能的影响，二是降低了作业m a k e s p a n 。最终实现了多用户高效共 享异构资源的目标。 关键词：网格；网格计算；网格平台，作业调度；资源分配 i i 山东大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fs c i e n c ea n d t e c h n o l o g y , i n t e r a c ts p r e a d sr a p i d ya r o u n d t h ew o r l d i th a sb e c o m ea ne f f e c t i v et o o lf o r i n f o r m a t i o nc o m m u l l i c 撕o n 锄d c o o p e r a t i o n t h r o u g hw h i c h ，t h o u s a n d so fc o m p u t i n gr e s o u r c e s ，s t o r a g er e s o u r c e s i n f b r m a t i o nm a n a g e m e n tr e s o u r c e s ，t o g e t h e rw i t ho t h e rd i g i t a le q u i p m e n t sc o n s t i t u t e t h em a j o rc a r r i e r so fp r o d u c t i o n ，t r a n s m i t t a la n dt h eu s eo fk n o w l e d g e m e a i l w k l e g r i d ，a san e wc o m p u t i n g i n f r a s t r u c t u r e ，h a sc o v e r e da l lt h e s er e s o l l r c e s g e o g r a p h i c a l l y 。c o n n e c t e da n dh a si m p le m e n t e dt h ef u n c t i o no fr e s o u r c e s h a r i n g c o o p e r a t a o na n dc o m b i n e dc o m p u t i n g i th a sp r o v i d e dv a r i o u so fu s e r sw i t ha l lk i n d s o fs e r v i c e si ns c i e n c e ，e n g i n e e r , f i n a n c ea n d m i l i t a r y , e t c t h e e m e r g e n c e o fc o m p u t i n gg r i d p r o v i d e sf e a s i b i l i t yf o rs h a r i n go f h e t e r o g e n e o u sr e s o u r c e sd i s t r i b u t e di nd i f f e r e n tl o c a t i o n so rb e l o n g i n gt ov a r i o u s u s e r s i tm a k e sm e a n st o d e s i g nap l a t f o r mb a s e do ns c i e n c ea n dt e c h n o l o g y c o m p u t i n g ，i n t e g r a t ea n do r g a n i z ek i n d so fc o m p u t i n ga n ds t o r a g er e s o u r c e si n h e t e r e g e n e o u se n v i r o n m e n t , t h r o u g ht h ef u n c t i o no fa p p l i c a t i o ns e r v i c ea c c e s s ，d a t a a c c e s sa n dm a n a g e m e n ts e r v i c ep r o v i d e db ys y s t e m , t os h i e l dt h eh e t e r o g e n e i t yo f b o t t o mr e s o u r c ed o m a i n s ，t h e r e b yp r o v i d eu s e r sw i t ha ni n t u i t i o n i s t i cf i l ev i e wa n d c a n o n i c a lu s a g em e t h o d i na d d i t i o n ，h o wt og u a r a n t e eu a s e rt a s k sb e i n gf i n i s h e d w i t h e f f i c i e n c yi sa l s oas t u d yp o i n t b e c a u s eo ft h ea g i l i t yo f g r i de n v i r o n m e n t , w en l u s t d e s i g nl o g i c a ls c h e d u l i n ga r c h i t e c t u r ea n da d o p ts p e c i f i ca l g o r i t h mt oe n h a n c e u s a g e e f f i c i e n c ya n du s e rs a t i s f a c t i o n f i r s t l y , t h i sp a p e rd e s i g n sap l a t f o r mb a s e do ns c i e n c ea n de n g i n e e ra p p l i c a t i o n h lt h ew h o l ep r o c e s s ，f r o m p o r t a l t oh a r d w a r er e s o u r c e s ，i tr e a l i z e ss e a n l l e s s c o n n e c n o no fe a c hl a y e r s ，w h i c hh a ss t r i c tr e s t r i c t i o na n dn e s t i n g t h et o p l a y e r r e a l i e so nt h eb o t t o ml a y e r , t h eb o t t o ml a y e rs e r v e st h et o pl a y e r i nt h i s w a y , t h i s p l a t f o r mp r o v i d e su s e r sw i t hau s a b l es e r v i c ea n ds h i e l d s 1 eb o t t o mi n f o 姗a t i o n t h e r e b yi n t e g r a l l yr e p r e s e n t st h el a y e rc o n c e p to ft h es y s t e m i nt h eb o t t o ml a y e r , w e a d o p tt h eg i r dm i d d l e w a r eg l o b u st od e s i g na ne x t e n s i b l eh e t e r o g e n e o u ss y s t e m ， w h i c hc a ns a t i s f yd i f f e r e n ta p p l i c a t i o nr e q u i r e m e n t s i nt h et o pl a y e r , w ea d o p t g r i d p o r t a lm i d d l e w a r eg r i d s p h e r ea n dg r i d p o r t st od e s i g ng r i da p p l i c a t i o np o r t a l ，i t r e a l i z e st h ee n c a p s u l a t i o no fd i f f e r e n tc o m p u t i n g m o d u l e s ，m e a n w h i l e ，i n t e g r a t e s 鲥d a c c o u n t i n ga n dg r i dm o n i t o r i n gt op r o v i d eu s e r sw i t ha f l e x i b l e ，d y n a m i c l yd e p l o y i n g 一 i i i 山东大学硕士学位论文 g r i da p p l i c a t i o ne n v i r o n m e n t i na d d i t i o n ，b a s e do nt h el a r g e - s c a l es c i e n c ea n de n g i n e e rc o m p u t i n ga n dg r i d e n v i r o n m e n t , t h i sp a p e ra l s os t u d y sq u e g i o n sl i k ej o bs c h e d u l i n g ，r e s o u r c ea l l o c m i o n a n ds h a r i n g ，g i v e su paj o bs c h e d u l i n gm o d e la n da c c o r d i n ga l g o r i t h m b a s e do nt h e e x i s t i n gp l a t f o r md e p l o y m e n ta n dt a s kr e s t r i c t i o n ，w ed e s i g nt h ed a gs c h e d u l i n g a l g o r i t h m f i r s t l y , w er a n kt h et a s k si na nu p w a r d i n go r d e r , a n dt h e ng r o u pa l lt h e s e t a s k sa c c o r d i n gi t sr a n k ，i nt h ee n d ，r e s c h e d u l et a s k st or e a l i z eo p t i m i z a t i o n t h i s a l g o r i t h mr e a l i z e st w op u r p o s e s ：f i r s t l y , m i n i m i z i n gt h ee f f e c t i o no fr a n k i n gw a yt o t h ea l g o r i t h mp e r f o r m a n c e ，s e c o n d l y , r e d u c i n gt h em a k e s p a n ，f i n a l l y , t h i sa l g o r i t h m r e a l i z e st h ea i mo fm u l t i u s e r ss h a r i n gr e s o u r c e sw i 廿lh i g he f f i c i e n c e k e y w o r d s ：g r i d ；g r i dc o m p u t i n g ；g r i dp l a t f o r m ；j o bs c h e d u l i n g ；r e s o u r c e a l l o c a t i o n i v 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律责任由本人承担。 论文作者签名： 鱼! 塑萋么! 日 期：迎旦：绝s 关于学位论文使用授权的声明 本人同意学校保留或向国家有关部门或机构送交论文的印刷件 和电子版，允许论文被查阅和借阅；本人授权山东大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：圣显垒邑坌埒师签名：纽交日期：丛星! 遮f 山东大学硕士学位论文 第1 章绪论 本章详细介绍了课题背景和研究目标，重点阐述了本文所要研究和解决的问 题，最后给出了全文的组织结构。 1 1 研究背景 随着社会的不断发展，科学技术正以日新月异的速度向前推进。近年来，高 性能计算在诸如预测模型的构造和模拟、工程设计和自动化、能源勘探、医学、 军事以及基础研究等领域起着越来越重要的作用。一些推动人类文明的挑战，如 外科手术的磁共振成像和药物设计、大气模型的建立和中长期天气预报、卫星遥 感数据及地震数据的分析等，如果没有速度极快、内存容量极大的高性能计算机， 很难成为现实。高性能计算方法的基本原理就是将初始问题分为若干部分，通过 网络相连的每台计算机资源( 称为节点) ，同时参与问题的解决，从而显著缩短 解决整个问题所需的计算时间。因此，如何以一种有效的方式将分布于不同地理 位置，或属于不同自治组织的异构资源，通过高速互联网络连接起来，为外界提 供大规模的、无限延展的计算能力，便成为我们研究工作的重点。而网格技术恰 恰可以满足这种需求。它作为一种新兴技术，汇集分散在不同地理位置的各种资 源，屏蔽资源的异构性以及资源设备之间的复杂关联，为用户提供一个方便、透 明的资源使用平台。通过采用网格关键技术，我们可以实现多用户无冲突、安全、 灵活地共享各种异构、动态资源的功能，这在科学技术的发展史上无疑是一个创 新。 网格是由跨地域的高性能计算机、大型数据库以及因特网上的各种资源整合 而成，实现互联网上所有资源的全面联通，包括计算资源、存储资源、通信资源、 软件资源、信息资源、知识资源等，能够有效地提供计算服务、存储服务、信息 服务、交易服务等，最终实现网络虚拟环境下的资源共享和协同工作，消除信息 孤岛和资源孤岛。网格的根本特征是资源的共享，信息孤岛的消除。我国国民经 济建设和社会发展的许多领域，如制造业、能源、交通、气象、水利、农林、环 保、政府政务、教育等对资源共享及高性能计算的需求是非常巨大的。而网格计 算，就成为解决此类需求的一种新兴技术。 网格计算是指将i n t e m e t 上分散的局部自治的巨大资源连接集成起来，实现 山东大学硕士学位论文 广泛共享、有序管理和协同计算，发挥综合效能，提供有效的信息服务、计算服 务和决策支持。网格计算的重要战略意义及其广阔应用前景，使其成为当今吸引 众多研究人员和巨大资金投入的热点。纵观国际发达国家高科技领域新的发展趋 势，网格建设已经成为一个竞争热点，许多前沿学科的大量研究工作均迫切需要 网格环境下的高性能计算能力。 目前有很多国家和机构积极参与了网格的研究与开发工作。例如：美国国家 航空和宇宙航行局( n a s a ) 的口g ( i n f o r m a t i o np o w e r 网格) 项目，目的是让 人们使用计算资源和信息资源就像使用电力网提供的电力资源一样方便快捷。欧 洲共同体的e u r o 网格和d a t a 网格，主要用于包括高能物理、生物计算、气候 模拟等多个领域的应用。我国8 6 3 计划支持的“中国网格( c h i n ag r i d ) 建设， “上海教育科研网格”，“仿真网格 ( 由航天二院和清华大学共同开展) ，“织女 星网格”( 由中科院计算所领衔开发) ，“中国国家网格( c n g r i d ) ”等。 目前山东省在教育、科研以及制造业中还没有计算能力超过3 千亿次秒的 高性能计算机，建立科学与工程计算应用网格平台对提高山东省的基础研究学 科、应用学科的学术水平和促进新的交叉学科的形成，提高山东省的整体科研实 力和创新能力，具有重要的战略意义。利用高性能计算环境可以极大促进计算机 科学与技术学科相关研究方向学术水平的提高，为国家培养大量超级计算的应用 人才。 本论文研究课题来源于山东省重大科技攻关项目：科学与工程计算应用网 格。 1 2 研究目标 网格环境中分布着各种异构分布式计算资源，它们来源广泛，可为外界提供 多种领域的服务( 比如：高能物理生物信息学、化学分子模拟以及数值天气预报 等) 。同时，共享资源的用户也是千变万化，不同类别的用户对资源的需求也不 尽相同( 例如：有的类别的用户希望自己的作业能够尽早得到处理) 。如果让用 户使用命令行方式来共享各种资源，不但命令难于记忆易出错，加重了用户负担， 而且使用效率不高。即使目前已有的一些网格应用平台，也大多仅针对某一具体 应用领域，功能单一，难于扩展。同时，在复杂的异构网格应用平台中，如果不 采取相应的调度策略，不同类别用户之间很可能会产生冲突，争夺资源的使用权、 2 山东大学硕士学位论文 优先权，造成资源利用率失衡，从而导致资源浪费，也使得用户对网格资源共享 的满意程度大打折扣。 因此，本文首先要构建一种科学与工程计算网格问题求解环境，呈现给用户 一个切实可用的应用平台。底层采用g l o b u s 网格中间件设计并构建一个易于扩 展、满足不同应用需求的异构环境系统。上层使用g r i d s p h e r e 网格门户中间件和 扩展o r i d p o r t l c t s 网格组件来构建网格应用门户，实现不同计算模式科学与工程 计算应用的封装，同时集成网格记账、网格监控功能，为用户提供一个灵活易用， 可动态配置的网格应用环境。同时，构建一个合理的网格调度系统，对于用户提 交的作业之间有约束关系的任务，研究一种合理的作业调度算法，以适用于目前 资源部署环境，并解决不同类别的用户无冲突共享资源的问题。 1 3 主要工作 本论文主要研究工作包括以下三个方面： 平台系统架构设计。针对平台应用特点，在广泛研究国内外相关系统的 基础上，采用如下架构：底层采用g l o b u s 网格中间件设计并构建一个 易于扩展、满足不同应用需求的异构环境。上层使用g r i d s p h e r e 网格 门户中间件和扩展g r i d p o r t l e t s 网格组件来构建网格应用门户，实现 不同计算模式科学与工程计算应用的封装，同时集成网格记账、网格监 控功能，为用户提供一个灵活易用，可动态配置的网格应用环境。 网格环境下具有优先权约束的作业调度算法研究。针对具体资源部署特 点，研究一种作业之间具有约束的的调度算法，重点消除点边权值赋值 方法对算法性能的影响，并实现在不显著提高作业m a k e s p a n 的前提下， 提高用户满意度的目标。 网格环境构建及面向科学与工程计算应用封装。网格环境构建包括网格 中间件的部署，网格门户中间件的设计及具体应用封装。其中应用封装 包括理论化学、生物信息、高能物理、材料分析、密码学、工程计算与 分析、数值天气预报等领域，在应用封装的基础上，开展各类网格应用 研究。 山东大学硕士学位论文 1 4 论文的组织结构 全文分为七章。 第一章为绪论，主要介绍论文的课题背景和研究目标，主要工作和组织结构。 第二章介绍相关的基础知识。其中包括：网格的基本概念。网格中间件及网 格门户中间件相关知识。网格调度及网格调度算法的定义及分类，已有的网 格调度系统，以及评测算法优劣的目标函数。 第三章到第六章为关键技术研究。 其中，第三章为平台基本架构，包括四层。 第四章详细给出了网格平台的构建，包括底层平台构建，门户开发及应用封 装。 第五章介绍了d a g 作业调度算法。包括模型设计，算法设计及性能比较。 第六章介绍了案例的具体部署。 第七章总结全文，并提出下一步工作。 4 山东大学硕士学位论文 2 1 网格概述 第2 章相关基本知识 什么是网格( g r i d ) n 2 1 7 网格是一个集成的计算与资源环境，或者说是一个 计算资源池，网格能够充分吸纳各种计算资源，并将它们转化成一种随处可得的、 可靠的、标准的同时具备经济性的计算能力。除了各种类型的计算机，这里的计 算资源还包括网络通信能力、数据资料、仪器设备、甚至是人等各种相关资源。 其中，基于网格问题的求解就是网格计算b a 5 1 。 网格是借鉴电力网( e l e c t r i cp o w e rg r i d ) 嘲的概念提出来的，网格的最终 目的，是希望用户在使用时，如同使用电力一样方便。总而言之，网格是一个硬 件和软件的基础设施，此基础设施提供对高端计算能力可靠的、一致的、普遍的 和廉价访问，它通过标注开放的通用协议和借口来协调分布式资源以提供最好的 服务质量。网格作为一种新兴的基础设施，和其他系统相比，有以下几个重要特 点： 分布与共享 分布性是网格一个最重要的特点。网格的分布性主要是指网格资源是分布 的，组成网格计算能力不同的计算机、各种类型的数据库以及其他各种设备与资 源，分布于地理位置各不相同的多个地方，而不是集中在一起。分布的网格涉及 的资源一般类型复杂，规模较大，跨越的地理范围较广。网格资源虽然是分布的， 但却是可以共享的，即网格上的任何资源均可提供给任何使用者，共享是网格的 目的，没有共享便没有网格。解决分布式资源的共享问题是网格的核心内容。 动态与多样性 网格是动态的，允许所有资源自由加入和离开计算环境，而且由于通信带宽 是共享的，因此通信延迟显得更为动态而不确定；同时，网格又是多样的，而且 在硬件和软件两个层次上都存在异构性，导致了资源之间通信和互操作问题。 自治与管理的多重性 网格上的资源首先是属于某一个组织或个人的，因此网格资源的拥有者对该 资源具有最高级别的使用权限，网格应该允许资源拥有者对其资源具有自主的管 理能力，这就是网格的自治性。但是网格资源也必须接受网格的统一管理，否则 山东大学硕士学位论文 不同的资源就无法建立相互之间的联系，无法实现共享和互操作，无法作为一个 整体为更多的用户提供方便的服务。 2 2 网格中间件 网格平台采用网格中间件g l o b u s 等关键技术进行网格环境的部署。g l o b u s 中 间件主要完成核心服务层的功能。g l o b u st o o l k i t4 优于其他版本的原因是其自 身特点决定的，最为关键的决定性因素是g l o b u st o o l k i t4 支持的协议框架由原 先的0 g s i ( o p e ng r i ds e r v i c ei n f r a s t r u c t u r e ) 基乏为w s r f ( w e bs e r v i c e r e s c o u r s ef r a m e w o r k ) 。 g l o b u st o o l k i t l 7 1 是一组基于社团的、开放架构、开放源代码的服务和支持网 格与网格应用的软件库。它主要是针对g l o b u s 项目中提出的各种协议，提供了一 系列的服务( s e r v i c e ) 、软件库、编程接口( a p i ) 和使用范例。g l o b u st o o l k i t 的实现主要体现在以下四个方面： 网格安全：这是网格计算环境正常运行的保证，g l o b u s 主要是结合目前 成熟的分布式安全技术，并进行一定的扩展，以适合网格计算环境的特点； 网格信息获取与发布：在网格计算环境中如何发布资源信息，如何查询、 检索资源信息是有效使用各种资源的前提条件： 网格资源管理：由于网格环境中的资源主要分布在广域网环境中，采用 目前常用的局域网资源管理技术不能有效地对其进行管理，为此g l o b u s 在局域 网资源管理之上实现了更高层次的资源管理技术，在信息服务的支持下，可有 效地支持广域范围内的资源管理； 网格远程数据传输：实现广域网环境下的高速、可靠的数据传输和实现 对应用程序基本透明的远程文件i 0 访问是g l o b u s 考虑的重要内容。因此该工 具用于应对安全性、信息发现、资源管理、数据管理、通信、故障检测和可移 植性等问题。g l o b u st o o l k i t 的机制正在被全世界数以百计的网站和很多大的网 格项目使用，也逐渐成为一个网格协议的标准，为此本项目采用g l o b u s 来部署 整个网格环境。 g l o b u st o o l k i t 主要经典工具包有g r a m 、r f t 、g r i d f t p 、m d s 、g s i 等。 g r a m 负责远程应用的资源请求处理、远程任务调度处理、远程任务管 6 山东大学硕士学位论文 理等工作，负责对r s l ( r e s o u r c es p e c i f i c a t i o nl a n g u a g e ) 信息进行解 析和处理的工作，是网格计算环境中的任务执行中心。它是g l o b u s 的资 源管理器，主要负责的事务包括：( 1 ) 解析和处理任务请求中的r s l 描述， 在任务请求中选择的资源、任务处理和任务控制等r s l 描述，针对可用资 源等情况对请求做出拒绝处理或执行等操作；( 2 ) 管理远程监控启动的 任务；( 3 ) 根据所管理的资源可用情况更新m d s 信息服务中心。 g s i 负责广域网络下的安全认证和加密通信，提供单点登陆功能，远地身 份验证功能，数据传输加密功能等，提供了基于g s i 协议的接口，是保证 网格计算环境安全性的核心部分。它的主要目标是：( 1 ) 支持在网格计 算环境中主体之间的安全通信，防止主体假冒和数据泄密；( 2 ) 支持跨 虚拟组织的安全，这样就不能采用集中管理的安全系统；( 3 ) 支持网格 计算环境中用户的单点登录，包括跨多个资源和地点的信任委托和信任 转移等。g s i 中的主要安全技术手段包括安全认证、安全身份相互鉴别、 通信加密、私钥保护及委托与单点登录等。 g r i d f t p 是一个高性能，安全，可靠的数据传输协议，并对高宽带的广域 网格环境进行了优化，可自动调整t c p b u f f e r w i n d o 、大小，使用优化的 t c pb u f f e r w i n d o w 大小设置可有效的提高数据传输性能。具有支持第三 方传输，断点续传，并行传输，与g s i 结合的安全认证，缓存等特性，支 持k e r b e r o s 安全机制，在g r i d f t p 中支持灵活可靠的安全鉴别和完整性检 查。它是网格环境中的数据传输工具。 r f t 是一个支持c m d f t p 的传输协议，负责g f i d f t p 进行稳定的传输，是支 持网络组件服务的作业调度器，如果作业失败了，它也会负责，并对作 业数据存入数据库等的信息进行管理。 m d s 主要提供一个标准的网络服务接口来收集信息，完成信息的注册， 查询，发现和修改等工作，提供对网格环境的一个真实、实时的动态反 映，是网格计算环境的信息服务中心。 7 山东大学硕士学位论文 2 3 网格门户中间件 2 3 1j s r l6 8 标准 j c p 于2 0 0 3 年1 0 月7 日颁布的p o r t l e t 的第一版规范，即j s r l 6 8 规范。此规范 的推出主要用于避免各p o r t a l 提供商各自推出不同的p o r t l e ta p i ，使得p o r t l e t 得以对于各p o r t a l 提供商都是可重复使用的，增强了p o r t l e t 的重用性。此规范 主要对p o r t l e t 的接口进行了规范，各p o r t a l 提供商可根据自己的需要实现规范 提供一个p o r t l e t 容器，也可以选择购买其他提供商的p o r t l e t 容器，p o r t a l 提供 商则根据p o r t l e t 容器提供的i n v o k e ra p i 执行对应的p o r t l e t 。p o r t a l 的组成分 为三部分：p o r t a ls e r v e r ，p o r t l e tc o n t a i n e r ，p o r t l e t 。 p o r t a ls e r v e r 一个p o r t a l ( 门户网站) 就是指一个基于w e b 的系统，通常都会提供个人化 设置、单一登陆、以及由各种不同来源或不同网站取得的各式各样的信息，并且 将这些信息放在网页组合而成的呈现平台，门户网站会有精巧的个性化设置来提 供定制的网页，当不同等级的使用者来浏览该页面时，将获得不同的信息内容。 p o r t l e tc o n t a i n e r p o r t l e tc o n t a i n e r 提供p o r t l e t s 执行的环境，包含了许多p o r t l e t s 并且管 理他们的生命周期，并保存着p o r t l e t s 的喜好设置，一个p o r t l e tc o n t a i n e r 接 收到来f ip o r t a l 的请求后，接着将这个请求传递给存在c o n t a i n e r 的p o r t l e t 执 行。p o r t l e tc o n t a i n e r 没有义务去组合p o r t l e t s 产生的信息内容，这个工作必 须由p o r t a l 来处理。p o r t a l 和p o r t l e tc o n t a i n e r 可以放在一起视为同一个系统 的组件，或者分开成为两个独立的组件。 p o r t l e t 一个p o r t l e t 是以j a v a 技术为技术的w e b 组件，由p o r t l e tc o n t a i n e r 所管理， 专门处理客户的请求以及产生各种动态的信息内容。p o r t l e t s 为可插式客户界面 组件，提供呈现层成为一个信息系统。 这些由p o r t l e t 产生的内容也被称为片段( f r a g m e n t ) ，而片段是具有些规 则的m a r k u p ( h t m l 、x h t m l 、w m l ) ，可以和其他的片段组合而成一个复杂的文件。 而p o r t l e t 中的内容正常来说是与其他p o r t l e t 的内容聚合而成为一个p o r t a l 网 山东大学硕士学位论文 页。p o r t l e t 的生命周期是被p o r t l e tc o n t a i n e r 所管理控制的。 客户端$ 口p o r t l e t s 的互动是由p o r t a l 通过典型的r e q u e s t r e s p o n s e 方式实 现的，正常来说，客户会$ 口p o r t l e t s 所产生的内容互动，举例来说，根据下一步 的连接或者是确认送出的表单，结果p o r t a l 将会接收到p o r t l e t 的动作，将这个 处理状况转到目标p o r t l e t 。这些p o r t l e t 内容的产生可能会因为不同的使用者而 有不同的变化，完全是根据客户对于此p o r t l e t 的设置。 2 3 2 网格门户中间件g ri d s p h e r e g r i d s p h e r e 呻一1 们是g r i d l a b 项目的一部分，由欧盟委员会( e u r o p e a n c o m m i s s i o n ) 从2 0 0 2 年开始资助实施，最初目标是开发一个网格门户开发框架。 实际上，g r i d s p h e r e 是一个普通的w e b 应用开发环境，没有与任何特殊的网格技 术绑定。然而，g r i d s p h e r e 项目最终目标是开发一套整合良好、易于使用的 p o r t l e t s ，使用网格实现在线合作、执行计算、管理和显现数据，以及获得多种 增值服务等。为此目的，也开发了一个更高级别的应用编程接口( a p i ) ，来开 发可定制的网格p o r t l e t 。 g r i d s p h e r e 网格框架提供的特性主要为： p o r t l e ta p i 实现完全支持j s r l 6 8 规范。 易于开发并易于与插入至o g r i d s p h e r ep o r t l e t 容器中的“第三方 p o r t l e t 集成。 级别更高的模型，用于使用可视的b e a n 和g r i d s p h e r eu s e ri n t e r f a c e ( u i ) 标签库构建复杂的p o r t l e t 。 灵活的基于x m l 的门户表示描述，可以轻松对其进行修改来创建自定义 的门户布局。 对基于角色的访问控制( r b a c ) 提供内置的支持，r b a c 将用户分为g u e s t ， u s e r ，a d m i n 并i s u p e ru s e r 。 成熟的p o r t l e t 服务模型，将可复用的p o r t l e t 逻辑封装到服务，供多个 p o r t l e t s 之间共享。 通过h i b e r n a t ej d o o q l 数据库支持提供数据的持久化。 为p o r t l e t g 艮务的服务端测试集成了j u n i t c a c t u s 单元测试，包括生成 测试报告。 9 山东大学硕士学位论文 复杂的服务模型，允许创建“用户服务”，可以按照用户权限限制服务 方法。 g r i d s p h e r e 核, 凸p o r t l e t 提供基本功能，包括登录、注销、用户和访问 控制管理。 下面介绍一下g r i d s p h e r e 的体系结构：g r i d s p h e r e 提供了一个p o r t l e t 的实现，一个p o r t l e t 容器，一组核心服务和核一& p o r t l e t s ，如下图所示。 图中描述了与s e r v l e tc o n t a i n e r 结合的主要组件，组成w e ba p p l i c a t i o n s e r v e r 。用户在w e b 浏览器中触发请求后，g r i d s p h e r es e r v l e t 作为给布局 引擎的控制调度程序，负责将合适的输出展现给用户浏览器。g r i d s p h e r e s e r v l e t 和布局引擎使用核心服务，包括p o r t l e tr e g i s t r y ，来调用适当的 p o r tl e t s 摆放在p o r t a l 页中。 图2 1g r i d s p h e r ep o r t a l 体系结构 g r i d s p h e r ep o r t l e t 模型 g r i d s p h e r e 在最初开始实施的时候( 2 0 0 2 年) ，j s r l 6 8 规范还没有发布。详 细分析后，g r i d s p h e r e 选择i b mw e b s p h e r e 4 1p o r t l e ta p i 作为出发点。2 0 0 3 年j s r l 6 8 规范发布，它与i b mw e b s p h e r ep o r t l e ta p i 比较相似。实际上，虽然 w e b s p h e r e a p i 提供了一些额外的接口用于p o r t l e t 消息传输和更好的本地化支 持，但是将w e b s p h e r e p o r t l e t s 映射使之兼容j s r l 6 8 并不是很困难。于是， g r i d s p h e r e 决定继续支持现有的w e b s p h e r e a p i 并且对j s r l 6 8 提供支持，如图 2 2 ，图2 3 所示。 l o 山东大学硕士学位论文 图2 2g r i d s p h e r e 支持w e b s p h e r e 和j s r l 6 8p o r t l e ta p i 蓊翻1 嘏警踽4删2 等 i； 上脯i 尸州蜊；鳓嘲i j 莉嵯p b 柑一c 响 矾i i c 。憎f 翻- i p 口n 蛳s - m - 讶蠹1 一l 。 r l 啪瑚涵c 酗蚓 曲啪r e 咏艄t 畦口l 呐蚰m 出细r e 哟 船蜘什塘劝嘲， ；翻螂嗍e 嘲节同帮稍 一一；p 喇剃知目_ 4 -0 一 抛喇8 r 啤- _ ，o 嘲p 雠峨湖唧 l 一j 一 麟呻娜 一 核, i = f p o r t l e t s 图2 3 顺序图支持两种p o r t l e ta p i g r i d s p h e r e 的核, 5 , p o r t l e t s 是安装g r i d s p h e r e 后包含的p o r t l e t ，提供基本 的p o r t l e t ，可分为核心用户p o r t l e t s 和核心管理p o r t l e t s 。 核心用户p o r t l e t s 包括： l o g i n l o g o u tp o r t l e t ( 登录注销) p r o f i1 es e t t i n g sp o r t l e t ( 个人信息设置) l a y o u tc o n f i g u r a t i o np o r t l e t ( 布局配置) s u b s c r i p t i o nm a n a g e rp o r t l e t ( 订阅管理) 核心管理p o r t l e t s 包括： u s e rm a n a g e rp o r t l e t ( 用户管理) g r o u pm a n a g e rp o r t l e t ( 组管理) p o r t l e tm a n a g e rp o r t l e t ( p o r t l e t 管理) g r i dp o r t l e t s g r i dp