（计算机应用技术专业论文）通用网格模拟器研究与基础运行平台实现.pdf

摘要 摘要 网格计算研究作为当前分布式计算领域中最为活跃的研究方向之一备受人们关注。 但是由于网格系统本身的复杂性，决定了要想进行网格研究需要庞大的先期投入搭建合 适的网格试验床，这是众多网格研究人员和网格爱好者所无法做到的。为此，人们提出 了构建网格模拟器的设想，通过模拟不同的网格运行场景来展开研究。 本论文通过考查现有的网格模拟器，分析了它们的缺点和不足，并提出了建立通用 网格模拟器的想法。通过研究网格系统的实现目标，特点以及网格发展历程和未来发展 方向，提出了通用网格模拟器所必需遵守的原则和应该实现的目标。在此基础上，定义 了通用网格模拟器的整体架构，并进行了详细的阐述。 论文的后半部分主要将研究重点放在了通用网格模拟器的基础运行平台上。通过对 网格基础运行环境的分析和研究，给出了通用网格模拟器必须实现的基本组件和这些组 件必须实现的功能以及这些组件之间的彼此交互的关系。最后，论文对每个组件的内部 结构进行了详细的分析和设计并给出了部分的实现代码及一个简单的模拟例子。 关键词：网格计算；网格服务；网格资源建模；网格模拟 大连交通大学工学硕十学位论文 a b s t r a c t g r i dc o m p u t i n gi so n eo ft h em o s ta c t i v er e s e a r c h i n ga r e ao nw h i c hs om a n ye y e sb e p u t t e d af r u s t r a t e dp r o b l e mi st h a tb e c a u s eo ft h ec o m p l e x i t yi n 鲥dc o m p u t i n gi t s e l f , w e n e e ds ol a r g ei n v e s tt op r e p a r ef o rt h ee x p e r i m e n t se q u i p m e n tt h a ta sm a n ya sr e s e a r c h e r s a n dp e o p l ew h oh a sg r e a ti n t e r e s tc a l ln o te v e nt o u c ht oi t a sar e s u l t ，p e o p l et h i n ko u ta a l t e r n a t e dw a yt os o l v et h ep r o b l e m ，t h a ti st os i m u l a t et h er u ne n v i r o n m e n to f 面d a c c o r d i n gt oa n a l y s i st h ed i s a d v a n t a g eo fs i m u l a t o r sw h i c hh a sa l r e a d ye x i s t ，h e r e p r o v i d e saw a yt oc o n s t r u c tt h eg e n e r a l 酣ds i m u l a t o r t h o u g ht h es t u d y i n go fo b j e c t i v e ， c h a r a c t e r i s t i c so fg r i da sw e l la st h eh i s t o r ya n do r i e n t a t i o n ，h e r ea l s op r o v i d e st h ep r i n c i p l e o nw h i c hg i r di sb a s e da n dt h eo b j e c t i v ew es h o u l dr e a l i z e t h em o r ew o r kw ed oi st oc r e a t e t h ea r c h i t e c t u r eo fg e n e r a lg r i ds i m u l a t o ra n dt od e s c r i b ei ti nd e t a i l t h ep o i n to fs e c o n dh a l fp a r to ft h i sp a p e ri st op o r eo v e rt h eb a s i cr u ne n v i r o n m e n to f g d ds i m u l a t o r a f t e rt h ea n a l y s i sa n dr e s e a r c ho ft h eb a s i cr u ne n v i r o n m e n t ，h e r ep o i n t so u t t h en e c e s s a r yb a s i cc o m p o n e n t so fg e n e r a lg r i ds i m u l a t o ra n dt h er e l a t i o n s h i pa m o n gt h e s e c o m p o n e n t s a tl a s t ，w es h o wt h es t r u c t u r eo fe v e r yc o m p o n e n t ，as i m p l es i m u l a t i n ge x a m p l e a sw e l la ss o m ei m p o r t a n tc o d e si nd e t a i l k e yw o r d s ：g r i dc o m p u t i n g ；g r i ds e r v i c e ：g r i dr e s o u r c em o d e l ：g r i ds i m u l a t i o n 绪论 绪论 课题背景及意义 随着社会的不断向前发展和科学技术的巨大进步，当今的桌面计算、客户服务器计 算模式以及传统的分布式计算模式等计算模型和计算技术，越来越无法满足科学界、企 业界乃至广大人民的日常生活对近乎无穷的、随手可得的、按需获取并付费的计算力、 存储力以及信息获取和处理能力的需求。网格计算【l 捌作为一种能满足这种需求的新型 分布式计算模型在上个世纪9 0 年代在美国应运而生。 通过对i n t e m e t 资源的动态集成，网格可以为网上用户提供方便、灵活、安全的大 规模、大范围、跨地域的资源与服务共享，为信息资源的获取、分布、传输和有效利用 带来结构性和革命性的巨大变化，从根本上改变人们的研究方式、教育方式、生活方式 与生产活动的方式1 3 】。也正是因为网格对社会的发展和科技的进步有如此巨大的推动作 用，它从产生之日起就备受人们的关注，被称为是继互连网和w e b 之后的第三次信息浪 潮，未来社会的信息基础设施。 i b m 、s u n 、o r a c l e 和微软等国际知名的大型i t 厂商在网格提出不久都纷纷宣布开 始自己的网格研究计划，并倡导建立了开放的全球化的网格合作研究组织全球网格 论坛( g l o b a lg r i df o r u m ，g g f ) 【4 1 。随着网格技术与w e b 服务技术的彻底融合与 w s r f 框架的提出，各大公司目前已经相继推出自己的网格化产品，比如o r a c l e 公司刚 刚推出了其最新的数据库产品o r a c l e1 l g ，s u n 推出了自己s g e 等等。 网格作为国家级高性能计算和信息服务的战略性基础设施，不仅仅受到科研人员和 企业界的关注，包括美国、英国、日本等发达国家和众多世界性组织都投入大量的人力、 物力和财力进行网格技术的研究。比如，英国政府已投资1 亿英镑，研制“英国国家网 格( u k n a t i o n a l g r i d ) 。美国政府用于网格技术的基础研究经费已达五亿美元。美国 军方正在规划实施一个宏大的网格计划，叫做“全球信息网格 ( g l o b a li n f o r m a t i o ng r i d ) 1 5 1 ，预计在2 0 2 0 年完成。作为这个计划的一部分，美国海军和海军陆战队已先期启动 一个1 6 0 亿美元的八年项目，包括系统的研制、建设、维护和升级。2 0 0 2 年，日本经济 产业省正式启动了国家项目“商务网格计算项目 ，以支援采用网格计算的中间件开发。 欧盟也正在开发自己的欧洲数据网格。 在我国，网格研究开始的不如欧美国家早，但很快就受到了政府和科研人员的高度 重视。先后开发了织女星网格( v e g a ) 【6 7 】，中国教育科研网公共网格支撑平台c g s p t 3 , s l 等大型项目。现在，各大高校也已经开始了自己的网格研究，并进行了校园网格，乃至 大连交通大学工学硕十学位论文 城市内高校联合网格的项目开发，比如河海大学校园网格项目，上海市e i n s t i t u t e 等等。 可以说自从2 0 0 2 年开始我国也已经进入了网格研究的高峰。 网格研究离不开网格环境的搭建，而一个真实的网格试验床所花费的费用是十分昂 贵的，而且它所能承受的访问能力也是有限的。对于大多数，尤其是国内的网格研究者 和爱好者来说，拥有一个网格试验床，甚至是对试验床的访问权都是不可能的；另外， 对于真实的网格试验床来讲，不仅费用昂贵，搭建、维护和使用复杂，而且由于网格运 行本身的动态性和复杂性，使得在真实的网格试验床根本无法实现对同一场景的重复实 现，这对于网格研究来说也将是一个重大难题。通用网格模拟器的实现将解决这些问题， 大大节约搭建试验床的成本，并能使原本无法参与到网格研究中或只能有限参与的科研 工作者摆脱束缚，把精力完全投入他们关心的课题上去。从另一方面来看，网格模拟器 也将是进一步培养网格人才的有效工具，它的模拟动画演示可以使原本模糊难懂的网格 概念变成可见的实际场景，直观生动的展示在广大学生面前，使学生拥有自己的网格平 台和实际动手的机会，迅速提高他们的科研和开发能力，为网格的快速发展和应用打下 良好的人才基础。对于网格产品的研发和部署，通用网格模拟器在前期也有不可忽视的 作用，能够在项目初期就向用户展示出产品的特点和直观的性能分析，并能有效的避免 前期出现重大的设计失误，从而节省成本，提高项目的成功率。 由此可见，建立一个通用、易用的网格模拟器对于网格技术的研究将会起到很 大的推动作用，从而加速网格技术的研发速度，最终造福于社会。 课题研究内容 本文针对何谓通用网格模拟器，如何建立通用网格模拟器以及通用网格模拟器基础 运行平台的设计和实现进行研究，主要内容如下： ( 1 ) 通过对网格的体系结构和运行环境，以及当前已有的网格模拟器的研究，提 出什么是通用网格模拟器，以及通用网格模拟器应满足哪些需求。 ( 2 ) 仔细分析了网格系统的组织结构，提出通用网格模拟器的总体架构，并进行 了系统层次划分。 ( 3 ) 主要针对通用网格模拟器的基础运行平台部分进行分析和总体设计。 ( 4 ) 在总体设计的指导下，对每一个具体的组件进行了详细的设计并给出代码实 现。 2 绪论 论文组织结构 本文共分5 章，其组织结构如下： 第一章网格与网格模拟器介绍了网格以及网格特性、网格的体系结构及其发展过 程、网格的现状及未来发展趋势，以及网格模拟器的研究现状、当前各种网格模拟器的 特点分析和当前网格模拟器的不足。 第二章通用网格模拟器的总体要求通过绪论和第一章对网格模拟器的意义以及 当前网格模拟器缺陷的分析，给出了通用网格模拟器必须遵守的设计原则和要实现的设 计目标。 第三章通用网格模拟器的系统设计分析了网格系统的组织结构，提出了通用网格 模拟器的系统结构。并在此基础上通过比较分析，从几种流行的网络模拟工具中最终选 择j - s i m 作为底层开发平台，并对j - s i m 的核心思想和使用方法做了简要介绍。 第四章通用网格模拟器基础运行平台的总体设计分析了通用网格模拟器基础运 行平台所需要的组件以及这些组件间的关系，确定了基础运行平台的组件开发模式，并 给出了g g s 软件包的包结构。 第五章基础运行平台中各组件详细设计与实现针对第四章提出的通用网格模拟 器整体框架中的基础部分进行了更为详细的功能划分，逐一对各个组件进行了详细的分 析和设计，并给出了部分实现代码。 第一章网格与网格模拟器 1 1 网格以及网格特性 第一章网格与网格模拟器 1 1 1 什么是网格 网格的研究起源于2 0 世纪9 0 年代初，由美国政府资助的分布式超级计算项目 i - w a y 发展而来。最初，研究的目标是希望能够将超级计算机连接成为一个可远程控 制的元计算机系统( m e t a c o m p u t e r s ) 1 9 1 。后来，随着研究的深入，这个目标已经深化为 建立大规模计算和数据处理的通用基础支撑结构，将网络上的各种高性能计算机、服务 器、p c 、信息系统、海量数据存储和处理系统、应用模拟系统、虚拟现实系统、仪器设 备和信息获取设备集成在一起，为各种应用开发提供底层技术支撑，将i n t e m e t 变成一 个功能强大、无处不在的信息基础设施。 1 9 9 8 年，全球网格研究的领军人物、著名网格项目g l o b u s 的负责人、美国阿岗国 家实验室的资深科学家i a nf o s t e r 在网格：一种新的计算基础设施蓝图 1 1 一书中给 网格下了一个定义：一个计算网格是一个硬件和软件基础设施，此基础设施提供对高端 计算能力可靠的、一致的、普遍的和不昂贵的接入。但是，这一概念并没有被广泛认同， 究竟什么样的系统是网格系统，即网格的定义还是一个有争议的问题。 虽然，什么是网格仍然没有被人们公认的定义，但是，网格也并不是飘渺的、混乱 的，全世界范围内网格研究者对什么是网格，已经取得一定的共识：网格的本质是在动 态的、多机构的虚拟组织中协调资源共享和协同解决问题。这里强调了网格所具备的两 个方面，一是网格的目的是资源共享和协同解决问题。二是网格环境是动态的、跨组织 的。关于网格的目的，其实并不新颖，w e b 也有这个目的，大多数分布式应用也是这个 目的。但是网格的环境“动态的、跨组织的却是以前没有遇到的。这也是网格研 究的新地方。例如，如果是一个企业、一个组织中的信息管理系统，即使存在分公司的 情况，由于是一个机构，因此，也可以采用一定的行政手段协调统一。而跨机构、跨组 织呢? 比如军队协同作战，各个军种的编制、指挥、装备，甚至通信的无线电频率都可 能不同。采用行政命令进行统一也只能统一一部分。那么如何来协调这种情况，这就是 网格要解决的核心问题大规模动态、异构系统的共享、互操作与协同。 2 0 0 2 年7 月，i a nf o s t e r 又在什么是网格? 判断是否是网格的三个标准1 1 0 1 一文 中，限定网格必须同时满足三个条件： 大连交通大学工学硕士学位论文 ( 1 ) 在非集中控制的环境中协同使用资源。网格整合各种资源，协调各种使用者， 这些资源和使用者在不同控制域中，不存在统一集中的控制管理。比如，相同或不同公 司的不同管理单元，否则，只能算本地管理系统而非网格。 ( 2 )使用标准的、开放的、通用的协议和接口。网格建立在多功能的协议和接口 之上，这些协议和界面解决认证、授权、资源发现和资源存取等基本问题。否则，只算 一个具体应用系统而非网格。 ( 3 )提供非平凡的服务质量。网格允许它的资源被协调使用，以得到多种服务质 量，满足不同使用者的需要，如系统响应时间，流通量，有效性，安全性以及资源重定 位，使得联合系统的功效比其他各部分的功效总和要大得多。 无疑，这三个指标很适合各类大规模网格系统，这些系统正被一些研究机构使用。 1 1 2 网格特性 网格系统具有分布式的一些特征，但是作为一种新型计算基础设施，网格还具有一 些重要的特点，它们分别是 1 0 , 1 1 1 ： ( 1 )分布性组成网格的资源可能计算资源、存储资源、数据资源、仪器资源等， 它们分布在地理位置不同的许多地方，在这种分布式环境下，需要解决网格资源针对任 务的分配和调度问题，传输和通信问题，人与系统以及人与人之间的交互和协同问题， 网格应用在分布式环境中自动执行和协作问题。 ( 2 )异构性组成网格的资源是异构的，对于计算资源，有不同类型的计算机， 不同的计算方式，不同的计算接口，不同的系统架构；同样，对于存储资源和其他资源， 也面临着这样的问题。因此，网格既要具有利用资源的异构特点进行处理的能力，也要 具有提供一致资源管理的能力。 ( 3 ) 自治性网格上的资源首先是属于某一个本地的个人或组织，网格资源的拥 有者对资源具有最高级别的管理权限，网格应用允许资源拥有者对其资源有自主的管理 能力，因此，网格具有自治性。同时，这些资源根据一定的约束和规则接受网格的统一 管理，实现资源的共享和互操作，这里的网格管理比一般的分布式系统更为复杂，具有 管理的多重性。 ( 4 ) 动态性由于网格中的资源具有自治性，因此网格资源可能动态的加入或者 退出网格，也可能出现故障而导致不可用；另外，资源的性能情况也可能发生较大的变 化，使得供网格使用的资源也会发生相应的变化。由于网格没有集中控制能力，因此， 对于这种动态性需要有一种机制来保障网格应用的运行不会遭受比较大的影响。 6 第一章网格与网格模拟器 ( 5 )自相似性网格的局部和整体之间存在着一定的相似性，局部在许多地方具 有全局的某些特性，而全局的特性在局部也有一定的体现，网格的构建通过小的局部网 格可以形成更大的网格，起结构方式具有相似性。 1 2 网格的体系结构及其发展过程 网格是一个整体的概念，网格体系结构是网格系统的骨架，网格体系结构的作用在 一定程度上就是对网格的解剖。一般来说，网格体系结构给出了网格的基本组成和功能， 描述了网格各个组成部分的关系以及他们继承的方式或方法，刻画了支持网格有效运转 的机制。 网格体系结构并不是一成不变的，它随着网格技术的不断发展和成熟，经历了从五 层沙漏结构到开放网格服务体系结构( o g s a ) 再到w e b 服务资源框架的三个阶段的 发展。 1 2 1 五层沙漏模型 五层沙漏结构1 2 1 是早期网格的一种抽象层次结构，它主要以“协议”为中心，强调 协议在网格中的资源共享和互操作中的地位。五层沙漏结构从上到下划分为五层，分别 是应用层、汇聚层、资源层、连接层和构造层，如下图： 图1 1 五层沙漏体系结构 f i g 1 1t h ef i v el e v e ls a n d g l a s sa r c h i t e c t u r e 7 大连交通大学t 学硕士学位论文 由于各层协议数量的不同，特别是其最核心的部分，既要实现上层各种协议向自身 协议的映射，同时又要实现自身协议向下层协议的映射，并且核心协议在所有支持网格 计算的地方都应该得到支持，因此，核心协议的数量不能太多。由于这个原因，造成了 这种沙漏式的结构，其中的细腰部分就是核心协议所在。在五层沙漏结构中，资源层和 连接层共同组成了核心瓶颈部分。 最底层的是构造层，构造层面对的是一个个具体的物理或逻辑资源，它通过对这些 局部资源的管理，向上层提供对这些资源的管理和控制界面。构造层的上层是连接层， 它主要是为下层的物理资源提供安全的数据通信能力，这是资源之间进行互操作的前 提，连接层使得孤立的单个资源间建立了联系。连接层的上层是资源层，它反映的是抽 象的局部资源特征，它为资源的共享和资源间协作提供了保障。再往上是汇聚层。汇聚 层主要反映的资源的全局特征，他使资源集中起来，协调解决资源注册、查找、发现等 问题。最上层是应用层，它和资源的距离最远，他关心的是有什么样的资源可以由下面 提供，以解决不同虚拟组织的具体问题。 1 2 2 开放网格服务架构o g s a o g s a l 4 l ( o p e ng r i ds e r v i c ea r c h i t e c t u r e ) 是全球网格论坛( g l o b a lg r i df o r u m ， g g f ) o g s i 工作组在2 0 0 2 年6 月制定的。这个结构的出现也标志着网格以研究为主的 范围扩展到了主流商业计算环境里面，这也是网格体系结构目前最新的发展阶段。 o g s a 在五层沙漏基础上，结合最新的w e b 服务发展而来的。此时的网格体系结 构已经从以“协议 为中心的思想转变为了以“服务为中心，在o g s a 中，将一切都 抽象为服务1 1 4 1 ，包括计算机、程序、数据、仪器、设备等，十分有利于有利于通过统一 的标准接口来管理和使用网络实体。o g s a 中服务的基础是w e b 服务，但由于w e b 服 务是持久的、无状态的服务，而在网格中有时我们必须要对服务的状态和生存期进行管 理，这种情况下，w e b 服务就无法满足我们的需要了，于是o g s a 在w e b 服务的基础 上又提出了“网格服务i l s l 的概念，用于解决服务的发现、动态服务的创建、服务生命 周期的管理等与临时、有状态服务有关的问题。 o g s a 结构基本可分为四个层次：物理和逻辑资源层，w e b 服务层，网格服务层， 应用层： ( 1 ) 物理和逻辑资源层：o g s a 架构的最底层。在该层中，o g s a 兼容的服务器、 存储设备和网络都可以看作物理资源。紧挨着物理资源之上的是逻辑资源，通常是一组 中间件应用程序的集合，包括数据库、文件系统、流管理器等等，它们通过虚拟化和聚 第章网格与网格模拟器 合物理资源柬提供额外的功能。基本l 柬说，这一层中包含了网格运行所需要的各种基 础资源。 ( 2 ) w e b 服务与o g s i ”屡：在这层巾，所有的资源r 包括逻辑资源与物理资源) 都被抽象为服务。o g s i 建立在w e b 服务舰范之上，并提出了嘲格服务的概念，从而实 现埘动态的、有状忐服务的生命周期管理和状态管理。 ( 3 ) o g s a 架构服务层在这层叶1 将利用下层提供的皋础服务实现数据提取、程 序执行、监视等一些核心网格服务。 ( 4 ) 应用层这层足o g s a 的蛀上层，它由基于o g s a 架构和o g s a 服务，且 面向特定领域的阔格避用枉序组成，成为p 司格用户与网格交互的随接接口。 h t2 s 体系结椅 f i g i2o g s aa r c h i t e c t u r e 123w e b 服务资源框架w s r f ( w e bs e r v i c er e s o u r c ef r a m e w o r k l 存o g s i 提后，髓着网格技术的研究深入，人们越柬越发埘o g s i 存在明显的小 足。w e b 服务团体队为它过分强调了w e b 服务，剐格服务之川的差别，使得老很难 融合存起。肇丁这种情况，2 0 0 4 年，i b m 、g l o b u s 联盟和h p 存g l o b u s w o r l d 会议 上j l 同提卅rw e b 服务资源框架( w s r f ) 。w s r f 17 1 是存保持o g s i 概念和功能的前提 卜，对o g s iv l0 胤范- 】所丌发的概念和接r 的卣接的l r 构和发腱，作为种新的底层 技术实现单埘i 段旌，它代计o g s i 为o g s a 提供基于w e b 胀务的广泛f 酊强人的支持”。 w e b 服务资源桩架( w s r f ) n 种w e b 服务规范组成，它们以w e b 服务一资源 对为核心，它将o g s i - i ，的网 服务拆分为尤状态的w e b 服务i 有状态的资源两郁分， 大连交通大学_ 丁学硕士学位论文 并通过隐式资源状态结合在一起。资源的状态是通过资源属性文档来描述的，而用户想 要获得与资源状态相关的信息或对资源状态进行操作，只能通过w e b 服务提供的符合 w s r f 规范的接口进行消息交换来实现，这也是隐式资源模式的含义。 w e b 服务资源框架( w s r f ) 的六种w e b 服务规范分别是： w s r e s o u r c e l i f e t i m e f l 8 j 定义了w s r e s o u r c e 的资源销毁机制，其中包括允许 请求方立即或使用基于时间的自动资源销毁机制来销毁资源。 w s r e s o u r c e p r o p e r t i e s 【l9 】定义了w s r e s o u r c e 的类型如何与w e b 服务的接 口描述相关联，以及检索、更改或删除w s r e s o u r c e 属性的消息交换过程。 w s - n o t i f i c a t i o n 2 0 1 通过基于主题的发布订阅模式定义事件订阅和通知机制。 w s r e n e w a b l e r e f e r e n c e s 定义了端点变为无效时，对需要检索端点引用更新版 本的策略信息的常规w s a d d r e s s i n g 端点引用。( w s r f l 2 中取消) w s s e r v i c e g r o u p 2 l 】定义了通过一致引用集合访问w e b 服务的接口。 - w s b a s e f a u l t s 2 2 】为在w e b 服务消息交换过程中返回的错误信息定义了基本 的x m l 错误类型。 1 3 网格现状及未来发展趋势 目前，网格的研究已经从美国和欧洲推广到了世界各大洲，各个国家和地区都投入 了大量的资金进行网格技术研究和网格基础设施建设。英国政府已投资超过l 亿英镑， 用于建设英国国家网格；美国政府用于网格技术基础研究的经费已超过5 亿美元；欧洲 联盟也投入了巨资建设欧洲数据网格和欧洲网格；亚洲的中国、日本、泰国、韩国、马 来西亚等国也开始了网格研发和建设工作。美国军方目前正在实施“全球信息网格计 划”，预计在2 0 2 0 年完成。作为这个计划的一部分，美国海军陆战部队己启动了一个 将耗资1 6 0 亿美元、历时8 年的项目，包括系统的研制、建设、维护和升级等多方面的 工作。在我国，网格研究已经列入了“8 6 3 计划”，目前，有“织女星 网格、中国教 育科研网格、中国国家网格等多个项目都已取得一定进展。另外，国内许多大学和研究 所也开展了网格技术研究，目前国内的网格研究比较热，但所取得的成果仍然有限。 随着网格技术的发展，网格标准的建立，s o a ( 面向服务的架构) 概念的推广以及 w e bs e r v i c e 技术的不断成熟，大规模异构资源的互操作问题已经基本得到解决或者说在 技术上可以解决了，网格的研究已经从最初的解决大规模资源共享和协作问题上转移到 进行更高级的网格服务的研发上来。这些研究主要包括以下几个方面： l o 第一章网格与网格模拟器 ( 1 ) 资源调度主要进行网格资源的分配和网格任务的调度的研究，包括网格调度 模型( 集中式调度还是分布式调度) 的研究，机器选择算法，任务调度的数学模型，独 立任务的调度算法和依赖任务的启发式调度算法等等。 ( 2 ) 数据管理主要进行数据复制、数据副本管理、数据存储和数据传输管理等工 作。 ( 3 ) 信息管理与服务包括网格信息服务模型研究、网格信息目录的创建研究、信息 搜索研究、信息登记研究、信息预定和邀请研究等。 ( 4 ) 网格安全包括网格中的安全威胁、网格安全层次、网格安全体系结构、身份认 证机制、信任模型、信任评估模型、行为跟踪以及访问控制等。 ( 5 ) 网格性能评价主要研究针对网格性能的各种不同的评价方法，以发现网格中阻 碍性能发挥的问题，从而完成对系统的优化。 ( 6 ) 网格计费对网格资源的使用付费策略进行研究。 ( 7 ) 网格开发环境 ( 8 ) 网格门户客户端开发 当然，除了上述的研究领域之外，网格的进一步标准化也将是未来网格技术发展中 不可缺少的重要一环。 1 4 网格模拟器的研究现状 正如绪论中所讲到的，网格模拟器对于大多数网格研究者来说是一种必不可少的辅 助工具，国外很多大学和研究机构都在网格研究初期就针对本机构研究的特点，从本机 构研究出发开发出了满足本机构需求的网格模拟器，这些模拟器有b r i c k s 、m i c r o g r i d 、 s i m g r i d 、g l i d s i m 、c h i c s i m 、e d g s i m 、g r d i n e t 以及o p t o r s i m 等1 2 3 1 。 ( 1 ) b r i c k s t 2 4 i 由日本东京技术学院主导开发，它是一个对高性能广域计算环境中 的各种调度方案进行分析和比较的性能评价系统。到目前为止，该项目已经历两个阶段： 第一阶段主要进行基于资源的调度算法的研究：第二阶段开始考虑到数据型密集型应 用，将数据的复制算法和调度算法结合起来。图1 - 3 显示了b r i c k s 的体系结构图。 b r i c k s 由广域计算环境和调度单元两部分构成。广域计算环境主要由以下三部分实 体组成：客户机代表用户提交请求，服务器代表可以获得的资源，网络代表客户机和服 务器之间的网络行为。b r i c k s 采用队列系统来模拟真实环境中这三者的离散事件操作； 而调度单元则用来对各种模拟行为进行协调。 b r i c k s 采心“组什化”的殴训方法，返使得它的自【件可以被替换来测试别的调度算 法，而且_ i 丕- u 以通过b r i c k s 的外部接【_ 】将现存的州格计算环境中的组件融合进求。 p _ “一r = 嚣= 嚣 銮密 h13 叶ic k s 的体系结构罔 f i g 3b r i c k s ar c h i t e c t u r e ( 2 ) m i c r o g r i d ”】山美田加州人学苄地亚哥分校并行系统体系结构小组( c s a g ) 领导丌发，它试图通过利j 日现有的物耻资源( 比如一个c l u s t e r ) 来模拟一个虚拟的刚格 环境束运行真实的m 格心川，从而达到更真实的评似刚格系统的目的。图14 显不了 m i c r o g r i d 的体系纠 构h 。 m i c r o g r i d 的一个一e 要组l 成部分是模拟引擎m a s s f ，它是建立在并行分靠式模拟引 擎d a s s f 帕基础上。m i c r o g r i d 首先通过它柬实现个完全可控的虚拟的网格环境，然 后d 该环境j j 基行普通的心用或肯是基丁g t o b u s 2 的刚格应片j 程序，最后分析运行结粜。 通过这样的方，r 以帮助我们做系统设计和刚格系统的性能评估。 j 西l j 习 勰艘撵。 蚓l4m i ( r o ( ；r i d 模拟的m 格系统 f i gi 4m i c r o g r i db r i c k sar c h i l e c m r e ( 3 ) s i m g r i d ”7 1 足山戈幽加州人学圣地亚哥分校嘲格研究和创新实验窀( g r i d r e s e a r c h a n d i n n o v a t i o nl a b o r a t o r y ) 一导 发，它的h 机、足为拒删格环境下进行分布肝 行庸川酬度研究提供一个合适的樘，弘和埔“缘( 1 e v e lo fa b s t r a c t i o n ) 并乍成准确的模拟站 浆。 第一章网格与嘲格模拟器 s i m g f i d 目前有两个版本：一个是s g ，它提供比较底层的a p i 来建立模拟环境， 适合于基于d a g 的集中式调度的模拟；另个是m s g ，它建立在s g 之上，提供更面 向应用的a p i 来建立模拟环境，适台于调度中存在多个独立的调度行为的情况。 s i m g r i d 使用基于t r a c e d r i v e n 的模拟，它按照真实的网格资源中的访问t r a c e 记录 来模拟网格资源，从而达到更真实的网格模拟。 ( 4 ) g f i d s i m l 2 ”由澳大利墨尔木大学r a j k u r n a r b u y y a 领导开发，它的首要目标 是通过模拟来研究基于计算经济模型的有效资源分配方法。g r i d s i m 通过资源的“买” 和“卖”来引入“经济模型”，从而达到控制网格资源的使用的目的。圈l5 显示了g f i d s i m 的体系结构。 g f i d s i m 是在s i r e j a v a 口”的基础l 开发的，它提供丰富的函数库以支持模拟网格环 境中的异构资源( 时间共享和空问共享) 、用广、应用程序、用户代理和调度器。网格 资源、用户和用户代理被视为不同的实体，它们通过消息事件( 输入和输出) 柬进行通 信。除了通过手工编程来实现模拟外，g f i d s i m 还提供了一套图形界面工具v i s u a l m o d e l e r ( v m ) 帮助用户配置网格环境并产，e 相应的代码。模拟结束后，用户可以调用 g f i d s i m 中的称为g r i d s t a t i s t i c s 的席函数来收集各种模拟的统计数据。 图15g r id s i m 模拟的叫格系统 f i g l5g r i d s i mb r i c k sa r c h i t e c t u r e ( 5 ) c h i e s i m l3 0 3 1 i 是由美国芝力吁大学分布式系统实验室领导开发，它为我们提 供了个理解大量资源和片j 户的行为、研究资源分配策略是否可行的有效甲台。 垒垒圣堡垒兰：! 兰堡三兰堡兰塞 c h i c s i m 是建立在并行环境模拟器p a r s e c p “的基础上。主要由3 个部分组成：站点、 网络和驱动器。每个站点拥有一定数量的相同能力的处理器和有限能力的存储器；站 点之阃具有有限带宽，一个任务只在单一的处理器上执行并需要在本地提供一定的数据 文件；驱动器读取输入文件然后初始化小同的虚拟的网格实体，再通过读取工作负载文 件启动用广开始提交作业。图l6 显示了c h i e s i m 的体系结构。 日前，c h i c s i m 主要被用来研究分布式环境下不同调度算法对数据密集型应用的性 能影响问题。 酗16c h i c s i m 模拟的网格系统 f i g1 6c h i c s i mb r i c k sa r c h i t e c t u r e ( 6 ) e d g s i m ” 设计用柬模拟欧洲数据网格的性能但是更注重于调度算法的优 化问题。图17 显示了e d g s i m 的体系结构。 e d g s i m 是在p l o l e m y 3 4 1 的基础上开发的，它主要是模拟欧洲数据网格中的数据密 集型任务，这些任务 要是进行数据文件的传输。e d g s i m 模拟器通过时钟柬产生符合 预先给定分布的大量作业，它们需要的数据文件集随机分布在不同s i t e 的s e 上。 e d g s i m 日前t 要州来研究数据的局部性原理在调度决策过程中的重要性问题。 第一章网格与网格模拟器 s i t e0 k i 广= r = 习 l = ，jul ：i 闶 iu s e ri n t e r f a c e - - _ 1 “b r o k e s o u e r r c 8 s el i 二j l jr e p l i c a 叫- o 嘶r c a t a l o g l s i t e1 l is i t enl 图1 7e d g s i m 模拟的网格系统 f i g 1 7e d g s i ma r c h i t e c t u r e ( 7 ) g r i d n e t 3 5 1 模拟器是为了评估模拟数据网格中动态的数据复制策略，该项目 是由i b m 奖学金项目、i b m 阿尔马登研究中心以及美国国家科学基金支撑。该项目提 出了一种智能的副本策略，即基于代价估计( c o s t e s t i m a t i o n ) 模型的副本决策( r e p l i c a t i o n d e c i s i o n s ) 。图1 8 显示了g r i d n e t 的体系结构。 g r i d n e t 基于模块化的设计，建立在网络模拟器n s1 3 6 i 的基础上。它允许用户指定不 同的网络配置，不同的节点类型，不同的网络资源，一个复制算法( 策略) 和一个计算 代价的函数以及其参数。 g r i d n e t 的模拟环境主要有以下三类节点：客户端、服务器和缓存节点。客户端负 责产生数据访问的请求；服务器端代表一个主要的存储节点；缓存节点代表一个中间存 储节点，用来复制一部分存储在服务器上的数据。这三者之间通过n s 模拟器构建的网 络拓扑来互连和通信。 目0 阳m a - 圉 佾。 i t ；u 咄。佾 南m 国妇h a r 田髓船 i i m 面缸十 划17 妙 j 妇lm l t 虹 ll l _ j 1 r 一 t 一 t i 呦岫j 矧 j 尉 蛐嘞 t m l e目丑e 黟穆 八 八 图1 8g r i d n e t 模拟的网格系统 f i g 1 8g r i d n e ta r c h i t e c t u r e 大连交通大学1 二学硕十学位论文 ( 8 ) o p t o r s i m t 3 7 】通过模拟( 欧洲) 数据网格中各个独立部件之间的交互作用，从 而达到评估不同的数据管理策略副本优化算法的性能的目的。 o p t o r s i m 以e d g 的结构为基础，包括了所有必须的部件，但是重点是在数据管理 的副本机制上。图1 9 显示了o p t o r s i m 的体系结构。 o p t o r s i m 是一个用j a v a 实现的基于时间的网格模拟器。用户只需要在模拟开始之 前在配置文件中指定网格的拓扑结构和工作列表即可。不同的r e s o u r c e b r o k e r 的调度算 法和r e p l i c ao p t i m i z e r 的副本管理算法可以在一个参数文件中设定，同时还可以指定其 他的参数，比如任务的文件传输模式，初始化的文件分布，处理时间和网络的拥塞程度 等。模拟结束之后，会有一些统计数据输出。 孚i u s e r i n t e r f a c e r e s o u r c eb r o k e r 。，一，一一一一一一了一，、 j o be x e c u t i 面s i t ej o be x e c u t i o ns i t ej o be x e c u n o ns i t e r e p li c am a n a g e rr e p li c am a n a g e rr e p l i c am a n a g e r r e p l i c al。l r e p l i c ai ，lr e p l i c a o p t i m i s e r o p t i m i s e rr 7 l o p t i m i s e rr 刳国l g u t i a g 自d 国o m p u t i n g 自削闺m p u t i n g 囟 图1 9o p t o r s i m 模拟的网格系统 f i g 1 9o p t o r s i ma r c h i t e c t u r e 1 5 当前网格模拟器的不足 从对以上8 种网格模拟器的介绍我们发现，当前存在的这些网格模拟器大多是 在网格研究初期，为了研究网格中某一特定问题，或某特定网格的性能问题而开发的。 虽然它们在这几年都有升级和改进，但由于其设计之初的目标和体系结构的限制，使得 他们任何一个都很难独立满足当前广大网格研究者的各种研究需要，具体说，当前的这 些网格模拟器有如下不足： ( 1 ) 非标准化当前的网格模拟器的大都形成很早，跟所有技术发展的历史轨迹一样， 网格的发展也经历了从提出到各自发展再到标准化这样一个过程。如今的网格已经从最 初的以协议为中心的五层沙漏模型，发展为面向服务，以服务为中心的o g s a 体系结构。 这种结构性的转变并没有在当前的众多网格模拟器的升级改造中得以体现。在上面的网 1 6 第章网格与网格模拟器 格模拟器的最新版本中，仍然没有任何关于服务概念的体现，这就使得网格的研究者和 网格开发者在使用模拟器的时候往往不得不进行一些概念的转化或是抛弃，这无形中提 高了使用模拟器的门槛，降低了网格模拟器的易用性。 ( 2 ) 应用单一、局限化在网格研究早期，网格的研究主要集中在解决大规模科学 研究问题上，网格研究人员关心的重点基本上是如何有效利用网格所提供的巨大的计算 力以及如何解决大规模数据密集型应用问题。因此，在这一时期建立的所有的网格模拟 器都是以计算网格或和是数据网格为中心的。随着网格技术的不断发展和进步，当前的 网格已经不仅仅局限于应用在科研领域，开始向商业化和大众化方向发展。尤其在 w s r f 框架提出后，网格彻底与商业领域的w e b 服务融合在了一起，使得网格应用也不 再简单的以计算网格或和数据网格进行划分，而是以服务为实现手段的面向特定领域、 满足专有需求的多种多样的应用形势。当前网格模拟器的这种应用划分已经很难满足这 样的应用模拟需要了。 ( 3 ) 非系统化正如上面所说，当前的网格模拟器主要以研究早期计算网格或和数 据网格为主，而这种研究又主要集中在对资源调度算法或和副本管理算法的研究上，对 于这样的算法研究可以说是必要的也是重要的，当前的模拟器也在一定程度上是适用 的。但对于作为整个系统的网格来说，仅仅片面的考虑这样的算法是远远不够的。作为 一个网格模拟器，不仅仅应该满足算法研究者的需要，更应该能够将网格复杂的计算模 型作为一个整体，使得各种研究能够在整体的框架下进行，这样才能使得局部性研究有 的放矢，也具有更高的可信性和研究价值。但遗憾的是，当前的各种网格模拟器都没有 这样的系统化设计，并且由于它们产生时期和设计思想的限制，它们也无法在今后通过 升级和改进来完成这