网格的可扩展体系结构研究

1、 e-Science 网格的可扩展体系结构研究 黄理灿 浙江大学计算机学院、计算机应用专业 提 要 e-Science主要研究科学领域的全球合作以及与之相适应的根底体系结构，它将对未来的科学研究方式产生革命性的影响。网格Grid是使e-Science成为可能的根底体系结构。 本文的主要奉献有：1 提出了虚拟动态分层体系结构Virtual and Dynamic Hierarchical Architecture, VDHA ，用于解决e-Science 网格的动态和可扩展性问题。 VDHA结构综合了C/S模式和P2P模式的优点，并克服了它们的缺点。2 提出了高效的可扩展的效劳发现协议，包括完全

2、查询和发现协议、领域相关查询和发现协议。3 提出了基于PKI的可扩展的平安体系结构， 包括身份认证和访问控制。4 提出了基于本体论的网格效劳描述语言(OGSDL)。旨在效劳的自动发现和自动执行。5 实现了一个可扩展的网格系统原型VDHA_Grid。6 提出了应用于VDHA_Grid网格监控的模型。 7 提出了基于VDHA文件共享效劳和虚拟学术讨论效劳模型，提出了基于VDHA的异质信息共享效劳和知识检索效劳原型。可扩展的e-Science网格的体系结构的研究动机 1。目前主流网格技术Globus 和Web Service 技术其设计思想都是集中式、基于C/S模式的。具有如下问题: 管理困难、实现

3、困难、空间复杂度困难、时间复杂度困难等等。同时，存在因单点失败引起整个系统崩溃的问题。2。Peer to Peer具有可扩展性、容错性等特点，然而它在平安性、体系结构等方面还存在不少缺陷。3。将目前的网格主流技术与P2P技术相结合，形成可扩展的、基于语义的网格体系结构，这是一项非常有理论和应用价值的重要工作。 e-Science 与 网格 e-Science 的精髓：基于网络的共享与协作。 共享：科研设施、信息、人才等的共享。 协作：共同完成某一项研究。 e-Science 历史： 2000年11月英国John Taylor 宣布1.2 亿英镑的3年方案而得名。 参加单位： 英国经济和社会研究

4、机构ESRC、 英国自然环境研究机构NERC 英国生物技术和生物科学研究机构BBSRC、 英国医学研究机构MRC、 英国工程与物理科学研究机构EPSRC、 英国粒子物理与天文学研究机构PPARC、 英国中心研究实验室机构CLRC e-Science 与 网格 e-Science 方案： 第一阶段：开始网格研究， 进行e-Science 测试床的开发和支持工作。 第二阶段： 是使第一阶段的研究成果到达成熟和分发的使用的地步。 e-Science 与 网格 一个未来的科学研究的工作流程的场景 网格Globus 与 Web ServicePeer to PeerC/S模式集中目录效劳器模式纯P2P模

5、式无结构有结构DHT e.g. Chord, CAN etc.)E-Science 网格我们把用于科学研究，其节点主要位于大学或研究机构的网格系统称之为e-Science网格。e-Science网格节点一般是稳定的。一般地，人们不会有意频繁地参加或退出节点。另外，节点主机一般有人负责管理。节点主机可以是从超 级计算机到PC效劳器的各种性能的主机。在e-Science网格中，一般相关领域的科研机构会建立虚拟组织进行某一工程的合作研究。通常，某一虚拟合作研究工程由学术带头人牵头组织。 这些虚拟组织有长期存在的组织，也有临时的组织。 此外，全球协作研究的方式必须建立在体系结构的自治机制上，允许节点进

6、入和离开e-Science网格系统。 E-Science 需要解决计算密集型的问题， E-Science需要解决数据密集型的问题， e-Science 需要解决异构的信息共享和合作问题，和解决地理上分散的知识的语义问题。所以，e-Science网格包括了计算网格、信息网格和知识网格的内容。e-Science网格不是完全无政府的，必须是可管理的。 虚拟动态分层体系结构虚拟动态分层体系结构Virtual and Dynamic Hierarchical Architecture，简称VDHA具有自主性、可扩展性、移动计算、方便权限管理，以及效劳和资源的高效和精确发现等特点。包含核心层和周围层, 核

7、心层由网格节点所组成，周围层包括台式机、笔记本、PDA、传感器和其它网络等。所有外围设备均通过有线或无线方式，经由接入节点entrance进入VDHA_Grid网格系统。节点的角色可以是普通节点、网关节点、协调者、接入节点和所有者节点。节点可以是其中之一或同时是这些角色中的几个。 虚拟动态分层体系结构定义 1 网格节点是网格系统中的节点定义 2 接入节点Entrance node，符号为ent) 是一网格节点，接入节点是用户登录进入网格系统的接入点。 定义 3 所有者节点Owner node，符号为 ow) 是一管理用户的网格节点。 定义4 用户User 符号为user) 是利用网格系统的角色

8、。用户仅被自己的所有者节点管理，而不是被整个网格系统管理。 定义 5 客户机Client host，符号为 cli) 是用户用以登录网格和进行事物处理的设备如台式机、掌上机、移动计算机等。 定义 6 网关节点Gateway node，符号为gn) 是在几个不同层次的虚拟组织行使协调功能的节点。 定义 7 虚拟组Virtual group 符号为 VG) 为网格节点虚拟形成的组。 VGi 表示这个虚拟组在第i层，它的名称为。 定义 8 虚拟组协调者Coordinator of virtual group，符号为cvg) 为在虚拟组中起协调作用的网关节点。cvgi 是一个网关节点，他在第i层名称为

9、 的虚拟组中起协调者的作用。定义 9 虚拟组树Virtual group tree，符号为 VGT) 是由虚拟组形成的分层树。定义10 VDHA为至少深度为2的虚拟组树。VDHA 具有在网格节点数量、层次、虚拟组组成等方面的动态特点。 e-Science网格的可扩展体系结构 图1。VDHA_Grid的网络结构图和VDHA的结构 网格组管理协议Grid Group Management Protocol (GGMP) 网格组管理协议管理成员的申请参加或退出，以及维持VDHA的虚拟组树。协议的主要思想为：如果存在节点的变化例如参加或退出，这些变化将传至协调者节点，协调者节点将把这些变化传到此协调者

10、节点本身所在的组的成员以及相邻两组的成员。如果网关节点需要变更，在线具有最大权值的节点将成为网关节点。 可扩展网格系统的体系结构 图2 可扩展网格系统VDHA_Grid的体系结构 Service requestorService registryService providerServiceService descriptionPublish, OGSDLSecurity serviceFind, QDP, OGSDLBindA Grid nodeSecurity, SGSI 基于本体论的网格效劳描述语言OGSDL 图3 OGSDL的语言层次VDHA_Grid的层次结构可扩展的网格信息效劳完全

11、查询和发现效劳协议 Full Search Query and Discovery Protocol (FSQDP)，具有时间复杂性O(logN)、空间复杂性O(logNvg)以及消息复杂性 O(N)N为网格节点总数，Nvg 为组节点数。领域相关查询和发现效劳协议Domain-Specific Query and Discovery Protocol (DSQDP) ，具有具有时间复杂性O(logNvg) 、空间复杂性O(logNvg)以及消息复杂性O(logNvg) 。可扩展的网格信息效劳 1 。完全查询和发现协议FSQDP 虚拟组成员个数对响应时间的影响虚拟组树层数对响应时间的影响 可扩展

12、的网格信息效劳 1 。领域相关查询和发现协议DSQDP 可扩展的平安体系结构 身份认证的体系结构 身份认证登录协议 由效劳实例创立与撤消效劳协议-II型SCDSIP-II Step 1: sij.send (request-creation-instance, SLMSi) Step 2: SLMSi authenticates with SLMSk Step 3: If the user pays for the service Skl Right = ACP (SLMSk, user, spkl) Else Right= ACP (SLMSk, sij, spkl) Step 4: If

13、Right FAIL Then SLMSk creates instance of skl; SLMSk.send (success-create-instance, SLMSi); SLMSi.send (success-create-instance, sij); Else SLMSk.send (fail-access-service, SLMSi); SLMSi.send (fail-access-service, sij); 访问控制模型 VDHA_Grid的监控效劳、资源分配及管理效劳 分层集中式的网络监控效劳的体系结构 VDHA_Grid 的MCS消息流向图 消息流向图分层领域相

14、关的网格资源分配与管理效劳(HDGRAM) 领域相关的资源分配与任务调度HDGRAM 的模拟分析 节点数和完成的任务数对花费的时间的影响原型系统VDHA_Grid的实现 VDHA_Grid 基于消息的实现类ServiceClass 代码 import java.io.*;import java.util.*;import .*;import java.util.Hashtable;abstract public class ServiceClass protected Hashtable nodeStatus; protected String strparameters = new Stri

15、ng(); protected String strResultExcute = null; abstract public void doService(); public String nodeIP; public String port; public void putNodeIP(String Ip) nodeIP = Ip; public void putPort(String strport) port = strport; public void putHashNodestatus(Hashtable nodeStatus) nodeStatus = nodeStatus; pu

16、blic Hashtable getHashNodestatus( ) return nodeStatus; public void putstrParameters(String paras) strparameters = paras; public String getstrParameters( ) return strparameters; public String getstrResult() return strResultExcute; 原型系统VDHA_Grid的实现 VDHA_Grid 的主要界面 基于VDHA的e-Science网格原型系统 虚拟合作中心e-Scienc

17、e网格网格分层示意图 文件共享效劳结构 文件共享效劳UML图 文件共享效劳结果 基于VDHA的分布式知识检索效劳结果 展望 如果许多用户在同一时间同时使用DSQDP协议， 由于消息都需要传到根虚拟组的协调者， 所以造成根虚拟组协调者节点的通信拥塞和消耗大量的计算时间。 为了防止此类情况，用DHT的方法将协调者组成一个基于DHT的P2P网络。当消息传递到这一层次的协调者时，采用DHT的方法找到符合条件的协调者，然后，由此协调者按DSQDP协议搜索到满足条件的节点。 将来的工作是具体实现。我们将来的工作在于进一步完善VDHA_Grid原型，使之能够发布给其他机构使用。Thanks Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Thank you！Tha