（计算机系统结构专业论文）网格互操作系统中的数据管理研究.pdf

华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 i 摘摘 要要 网格是一种新型的分布式资源共享方式。它将地理上分布的计算资源、存储资源 和信息资源等有机地连接起来，为用户提供统一、标准的网格服务。现今已存在多 种网格系统，但是由于网格缺乏统一的协议标准，且这些网格系统多针对于特定应 用，其体系结构存在很大差别，这就使不同网格系统之间的资源很难共享。网格互 操作研究就是为了解决异构网格系统之间的资源共享问题，使不同网格系统能够互 联互通，最终实现分布式、异构网格平台之间的资源共享而开展的。 在网格互操作的研究和实现中，数据互操作处于相当重要的地位，它整合不同网 格系统的数据资源，为用户和其它功能组件提供一个透明、分布共享、安全容错的 数据仓库。目前，各个网格平台拥有独立的数据管理空间，其作用是存储和管理网 格服务所需要或产生的大量数据资源。在国内外众多网格项目中，大都采用 srb （storage resource broker）或 srm（storage resource manager）作为其网格平 台数据管理中间件。网格数据互操作目的就是能使不同网格平台的数据实现共享。 在网格互操作项目实践中，设计了一种基于插件的接口代理互操作机制，并依此 实现了中国教育科研网格支撑平台 cgsp（chinagrid support platform）和 srb 之 间的数据互操作。这种机制针对各个网格平台开发一个接口插件用于获取系统的数 据逻辑域和底层的数据资源信息。其屏蔽了各个网格系统数据管理域的异构性，在 接口层对各个网格平台的数据信息进行统一管理，为网格用户和其它功能组件提供 了统一接口，并提供数据传输的可靠性和容错性管理，保证为用户提供高效和方便 的数据服务。 数据调度算法是整个系统的核心算法， 良好的数据调度算法能及时响应用户的请 求，并保证系统的稳定性。本系统设计了一套接口映射算法，该算法实现了数据管 理互操作系统数据的动态调度。通过该算法，系统能自适应的选择文件路径，动态 绑定底层网格平台的数据操作接口。性能测试表明，基于该算法的接口插件具有较 短的响应时间、较低的访问延迟以及易扩展性等优点。 关键词：关键词：网格互操作，接口代理，数据管理，接口映射 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 ii abstract grid is a new way to share the distributed resources on the internet. it organic connects the geographically distributed computing resources、storage resource and information resources so that it provides users with a uniform, standard grid services. now, because there havent existing standard protocol of grid and each grid system designed to implement its different utilities, the architecture of these grid is huge different and the resources can not be shared for different grid user. the research of grid interoperation is just aims at these difficulties. the final target is that different grid system can connect with each other and share their distributing resource in a uniform way. data management plays a very important role in the research of interoperability on grid middleware. it combines different grid system of data resources and provides users and other functional components with a transparent distribution of shared security and fault-tolerant data depository. each grid has its own data manage module to store the data produced or consumed by grid service. there are two common middleware used in the data grid to manage the data, srb (storage resource broker) and srm (storage resource manager) and most grids attempt to support either srb or srm standard for managed storage. the data interoperation research is to share the data in different grid. in the grid interoperation project, we designed a plug-in interface agent and relying on the strategy to achieve the interoperability between cgsp and srb. the interface agent we developed can visit both metadata resource and physical data resource in two grid system .it shields the difference of data manage domain and provides users a uniform data view and operation functions with interface-mapping mechanism. also, it makes sure the data transfer available and consistent by fault-tolerant management. data resource scheduling arithmetic is the core arithmetic in the grid interoperation system. a good data resource scheduling arithmetic can reduce the time of response and improve data transfer efficiency. this project adopts the interfacemapping scheduling strategy which can choose the metadata path in each grid system and mapping the data operate interface automatically. the experiment results show that the interface-mapping scheduling has the advantages of quick- response、low-delay and easy-extensibility. key words： grid interoperation, interface agent, data management, interface mapping 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体， 均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 保密，在 年解密后适用本授权书。 不保密。 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 1 1 绪绪 论论 本章首先简述网格以及网格互操作的意义，然后分析国内外网格互操作的研究状 况，包括科研情况，项目开展，最新技术等。最后介绍本课题的研究内容和文章框 架结构。 1.1 网格互操作概述网格互操作概述 网格是上世纪末随着因特网发展而兴起的一组新型技术。美国 argone 国家实验 室的 ian foster 教授认为：“网格是构筑在互联网上的一组新兴技术，它将高速互联 网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普 通用户提供更多的资源、功能和交互性1。互联网主要为人们提供电子邮件、网页浏 览等通信功能，而网格的功能则更多更强，能使人们透明地使用计算、存储等其他 资源2。这里的计算资源包括各类计算机、网络通信能力、仪器设备等。通俗的说， 网格即是高性能计算和信息服务的战略性基础设施，它将地理上分布的、异构的各 种资源通过高速网络连接并集成起来，共同完成重大的科学研究3。 网格不仅为信息 资源的获取、分布、传输和有效利用带来革命性和结构性的巨大变化，而且将根本 改变人们的研究方式、教育方式、生活和生产方式4。网格通过因特网将分散在各地 的计算机连接起来，不仅可使每台个人电脑的处理能力得到充分利用，还可以使成 千上万的用户在大范围的网络上共享电脑的处理能力、 文件以及应用软件。 与 www (world wide web)技术相比，网格技术所提供的服务更加方便，能真正实现资源使用 的透明性，提供更强的处理能力。传统的互联网实现了计算机硬件的连通，web 实 现了网页的连通，而网格则实现互联网上所有资源的全面融合。它把整个互联网整 合成一台巨大的虚拟超级计算机，实现计算资源、存储资源、通信资源、软件资源、 信息资源及知识资源的全面共享和协同工作4,5,6。 目前，在网格研究中，由于缺乏统一和标准的协议框架，各研究机构针对不同 应用设计了不同的网格平台中间件。平台网格中间件在一定程度上消除了互联网上 的信息孤岛，整合了一定的资源。但是由于各个网格平台对底层资源的描述、使用 方式、资源管理机制和服务调度机制等设计的不同，导致以网格中间件为单位的新 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 2 的网格信息孤岛的产生。异构网格平台之间不能互享资源，不能互操作已成为当前 阻碍网格技术发展和应用的新瓶颈。因此，如何整合异构网格平台的资源已成为必 须要面临的难题。当前，解决此问题已迫在眉睫。 1.2 国内外网格互操作研究状况国内外网格互操作研究状况 针对不同网格平台的异构性以及资源不能共享等问题，目前国内外网格界已开 始了相关的研究。在 2006 年希腊召开的 ggf16 会议上，正式成立了 gin（grid interoperation）工作组,其成员为各网格各个领域的专家学者。gin 工作组下面设置 gin-job,gin-info,gin-auth,gin-data 四个项目组， 分别负责服务互操作， 信息互操作， 安全互操作以及数据互操作四个方面的研究。这标志网格互操作研究在界内已正式 展开。 1.2.1 网格平台中间件概述网格平台中间件概述 在网格互操作研究中，对各个网格平台架构的分析是最基本的，只有充分熟悉 网格平台，才能对其进行互操作研究。目前在网格平台中间件领域，globus toolkit、 unicore、 cgsp 和 vega 是国内外比较有名的网格中间件,下面主要介绍这四个网 格中间件的基本结构和特点。 1. globus toolkit globus toolkit7,8是由美国argonne国家实验室开发的网格计算工具箱，来源于 globus项目。globus项目是国际上最有影响力的与网格计算相关的项目之一， 是由来 自世界各地关注网格技术的研究人员和开发人员共同努力的成果。globus toolkit是 一个开放源码的网格的基础平台，基于开放结构、开放服务资源和软件库，并支持 网格和网格应用，目的是为构建网格应用提供中间件服务和程序库。globus由一系 列实现基本服务的组件构成，包括：安全、资源定位、资源管理、数据管理、资源 预留和通信等。globus的网格计算协议建立在互联网协议之上，以互联网协议中的 通信、路由、域名解析等功能为基础。globus的协议分为五层：构造层、连接层、 资源层、汇集层和应用层9,10。每层都有各自的服务、api和sdk，上层协议调用下 层协议的服务。网格内的全局应用都通过协议提供的服务调用操作系统。 构造层（fabric）向上提供网格中可供共享的资源，它们是物理或逻辑实体。常 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 3 用的资源包括处理能力、存储系统、目录、网格资源、分布式文件系统、分布式计 算机池、计算机集群等。toolkit中相应组件负责侦测可用的软硬件资源的特性、当前 负荷、状态等信息，并将其打包供上层协议调用。 连接层（connectivity）是网格中网络事务处理通信与授权控制的核心协议。通 过传输、路由及名字解析实现资源间的数据交换实现；在toolkit中，相应组件采用基 于公钥的网格安全基础协议（gsi） 。在此协议中提供一次登录、委托授权、局域安 全方案整合、基于用户的信任关系等功能实现不同资源间的授权验证、安全控制。 资源层（resource）对单个资源实施控制，与可用资源进行安全握手、对资源做 初始化、监测资源运行状况、统计与付费有关的资源使用数据。在toolkit中有一系列 组件用来实现资源注册、 资源分配和资源监视。 toolkit还在这一层定义了客户端的c、 java的api和sdk。 汇集层（collective）将资源层提交的受控资源汇集在一起，供虚拟组织的应用 程序共享、调用。为了对来自应用的共享进行管理和控制，汇集层提供目录服务、 资源分配、日程安排、资源代理、资源监测诊断、网格启动、负荷控制、账户管理 等多种功能。 应用层（applications）主要是网格上用户的应用程序。应用程序通过各层的api 调用相应的服务，再通过服务调用网格上的资源来完成任务。应用程序的开发涉及 大量的库函数。 2. unicore unicore11,12,13是计算资源的统一接口(uniform interface to computing resources)的简称，是一个可以用于生产性运营的网格软件系统。该系统集成了安全 管理、工作流管理, 并支持各种不同的计算资源，提供了对分布式计算资源的无缝、 安全和简单易行的访问方式，为终端用户和计算中心提供了强大的运行网格功能， 是一种适合于建立计算网格的软件系统。unicore 是纵向整合的网格系统，提供 了网格环境下异构资源统一的、 图形化的接口。 图1.1描述了unicore的层次结构图。 unicore系统是基于3层模型的体系构架，包含用户层、服务层和目标系统层。 包括以下主要组成部分：客户端（用户界面）、网关（gateway）、网络作业监管器 （njs）、网格用户数据库（uudb）、目标系统接口（tsi）等；其中用户通过客 户端可以创建、提交和控制作业，客户端为网格用户提供统一入口，并通过网关访 问不同的网格资源和服务。 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 4 用户层 unicore 客户端 作业描述代理 x.509安全 网关(gateway) 网格作业管理(network job supervisor) 用户验证 映射db 服务层 目标系统层 目标系统接口(target system interface ) 目标系统层 批处理子系统(batch subsystem) 抽象作业对象 (abstract job object) 普处理作业 图1.1 unicore软件层次结构 3. cgsp chinagrid14,15公共支撑平台（chinagrid support platform, 简称 cgsp）是为 chinagrid 的建设和发展而研制的网格核心中间件。cgsp 基于当前 cernet（中国 教育科研网）及将来 cernet 高速传输网，提供了一套完整的网格服务支撑平台。 它对教育和科研系统中的各种资源进行整合，屏蔽网格资源的异构性和动态性，为 各种科学计算与工程研究提供高性能的、高可靠的、安全方便的透明网格服务，形 成一套面向 cernet 的公共网格服务体系。 cgsp 提供 chinagrid 的服务门户， 同时 也为各种网格应用提供一套完整的开发和部署环境。 cgsp 是一组互相配合的软件组件，支持 chinagrid 网格应用的开发、调试、部 署、运行管理以及系统监控等各个环节16,17。基于 cgsp，整个 chinagrid 网格系统 可以构造成一个分层树型结构。cgsp 的主要特点包括：符合 ogsa 规范，参照网 格最新理念 wsrf 实现，支持超级（虚拟）服务、普通 web service 和 wsrf 服务 等多种服务模式；chinagrid 具有区域性非常强的特点，为了实现就近取材，同时满 足 chinagrid 中各个专业网格的自治性的要求，cgsp 引入了“域”的构建模式，每 个域单独对外提供服务； cgsp 的可扩展性设计能够满足 chinagrid 不断扩展的需求， 树型结构使其规模能够逐步扩展到全国多所高校； 保证了 chinagrid 的完整性和统一 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 5 性，从根域出发的全局监控和统一入口体现了 chinagrid 的整体性，而各个子域又可 以具有各自独立的 portal。 cgsp 平台主要有网格门户、作业管理器，服务容器，信息中心，数据中心，安 全中心等组成。网格门户是最终用户使用网格的入口。通过网格门户，用户可以提 交作业、监视作业运行、管理和传输数据、查询网格资源信息，同是网格门户还具 有用户管理，网格资源使用记账等功能。作业管理器提供了作业提交，作业调度和 作业部署等功能，并能提供作业状态监控和服务支持管理。信息中心主要功能是负 责网格环境中各类资源信息的管理，实现一个全局的资源视图。数据中心主要负责 网格服务所需数据的管理功能，其按照域进行组织，为不同用户提供不同的全局文 件数据视图，使得用户能够透明的访问网格环境上的各种数据文件。安全中心的作 用主要为用户身份的认证，资源和服务的授权，加密传输，以及用户身份到资源授 权的映射。图 1.2 给出了 cgsp 的模块层次图。 图 1.2 cgsp 详细模块结构图 4.织女星网格（vega） 中国科学院计算所正在进行织女星网格的研究工作1823。织女星网格体系结构 的基本思想是把网格看成一台虚拟的超级计算机系统。织女星网格体系结构分为3个 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 6 层次。即硬件层、操作系统层和应用层24,25。图1.3给出了织女星网格的层次结构。 网格硬件包括广域分布的计算资源。如高性能计算机、贵重仪器以及互联系统。网 格操作系统是基于网格硬件开发的系统软件，完成资源管理、数据管理、协议处理 并提供应用编程接口（api）。网格应用层向网格用户提供一体化、透明的使用模式。 网格硬件 网格操作系统 网格应用 服务器 其他服 务器 网格浏览器 （gsml） gcp协议 gsrp协议 网格应用层 图1.3 织女星网格的层次结构 1.2.2 网格互操作项目介绍网格互操作项目介绍 1.gpe 与 cgsp 互操作 gpe26,27（grid programming environment）是 intel 公司提出的网格编程环境 的一种新网格架构，目的为网格下层调用执行建立一种统一的接口规范，使网格应 用程序开发更容易。依靠 gpe，屏蔽底层相关技术，如网格协议和语言等，因此，网 格用户可以灵活地跨越异构网格平台访问各种资源。 中国国家教育部支撑的 cgsp 项目是中国最大的网格系统之一，它整合了中国 教育科研网的可以利用的各种资源，屏蔽这些资源物理上和逻辑上的异构性，为中 国教育科研网的用户提供了一个网络平台。 随着网格研究的发展和进一步深入，gpe 和 cgsp 都在寻求能够相互合作的网 格中间件，使得平台之间的资源可以互相利用和访问。gpe 和 cgsp 的互操作使得 gpe 用户可以透明访问中国教育科研网的资源，同时也使得 cgsp 可以利用 gpe 所 整合的各类网格资源。 cgsp 与 gpe 的整合方案是采用将 gpe 每个功能模块的原子服务整合 cgsp 中 相应的功能部件系统服务， 并在 gpe 的客户端设计一套针对 cgsp 功能模块的接口， 使 gpe 用户能使用 cgsp 的服务，数据等资源。由于 cgsp 当初设计没考虑和 gpe 的融合，所以其在整合方案中不可避免的需修改系统底层代码。gpe 在其设计中也 未定义与其他网格平台的操作接口，因此，在具体实现两者之间的互操作上还需要 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 7 做大量的接口定义，接口转换工作。 2. globus 与 unicore 互操作 globus 和 unicore 两个网格中间件都为用户提供了一种访问分布式资源的网 格基础结构。为了利用一整套 globus 服务来开发网格应用，globus 给开发人员提供 一套工具。unicore 描述了一个统一访问分布式异构资源的垂直集成解决方案。 unicore 是一个由德国大学、研究机构和软件公司组成的联盟开发的。它受德国教 育研究部（german ministry for education and research）的部分资助。目前这个合作 项目分别由美国阿贡国家实验室和德国 juelich 研究中心承担。unicore 作业客户 端选择性地访问 globus 资源，包括作业提交，状态查询，数据传输和结果反馈。 unicore 和 globus 的整合方案主要解决以下两个方面的难题：1.将作业提交、 输出反馈、状态查询等 unicore 请求进行解析并提交给相应的 globus 组件；2.将 永久性的 unicore 用户证书映射为 globus 代理证书。这些功能需要不改变现有的 体系架构来实现。这些功能最后通过加强目标系统接口（etsi：enhanced target system interface）来实现。这个 etsi 作为 unicore 众多目标系统的一个来被 unicore 用户访问。另一方面，对于 globus 来说，etsi 又作为客户端程序访问 globus 标准编程应用接口。 etsi 相当于 globus 和 unicore 之间的一个桥梁， 来实 现 unicore 客户端访问 globus 资源的目标。 1.3 课题背景和系统实现目标课题背景和系统实现目标 网格互操作根据其整合资源的不同分类，可分了网格服务互操作，网格信息互 操作以及网格数据互操作等。其目的分别是为了达到各个网格平台的服务共享，信 息共享以及数据共享等。其中数据管理模块是各个网格平台的重要功能模块，它为 用户提供运行服务所产生或需消耗的数据存放空间。数据的共享是网格资源共享的 基础，只有实现数据互操作，才能真正意义上实现网格平台的互操作。它是互操作 研究中的重点之一。 本课题受中国教育科研网格 chinagrid 项目以及国家发改委 cngi 项目 （cngi-04-15-7a）支持，主要致力于中国教育科研网格与其他网格之间的互操作模 式研究。在数据互操作领域研究的主要目标是与 srb 网格数据管理中间件或 srm 互联互通，不同网格平台之间达到在一定授权模式下的数据共享，数据传输以及数 据管理，消除网格中的数据孤岛。 根据课题研究目标和要求，针对目前 cgsp2.0 数据域和 srb 网格数据管理中间 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 8 件之间的结构差异，研究了相关理论，课题组提出了一种基于插件的接口代理模式 作为数据管理互操作模型。该模型很好的屏蔽了 cgsp 与 srb 系统底层的差异，为 用户提供了统一的数据管理空间。该模型针对两者系统在元数据服务，数据传输方 式以及安全认证上的异构，很好的为各自系统设计了一套基于插件的接口代理模型， 该模型基于插件形式可“植入”相应系统，通过配置以及接口调用，构筑了一层数 据接口虚拟层， 该层对用户 portal 上的操作请求进行调度处理， 根据相关策略把请求 转给相应的系统，再由相应的系统对请求予以响应。该模型具有灵活性高、兼容性 强和扩展性好等优点，通过这套接口机制可以实现 chinagrid 和采用 srb 的数据网 格之间的互操作。 1.4 文章组织结构文章组织结构 本文各章内容大致安排如下： 第一章首先概述网格及国内外若干网格平台中间件， 介绍网格互操作研究目前的 状况。同时，简要介绍课题背景和系统目标。最后对文章框架结构做出安排。 第二章专门对网格数据管理架构进行研究，主要分析 cgsp 数据管理模块、srb 数据管理中间件和 srm 数据管理标准，并对它们进行分析小结。 第三章描述网格数据互操作的模型框架及其策略。 主要内容包括各种常用的互操 作模型分析和比较，数据调度核心算法的研究以及数据传输中一致性和可靠性的保 证等方面的探讨。 第四章具体描述网格数据互操作系统的总体结构以及各模块功能实现， 然后介绍 系统的核心功能和用户操作流程，最后介绍该系统算法实现技术。 第五章具体描述系统测试。首先建立系统的测试环境，然后对其进行功能测试和 性能测试。功能测试主要针对文件读取，文件上传等基本功能进行测试；性能测试 主要测试各个功能模块的请求响应性能，并对接口映射算法进行测试，分析其接口 选择和绑定的开销。 第六章对全文进行总结并展望未来工作。 最后是致谢、参考文献与附录。 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 9 2 网格数据管理系统网格数据管理系统 网格服务一般都涉及到对数据文件的处理， 大多数网格平台都有自己的数据空间 管理不同用户使用网格服务时所需要的数据资源。当提供数据服务作为其网格平台 的主要服务时，其数据管理空间往往具有强大的数据管理功能，能够对不同介质的 分布式的数据资源进行有效的管理，这种网格就演变成了数据网格。目前，无论是 专业的数据网格还是一般的计算网格，信息网格等，其各自的数据空间都是独立的， 设计模式和功能架构具有很大的不同。 本章主要讨论目前流行的网格数据管理模型架构， 详细分析其各自架构的特点和 设计模式，并在元数据管理，文件传输机制，副本策略等方面进行比较和小结。 2.1 数据网格概述数据网格概述 数据网格是一种强调数据服务作为其主要服务方式的网格系统。 其并非只向用户 提供数据服务，而是把数据管理，数据存储和数据分发作为其主要网格应用，网格 系统强调了数据在其提供服务中的地位。 在数据网格研究领域，美国和欧洲处于领先地位，他们的研究范围和规模都比较 大，并且已经推出了一些试验系统和标准。其中最著名的数据网格项目有美国主导 的粒子物理数据 ppdg（particle physics data grid）项目28,29和欧洲原子能机构 cern 开发的欧洲数据网格项目30,31。在粒子物理研究等领域中，大型正负对撞机的 出现将给计算科技带来全新的挑战，为此，需要有空前的计算能力来处理这些数据， 空前的人类智慧来分析这些数据，以及空前的存贮能力来保存这些数据。解决这些 问题的基本思想是把海量数据分散到全球的计算机上进行处理，并由全球的物理学 家共同分析之。在这个背景下，数据网格的研究也就应运而生了，它成为实现这个 “大科学”目标的基础平台。 数据网格需要管理成千上万个处理器和磁盘、千万亿字节（pb）的数据和每秒万 亿比特（tb/s）的网络带宽，并协调不同国籍，不同研究机构的科学工作者的工作， 及时分析数据并汇总结果。当用户提交一个任务时，数据网格首先分析完成任务所 需要的计算资源。然后，找到这些资源并分配给任务。同样地，运行任务所需要的 数据也被检索出来并传送给计算资源。因此，数据网格需要具备分析任务的能力、 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 10 随时掌握网格中资源的能力、执行任务程序的能力、任意传输数据的能力、判定和 保障服务质量的能力、从错误中恢复的能力和记录出错情况的能力等等。 在数据网格的设计中，主要有以下若干核心模块，这些模块共同作用，完成数据 网格所需要的功能。 1.负载调度和管理模块 数据网格在负载调度和管理模块主要实现的功能有动态分配数据，负责分解和分 发数据，设计一套数据描述语言，使之能够描述数据的属性和数据之间的相关性。 负载调度由于存在数据经常需要动态重新分配，系统中可调度组件的数量非常之大， 会出现许多用户同时提交任务的情况，不同国家不同机构有不同的管理策略等等， 因此往往采用综合预测算法和预测调度策略，使数据能够保证分发到有效的节点。 负载管理模块在分解和分发任务时，基于计算能力和数据的可用性，一般有一套数 据描述语言，使之能够描述数据的相关性。负载管理模块能够比较不同任务分解方 法的利弊，综合考虑任务在不同机器的执行时延、生成数据缓存副本的开销、在二 级存贮和第三方存贮之间迁移数据的开销等，并能够支持资源的协同分配和预留， 以及在组件失效时的恢复策略。 2.数据管理 数据管理模块主要功能是通过统一的名字空间和统一的数据格式，为用户提供海 量数据的访问接口。其由元数据服务器来管理数据名字空间以及用底层数据传输工 具来提供用户操作接口。元数据服务器提供了目录服务，注册与发布，数据发现， 存储资源代理，身份认证，访问控制等核心服务。元数据服务器生成的元数据目录 则负责维护异构环境中各种系统实体的数据目录服务所提供的统一逻辑视图，用户 使用元数据目录中存储的信息访问元数据，应用程序也可以通过目录服务的完成数 据的读取。数据传输模块主要支持在不同站点之间数据高速移动和复制，还要保持 远程数据拷贝的一致性。数据网格对数据传输有着苛刻的要求，其需要在一秒钟内 把产生的 pb 级原始数据传送于指定节点。在硬件上一般采用高速广域网来架构传输 网络，在软件上有数据缓存机制和强大的 ftp 工具作为保证。目前，数据网格中最 流行的传输工具是美国阿贡实验室开发的 gridftp32,33。gridftp 扩展了 ftp 标准， 是以上及其它多个存储系统的超集，它主要支持 gsi 和 kerberos，提供数据传输的 第三方控制;采用多个 tcp 流支持并行数据传输;支持一个源和多个目的间 striped 数据传输;支持部分文件传输;可协调 tcp buffer/window 大小;从容错方面考虑，支 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 11 持可靠和可重新开始的数据传输。欧洲数据网格就是采用 gridftp 作为其传输组件 的。 3.数据监控和存储管理模块 数据网格都有监控网格运行情况的监控模块，该模块能使网格管理者既能站在一 定高度纵览全局，又能深入某个局部分析细节状况。通过监控模块可以查询网格计 算构件、网络和海量存贮的性能和状态信息。有了这些支持，就能协助制定工作负 载和数据管理的调度策略，以及调整应用程序的运行性能。存储管理模块为不同格 式的数据资源提供统一的管理接口。在数据网格中，存在着数据库，文件系统，档 案文件和hpss等多种底层数据存储方式。 管理模块提供的正是数据之间的转换接口， 它要负责将各地的海量数据存贮系统集成到网格的数据管理系统中。通过它数据网 格屏蔽了不同站点的数据存贮方式和处理方式之间的差异，使分布的存贮资源能够 无缝融合。 4.构造虚拟层 数据网格的构造虚拟层(fabric)是其存在的物理实体，没有它就无法实现数据的 计算和存储，更谈不上资源的可用性和资源的分配等功能。虽然现有网格的研究成 果（如 globus）本身就具有动态配置、自动容错、自适应资源变化以及自动调整性 能特性的能力，但对于数据网格所要面临的问题而言，这些能力就显得不够强了， 它不仅要面对成千上万基础构件，还要满足严格的时间约束条件，必须要有创新性 方法，实现自动发现和隔离错误、自动重组构造层、自动重新运行任务、自动把新 加入的系统带入基础设施中。构造虚拟层对下其提供系统物理管理模式，对用户则 提供网格逻辑数据管理接口，是真正体现网格优势的重要模块。 在数据网格构建中，一般都采用 srb 或 srm 作为其数据管理中间件，因此， chinagrid 必须实现其与 srb 或 srm 的互操作， 才能真正达到和其它数据网格互操作 的目标。cgsp 的数据管理模块和 srb，srm 之间存在巨大的差异，只有通过对其三者 进行详细研究分析，屏蔽其底层的不同，才能完成三者之间的数据融合。 2.2 cgsp 数据管理模块分析数据管理模块分析 在 chinagrid 中存在大量数据密集型应用，这些数据密集型计算任务的特点是数 据量大，对数据的传输有明显的要求，需要可靠、高效的传输机制；同时，每个应 用都会需要一个满足需求的数据逻辑域，用户并不关系自己的数据存在系统哪个存 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 12 储资源上，只需制定逻辑空间中的文件路径，就能很方便的取得数据。 根据以上的需求， 中国教育科研网格支持平台 cgsp 数据管理模块提供以下的功 能： 1.统一的数据逻辑域视图。 数据逻辑域是建立在数据域上根据某一特定应用建立 起来的特殊逻辑域。其是一个或几个数据域的集合。数据域是按照地理位置划分的 物理存储介质，可以是文件系统，数据库或者 raid 阵列。数据域管理器对数据域 进行管理，由于存储资源划分到不同的数据域中，从而使得数据管理不会因为存储 资源的数目增加而导致性能的下降，达到数据管理的可扩展性。每个数据域能够治 管理，数据逻辑域则建立在若干数据域之上，一个数据逻辑域有一个公共空间，用 户对该数据空间有完全的访问权限。chinagrid 提供创建、修改、删除数据逻辑域的 功能，这些功能由应用管理员来执行，从而使该数据逻辑域将数据存放在一些特定 的存储资源上，并且有特定的用户群。 2.透明的文件访问机制。cgsp 为服务提供了一套透明的文件访问机制，服务在 调用数据时，并不用关心数据具体存放在哪个存储资源之上，它只要知道文件在用 户空间中的访问路径，然后按照系统所提供的文件访问机制就可以获得文件了。这 种透明的文件访问机制要求系统能够实现不同数据名字空间的映射和转换。对于一 个文件来说，它在系统中有一个全局唯一的标识；同时可以有不同的用户有权使用 该文件，该文件可能存在着多个副本，每个副本存在一个存储资源之上，因此对于 该文件来说就有不同的物理访问路径，通过该路径并采用系统的传输协议就可以获 得数据了。实际上这是形成了三个文件名字空间，cgsp 要提供在这三个名字空间的 映射和转换的功能。一个用户访问自己用户空间的数据，提供的是用户逻辑文件名， 系统需要将该逻辑文件名转化为全局唯一的文件标识，然后通过全局唯一标识，为 用户选择一个最好的副本，将文件的物理传输文件名返回给用户，使得用户可以通 过系统所提供的数据访问形式来获取数据。 3.高效可靠的数据传输机制。cgsp 通过使用多个副本进行并行传输使得对大文 件的传输性能得到提高；通过使用断点续传来保证数据传输的可靠性。这里断点续 传包括两种续传机制，一种是由于网络的原因，导致一个传输链路的暂时阻塞，可 以等到网络恢复以后重新恢复传输链路，继续上一次的传输；另一种断点续传机制 则是在某一台存储资源不能提供服务后，传输链路自动转到传输文件所在副本的另 外一台存储资源上继续进行传输;通过文件分片保证大文件的传输效率。 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 13 4.存储资源管理。存储资源是数据管理中实际存放数据的地方，存储资源的性能 直接决定了 chinagrid 数据管理的性能。 存储资源管理主要提供存储资源的运行状态 信息监控，这样就可以按照一定的策略为用户分配存储资源，使得数据能够存放在 离用户最“近”的地方，以保证传输性能；同时存储资源管理提供存储资源的错误检 测功能：存储资源定期向数据域管理器汇报其运行的状态信息，而数据域管理器则 定期检查每一个存储资源运行状态信息的更新时间，如果超过一定的时间，该信息 没有被更新，则认为该存储资源状态为不可用，以后的资源分配将不会分配到该存 储资源上；若该存储资源在一段时间恢复运行，则该存储资源状态为可用。 chinagrid 数据管理模块是由数据逻辑域代理（agent） ，存储资源，数据域管理 器，数据逻辑域管理器，统一访问入口(entry)，以及数据客户端组成。图 2.1 为数据 管理的功能模块图。 数据客户端 数据统一访问入口 数据逻辑域创建数据逻辑域撤销数据逻辑域修改 元数据访问接口数据逻辑域用户管理元数据管理 副本目录存储资源分配管理资源状态管理 文件访问信息汇报 数据逻辑域代理 数据逻辑域管理器 数据域管理器 存储资源 图 2.1 数据管理软件模块图 存储资源并不是一个简单的硬盘或者磁盘阵列， 而是指安装了由数据管理提供的 文件访问模块和信息汇报模块的存储系统。 数据域管理器负责存储资源的分配，维护数据域的可用存储资源列表，记录每个 可用存储资源的可用空间大小，机器性能信息，这些信息可以被数据逻辑域代理获 取，返回给用户来判断选择那些存储资源创建一个数据逻辑域。 数据统一访问入口组织用户的各个数据逻辑域的视图， 即通过查询用户的数据逻 辑域列表索引，判断用户的资源请求是与那个数据逻辑域交互，将用户的资源请求 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 14 交给特定的逻辑域处理。 数据客户端主要提供文件和目录的上传下载操作，以及浏览目录、更改文件或 者目录的属性、创建目录、删除文件及目录等功能，还提供用户空间内部的数据拷 贝及移动等功能。 2.3 srb 数据管理系统分析数据管理系统分析 srb（storage resource broker）是 sdsc（san diego supercomputer center）开 发的一款数据管理中间件，可以实现在不同类型存储仓库中的数据透明存取3437。 srb 可用于构建数据网格、电子图书馆和永久文档库，并且 srb 对多种文档库 （hpss、 unitree 和 adsm 等） 、 文件系统 （unix 文件系统、 nt 文件系统和 mac osx 文件系统等） 和数据库 （oracle、 db2 和 sybase 等） 都提供支持36。 目前已有 teragrid， detsa 和 apac 等众多网格平台使用它作为网格数据管理模块。 srb 采用联邦机制的客户机服务器方式进行工作37,38。 即在一个联邦的域内有 很多 srb 服务器，每个 srb 服务器可以管理一组存储资源，也可以多个 srb 服务 器共同管理一组资源，但整个域内只有一个唯一的主 mcat（metadata catalog）服 务器， 其作用是对域内的所有 srb 服务器以及数据进行管理。 整个 srb 系统架构如 图 2.2 所示，分为三个部分：mcat 服务器、srb 服务器和 srb 客户端。这三者可 以装在同一节点，也可以装于不同节点，通过网络把彼此连起来。 图 2.2 srb 系统架构图 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 15 mcat 服务器大多用关系数据库（oracle、db2 或 mysql 等）构建，用于存放 元数据信息，包括 srb 系统信息、数据资源信息和用户的相关信息等。mcat 服务 器以逻辑名字空间保存注册信息并提供从逻辑名字空间到物理地址之间的映射，实 现了数据的透明存取。srb 架构共分为三层，其中最上面一层是消息分发层，用于 监听客户端来的请求并把不同的请求提交给不同的执行体。 中间一层是 api 处理层， 这一层功能是接受请求中的输入参数（名字，路径等）并通过 mcat 服务器把逻辑 请求转化为物理请求，然后调用合适的物理层施行体来完成数据的存取和移动。最 下面一层是物理层，是最终数据操作的执行者。其提供了 16 个最基本的功能驱