网格的资源管理和信息管理概述.doc

网格的资源管理和信息管理概述虽然网格计算的架构决定于网格体系结构的设计，但是不管采用何种体系结构，网格都必须具备资源管理、信息管理、数据管理、服务质量保证、安全等基本的功能模块。本文将介绍网格的资源管理和信息管理这两大基本功能模块。1引言作者已在网格体系结构概述一文中详细地介绍了网格的体系结构。虽然网格计算的架构决定于网格体系结构的设计，但是不管采用何种体系结构，网格都必须具备资源管理、信息管理、数据管理、服务质量保证、安全等基本的功能模块。本文将介绍网格的资源管理和信息管理这两大基本功能模块。回页首2网格的资源管理资源是网格中的主要研究对象，网格的目的就是管理网格中的资源，并提供给用户。资源管理关注的不是资源和服务的核心功能(即资源能够为用户做什么)，而是控制网格资源和服务怎样向用户、应用或服务在内的其他实体提供可用能力的一系列操作，即资源的功能执行方式，如被请求的操作何时开始执行，或者它需要多长时间完成等。与集群系统相比，网格的资源管理系统面临着不同的环境。网格在广域范围内分布于多个域，规模庞大，资源种类多且异构性更强，拥有非常多的用户，而且网格中同时拥有共享的和私有的资源。网格的这些特点导致了网格资源管理比先前的集群等系统的资源管理更为复杂。2.1网格资源网格资源是指所有能够通过网格远程使用的实体，包括计算机软件、计算机硬件、设备和仪器、人类资源等。计算机软件资源包括系统软件、应用程序、数据等；计算机硬件资源包括处理器、存储器、硬盘以及其他计算机设施；设备和仪器包括通信介质、天文望远镜、显微镜、传感器等；人类资源是网格上最具有伸缩性的资源，它是指人的知识、能力等多种因素。网格资源的种类很多，功能各异，可以从不同的角度将它们分成不同的类别。根据资源能否移动可将资源分为可移动资源和不可移动资源。可移动资源包括数据、程序、代码等，不可移动资源是无法通过网格操作实现地理位置移动的资源，如各种硬件、设备。根据资源是否可重复使用的特性可将资源分为可重复使用的资源和不可重复使用的资源。根据资源是否可复制的特性可将网格资源分为可复制资源和不可复制资源，可复制是指可以通过指令或服务请求把一份资源变为多份，如数据、应用程序、服务等。网格中的资源具有以往集群系统、并行系统和分布式系统中的资源所不具备的特点。第一个特点是异构性，网格中的资源种类繁多，功能各异，访问接口也不尽相同，本地管理系统不同，共享规则不同。第二个特点是动态性，网格中的资源可自由地随时加入和离开网格系统，资源的可用状态、服务能力、负载等都随时间而动态变化。第三个特点是自治性，网格资源由本地管理机构管理，网格资源的使用必须遵循资源拥有者的管理策略。第四个特点是二分性，网格资源是由具体的资源拥有者提供的，除了专门提供给网格用户使用的网格资源之外，大部分资源同时作为网格用户可以使用的网格资源和资源拥有者自己使用的本地资源，网格资源的使用必须要保证资源本身的安全、资源拥有者的利益以及使用该资源的其他网格用户的合法权益。网格资源的这些特点决定了网格资源管理系统应当隐藏异构性，为用户提供统一的访问接口；要屏蔽动态性，保证用户使用的质量；要尊重资源的本地管理机制和策略；要仔细审查网格用户的请求，确保网格资源的安全和资源拥有者的权益。网格中的资源共享不同于以往的计算机之间的文件交换和远程登录，而是直接访问计算机、软件、数据、设备和仪器等资源。网格资源由其拥有者决定何时、何人、怎样使用。2.2资源管理的目的和功能网格资源管理的任务就是把网格中分散的各种资源管理起来，使多个资源请求者可以共享使用网格中的同一个资源，资源请求者可以根据业务需要同时或先后使用网格中的多个资源，而不需要资源请求者付出额外的劳动。资源管理的目的包括以下三个：(1)为用户提供访问资源的简单接口。资源管理模块隐藏资源实际使用的复杂技术细节，将物理资源抽象为逻辑资源，并向用户提供。(2)协调资源的共享使用。资源管理模块采用排队策略、分时共享策略或其他策略决定多个请求者如何使用同一个资源，这些策略是根据资源本身的特性和拥有者制定的策略确定。同时资源管理模块还应支持一个请求者请求使用多个资源的需要。(3)代替请求者去使用资源，并建立安全的网格资源使用机制。资源管理器作为超级用户，代替网格用户在资源上进行工作，用户请求时，资源管理器为该用户在资源本地建立一个进行活动的场所-用户容器，用户在容器内使用资源。容器严格定义了用户拥有的权限和可进行的操作等。通过这种方式避免了多个网格用户在资源的同一个本地账号下活动的隐患。容器可在请求时动态地建立并在请求结束后撤销，同一资源上用户容器的数目很少，不会带来大的管理负担。资源管理模块除了管理资源的使用过程以外，更重要的是管理资源的整个生命周期，即资源的注册、共享到注销的整个过程。此时，资源管理器需要具备的基本功能包括：资源注册、资源发现、资源部署、资源代理和资源注销。2.3网格资源管理系统结构的形式网格资源管理系统中，有资源请求者、资源中介者和资源提供者三个实体。资源中介者就是资源管理器，网格资源处在它的管理之下，它管理资源拥有者授权的那部分功能。资源提供者有时就是资源本身。根据资源管理过程中信息流动路径的不同，资源管理系统也有三种形式。(1)直线型。资源请求者向资源中介者提出资源请求，资源中介者为用户寻找合适的资源并驱动资源工作，为用户提供服务。资源为用户服务的结果仍然是通过资源中介者返回给资源请求者。(2)折线型。用户向资源中介者提出请求，资源中介者为用户找到合适的资源并把资源标识和使用资源的接口信息返回给用户。用户根据这些信息组织消息和数据，驱动资源工作，得到资源提供的服务。(3)三角型。用户向资源中介者提出请求，资源中介者为用户寻找合适的资源并驱动资源工作，并告诉资源把服务结果用什么形式、向哪个地址返回给请求者。资源服务完成后把服务结果告诉资源请求者。直线型结构中用户接口简单，折线型结构适合用户和资源双方需要协商的场合，而三角型则是前两种的折中，在具备两者优点的同时也具备了两者的缺点，适合接口简单又注重输出效果的场合。2.4 Globus资源管理结构Globus资源管理结构包括中介者、协同分配器和GRAM(Globus Resource Allocation and Management，Globus资源分配和管理)几个部分，它是应用和资源之间的桥梁。各部分之间的关系如图1所示：图1.Globus资源管理结构在Globus资源管理结构中，用RSL(Resource Specification Language，资源规范语言)书写的请求作为连接各个部分的纽带。GRAM与本地资源管理器，如图中的LSF、Condor等打交道，负责处理来自远程应用的资源请求，为请求资源的应用分配所请求的资源，并管理作业的执行过程。GRAM也负责向MDS报告资源的有关信息。GRAM主要由门卫和作业管理器两部分构成。门卫是资源上所有远程请求的一个单一入口点，负责用户认证，把远程用户映射到本地的一个安全环境中，让本地资源开始为其服务。作业管理器是门卫的一个服务，门卫启动作业管理器的一个实例之后就把作业的管理和作业执行的整个过程都交给了作业管理器。门卫则可以在简单地处理应用请求之后快速返回，继续监听消息，为用户提供快速响应。作业管理器可直接与本地资源管理系统连接，处理与作业的远程交互。2.5资源管理操作网格资源管理模块的基本操作有以下七个，实际的资源管理可以在这些基本操作的基础上提供更复杂的操作。(1)资源信息收集资源管理器主要收集和存储两类信息。一类是资源在加入网格时报告自己的相关信息，如资源名称、类型、拥有者信息等，资源管理器将其记录下来，供使用该资源的应用或用户使用。另一类是网格内动态产生的资源信息，如资源使用情况等。(2)资源信息更新资源信息经常会随时间而变化，如可用CPU数目的变动、资源负载、使用情况等。资源管理器周期性地更新这些信息，以免过期信息造成资源使用故障。信息更新频率的确定至关重要，频繁的更新可以及时反映资源的实际信息，但会增加通信的负担。(3)资源发现资源发现是资源拥有者和资源请求者之间的纽带，通过该机制，资源请求者才能从数目巨大的资源中发现并使用自己请求的资源。资源发现机制根据资源请求者的资源请求描述，从网格上为请求者找到满足该描述要求的合适资源，并返回该资源的唯一标识符。(4)资源分配资源分配的依据是作业提交者用作业描述语言声明的参数，以及资源拥有者对资源使用所制定的策略。在拥有多资源和多用户的动态网格环境中，资源的分配需要考虑以下两种情况，一是如何从多个可用的资源中选择合适的一个或多个资源分配给请求用户使用，二是如何从请求同一资源的众多请求者中决定哪个或哪些允许使用资源。通常而言，资源分配的输出结果是请求者的作业与资源的匹配关系，以及使用资源的时段、资源能力(CPU数目、存储空间、软件使用许可证数目等)、使用权限等等。(5)资源定位资源定位是根据资源的属性描述获得相应资源物理地址的过程。网格中每个资源都有唯一的物理地址，用户通过该地址实现对资源的访问，但该地址是供机器使用的，不易被人理解。实际上，用户使用网格资源时，不需要知道物理地址，而是用属性描述的方式指定所需资源，并把描述提交给网格，网格中的转换机制再把资源的属性描述转换成用户可以访问的资源的实际物理地址。(6)资源迁移资源迁移是可移动网格资源从一个位置移动到另一个位置的过程，包括服务迁移、作业迁移、数据迁移、软件迁移等。资源迁移的依据是资源的使用情况和网格中可承载该资源的节点运行情况。资源迁移的目的是提高用户访问资源的速度与效率，以及网格负载的平衡。(7)资源预约资源预约是资源请求者在正式使用资源之前，向资源拥有者请求其使用时段内把所需资源预约给自己使用，并保证所需的服务质量。具体的预约请求包括CPU数目、存储空间、网络带宽、软件使用许可证数目等等。资源预约可分为提前预约和立即预约两种，提前预约是预约时间在开始使用时间之前的预约，立即预约的预约时间等于开始使用时间，即预约后马上使用。按预约资源数目分，资源预约包括单资源预约和多资源联合预约，多资源联合预约是常见的形式，它需要对用户应用所需的多个资源，如远程数据传输所需的存储空间和网络传输带宽，全部进行预约。回页首3网格的信息管理网格是一个分布式的系统，其中的主体和客体数量巨大，网格信息管理模块是网格系统中的中心模块，是网格中主体和客体联系的纽带，任何网格活动都是基于网格信息管理提供的信息进行的。网格信息管理包括三个类型的角色：信息提供者、信息中介者(broker)、信息请求者。网格资源和用户加入网格时向信息中介者注册自身的相关信息，并在信息发生变化时更新相关信息，注册在中介者处的信息供信息需求者查询。下面将介绍网格信息管理的信息及几种常见到信息管理机制。3.1网格信息网格中的物理资源都经过了虚拟化，隐藏了资源的大部分物理特性，但在资源的实际使用中，用户还是要知道关于资源物理特性的信息，比如处理器的速度、内存空间的大小、操作系统的版本等，以便选择合适的资源。在OGSA网格体系结构出现以后，资源更是被封装为服务提供给用户，网格服务的信息管理更是成为网格信息管理研究的重点。信息管理系统管理的对象包括网格资源(或服务)信息、用户信息、其他信息。资源信息包括硬件设备信息、软件信息、系统结构信息、应用信息等。用户信息包括用户账号、用户密码、用户定制信息等。其他信息包括记账信息、日志信息、公共信息等。网格资源或服务、网格用户加入网格时，就需要注册以上信息。信息根据其变化频率分为静态信息和动态信息两种。静态信息是指在其有效生命期内不变化或很少变化的信息，如资源的拥有者名称、网格服务的功能描述、用户身份等。动态信息则是指经常变化的信息，如经常需要修改或更新的资源负载情况、服务可用性等。为了使信息的使用者正确理解信息所表示的含义，信息需要用统一的形式表示，并且该方式是与平台无关的。信息的表示与平台无关，同时任何平台上使用任何语言的用户都能无歧义地理解这些信息。可扩展描述语言(XML)用于表示信息能满足以上要求，用它接收和提供信息是信息服务的发展趋势。另外信息表示机制也是在发展之中的，新的信息模式一定要能够兼容旧的模式。3.2网格服务发现的三种方式服务网格是网格体系结构的发展趋势，在这类网格中，所有的一切都被看作服务，并向外提供。网格服务的注册与发现就成了网格信息管理系统的重点研究内容。网格服务的发现，有三种不同的方式：手工服务发现、设计时的服务发现、运行时的服务发现。第一个方式是完全非自动(手工的)服务发现：客户信任提供商，并且对提供商的服务很了解，从而寻找到该提供商；按他们自己的意愿决定商品价格和质量的平衡点。这是最接近我们现实生活中使用(相对静止的)服务的方式。例如我们在需要理发的时候不会对所有的理发师(店)搜索一遍，而是到我们以前发现的可接受的一个理发店去，直到他们不能满足我们的要求为止，尽管我们知道如果搜索的话，别处可能有一个更好的理发师。这种方式意味着SLA(Service Level Agreement，服务等级协定)是基于一个良好的信任关系的，而且SLA长期有效，因而减少了每次都协商SLA的花费。第二种方式是设计时的服务发现。客户应用仍使用静态的方式使用服务，但相关的服务是由设计者使用诸如UDDI的发现机制来发现的。这与第一种的区别仅在于：假设可以在设计时获得服务的细节，就能根据服务的价值(根据使用的发现机制)来选择服务。客户与提供者不存在任何联系，他们希望获得稳定的服务质量，并希望与提供者发展长期的协定和信任关系。第三个方式是运行时的服务发现。所有可用服务的价格和质量都可以在客户应用(或其功能之一)每次运行的时候估计。这种方式允许获得最好的价格、最好的质量或者是两者之间的平衡。这个高度动态的使用服务的方式最适合日用品类型的服务：最重要的特征是有多个竞争的提供商(使用相同的或类似的服务接口)可供选择，它们的相对价格和/或质量随时间而变化。如果没有多个竞争的服务，那么这个使用策略对客户将没有任何好处，而且在可靠性、代价和可维护性方面会有潜在的不利之处，特别是任何SLA都必须是短期的这个假定，就有可能重新协商已有的完全能用的协定。以上三种方式中运行时的服务发现的方式更为普遍。3.3网格信息管理系统的功能网格信息管理系统提供信息的提供、获取和管理，其基本功能包括信息注册、信息更新、信息查询、信息注销、信息分发。信息注册是信息被使用的第一步，信息注册中心是注册信息的存放处，它需要严格的安全措施以保证只有合法的用户才能向其注册真实的信息。注册过程可以由人工驱动，也可以由处于网格管理体系下的应用、服务或设备注册。信息更新是信息管理的一个基本操作。动态信息需要按一定的规律更新，如周期性更新、超出设定阈值后的更新等。静态信息在注册之后，由于情况的变化也可能需要删除或者修改等更新操作。信息查询是信息服务最基本的功能，信息管理系统需要为用户提供良好的查询方式和友好的查询接口。查询结果用于指导网格上的各种活动，如网格服务的发现，就需要根据信息查询等结果，选择合适的网格服务。信息注销将信息从注册中心撤除，该操作只能由特殊的用户完成，如该信息的注册者、注册该信息时指定的注销者以及网格社区的管理员。当资源拥有者不想将资源向网格用户提供时，他可以注销该资源的信息。但在很多情况下，资源已不可用，但是信息提供者又没有主动注销相应的信息，网格中就会产生大量的垃圾信息，因此需要有垃圾信息处理机制处理这些垃圾信息，提高网格信息服务的性能和信息的准确性。信息发布完成的任务有两类，一类是把一条信息从一个注册中心发布到可能需要的多个注册中心，另一类是把一条新产生的信息发布到需要该信息的潜在使用者那里。信息的发布方式类似于社会生活中的商品，可以分为两种，一是消费者主动到注册中心发现信息，另一种是向可能的用户推销。3.4服务网格中的信息管理系统以服务为中心的网格体系结构中的三个主要角色是服务提供者、服务注册中心和服务请求者。这些角色用服务的发布、发现和绑定操作进行交互。服务提供者提供对服务的访问，并在注册表中发布服务描述。服务请求者查找服务注册中心的服务描述并用描述中的信息绑定到一个服务。图2展示了体系结构的一个逻辑视图，服务注册中心提供了一个集中位置来存储服务描述。UDDI注册中心就是该类服务注册中心的一个示例。图2.网格服务的逻辑视图服务发现是把服务请求者和服务提供者联系在一起的服务中介者的主要功能之一。它定义了一个过程用来定位服务提供者以及检索服务描述文档，并且服务发现是整个模型的关键组件。目前的服务发现机制主要有UDDI(Universal Description,Discovery,and Integration，统一描述、发现和集成)和WS-Inspection(Web Services Inspection Language，Web Services检查语言)两种。(1)UDDI UDDI是UDDI.org制定的一套基于Web的、分布式的、为Web服务提供的信息注册中心实现标准规范，同时也包含一组使服务提供者能将自身提供的Web服务注册，以便服务使用者能够发现这些服务的访问协议的实现标准。UDDI是世界上最大的服务发现中心，目前已经有IBM、Microsoft、HP等公司提供UDDI的访问入口。UDDI的主要组成部分是一个中心和访问该中心的协议和API。UDDI的核心组件是注册中心，它使用一个XML文档来描述企业及其提供的Web服务。UDDI注册中心的信息内容分为白页信息、黄页信息和绿页信息这三个部分。白页信息包括了地址、联系方式和已知的企业标识；黄页信息包含了基于标准分类法的行业类别；绿页信息则包含了关于所提供的Web服务的技术信息，其形式可能是一些指向文件或是URL的指针，而这些文件或URL是为服务发现机制服务的。UDDI定义了四种主要信息类型：商业实体信息、服务信息、绑定信息和服务调用规范的说明信息，它们是技术人员在使用合作伙伴所提供的Web服务时必须了解的技术信息。这些元素构成一个UDDI信息结构。用户可以通过相关的API查询已在UDDI中心注册的服务信息。查询API用来快速定位候选商业实体、Web服务及其调用规范和相关信息等细节。UDDI中以find_xx命名的API提供了多种搜索标准，能对注册中心的数据进行广泛的搜索。UDDI目前提供的该类发现函数有find_binding，find_businesses，find-relateBusinesses，find_services，find_tModel。用户调用这些函数时，用函数的参数指定目标需求，可以发现注册在UDDI中的相应服务。使用UDDI从大量的服务中发现自己需要的服务时，用户需要熟悉UDDI采用的分类标准，并且只能发现注册到UDDI中心的服务。大量访问请求容易造成服务器故障。目前，UDDI规范3.0版已经支持多个分类标准。如果事先已经从UDDI中发现过某个服务，记录下了其键值，或者通过其它发现机制和途径知道了某个服务的键值，可以直接调用以get_xx命名的API得到相应的服务信息。UDDI提供的该类API有get_bindingDetail，get_businessDetail，get_operationalInfo，get_serviceDetail，get_tModelDetail等。另外，用户通过Web网页访问UDDI中心，发现在其中注册的服务，不过这种发现方式比较适合浏览发现，在应用程序中使用这种方式发现服务比较麻烦。需要说明的一点是UDDI只是一个服务信息管理机构，其中存储了服务的名字、所有者信息等，服务的实际信息则以服务接口描述文档的方式存储在UDDI中心和UDDI中心之外的其他位置，在UDDI中心只保存一个指向描述文档存储位置的指针。换言之，如果一条信息就在信息中心，用户只要通过合适的参数就可以访问到它；如果信息不在信息中心，用户访问信息中心的结果仅是关于信息的一个描述信息，通过该描述进一步访问信息的具体位置才能获取相应的信息。(2)WS-Inspection规范WS-Inspection规范，也称为WSIL(Web Service Inspection Language，Web服务检查语言)规范，是由IBM和Microsoft一起发布的，它将作为UDDI的补充，在兼容UDDI的基础上，为尚未在UDDI中注册的Web服务提供发现机制。WS-Inspection规范并不定义一种服务描述语言。WS-Inspection文档提供一种方法来聚集不同类型的服务描述。WS-Inspection文档中，一个服务可以有多种对服务描述的应用。例如，既可以使用WSDL文件，又可以在UDDI注册中心描述一个Web服务。对这两种服务描述的引用应该放在WS-Inspection文档中。如果可用多种引用，把它们全部放在WS-Inspection文档中就可以使得文档用户能