网格信息服务的应用需求.ppt

Grid Computing 11-2 GRID INFORMATION SERICE,提纲,Part I 网格信息服务概述 Part II Globus MDS 2,网格信息服务的应用需求,计算资源：地理分布，繁多异构，动态变化 计算能力：随处可得，灵活可靠，标准廉价 用户：以单一映像的形式展现给用户 要求：信息请求者和资源提供者之间架起桥梁 信息服务：网格服务运行环境中，向用户提供信息服务管理的共性服务,信息服务 必不可少,网格信息服务的功能,网格运行支持平台重要 的组成部分 有助于解决以下问题: 哪些资源可用 资源发现 什么是网格的状态 资源选择 怎样优化资源的利用 应用的配置和适应性,信息服务具备的功能 提供对系统组件静态和动态信息的访问 是异构和动态环境进行适应性配置的基础 应提供信息的灵活的，统一的访问 动态信息的有效管理 多个信息源的访问 非集中式的维护,简单信息服务的工作模型,信息服务的工作模型 contd,参与实体 服务提供者为服务请求者提供服务 服务请求者消费这些服务 前提 服务请求者与服务提供者之间建立一种类似于合同的服务等级协定 双方需要在该服务等级协定的约束下履行各自的义务与职责 服务提供者必须提供协定中所规定质量与价格的服务 服务请求者必须在这一协定约束下进行权限内的操作。 服务提供者与服务请求者间的关系通过服务等级协定来体现。,网格信息服务系统分类,按照其采取的描述网格对象的数据模型的不同，可分为： 基于层次模型的网格信息服务系统 基于网状模型的网格信息服务系统 基于“关系”模型的网格信息服务系统 基于面向对象模型的网格信息服务系统 这四种系统在对网格实体属性的表示上均采用（属性，值）对的方式，但是它们在表示网格对象的关系（即实体之间的关系）上有不同 由于层次模型和网状模型有许多共同之处，“关系”模型和面向对象模型也很相似，所以集中讨论层次模型和“关系”模型，这两种模型也是目前网格信息服务系统中采用的最多的,层次数据模型,用一棵“树”来表示网格对象的名空间。一个对象类型作为树根，其他所有网格对象都与树根关联。 传统上，层次模型只支持“父子”关系，因此很难对网格对象的关系进行抽象和命名，而且在名空间上的查找只能通过指定网格对象名称来实现。 例如，LDAP和XML是层次模型的，但二者都对传统层次模型使用“别名”或者“指针”加以扩展，实现对象之间的“引用”关系 “引用”关系增强了模型的表达能力，当然这种在查询过程中的路径转移也会适当增加系统的开销。 层次数据模型的弱点是表达对象之间关系的能力不够，但其“树”型结构非常适合对网格信息的分布式管理，很容易映射到网格的虚拟组织上。,“关系”数据模型,用二维表或“关系”来表示网格信息 一个“关系”就是一个对象类型，对象本身由一系列（属性，值）对定义，“关系”则既代表着对象，又代表着对象之间的关系 优点： 能够表达对象之间的任何关系，不仅仅是“父子”关系，使得基于“关系”数据模型的网格信息服务系统的表达能力比基于层次模型的网格信息服务系统要强得多. 缺点： 不利于在网格内跨多个管理域的分布式管理（这方面的问题正在研究之中）,网格信息服务系统的基本功能,信息登记,网格信息服务系统必须为网格内的资源贡献者提供将其资源的描述信息发布出去的接口，即信息登记的功能。 信息登记实际上是一个从信息源到某个专用集合目录的信息传输和存储的过程 涉及到的问题包括 网格资源原始信息的表示 原始信息格式到集合信息目录存储格式的转换 数据传输的安全加密措施 能够根据资源生存期而调整的动态登记机制 信息冗余检测机制 网格资源失效检测机制 ,信息查询,信息查询接口定义了网格资源消费者或其他网格实体从网格信息服务系统检索相关信息的方式 查询信息的网格实体包括： 某种网格服务组件 如任务调度器 网格应用 如需要分配计算资源信息和指定数据集分布位置的大规模工程计算问题 终端用户 他们需要了解网格内的最新资源动态 查询接口的复杂性决定了用户查询操作的难易程度，查询操作的效率和查询的频率,信息更新,根据网格内资源的动态性，网格信息服务系统不能只存储长期不变的静态信息，还必须支持信息的动态更新机制 网格信息的更新包括 对网格对象的更新 包括对网格对象的（属性，值）对的修改、增加和删除 对网格对象类的更新，主要是对对象关系的更新 对象类的更新频率要远远低于对象的更新频率 当网格规模较小时，网格信息服务系统可以采用对象类固定不变的相对静态的数据模型,信息更新 cont.,根据网格信息的更新频度，网格信息服务可以分为三类： 只读型 信息集合目录不提供标准的信息更新接口，只允许查询操作 对极少数信息更新操作通过其它途径实现，如通过改写配置文件 此类的网格信息服务系统类似于当前Internet的DNS系统 读优先型 信息集合目录允许对其索引信息进行更新，但是它只遵循一个相对较慢的更新一致性协议，而对读操却做了专门的优化，使读操作的效率远远高于写操作的效率 采用LDAP的系统属于这一类 读写型 允许读操作和写操作，而且二者具有相同的敛率 采用“关系”数据模型的网格信息服务系统就是这类系统,信息的分布式管理,由于网格的分布性，网格信息服务系统必须支持高可扩展的网格信息的分布式管理 分布式信息管理系统的设计思路 在不同的虚拟组织内建立各自的网格信息集合目录 在统一的逻辑视图上把所有的网格信息集合目录集成起来 涉及的研究问题 对网格信息全局视图的研究 对网格信息集合目录之间关系的研究 局部信息到全局信息的映射,信息的自适应复制,在一个虚拟组织内，为了保证对信息消费者的请求能够及时有效地做出响应，网格信息服务系统需要进行信息的自适应复制 根据网格信息的访问频率来维护相同网格信息集合的多个备份 选择距离信息消费者最近的一个备份作为信息查找的集合目录 要保持多个信息集合的数据一致性,安全访问控制,限制哪些用户或者网格应用有什么样的权限去访问哪些网格信息 涉及的安全机制包括 对用户的安全认证机制 访问信息的委托授权机制 数据安全传输机制 ,网格信息服务的特征,分布性 网格强调资源环境的广域分布特性，作为服务信息管理者的信息服务也就相应的具有了分布的特征 自治性 由于构成网格的节点隶属于不同的组织域，跨组织域的资源共享与协同必须服从各个自治域的安全和管理策略 网格应用对可信计算的需求与跨组织节点的“不信任通信基础”之间的矛盾导致了服务信息不能完全的被整个系统所共享，而是受到所属虚拟组织的安全要求的影响 动态性 网格本身是一个不断变化的环境，其动态性包括两个层面 网格节点（资源节点）进入网格系统的动态性 各节点自身状态的动态性 封装性 由于网格系统的节点种类繁多，且同类节点结构差异大，存在着严重的异构性问题，在进行服务信息管理的时候，需要研究一些新的方法和机制来屏蔽这种资源异构性，定义符合网格合作特征的服务信息,Part II Globus MDS 2,Resource Discovery/Monitoring,Distributed users and resources Variable resource status Variable grouping and connectivity,Basic Grid Question Phases,Resource Discovery “What resources are relevant?” Bootstraps planner state Resource Status Query “How do resources compare (now)?” Refines planner knowledge Resource Control “Did I acquire the resources?” Not an information service task!,The Globus Toolkit Solution: MDS,Meta Directory Service (MDS) Globus Toolkit implementation of a Grid Info Service System information is critical to operation of the grid and construction of applications A basis for configuration and adaptation in heterogeneous, dynamic environments Requirements and characteristics Uniform, flexible access to information Scalable, efficient access to dynamic data Access to multiple information sources Decentralized maintenance,“Classic” MDS Architecture (MDS-1),Resources push information into a central organization server via regular updates (globus-gram-reporter), where it can be retrieved by clients. Regular updates dont scale as the number of resources grow rapidly. Commercial LDAP servers are optimized for “read” requests, and cant handle frequent “write” requests. If organization server is unavailable, no information is available.,“Standard” MDS Architecture (MDS-2),Resources run a standard information service (GRIS) which speaks LDAP and provides information about the resource (no searching). GIIS provides a “caching” service much like a web search engine. Resources register with GIIS and GIIS pulls information from them when requested by a client and the cache as expired. GIIS provides the collective-level indexing/searching function.,GIIS Cache contains info from A and B,GIIS requests information from GRIS services as needed.,Client 1,Client 2,Client 3,Clients 1 and 2 request info directly from resources.,Client 3 uses GIIS for searching collective information.,MDS-2 Service Architecture,Dynamic Registration via Reg. Protocol (GRRP) Resource Inquiry via Info. Protocol (GRIP) Co-located with resource on network Resource Discovery (via GRIP or other) Using GRIP allows resource/directory hierarchy,discovery (GRIP?),lookup (GRIP),registration (GRRP),VO-specific Aggregate Directories,standard Resource Description services,R,R,R,R,A,A,?,Distributed Services,Service scales with Grid growth Loose consistency model tolerates failures Interoperability by GRIP/GRRP protocols,D,D,D,D,Soft-state Registration,Periodic notification Service/resource is available Granularity metadata Automatic extension Add new resources to directories Invite resource to join new directory Self-cleaning Reduce occurrence of “dead” references,Globus MDS2.1 Overview,Metacomputing Directory Service, MDS MDS是Globus项目中的信息服务 主要工作：对网格计算环境中信息的发现，注册，查询，修改等。提供对网格计算环境的一个真实，实时的动态反映 处理的信息：网格计算环境中的各种资源（包括数据资源，计算资源等），服务和其它主体entity的描述 作为信息基础设施的一部分，MDS采用动态可扩展的框架来管理网格计算环境中各种资源（计算，网络，存储，仪器等）的静态和动态信息 MDS的基本特征：数据生成，数据分布，数据存储，数据搜索，数据查询和数据显示等 目前MDS可提供如下服务信息 网格环境中存在的资源 网格计算环境的状态信息 基于当前的网格计算环境的网格应用的优化信息,MDS的实现,MDS使用LDAP （Lightweight Directory Access Protocol）作为网格信息访问与存储的统一界面 MDS提供了一个可配置的信息提供者组件，称为GRIS（Grid Resource Information Service）和一个可配置的集合目录组件，称为GIIS（Grid Index Information Service）,GRIS,提供了一个统一的手段来查询网格中资源的配置，能力和状态 是一个分布的信息服务，通过在网格计算环境中对GRIS进行部署deploy，可满足相关的查询请求，如主机名称，节点操作系统版本号等静态信息和可用CPU数和内存大小等动态信息,GIIS,提供了一种把各种GRIS服务结合起来的手段，并提供一个连贯的系统映像以方便网格应用程序进行搜索和查询 可鉴别特定类型的资源，如GIIS可列出属于某个虚拟组织的所有实验室中的计算资源，或者某个结构的所有分布的存储系统等。GIIS可把属于某个虚拟组织的所有网格资源进行汇总，并提供一个连贯的网格资源系统映像,Grid Resource Information Service (GRIS) Provides resource description Modular content gateway Grid Index Information Service (GIIS) Provides aggregate directory Hierarchical groups of resources Lightweight Directory Access Protocol (LDAP) Standard with many client implementations Used for GRIP (and GRRP currently),用户访问GRIS和GIIS的情况,MDS Architecture,简要逻辑结构图,信息提供者,包括：核心信息提供者（必须的，各种关键信息）；通用信息提供者（一些不是必须的信息）；自定义信息提供者（某些特定应用的特殊信息） 在MDS中有一系列的信息提供者程序，这些程序可用来向MDS发布各种类型的网格信息。用户也可创建自己特定的信息提供者，并分布特定的网格信息。 GRIS基于信息类型和它缓存情况对信息提供者进行调用，并对信息提供者的信息进行过滤，再把结果返回给信息查询者 在MDS中，高层服务或用户与信息提供者之间通过两个基本协议进行交互，一个软状态注册协议；另一是查询协议 两种协议进行间接交互的考虑：把信息查询与信息提供分开处理可以不用修改组成网格计算环境的各种资源和服务，在实现上改动很小，并层次分明，开销不大，有利于将来不同的高层服务和信息提供者的实现,MDS实现的信息源,（1）静态主机信息(操作系统及其版本号，CPU类型，CPU数目，内存大小等) （2）动态直接信息(平均负载，运行的进程数等) （3）存储系统信息(可用磁盘空间，总磁盘空间等) （4）基于Network Weather Service得到网络信息(当前测量的和预测的网络带宽，当前测量的和预测的网络延迟等),MDS的信息模型-1,三种类型的信息 结构信息(Structural Information) 通过映射到对象的层次结构来表示，而对象是通过DIT中的有名位置来表示 合并信息(Merged Information) 通过把携带子节点数据的父节点联合(join)起来表示，通常用于简化查询模式 辅助信息(Auxiliary Information) 采用LDAP辅助对象类来统一表示leaf/parent数据，可用于表示相关属性信息的集合 一个对象必须有一个结构类型，但可有零个或多个辅助类型,MDS的信息模型-2,在GRIS主机对象层次中使用的信息模型为,结构类型,辅助类型,MDS的信息模型-3,反映主机特性的DIT视图,OS,OS,使用MDS-1,通过MDS可查询信息包括 计算资源的信息：IP地址、可用软件、系统管理者、连接的网络、OS及版本号、存储系统、系统负载、进程信息、内存信息、任务队列等 网络资源信息：网络带宽、网络协议、网络延迟、网络的逻辑拓扑结构等 Globus基础设施信息：主机信息、资源管理者等 Globus用户和高层服务可通过MDS-API或命令对MDS进行访问 为了与MDS进行交互，用户首先需要合法的安全证书，并且创建用户代理进行授权访问，同时在服务方启动MDS,使用MDS-2,可通过grid-info-search和grid-info-host-search命令对信息进行查询，命令的接收方由节点名、信息服务方和端口号确定 grid-info-search: General purpose client grid-info-search h -p -b -T -x: Anonymous access grid-info-host-search: Same as grid-info-search, but defaults to GRIS standard port E.g. grid-info-host-search h localhost,MDS存在的主要问题,应该提供更丰富、更全面的GRIS及Information Providers，这样能完成对网格资源的完整描述和状态搜集以及新的、特殊的信息源描述 基于LDAP目录的方法不能有效支持数据目标数目的增长，尤其是数据对象之间的复杂关系的描述，同时不能有效支持数据修改和复杂查询 (Relational Database) Schema需要进一步完善。,LDAP,MDS目录结构遵从LDAP模型，主要由目录信息树DIT (Directory Information Tree)层次和对象类定义组成。 有关LDAP的详细信息可参考RFC2251,RFC2252,RFC2254,RFC2256文档 是一个独立于厂家和平台的开发网络协议标准。LDAP是用来访问存储在信息目录（也就是LDAP目录）中的信息的协议。更为确切和正式的说法应该是：“通过使用LDAP，可以在信息目录的正确位置读取或存储数据” 它在对X.500标准进行简化的基础上，基于TCP/IP定义了一个目录服务标准，主要包括： LDAP信息模型：定义了目录中数据的类型 LDAP命名模型：定义了目录的组织方式 LDAP函数模型：定义了如何访问和更新目录 LDAP安全模型：定义了如何防止未授权用户对目录信息的访问和修改,LDAP的重要结构,在LDAP目录中，信息是存储在一个树形结构中的，一般称为DIT（Directory Information Tr