基于OGSA-DAI的制造网格资源节点数据管理研究.doc

基于OGSA-DAI的制造网格资源节点数据管理研究摘要:制造网格(Manufacturing Grid,简称MG)为分布异构的制造资源组建虚拟组织进行协同制造提供了一种通用、标准的平台.但制造资源节点的分布性和异构性造成了制造网格中数据的复杂性,影响了数据的共享.本文作者基于OGSA-DAI提出了一套可行的,独立于具体资源节点结构的数据集成和共享方案,屏蔽数据的位置、结构等影响因素,将各个资源节点的数据以web服务的形式向制造网格平台开放.关键词: OGSA-DAI;制造网格;制造资源节点;数据管理;数据集成;数据共享0 引言0.1制造网格随着经济的全球化和全球交通运输及通讯网络的日益完善,以及企业间竞争的不断升级,企业越来越重视全球资源的优化配置和利用,通过国际范围内的协同与合作,来提高其对市场的快速响应能力和设计制造水平,进而达到提高竞争力的目的.在此背景下,网络化制造应运而生.但正如参考文献1中所总结的那样,传统网络化制造模式存在着缺乏开放的系统结构、未实现资源分布式动态管理、未形成统一的标准和规范等诸多缺点.在这种背景下,上海大学俞涛教授于2002年6月提出了制造网格的概念.网格的概念产生于上世纪90年代,是借鉴电力网格的概念提出来的,具有即插即用的功能,即在网格中获得了能力而不必了解提供能力的资源的状况和来源.制造网格是面向制造业领域,以现有的制造业信息化技术和手段为基础,充分利用网格技术先进的思想和理念、开放的体系和架构、通用的标准和规范、统一的平台和工具,为分布、异地、动态的制造资源提供资源共享和协同工作的服务平台,制造网格是网络化制造的标准模式和范式1. 0.2 制造网格资源节点数据管理制造网格通过一定的规则和标准,可以迅速将平台内资源节点组织起来,形成面向任务的虚拟企业.但是,这些资源节点是分布、异构的.这就导致了来自各个节点的数据的复杂性和多样性.因而,制造网格平台迫切需要一套有效的解决方案,屏蔽掉数据的位置、结构等影响数据共享的因素,将各个资源节点的数据标准化,并面向MG平台提供统一的访问接口.1 OGSA-DAI简介OGSA-DAI2的全称是OGSA Data Access and Integration,即开放网格服务架构数据集成与访问. 是Globus工具包提供的一个中间件产品,用于将诸如关系数据库和XML数据库等数据资源作为Web服务提供给网格.OGSA-DAI web服务允许数据被查询、更新、转换和传输.OGSA-DAI web服务可以为clients提供用于web服务的数据集成服务.OGSA-DAI是基于下述需求产生的:将各种类型的数据资源(如关系型、XML型和文件型)向网格开放;提供一种通过Web服务就可进行查询、更新、转换和传输的方法;提供一致的,数据源无关的数据访问;允许访问数据的元数据以及数据源的元数据;支持不同数据源的数据集成;提供能够合并成高级web服务的web服务,高级的web服务可以支持数据联合和分布式查询处理;致力于把科学家从诸如处理数据位置、数据结构、数据转换和集成的技术问题中解放出来,使其更专注于针对于特定应用的数据分析和处理.OGSA-DAI可以提供如下功能:将诸如关系型数据、XML数据和文件等不同类型的数据通过web服务的形式暴露出来.并支持一系列流行的数据源产品;上述类型的数据源中的数据都可以被查询和更新;数据可以被转换(通过XSLT),压缩和解压缩(通过ZIP和GZIP压缩);数据可以被传输到客户端、其他的OGSA-DAI web服务、URL、FTP 服务器、GridFTP服务器,或文件;向OGSA-DAI发出的请求有标准的格式,这种标准格式与服务所暴露出的数据源无关.(虽然每个请求内的具体操作可能是与特定的数据源相关的);客户机可以访问由OGSA-DAI web服务暴露出来的有关数据源以及服务所支持的功能的相关信息;OGSA-DAI用户可以通过扩展OGSA-DAI web服务来暴露自己的数据源,并支持针对于特定应用的功能.OGSA-DAI 所提供的web服务与现在流行的两个web服务规范WSRF(Web Services Resource Framework)和WSI(Web Services Inter-operability)是兼容的.2 制造网格资源节点数据的类型及特点制造网格系统作为一个分布式异构平台,它的复杂性和多样性与以往的计算网格或数据网格有着很大的区别,如资源的异构性、多样性以及活动的复杂性,这就导致了制造网格资源节点中数据的多样性和复杂性.表1 总结了制造网格资源节点数据的类型.产品数据 文本数据 方案、仿真结果报告、需求报告、订单、手册、目录等图纸数据 设计图纸、加工图纸、装配图纸BOM数据 工程BOM(EBOM)、计划BOM(PBOM)、 设计BOM(DBOM)、制造BOM(MBOM) 信息数据 来自SCM的市场数据、来自CRM的客户数据、来自ERP的管理数据、来自PLM的共享数据、来自CSCW的协同数据人员数据 主要指资源节点内的人力资源数据,如管理人员、技术人员、服务人员等的数据资料服务数据 主要是咨询、培训、维护等方面的数据信息表1 制造网格资源节点数据类型从表1我们可以看到,制造网格资源节点中既有结构化数据,又有大量的非结构化数据;总体数据量不大,但单个数据的格式可能较大;结构复杂,动态性突出,存在语义间的联系.由于资源节点的数据需要向整个制造网格平台开放,因此对访问安全尤为重视.3 制造网格资源节点数据管理3.1 主要研究内容制造网格中的各个资源节点是异构的,异构的资源节点内又会有很多数据源(如企业的ERP系统、PDM系统及其他各种MIS系统),而这些数据的类型又是复杂多样的.所以,独立于具体资源节点结构的数据集成策略是制造网格资源节点数据管理的一个重要内容.网格环境下强调协同工作与资源共享,如何在保证本地数据安全的前提下,将本地数据向制造网格平台提供统一的访问接口是制造网格资源节点数据管理的最终目的.3.2 管理方案利用Globus最新发布的GT 4.0 OGSA-DAI作为辅助工具来完成.将整个应用分为四层(见图1),其中的用户层通过网络,使用SOAP和HTTP协议访问资源节点的数据.图1 制造资源节点数据管理逻辑图数据层数据层由制造资源节点的各种数据源组成.包括:关系型数据库,如MySQL, SQL Server, DB2, Oracle, PostgreSQLXML 数据库,如Xindice以OMIM, SWISSPROT 和EMBL等格式存在的文件系统和目录数据层和事务逻辑层的接口这个接口负责在数据层和事务逻辑层之间互通信息.它可以通过叫做数据源访问器的组件实现其功能.事务逻辑层包含数据服务资源模块,数据服务资源模块通过一系列的数据源访问器控制对企业各种数据资源的访问.OGSA-DAI为关系型数据库, XML 数据库和文件系统提供数据源访问器.这个组件是一个可扩展点,如果资源节点有其它的数据源需要对制造网格开放,可以开发新的数据源访问器来暴露这些数据资源.事务逻辑层这一层是核心层.它包括数据服务资源组件以及相关支持组件.可以开发多个数据服务资源来暴露多个数据源.数据服务资源的功能包括:数据查询功能 响应客户端的数据查询请求,并根据请求对各种数据源进行查询操作;数据转换功能 将数据查询返回的结果转换成便于网络传输的格式;数据传送功能 负责将数据以输入流和输出流的方式在数据服务资源和客户机及其他数据服务资源间传送;session管理 负责创建、访问和终止session对象,session对象的状态可以被保存.所有的数据访问请求将在一个session内处理. Session 还被用来存储用于数据传输功能的流.这被称作session流; 属性管理 创建、访问和删除与数据服务资源相联系的属性.这些被称作数据服务资源属性,通常用于暴露元数据,如请求的状态或下层的数据资源的schema. 事务逻辑层与表示层的接口本接口在事务逻辑层和表示层间传递信息.它支持事务逻辑层内部的独立于具体web环境的OGSA-DAI 功能调用.事实上,同一个接口甚至可以用于脱离任何web环境的单独的客户机应用.当SOAP(Simple Object Access Protocol,简单对象访问协议) 请求到达OGSA-DAI WSRF 或WSI 数据服务时,这个接口就被用于向事务逻辑层传送信息和指令或从逻辑事务层获取信息和指令.表示层本层封装了通过web服务接口来暴露数据服务资源所需的功能.其中包含了两个实现,一个符合WSRF的标准,另一个符合WSI.每一个实现都有一个 WSDL 文件来描述其接口. 客户层客户可以通过SOAP和HTTP协议,以及对应的数据服务与数据服务资源交互.根据WSRF或WSI 数据服务的不同,客户应用必须对应于WSRF 或WSI 标准. 利用OGSA-DAI提供的Java Client Toolkit,可以使用高级API与数据服务交互.用Client Toolkit 写的应用可以透明地访问WSRF和WSI 数据服务,并可与它们透明地交互. 4 结论制造网格系统作为一个分布式异构平台,它的复杂性和动态性比较突出.企业作为制造网格系统中的一个资源节点,如何高效而安全地向制造平台开放自己的数据资源成了影响制造网格系统可靠运行的重要因素.本文总结了制造网格资源节点数据的类型和特点,并据此提出制造网格中资源节点数据的管理方案.利用OGSA-DAI作为辅助工具,提出了一套可行的,独立于具体资源节点结构的数据集成和共享方案,为制造网格平台的健康发展和可靠运行提供了保障和支持.参考文献:1 刘丽兰. 制造网格及其基于QoS的资源管理系统研究. 上海大学博士论文,2004:2-3.2OGSADAI Users Guid . .uk/docs.3 GT 4.0 OGSA-DAI (Tech Preview): System Administrators Guide. /toolkit/docs/4.0/techpreview/ogsadai/admin-index.html#s-ogsadai-admin-deploying.4 OGSA-DAI WSRF 2.2 User Guide..uk/documentation/ogsadai-wsrf-2.2/doc/Research on OGSA-DAI-Based Data Management for Resource Nodes in Manufacturing Grid SystemGuo Gui-xiang, Yu Tao, Xiong zong-hui(CIMS Center of Shanghai University, Shanghai 200072, China)Abstract: Manufacturing Grid (MG) is a new pattern of Networked-manufacturing. It provides a universal and standard platform for the manufacturing resources to set up a duty-oriented Virtual Organization (VO). However, the resource nodes within the MG system are distributed and isomerous, which makes the data in the system very complex and diverse. And this situation has become a barrier to MG systems development. It is very urgent to find out a solution to make the data convenient to share within the VO. Based on OGSA-DAI, the authors come up with a fe