基于网格技术的企业异构数据集成研究.doc

工学硕士学位论文 基于网格技术的企业异构数据集成研究 段瑞珍 哈尔滨理工大学 2008 年 3 月 国内图书分类号 TP393 工学硕士学位论文 基于网格技术的企业异构数据集成研究 硕士研究 生 段瑞珍 导师 高中文 申请学位级别 工学硕士 学科 专 业 控制理论与控制工程 所 在 单位 自动化学院 答 辩 日期 2008 年 3 月 授予学位单位 哈尔滨理工大学 Classified Index TP393 Dissertation for the Master Degree in Engineering Enterprise Isomerism Data Integration Research Based on Grid Candidate Duan Ruizhen Supervisor Gao Zhongwen Academic Degree Applied for Master of Engineering Specialty Control Theory and Control Engineering Date of Oral Examination March 2008 University Harbin University of Science and Technology 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明 此处所提交的硕士学位论文 基于网格技术的企业异构数据集 成研究 是本人在导师指导下 在哈尔滨理工大学攻读硕士学位期间独立进 行研究工作所取得的成果 据本人所知 论文中除已注明部分外不包含他人已 发表或撰写过的研究成果 对本文的研究工作做出重要贡献的个人和集体 均 已在文中以明确方式注明 本声明的法律结果将完全由本人承担 作者签字 日期 年 月 日 哈尔滨理工大学硕士学位论文使用授权书 基于网格技术的企业异构数据集成研究 系本人在哈尔滨理工大学攻读 硕士学位期间在导师指导下完成的硕士学位论文 本论文的研究成果归哈尔滨 理工大学所有 本论文的研究内容不得以其它单位的名义发表 本人完全了解 哈尔滨理工大学关于保存 使用学位论文的规定 同意学校保留并向有关部门 送交论文的复印件和电子版本 允许论文被查阅和借阅 本人授权哈尔滨理工 大学 可以采用影印 缩印或其他复制手段保存论文 可以公布论文的全部或 部分内容 本学位论文属于 保密 在 年解密后适用本授权书 不保密 请在以上相应方框内打 作者签名 日期 年 月 日 导师签名 日期 年 月 日 哈尔滨理工大学工学硕士学位论文 I 基于网格技术的企业异构数据集成研究 摘要 随着竞争的全球化 信息化水平已经成为制约企业发展的一个重要因素 为了增强竞争力 企业纷纷引入 ERP SCM 等多种信息系统以提高自身的信 息化水平 但各信息系统中的数据形式不同 各自形成信息孤岛 系统间的数 据互操作很难 严重影响了企业的信息化进程 网格技术的出现为解决这一问 题提供了一种崭新的模式 网格的开放性 共享性 协同性以及平台 语言无 关性 将更便于基于网格服务的异构数据动态集成和交互 对企业信息化的推 进具有较强的理论和现实意义 本文研究了在 Linux 基础平台上 构建企业异构数据集成网格服务的问题 主要从以下几个方面展开 首先 在分析企业现行异构数据集成方法不足的基础上 提出了基于 OGSA WSRF 的异构数据集成模式 并基本完成了该模式整体框架及核心模块 的设计 详细描述了各模块的功能和工作原理 其次 在该模式下用 GT4 开发出异构数据集成的网格服务 针对企业数 据多样化的特点 重点介绍了消除数据模式异构性的 XML 方法 以及消除组 件异构性的 SOAP 和 WSDL 方法 再次 用 UDDI 和 WSIL 注册网格服务 用 GSD 算法发现网格服务后 使用简单客户端程序实现网格服务的调用 最后 对该设计进行了单点软件测试 并进行了相关性能指标的分析评价 与以往服务绑定式的异构数据集成方法相比 该平台具有按需动态集成的 优势 该方案实现了传统 Web 服务集成解决方案与网格技术的融合 具有较 高的商业价值 关键词 企业信息化 网格技术 异构数据集成 哈尔滨理工大学工学硕士学位论文 II Enterprise Isomerism Data Integration Research Based on Grid Abstract With globalization of the competition the information based level has already become an important factor of restricting enterprise s development In order to strengthen the competitiveness enterprises introduce many kinds of information systems such as ERP SCM one after another to improve their information based level But the problem of detached island of information which is caused by the different constructing data resources existing in different information systems makes data co operation much difficult and then influences the information based process of enterprises seriously Appearance of grid technology provides a new mode for solving this problem The grid has characteristics of opening sharing coordination and be not relative to flatform and language These characteristics are convenient for the dynamically integrating and exchanging of the isomerism data based on grid service and these make the grid technology significant in promoting the enterprise s informationization both theorically and realistically In this paper the realization of integrating and applying of enterprise s isomerism data as grid service on Linux basic platform is studied and constructed It mainly further discusses the following aspects This paper begins with analyzation of the insufficient of present enterprise isomerism data integration solution Based on this the paper proposes the OGSA RF isomerism data integration mode and basically completes the design of whole frame and key module of this mode Moreover the paper also describes the function of every module and operation principle in detail Secondly the paper develops the grid service of isomerism data integration under this mode with GT4 Considering the business data s characteristic of diversification the paper introduces a method to eliminate data pattern isomerism 哈尔滨理工大学工学硕士学位论文 III with XML as well as a method to eliminate module isomerism using SOAP and WSDL Then the paper registers the net service with UDDI and WSIL uses GSD algorithm to discover the grid service and uses the simple client program to access the service Finally the single point software test is performed to the design and the analysis and appraise are also carried to relevant performance indexes Comparing with the former service binding the advantage of this platform is obvious it can integrate data resource dynamically according to enterprise need This scheme realizes the integration of traditional Web service solution and grid technology and it is much valuable commercially Keywords enterprise informationization grid technology isomerism data integration 哈尔滨理工大学工学硕士学位论文 IV 目录 摘要 I Abstract II 第 1 章 绪论 1 1 1 研究目的及意义 1 1 2 企业异构数据集成研究现状 2 1 3 本文主要工作 6 第 2 章 网格技术 8 2 1 网格概念 8 2 2 网格的结构 9 2 2 1 五层沙漏结构 10 2 2 2 OGSA 结构 11 2 2 3 WSRF 结构 15 2 3 Globus 支撑平台及开发环境 17 2 4 本章小结 18 第 3 章 核心开发技术和平台 20 3 1 Java J2EE 技术 20 3 1 1 Java 对企业异构数据集成的支持 20 3 1 2 J2EE 对企业异构数据集成的支持 21 3 2 Web Service 技术 24 3 2 1 Web Service 的基本概念 24 3 2 2 Web Service 的特征 26 3 2 3 Web Service 相关技术 27 3 3 Fedora Core 6 Linux 平台 30 3 4 本章小结 31 第 4 章 企业异构数据集成方案设计 32 4 1 企业异构数据集成平台开发 32 4 1 1 基于 OGSA WSRF 的异构数据集成模式 32 4 1 2 基于 OGSA WSRF 的企业异构数据集成目标 33 4 1 3 基于 OGSA WSRF 的异构数据集成方案设计 33 哈尔滨理工大学工学硕士学位论文 V 4 1 4 基于 OGSA WSRF 集成的核心层网格服务设计 35 4 1 5 网格运行环境的创建 36 4 2 利用 GT4 实现网格服务 38 4 3 采用 Web Service 消除数据异构性 41 4 3 1 消除数据模式异构性 42 4 3 2 基于 SOAP 和 WSDL 的组件间异构性的消除 44 4 4 本章小结 49 第 5 章 企业异构数据集成方案实施 50 5 1 网格服务的注册 50 5 2 网格服务的发现 52 5 3 网格服务的调用 54 5 4 方案评价体系 54 5 4 1 性能测试 54 5 4 2 评价指标 58 5 5 本章小结 58 结论 60 参考文献 61 攻读硕士学位期间发表的学术论文 65 致谢 66 哈尔滨理工大学工学硕士学位论文 1 第 1 章 绪论 1 1 研究目的及意义 从上世纪七 八十年代开始 随着计算机在企业内的广泛应用 企业建立 了各种各样的信息系统 这些系统可能是在不同的时间由不同的公司开发 且 开发过程是基于不同的系统平台或编程环境的 它们都有自己的用户系统 资 源库 权限管理 致使彼此之间数据异构而互不相通 形成相对孤立的信息孤 岛 1 企业虽然可以在一定程度上共享这些数据资源 但是这种共享相对来说 是静态的 局限于某个系统中 这就给企业的综合分析 决策支持等带来很大 困难 此外由于这样的企业信息共享结构可扩展性差 升级换代困难 开发成 本高 进而不利于推进企业信息化进程 近年来随着互联网的迅速普及和企业信息化建设的进一步发展 企业的信 息化数据资源越来越需要同时在多个应用系统之间实现共享 以提高企业的运 作效率 提升自己的竞争优势 然而由于市场竞争和技术方面的原因 企业异 构数据形成的信息孤岛 严重制约了企业的高效运作 同时由于新的商业应用 的不断引入 包括企业资源计划 ERP 供应链管理 SCM 客户关系管理 CRM 等多种应用系统 在企业各部门规划 占有和使用资源中发挥了重要作 用 但由于数据资源存在异构问题 使得这些系统有很多重复的功能却因为不 能互访和互操作 而造成信息的重复录入 进而增加了企业投入 这一问题日 渐成为许多企业信息化建设中的最大瓶颈 另一方面企业与企业之间的交流与 合作日益增加 协同商务和虚拟企业也迫切需要企业有一个高度集成和开放的 信息平台 实现企业间的异构数据整合 2 不同应用的数据差异 使得企业不 能高效地运转 造成企业信息化的程度难以满足当今日益激烈的市场竞争 3 如何将这些数据资源低代价 方便地连接在一起 实现大范围跨企业实体的异 构数据互访与互操作 这是摆在开发人员面前的一大问题 为了解决上述异构数据间孤立的问题 一种办法是推倒现有各个系统 重 新开发一个覆盖到企业各个部门的统一的新系统来替换原有各个孤立的应用系 统 但是考虑到成本 实施周期和实施难度等因素 这种办法不是一种切实可 行的解决方案 另一种办法是根据实际需要从整体来考虑企业的信息系统 对 各个应用系统进行总体规划 选择一个合适的集成平台 把企业的各个 信息 孤岛 有机地集成起来 这种解决方案不管是从实施难度 还是从实施成本 哈尔滨理工大学工学硕士学位论文 2 周期和技术上考虑都是切实可行的 这也是构成企业信息化迅速发展的源动力 因此找到一种企业异构数据集成的新模式就成了当今企业信息化发展的迫切需 求 企业应用集成 EAI Enterprise Application Integration 是指在企业中的任何 应用间可以无限制地共享数据和资源 目前它是国内外研究的一个非常热门的 领域 网格技术是一种全新的技术 它提出的灵感源于电力网 人们希望使用网 格上的各种资源能像使用电力一样 打开开关就能实现照明 而不用去考虑它 是由哪里提供 怎么提供 网格技术采用面向服务的体系结构 SOA Service Oriented Architecture 提供企业间的服务和应用 为企业信息化模式的创新提供 了巨大的发展空间 本文借助于网格的协同 共享特性 提出了消除企业现存数据异构性而导 致的信息孤岛问题的一套解决方案 与传统方案相比 该方案具有诸多优越性 基于 Web 服务开发架构 具有良好的扩展性 Web 服务更便于设计 开发 使用和维护 发布和使用服务的应用程序间松散耦合 基于开放标准 UDDI SOAP HTTP 和 XML 具有开放性等等 该方案主要解决了信息化 应用中异构数据的共享 互连和互操作问题 其将信息需求者屏蔽于异构性之 外 为企业的内 外部数据提供更好的互访 促进管理者更快 更好的制定商 务决策 进而提高企业的效率和经济效益 4 1 2 企业异构数据集成研究现状 传统的企业应用集成通常包括企业内部的 EAI 和企业间的 B2Bi Business to Business integration EAI 主要是基于企业内部业务 如 CRM ERP SCM 以及 OA 等企业内部子系统的集成 它是将企业内部多个不同数据源和相互分 离的应用进行协同自动化处理的解决方案 其功能主要是协调企业现有的和将 来的应用程序 数据及员工与合作伙伴之间的互动 以便实现对关键业务流程 实时的可视化及有效管理 B2Bi 则侧重企业之间的业务应用集成 即跨越防 火墙的集成 企业将业务延伸到合作伙伴 如分销商 零售商 供货商 物流 运输商等的业务流程中 5 关于企业异构数据集成方面的研究已经进行了很长时间 产生了很多实用 技术 大致发展过程如下 6 7 首先是中间件技术 8 它是在软件架构的层次上提出来的 位于操作系统 或数据库等系统软件和应用软件之间 它屏蔽系统软件的差异 为上层应用软 哈尔滨理工大学工学硕士学位论文 3 件提供统一的接口或协议 数据的分布性 异构性是集成过程中的最大障碍 中间件技术通过在数据库系统和应用系统之间构建中间层 屏蔽了异构数据的 这些特性 将数据集成的工作交由中间层上的组件来实现 这样对应用系统来 说 多数据源就同一个数据源没有什么区别 使得应用系统的开发更加简单 对数据库的操作都通过中间层来进行 为应用层提供完全一致的接口 9 传统 的中间件技术有 基于 CORBA 的企业应用集成 基于 MOM 的企业应用集成 和基于 J2EE JCA 的企业应用集成架构 10 在实际应用中 往往是多种方式共 同使用 目前企业集成最主要的模式是消息中间件模式 如 IBM MQ series 微软的 MSMQ 等 该模式通过一个中间件产品实现各种系统间的交互 然而 由于不同的 IT 厂商所提供的不同产品互不兼容 因此 在进行企业应用系统 集成时 需要进行定制化的开发 系统实现的效率低 开发工作量大 周期长 而且 采用中间件技术进行异构数据的无缝集成是十分困难的 仅仅是设法使 各种技术一起工作 就要花费 40 的 IT 预算 使得近半数的投资花费在不直 接产生商业价值的事情上 11 其次是面向服务的企业数据集成 12 基于 XML 技术的 Web 服务为面向服 务的企业应用集成带来了新的契机 Web 服务的使用改变了目前的开发模式和 应用部署的费用规模 13 15 企业信息化过程中的异构数据集成目的是培养企业 对市场的快速反应能力 从而提高企业经济效益和企业竞争力的过程 随着 Web 技术的不断发展 分布式系统的日益完善 尤其是近年来 Web 服务技术 的日益成熟 企业数据资源集成也随之得到了极大的发展 为使企业实现业务 合作 更好地实现跨平台的互操作 提高分布系统的集成度 采用 Web Service 技术为异构数据的交互提供了有力的手段 Web 服务技术可以实现企 业应用集成 但它没有构成一个完整的解决方案 如 Web 服务可能没提供组 织所需级别的安全性 可靠性 性能和正常工作时间 这就要求在各个应用系 统中构建的服务 能以一种统一和通用的方式进行交互 并同时拥有可扩展的 特性 因此需要一种能够装配构件和服务的集成框架 该框架能够快速地开发 集成和重用应用程序 快速 动态地交付应用程序 这就需要一种新的面向服 务的体系结构去实现 16 网格技术发源于美国 随着它在世界各个国家和地区的政府及业界大公司 中的推广和研究 以及网格基础设施建设的发展 网格技术的全面资源共享和 协同特性 越来越吸引企业的眼球 在针对 应用网格企业最想在哪些方面获 得收益 的问卷调查中 22 是共享异构数据 20 是要节省企业整体投入成 本 16 为更好地利用 IT 资源 改善业务流程占 8 更好地实现运营管理占 哈尔滨理工大学工学硕士学位论文 4 5 提高技术优势达 4 以上均有考虑的占 25 为此网格义不容辞的担负 起了开创异构数据集成新模式的重任 目前 网格技术仍然处于研究开发阶段 网格技术尚不成熟 系列规范正在不断地开发 发展和修订中 同时也有很多 新的规范出现 这是挑战也是机遇 从发展的角度看 在异构数据集成中采用 网格技术是大势所趋 作为 IT 业内的技术人员在项目设计的过程中应该顺应 这一趋势 即采用先进的 低成本的解决方案 积极的尝试应用网格技术 同 时 在实际的系统设计过程中 应该把它和一些成熟的技术 如 J2EE Web Service 等 结合起来 使用开放的网格体系结构来支撑而不是替代现存的底层 结构 从长远来看 网格技术必将对企业信息化发展产生巨大而深远的影响 目前网格技术在共享和集成应用中的研究也取得了一定成果 下面是国内外现 状的对比 1 国外研究概况 NPACI National Partnerships for Advanced Computati onal Infrastructure Grid 是由美国自然科学基金会 NSF 资助的网格研究项目 其目的是建立一个能够满足 NPACI 科学计算需求的先进计算机体系 NPACI Grid 由一系列分布于各个资源站点的硬件资源 软件资源 网络资源及数据 资源构成 这些站点主要包括圣地亚哥超级计算中心 San Diego Supercomputer Center 德克萨斯先进计算中心 Texas Advanced Computing Center 及密歇根大 学 University of Michigan IPG Information Power Grid 是由美国宇航管理局 NASA 支持的网格研究项 目 它是一个高性能的计算网格 网格用户可以通过 IPG 中间件从任何地点访 问广泛分布的异构的各种资源 NASA 内部的科学家和工程师都可以成为 IPG 的用户 GIG 全球信息网格 Global Information Grid 是目前美国军方正规划实施的 一个宏大网格计划 它是美军 2010 网络中心战 Net Centric Warfare 计划的基 础性研究项目 旨在建立一个以成熟的商业技术为基础的真正分布式的运行与 传送系统 欧洲国家在 2001 年正式启动了网格研究的一系列项目 英国政府投资 2 亿英镑左右支持网格研究项目 并确定了用网格计算技术构建 e Science EDG 欧洲数据网格 European DataGrid 于 2000 年 12 月由欧盟提供一千万欧元资金 启动 它主要针对 CERN 的高能物理应用 解决海量数据的分解存贮和处理问 题 提供一种突破地理局限 允许分布在世界各地的工作者交互 共享数据和 设备 共同开展科学研究的合作环境 类似的还有 法国启动的国家网格计划 前 3 年计划的经费投入是 1000 哈尔滨理工大学工学硕士学位论文 5 万美元 荷兰国家网格计算计划将使 5 个大学的研究人员能够更有效地在生物 信息到粒子物理等科研项目方面进行合作 这一网格计算计划包含 5 台 Linux 群集系统 通过荷兰大学的高性能网络 SURFNet 连接在一起 韩国的网格计 划 N Grid 2002 2006 年的五年计划将投资 3500 万美元 但不包括网络和高 性能计算机的投入 后者每年投入为 1500 万美元 日本的 Data Farm 网格项目 主要用于 Petabyte 数据量的高能物理实验数据的分析和处理 与欧洲数据网格 相连 中国台湾也启动了 知识创新网格 的三年科研计划 2003 2005 总投 资为 3000 万美元 2 国内研究概况 国外网格的研究正在如火如荼地进行着 国内也毫不落 伍 网格基础设施建设和网格技术研究工作也在紧张进行 2002 年 4 月 5 日 至 6 日 科技部召开了 网格战略研讨会 确认将网格的研究和应用列为 863 计划 的一个专项 随即成立了专项专家组 目前为止 我国己经完成 的网格研究项目主要有清华大学的先进计算基础设施 ACI Advnaced Computational Infrastructure 和以中科院计算所为主的国家高性能计算环境 NHPCE National High Performance Computing Environment 17 此外 中国国家网格由国家 863 计划重大专项支持 是聚合了高性能计算 和事务处理能力的新一代信息基础设施的试验床 通过资源共享 协同工作 以技术创新推动国家信息化建设及相关产业的发展 2002 年中科院提出的织女 星信息网格旨在有效便捷的解决广域 异构数据的共享 互连和互操作的问题 织女星信息网格的使用模式是让用户在任何时间 地点以及任何设备上使用网 格 以达到高生产率服务 上海网格是上海市科学技术委员会 2003 年度重大 科技攻关项目 目标是研究符合国际标准的信息网格体系结构和关键技术 开 发具有自主知识产权和推广价值的信息网格系统软件 应用开发环境和虚拟研 究平台 通过对虚拟组织中的计算 数据 软件等各种信息的共享和协同 建 立具有上海特色的信息网格 华中科技大学的空间信息网格 SIG Spatial Information Grid 是一种汇集和共享地理上分布的海量空间信息资源 对其进行 一体化组织与处理 从而具有按需服务能力的 强大的空间数据管理和信息处 理能力的信息基础设施 空间信息网格是一个创新性的体系框架 它为空间信 息用户对空间数据进行获取 共享 访问 分析和处理等各种需求提供了实用 可行的解决思路和实施方案 网格技术为空间数据获取与处理提供了新的技术 途径 具有非常广阔的应用前景 网格技术领域的 OGSA DAI Open Grid Serviees Architecture Data Access and Integration 是一种比较常用的中间件 其设计目标是提供一种简便的方 哈尔滨理工大学工学硕士学位论文 6 法 在网格环境中实现数据的访问集成 18 OGSA DAI 为 OGSA 规范提供扩 展 允许数据源 如数据库 在一个 OGSA 框架中被访问 通过 OGSA DAI 接口所能达到的最终目标是 分散的 异构的数据源能像单一逻辑的数据源一 样被访问和控制 19 但 OGSA DAI 仍然存在一定的缺陷 1 缺少数据库自动注册服务 OGSA DAI 中间件每次要增加新的数据库 连接信息时必须手工改写数据库的相关配置文件 而且改写过程比较复杂 容 易出错 很不利于注册新的数据库 2 数据库连接性能差 由于 OGSA DAI 中间件每次调用一个数据服务连 接数据库的时候是采用直接连接的方法 使用完毕后就直接断开数据库的连接 这种直接连接数据库的方法系统响应时间长 效率低 给服务器和系统网格的 性能带来很大的影响 3 异构数据库的数据集成性差 OGSA DAI 提供了访问关系数据库 XML 数据库和文件目录的接口 但没有真正实现对异构数据源的数据集成 随着企业信息化的推进 企业内部存在着大量的异构数据库资源 如何动 态 有机地整合这些资源以满足不同应用 不同用户一站式 个性化的需求已 成为制约企业信息化的技术性问题 20 传统的应用集成技术已无法适应 Internet 环境下松耦合的集成需求 本文将提出的基于 OGSA WSRF 的企业异 构数据集成框架 它是一种面向服务的体系结构 作为松散耦合的 可复用的 软件模块 它支持 Internet 上跨操作系统 硬件平台和编程语言的应用集成 以往的 服务 通常是指标准的 Web 服务以及 OGSA 组织的网格服务两种实 现方式 目前 OGSA 组织会同业界推出的 WSRF 借助成熟的 Web 服务开发 工具与技术 基于标准 Web 服务实现网格服务的功能 这使得基于 OGSA WSRF 的企业应用集成成为可能 21 本文通过 OGSA 中的开放式网格服务基础结构 OGSI 的核心接口及 Web 服务资源框架 WSRF 借助标准 Web 服务 结合 XML 技术可解决上述 Web 服务解决方案中存在的问题 真正实现企业异构数据动态集成的目标 1 3 本文主要工作 本文通过分析企业信息化中存在的数据异构性问题 结合现有的各种消除 数据异构性解决方案中存在的不足 借助 XML SOAP 等标准的 Web Service 技术 融入网格技术的全面资源共享和协同技术 实现了企业异构数据的无缝 共享和交换信息 实现了对企业原有各种异构数据的集成和管理 进而满足了 商务智能 协同办公 业务流程自动化等高端企业信息化需求 本文的主要工 哈尔滨理工大学工学硕士学位论文 7 作如下 1 通过分析企业信息化中异构数据集成问题的研究现状 以及网格技术 在该领域的国内外研究概况 阐明了传统异构数据集成取得的成果和存在的不 足 2 详细阐述了网格技术发展状况 目前的几种标准网格结构 以及本课 题所用到的 Java J2EE Web Service 等核心技术和 GT4 Fedora Core Linux 等 开发平台 3 结合传统企业异构数据集成方案的不足 以及目前企业异构数据集成 的发展趋势 集成需求和目标 提出了基于 OGSA WSRF 的企业异构数据集成 的设计方案 深入分析了该方案在实现企业内部 企业之间异构数据按需动态 集成目的方面的技术可行性 4 针对企业各信息化系统互访和互操作频繁等行业特点 给出了基于 OGSA WSRF 的企业异构数据动态集成方案的具体实施过程 详细阐述了网格 服务注册 发现和调用过程 5 提出了一种针对该方案的测试方法 进行了网格节点的单点性能测试 和分析 哈尔滨理工大学工学硕士学位论文 8 第 2 章 网格技术 2 1 网格概念 网格是建立在互联网之上的新一代基础设施 是一个无缝集成的协同计算 与资源环境 网格能够充分吸纳各种资源 并将它们转化成一种随处可得的 可靠的 标准的 同时还是经济的计算能力 22 阿岗国家实验室的资深科学家 网格概念的提出者 美国网格项目的领导人伊安 福斯特 Ian Foster 曾在 1998 年主编过的 网格 21 世纪信息技术基础设施的蓝图 中这样描述网格 网格是构筑在因特网上的一组新兴技术 它将高速互联网 高性能计算机 大 型数据库 传感器 远程设备等融为一体 为科技人员和普通老百姓提供更多 的资源 功能和交互性 2000 年在 网格的剖析 中他讲到 潜藏在网格概念 之中确切而特殊的问题就在于 实现对等的资源共享和解决动态的 分布式的 虚拟组织所遇到的问题 我们所关心的共享不仅仅是简单的文件交换 更强调 直接对计算机 软件 数据以及其它资源的直接访问 这种需求在工业 科学 以及工程界等许多领域都会遇到 从广义的角度 网格就是一个集成的计算与资源环境 或者是一个计算资 源池 它能够充分吸收各种计算资源 并将它们转化为一种随处可得的 可靠 的 标准的 经济的计算能力 这里的计算资源包括各种类型的计算机 网络 通信能力 数据资料 仪器设备 甚至是人等各种相关的资源 从狭义的角度 网格一般被称为计算网格 即主要用于解决科学与计算问 题的网格 网格计算就是将分布的计算机组织起来协同解决复杂的科学与工程 计算问题 网格资源主要是指分布的计算机资源 根据网格体系结构及目标 网格可以分为计算网格 数据网格及服务网格 计算网格是狭义上的网格 包 括分布式超级计算 高性能计算 数据网格是以数据密集型处理为核心 其目 标是开发出新一代速度更快 承受能力更大的数据网格 解决互联网上提供的 大量异构数据的共享 服务网格的目标是满足任意时空 按需索取 的服务 协同运算及媒体服务 此外根据应用的种类及网格计算求解问题的特点 又提 出多种网格 如以解决科学问题为核心的科学网格 以解决全球环境问题为核 心的地球系统网格等 以及地震 军事网格等 23 网格具有以下特点 哈尔滨理工大学工学硕士学位论文 9 1 分布性和共享性 分布性是网格的一个最主要的特点 通常网格上的 各类资源类型复杂 规模较大 跨越地理范围较广 在分布式计算环境下 需 要解决资源与任务的分配和调度问题 安全传输与通信问题 实时性保障问题 人与系统以及人与人之间的交互问题等 网格的根本特征是资源共享 透明而 且高效率地提供各种服务 2 自相似性 网格具有自相似性特征 网格的局部和整体之间存在着一 定的相似性 局部往往在许多地方具有全局的某些特征 而全局的特征在局部 也有一定的体现 网格的自相似性在网格的建造和研究过程中有重要的意义 3 动态性和多样性 随着时间的推移 网格拥有的资源或功能可以增加 或减少 网格可以从最初包含少量的资源发展到具有成千上万资源的大网格 因此它应从性能 功能 管理软件 兼容性等方面适应规模的变化 能解决不 同结构 不同类别资源之间的通信和互操作问题 4 异构性 网格可以包含多种异构资源 包括跨越地理分布的多个管理 域 如构成网格系统的超级计算机有多种类型 不同类型的超级计算机在体系 结构 操作系统及应用软件等多个层次上可能具有不同结构 5 多级管理域 由于构成网格计算系统的超级计算机资源通常属于不同 的机构或组织 并且使用不同的安全机制 因此既需要各个机构或组织对其拥 有的资源有自主的管理能力 又需要他们共同参与解决多级管理域的问题 以 实现资源共享和互操作 本课题旨在借助网格技术的分布性和共享性特征 结合其它相关技术实现 企业异构数据的无缝动态按需集成 2 2 网格的结构 网格体系结构是网格的骨架和灵魂 是网格技术中最核心的部分 网格体 系结构是关于如何构建网格的技术 它包括两个层次的内涵 一是要标识出网 格系统由哪些部分组成 清晰地描述出各个部分的功能 目的和特点 二是要 描述网格各个组成部分之间的关系 如何将各个部分有机地结合在一起 形成 完整的网格系统 从而保证网格有效地运转 也就是将各个部分进行集成的方 式或方法 网格体系结构是网格的核心技术 只有建立合理的网格体系结构 才能更好地设计和建造网格并使网格有效地发挥作用 24 网格技术的权威伊 安 福斯特将网格体系结构定义为 划分系统基本组件 指定系统组件的目的 与功能 说明组件之间如何相互作用的技术 哈尔滨理工大学工学硕士学位论文 10 网格技术目前流行的三个网格体系结构 五层沙漏结构 开放网格服务体 系结构 OGSA Web 服务资源框架 WSRF 网格的架构决定于网格体系结构的 设计 但不管采用何种体系结构 网格都必须具备资源管理 信息管理 数据 管理 服务质量保证 安全等基本的功能模块 2 2 1 五层沙漏结构 五层沙漏结构是由伊安 福斯特等提出的一种具有代表性的网格体系结构 其影响十分广泛 它的特点就是简单 主要侧重于定性的描述而不是具体的协 议定义 容易从整体上进行理解 在五层沙漏体系结构中 最基本的思想就是 以协议为中心 强调服务与 API 和 SDK 的重要性 五层沙漏结构的设计原则 就是要保持参与的开销最小 即作为基础的核心协议较少 类似于 OS 内核 以方便移植 另外 沙漏结构管辖多种资源 允许局部控制 可用来构建高层 的 特定领域的应用服务 支持广泛的适应性 五层沙漏结构根据该结构中各 组成部分与共享资源的距离 将对共享资源进行操作 管理和使用的功能分散 在五个不同的层次 如图 2 1 所示 图 2 1 沙漏形状的五层结构 Fig 2 1 Five Level sandglass architecture 在五层结构中 资源层和连接层组成了瓶颈部分 使得该结构呈沙漏形状 其内在的含义就是各部分协议的数量是不同的 对于其最核心的部分 要能够 实现上层各种协议向核心协议的映射 同时实现核心协议向下层各种协议的映 射 核心协议在所有支持网格的地点都应该得到支持 因此核心协议的数量不 应该太多 这样核心协议就形成了协议层次结构中的一个瓶颈 哈尔滨理工大学工学硕士学位论文 11 五层的功能特点描述如下 构造层的基本功能就是控制局部的资源 包括查询机制 控制服务质量的 资源管理能力等 并向上提供访问这些资源的接口 构造层资源是非常广泛的 可以是计算资源 存储系统 目录 网络资源以及传感器等等 构造层资源提 供的功能越丰富 它可以支持的高级共享操作就越多 例如 如果资源层支持 提前预约功能 则很容易在高层实现资源的协同调度服务 否则在高层实现这 样的服务就会有较大的额外开销 连接层的基本功能就是实现相互的通信 它定义了核心的通信和认证协议 用于网格的网络事务处理 通信协议允许在构造层资源之间交换数据 要求包 括传输 路由 命名等功能 在实际中这些协议大部分是从 TCP IP 协议栈中 抽取出的 认证协议建立在通信服务之上 提供的功能包括 单一登录 代理 与局部安全方法的集成 基于用户的信任机制 资源层的主要功能就是实现对单个资源的共享 资源层定义的协议包括安 全初始化 监视 控制单个资源的共享操作 审计以及付费等 它忽略了全局 状态和跨越分布资源集合的原子操作 汇聚层的主要功能是协调多种资源的共享 汇聚层协议和服务描述的是资 源的共性 包括目录服务 协同分配和调度以及代理服务 监控和诊断服务 数据复制服务 网格支持下的编程系统 负载管理系统与协同分配工作框架 软件发现服务 协作服务等 它们说明了不同资源集合之间是如何相互作用的 但不涉及到资源的具体特征 应用层是在虚拟组织环境中存在的 应用可以根据任一层次上定义的服务 来构造 每一层都定义了协议 以提供对相关服务的访问 这些服务包括资源 管理 数据存取 资源发现等 在每一层可以将 API 定义为与执行特定活动的 服务交换协议信息的具体实现 2 2 2 OGSA 结构 开放网格服务结构 OGSA Open Grid Services Architecture 把 Globus 标准 与面向商业应用的万维网服务结合起来 把网格计算从科学与计算工程应用 扩展到更广泛的以分布式系统服务集成为主要特征的商业应用领域 建立网格 服务的基本概念 25 OGSA 采用了万维网服务的 WSDL 和 SOAP 规范 遵循 OGSA 标准的系统都可以连在一起 用户可以很容易地集成 共享各种系统提 供的功能 可以节省用户的开发成本 提高开发效率 哈尔滨理工大学工学硕士学位论文 12 OGSA 最基本的思想就是以 服务 为中心 在 OGSA 框架中 将一切抽 象为服务 包括各种计算资源 存储资源 网络 程序 数据库等等 简言之 一切都是服务 如果说五层沙漏模型是以协议为中心的 协议结构 则 OGSA 就是以服务为中心的 服务结构 五层沙漏模型强调资源共享 而 OGSA 强调服务共享 从资源到服务 将资源 信息和数据统一起来 更加有 利于灵活一致的 动态的共享机制的实现 使得分布式系统管理有了标准的接 口和行为 具体地 OGSA 定义了网格服务的概念 网格服务是一种 Web 服 务 该服务提供了一组接口 这些接口的定义明确 且遵守特定的协议 解决 服务发现 动态服务创建 生命周期管理和通知等问题 由此网格服务可以定 义为 网格服务 接口 行为 服务数据 由于在 OGSA 中 一切都是网格服务 因此网格就是可扩展的网格服务的集合 OGSA 具有下列目标 跨分布式异构平台管理资源 交付无缝的服务质量 QoS Quality of Service 网格可以包含许多资源 还有大量的配置组合 交互 以及状态与故障模式的改变 对于这些资源来说 一些智能自动调节与自治管 理方式是必不可少的 定义开放的 已公布的接口 OGSA 是一种由 GGF 标 准团体进行管理的开放式标准 为了不同资源的互操作性 网格必须构建在标 准接口及协议之上 利用行业标准的集成技术 OGSA 的基础是 Web 服务 2 2 2 1 OGSA 架构 OGSA 的四层架构 如图 2 2 所示 从下到上依次为 物 理和逻辑资源层 Web 服务层 基于 OGSA 架构的服务层 网格应用程序层 26 1 物理和逻辑资源层 资源的概念是 OGSA 以及通常意义上的网格计算 的中心部分 构成网格能力的资源并不仅限于处理器 物理资源包括服务器 存储器和网络 物理资源之上是逻辑资源 它们通过虚拟化和聚合物理层的资 源来提供额外的功能和通用的中间件 比如文件系统 数据库管理员 目录和 工作流管理人员 在物理网格之上提供这些抽象服务 2 Web 服务层 OGSA 架构中的第二层是 Web 服务 这里有一条重要的 OG 原则 所有网格资源 逻辑的与物理的 都被建模为服务 OGSI 规范定 义了网格服务并建立在标准 Web 服务技术之上 OGSI 利用诸如 XML 与 Web 服务描述语言 WSDL 这样的 Web 服务机制 为所有网格资源指定标准的接口 行为与交互 OGSI 进一步扩展了 Web 服务定义 提供了动态的 有状态的和 可管理的 Web 服务的能力 这在网格资源进行建模时都是必需的 哈尔滨理工大学工学硕士学位论文 13 应用 OGSA 体系结构服务 OGSA 开放网格服务结构 自治功能 专业服务 Web 服务 OGSA 安全 OGSA 工作流 OGSA 数据库 OGSA 消息 OGSA 目录 OGSA 文件系统 OGSA 服务器OGSA 存储OGSA 网络 图 2 2 OGSA 的主要架构 Fig 2 2 Main architecture of OGSA 3 基于 OGSA 架构的网格服务层 Web 服务层及其 OGSI 扩展为下一层 提供了基础设施 基于架构网格的服务 GGF 目前正在致力于 在诸如程序 执行 数据服务和核心服务等领域中定义基于网格架构的服务 随着这些新架 构的服务开始出现 OGSA 将变成更加有用的面向服务的架构 4 网格应用程序层 随着时间的推移 一组丰富的 基于网格架构的服 务不断被开发出来 使用一个或多个基于网格架构服务的新应用程序亦将出现 这些应用程序构成了 OGSA 架构的第四个主要的层 2 2 2 2 OGSA 的接口与功能 OGSA 符合标准的 Web Service 框架 Web Service 解决了发现和激活永久服务的问题 但是在网格中有大量的临时服务 因此 OGSA 对 Web Service 进行了扩展 提出了网格服务的概念 使得它可以 支持临时服务实例 并且能够动态创建和删除 OGSA 的不同功能是通过不同 的网格服务接口实现的 这些接口主要有 1 必需的服务接口 Grid Service 它是 OGSA 服务接口中唯一必需的接口 它有 Find Service Data Set Termin