（计算机应用技术专业论文）服务网格中数据管理系统的研究和实现.pdf

东北大学硕_ _ 学位论文 摘要 服务网格中数据管理系统的研究和实现 摘要 随着网格技术的发展，科学数据呈现爆炸式增长，地理上广泛分布的各网格 结点的用户都希望能够访问 和分析这些庞大的数据， 但是由于计算复杂、计算量 大，而现有的数据管理体系结构、方法和技术已经不能满足人们对高性能、大容 量分布存储和分布处理能力的要求。因此，为了解决上述应用所面临的问题，人 们正在寻求在网格中进行数据管理的有效方法。 本文的研究内容是如何在服务网格中构造一个数据管理系统。该研究内容是 国家8 6 3 项目 “ 基于企业柔性集成的服务网格的研究” 中的部分内 容，是e f c s原 型系统中的重要组成部分。该管理系统的功能与数据网格功能类似。在网格环境 下， 管理多个分布、 异构的存储资源， 为用户提供统一的对底层数据的透明访问。 根据e f c s 系统的需求， 我们研究了已 有的网 格中数据管理系统，设计了一 个原型系统e f c s - d ms ( d a t a m a n a g e m e n t s y s t e m) . e f c s - d ms 为用户提供了 - 个透明的底层数据访问平台。 e f c s - d ms 系统为一个四层结构: 数据层、 接口 层、 服务层、 用户应用层。 其中， 服务层是e f c s - d ms 系统的关键层， 是整个系统的 核心部分。在这一层中，我们设计了四个核心服务:网格安全服务、数据服务、 元数据服务和全局统一命名服务。 文中重点讨论了服务层。在数据服务设计过程中，我们讨论了数据的复制管 理、数据传输管理、基于x m l的数据集成等实现机制。在元数据服务的设计过 程中，重点研究了元信息库的存储内 容及结构，以及基于元数据的数据发布和查 找等。在全局统一命名服务中， 我们设计了四种命名空间，并在它们之间建立映 射，保证物理文件名和用户所见的逻辑文件名的独立性。 本系统具有可扩展性、 开放性、灵活性和与其他网格系统的可集成性等特点 关键词:网格 数据管理系统 数据服务 数据集成 e f c s - d ms全局统一命名服 务 元数据服务网格安全服各 东北大学硕 卜 学位论文 ab s t r a c t r e s e a r c h a n d i m p l e m e n t a t i o n o f a d a t a ma n a g e m e n t s y s t e m i n s e r v i c e g r i d ab s t r a c t wi t h t h e d e v e l o p m e n t o f g r i d t e c h n o l o g y , i t a p p e a r s t h a t s c ie n c e d a t a i n c r e a s e e x p l o s i v e l y . a t t h e s a m e t i m e , t h e u s e r s d i s t r ib u t e d a c r o s s t h e g l o b e w a n t t o a c c e s s a n d a n a l y z e t h e s e v a s t d a t a . b e c a u s e o f t h e c o m p l i c a t i o n o f c a l c u l a t i o n , t h e a n a l y s i s o f h u g e v o l u m e s o f d a t a n e e d s b i l l i o n s o r m o r e t i m e s c o m p u t i n g p o w e r , b u t c u r r e n t a r c h i t e c t u r e s a n d s o l u t i o n s o f d a t a m a n a g e m e n t c a n t s a t i s f y t h e r e q u i r e m e n t s o f u s e r s i n h i g h p e r f o r m a n c e , d i s t r i b u t e d s t o r a g e a n d d i s t r i b u t e d p r o c e s s . t h e r e f o r e , p e o p l e a r e l o o k i n g f o r a n e ff e c t i v e t e c h n i q u e i n v a s t d a t a s t o r a g e a n d m a n a g e m e n t . i n t h i s t h e s i s , w e i n t r o d u c e d h o w t o c o n s tr u c t a d a t a m a n a g e m e n t s y s t e m i n t h e s e r v i c e g r i d . o u r r e s e a r c h w o r k i s a p a r t o f t h e s t u d y o n e n t e r p r i s e fl e x i b le c o m p o s i t i o n i n s e r v i c e g r i d ; o n e o f t h e n a t i o n 8 6 3 p r o j e c t s , a n d t h e d a t a m a n a g e m e n t s y s t e m i s a n i m p o r t a n t c o m p o n e n t o f e n t e r p r i s e f l e x i b l e c o m p o s i t i o n s e r v i c e s ( e f c s ) . t h e f u n c t i o n s o f o u r d a t a m a n a g e m e n t s y s t e m t h a t i s s i m i l a r t o t h e d a t a g r i d in c l u d e m a n a g i n g m u l t i p l e d i s t r i b u t e d a n d h e t e r o g e n e o u s s t o r a g e r e s o u r c e s , p r o v i d i n g a t r a n s p a r e n t m e t a d a t a a c c e s s f o r u s e r s . a c c o r d i n g t o t h e r e q u i r e m e n t o f e f c s s y s t e m , w e d e s i g n a p r o t o t y p e s y s t e m n a m e d d a t a ma n a g e m e n t s y s t e m ( e f c s - d ms ) b y r e s e a r c h i n g e x i s t i n g d a t a m a n a g e m e n t s y s t e m s a p p l i e d i n g r i d . t h e d ms p r o v id e a p l a t f o r m w it h w h i c h u s e r s c a n t r a n s p a r e n t l y a c c e s s t h e m e t a d a t a . t h e r e a r e f o u r l a y e r s i n t h e e f c s - d m s , i n c l u d i n g d a t a l a y e r , i n t e r f a c e l a y e r , s e r v i c e l a y e r a n d a p p l i c a t i o n l a y e r . t h e s e r v i c e l a y e r , a s t h e k e rn e l o f d ms , i s c o m p o n e n t w it h f o u r s e r v i c e s t h a t i n c l u d e s e c u r i t y s e r v i c e , d a t a s e r v i c e , m e t a d a t a s e r v i c e a n d g l o b a l n a m e s p a c e s e r v i c e . i i i 东北大学硕十学位论文 ab s t r a c t i n t h i s t h e s i s , w e d i s c u s s t h e d e s i g n a n d r e a l i z a t i o n o f s e r v i c e l a y e r in t h e d ms . w e i n t r o d u c e t h e r e a l i z a t i o n o f t h e d a t a r e p l i c a m a n a g e m e n t , d a t a t r a n s f e r m a n a g e m e n t a n d x m仁b a s e d d a t a i n t e g r a t i o n i n d a t a s e r v i c e . a n d i n t h e r e s e a r c h o f m e t a d a t a s e r v i c e , w e f o c u s o n t h e s t u d y o n t h e s t o r a g e c o n t e n t a n d a r c h i t e c t u r e o f m e t a d a t a , a n d t h e d a t a r e l e a s e a n d d i s c o v e r y o f m e t a d a t a . we d e v e l o p f o u r n a m e s p a c e s i n g l o b a l n a m e s p a c e s e r v i c e . t h e f o u r n a m e s p a c e s i n c l u d e : p h y s i c a l f i l e n a m e , l o g i c a l f i l e n a m e , s y s t e m i n t e r n a l f i l e n a m e , a n d t r a n s f e r f i l e n a m e . t h e m a p p i n g b e t w e e n p h y s i c a l f i l e n a m e a n d l o g i c a l f i le n a m e i s u s e d t o e n s u r e t h e i r i n d e p e n d e n c e . f i n a l l y , c o n f i r m e d b y e m p i r i c a l s t u d i e s , t h e e f c s - d ms i s e x c e l l e n t i n m a n y c h a r a c t e r i s t i c s o f p e r f o r m a n c e , i n c l u d i n g e x p a n s i b i l i t y , u n i v e r s a l i t y a n d f l e x i b i l i t y , a n d i s e a s i l y i n t e g r a t e d w i t h o t h e r g r i d s y s t e m a p p l i c a t i o n s . k e y w o r d s : g r i d , d a t a m a n a g e m e n t s y s t e m , d a t a s e r v i c e , d a t a i n t e g r a t i o n , e f c s - d ms g l o b a l n a m e s e r v i c e , m e t a d a t a s e r v i c e , g r i d s e c u r i t y s e r v i c e t v 东北大学硕士学位论文独创性声明 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成 果除加以 标注和致谢的地方外，不包含其他人己 经发表或撰写过的研究成果，也 不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名 日期: 0 0 s : 阵 耘尔 年 月 “ “ 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规 定:即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论 文被查阅和借阅 数据库进行检索 本人授权东北大学可以将学位论文的全部或部分内容编入有关 交流。 ( 如作者和导师同意网上交流，请在下方签名;否则视为不同意。 ) 学 位 论 文 作 者 签 名 : 陈i- 玲 签 字 日 期 : “ 。“ i “ “ 导师签名: 签字日期: 守戈 乡 ” ， 上i .) 庆 东北大学硕士学位论文 第一章引言 第一章 引言 在本章中，我们将阐述在网格环境下，数据管理可能遇到的问 题，及网格环 境下数据管理技术的研究和发展的现状，并详细介绍了在网格数据管理系统开发 过程中所用到的各项关键技术。 1 . 1 网格中数据管理的问题 在网格环境中，各种科学研究和应用领域中的数据是重要的资源，数据正以 t e r a b y t e的 速度递增。地理上分布的网格结点用户都希望能够访问这些庞大的数 据，但对于它们来说都要面临着大量格式多样，并且是分散的数据，企业间进行 交易，需要经常访问和交换数据，而且，每个网格结点的数据存储经常采用不同 的数据库，比 如o r a c l e , d b 2 , s q l s e r v e r 或者x m l 数据库，出于不同的h 的， 不同的网格结点也经常使用不同的系统，包括w i n d o w s , u n i x和l i n u n 。 这些 差异给网格结点间的数据互访带来极大的障碍;同时，许多数据分析处理要求干 亿次或万亿次规模的计算能力。而现有的数据管理体系结构、方法和技术己经不 能满足人们对高性能、大容量分布存储和分布处理能力的要求。因此，为了解决 上述应用所面临的问题，人们正在寻求在网格中 进行数据管理的有效方法。 1 . 2 开发网格数据管理系统成为目前的器求 信息集成 ( 如信息网格、服务网格、知识网格等)将是最近几年网格最可能 流 行 起来的 应 用方向 r2 . 2 0 0 2 年2 月2 0 日 ， g l o b u s 联 盟 和i b m在 全球网 格论 坛 上 发布了 开放性网 格服务架构o g s a ( o p e n g r i d s e r v i c e s a r c h i t e c t u r e ) 及其详细 规范o g s i ( o p e n g r i d s e r v i c e s i n f r a s t r u c t u r e ) ， 把g l o b u s 标准与支持商用的w e b s e r v i c e s 的标准结合起来。 2 0 0 4 年 1 月2 0日， g l o b u s 联盟、 i b m和h p等又联合 发布了新的网格标准草案ws r f ( we b s e r v i c e s r e s o u r c e f r a m e w o r k ) ，把o g s i 转换成了6 个用于扩展we b s e r v i c e s 的规范。 这时，网格服务已经与we b 服务彻 底融为一体了。 这标志着网 格已 经调整好方向，将信息集成作为第一目 标了 2 5 1 这也就意味着，大量的、分布的、异构数据的管理问题正在成为网格研究的核心 问题之一。 目 前， g l o b u s 已 经提供或即将提供一些基本的数据管理功能， 如数据高速传 输、数据复制、数据复制的选择、元数据管理等，网格中数据管理的应用模式正 在产生。其实， 在g l o b u s 之前， 就已经有一些成功的分布式海量数据管理系统， 如存储资源代理系统s r b ,高性能存储系统h p s s和分布式并行存储系统d p s s 东北大学硕士学位论文 第一章引言 第一章 引言 在本章中，我们将阐述在网格环境下，数据管理可能遇到的问 题，及网格环 境下数据管理技术的研究和发展的现状，并详细介绍了在网格数据管理系统开发 过程中所用到的各项关键技术。 1 . 1 网格中数据管理的问题 在网格环境中，各种科学研究和应用领域中的数据是重要的资源，数据正以 t e r a b y t e的 速度递增。地理上分布的网格结点用户都希望能够访问这些庞大的数 据，但对于它们来说都要面临着大量格式多样，并且是分散的数据，企业间进行 交易，需要经常访问和交换数据，而且，每个网格结点的数据存储经常采用不同 的数据库，比 如o r a c l e , d b 2 , s q l s e r v e r 或者x m l 数据库，出于不同的h 的， 不同的网格结点也经常使用不同的系统，包括w i n d o w s , u n i x和l i n u n 。 这些 差异给网格结点间的数据互访带来极大的障碍;同时，许多数据分析处理要求干 亿次或万亿次规模的计算能力。而现有的数据管理体系结构、方法和技术己经不 能满足人们对高性能、大容量分布存储和分布处理能力的要求。因此，为了解决 上述应用所面临的问题，人们正在寻求在网格中 进行数据管理的有效方法。 1 . 2 开发网格数据管理系统成为目前的器求 信息集成 ( 如信息网格、服务网格、知识网格等)将是最近几年网格最可能 流 行 起来的 应 用方向 r2 . 2 0 0 2 年2 月2 0 日 ， g l o b u s 联 盟 和i b m在 全球网 格论 坛 上 发布了 开放性网 格服务架构o g s a ( o p e n g r i d s e r v i c e s a r c h i t e c t u r e ) 及其详细 规范o g s i ( o p e n g r i d s e r v i c e s i n f r a s t r u c t u r e ) ， 把g l o b u s 标准与支持商用的w e b s e r v i c e s 的标准结合起来。 2 0 0 4 年 1 月2 0日， g l o b u s 联盟、 i b m和h p等又联合 发布了新的网格标准草案ws r f ( we b s e r v i c e s r e s o u r c e f r a m e w o r k ) ，把o g s i 转换成了6 个用于扩展we b s e r v i c e s 的规范。 这时，网格服务已经与we b 服务彻 底融为一体了。 这标志着网 格已 经调整好方向，将信息集成作为第一目 标了 2 5 1 这也就意味着，大量的、分布的、异构数据的管理问题正在成为网格研究的核心 问题之一。 目 前， g l o b u s 已 经提供或即将提供一些基本的数据管理功能， 如数据高速传 输、数据复制、数据复制的选择、元数据管理等，网格中数据管理的应用模式正 在产生。其实， 在g l o b u s 之前， 就已经有一些成功的分布式海量数据管理系统， 如存储资源代理系统s r b ,高性能存储系统h p s s和分布式并行存储系统d p s s 东北大学硕士学位论文 第一章引言 等。s r b为用户提供了一个访问文件系统、 档案系统、数据库系统等多种异构存 储系统的统一接口，屏蔽了存储系统的异构特性，支持广域网络环境下多种数据 源的访问，已经被几十家单位使用。h p s s 项目早就在 1 9 9 3 年就开始了，是一个 层次化的存储系统，其目 标是让海量数据能够在网络化存储、高性能计算机、海 量数据库之间快速传递。 h p s s 也已 经有不少的用户， 将来， 像s r b , h p s s 这样 的系统， 都会提供类似数据网格的标准接口。 可见， i n t e r n e t 己经变成了一个数据 的海洋，这种能对分布的、异构的数据进行访问和存储的网格数据管理系统的开 发迫在眉捷。 1 .3网格中的数据管理技术的研究现状 在网格数据管理研究领域，美国和欧洲处于领先地位，他们的研究范围和规 模都比较大。 最著名的网格数据管理系统开发工具是g l o b u s 中的数据管理支撑模 块。 g l o b u s 系 统主要由 美国a r g o n n e 国 家实验室 和南 加州大学联合研制。 它 借鉴 了因特网和u n i x 的开发路线， 不构造一个完整的系统， 而只是构造一套底层的开 发工具，采用模块化设计方式，可升级或替换，是一个中间件系统。 g l o b u s 对资 源的管理、安全、信息服务和数据管理等网格计算的关键技术和方法进行研究， 提供了一整套s d k和a p i ， 用户可以任意选择其中的工具模块进行高层次的应用 开 发。 目 前， 美国n a s a i p g 、 欧 洲 数 据网 格、 美国 国 家 技 术网 格n t g , g r i p h y n , p p d g , a s c i g r i d 、日 本的d a ta f a r m等项目都采用了g l o b u s 系统。 g l o b u s 系统最初是面向计算网格的，后来由于网格中数据管理的需求迫切， g l o b u s 系统在原有的基础上增加了 数据管理的功能， 对数据的高速传输、 数据复 制、数据复制的选择、元数据管理等进行了研究和实现，成为网格数据管理的开 发平台。 美国圣地亚哥超级计算中心s d s c的s r b存储资源代理系统是用途较广的数 据网格中间件之一。 它实际上是一个网格环境下的数据管理系统。 s r b为用户提 供了 一个访问 文件系统、 档案系统、 数据库系统等多种异构存储系统的统一接口， 屏蔽了 存储系统异构的特性。它支持广域网络环境下多种数据源的访问，提供了 复制、复制数据的访问、文件的汇集、分布文件的逻辑集合等功能。目 前，s r b 系统已经被几十多个单位使用，包括英国的国家网格、美国的联邦数据库等。它 们正在和g l o b u s 系统相结合，以 满足网 格技术和用户的需求。 当然，除了上述项目 和系统以外，还有许多网格数据管理的项目已经或正在 开发之中， 包括i b m, s u n , c o m p a q , l s f 等十多 家著名计算机公司都已 经投 东北大学硕士学位论文 第一章引言 等。s r b为用户提供了一个访问文件系统、 档案系统、数据库系统等多种异构存 储系统的统一接口，屏蔽了存储系统的异构特性，支持广域网络环境下多种数据 源的访问，已经被几十家单位使用。h p s s 项目早就在 1 9 9 3 年就开始了，是一个 层次化的存储系统，其目 标是让海量数据能够在网络化存储、高性能计算机、海 量数据库之间快速传递。 h p s s 也已 经有不少的用户， 将来， 像s r b , h p s s 这样 的系统， 都会提供类似数据网格的标准接口。 可见， i n t e r n e t 己经变成了一个数据 的海洋，这种能对分布的、异构的数据进行访问和存储的网格数据管理系统的开 发迫在眉捷。 1 .3网格中的数据管理技术的研究现状 在网格数据管理研究领域，美国和欧洲处于领先地位，他们的研究范围和规 模都比较大。 最著名的网格数据管理系统开发工具是g l o b u s 中的数据管理支撑模 块。 g l o b u s 系 统主要由 美国a r g o n n e 国 家实验室 和南 加州大学联合研制。 它 借鉴 了因特网和u n i x 的开发路线， 不构造一个完整的系统， 而只是构造一套底层的开 发工具，采用模块化设计方式，可升级或替换，是一个中间件系统。 g l o b u s 对资 源的管理、安全、信息服务和数据管理等网格计算的关键技术和方法进行研究， 提供了一整套s d k和a p i ， 用户可以任意选择其中的工具模块进行高层次的应用 开 发。 目 前， 美国n a s a i p g 、 欧 洲 数 据网 格、 美国 国 家 技 术网 格n t g , g r i p h y n , p p d g , a s c i g r i d 、日 本的d a ta f a r m等项目都采用了g l o b u s 系统。 g l o b u s 系统最初是面向计算网格的，后来由于网格中数据管理的需求迫切， g l o b u s 系统在原有的基础上增加了 数据管理的功能， 对数据的高速传输、 数据复 制、数据复制的选择、元数据管理等进行了研究和实现，成为网格数据管理的开 发平台。 美国圣地亚哥超级计算中心s d s c的s r b存储资源代理系统是用途较广的数 据网格中间件之一。 它实际上是一个网格环境下的数据管理系统。 s r b为用户提 供了 一个访问 文件系统、 档案系统、 数据库系统等多种异构存储系统的统一接口， 屏蔽了 存储系统异构的特性。它支持广域网络环境下多种数据源的访问，提供了 复制、复制数据的访问、文件的汇集、分布文件的逻辑集合等功能。目 前，s r b 系统已经被几十多个单位使用，包括英国的国家网格、美国的联邦数据库等。它 们正在和g l o b u s 系统相结合，以 满足网 格技术和用户的需求。 当然，除了上述项目 和系统以外，还有许多网格数据管理的项目已经或正在 开发之中， 包括i b m, s u n , c o m p a q , l s f 等十多 家著名计算机公司都已 经投 东北大学硕 卜 学位论文第一章引禹 资研究网格计算技术，网格中数据管理技术的研究既迫切又重大。 1 . 4本文的讨论重点 在本节中，将介绍e f c s 系统和本文的讨论重点。 1 .4 . 1 e f c s 系统的简要介绍 为了支持基于 w e b服务的业务服务，i b m提出了服务网格 ( s e r v i c e g r i d ) 概念， 服务网格旨在通过服务资源的抽象描述、 组织、 管理以及服务的动态组合， 支持开放环境下的应用虚拟组织，以及虚拟组织上灵活、高效的资源共享和业务 级协同。随着网格技术的不断发展，面向服务领域的支持企业集成、服务连接、 管理、集成优化和运行的服务网格将成为商业网 格系统的一个重要发展方向，它 为实现多企业或部门之间广域分布业务应用的集成和共享提供了按需服务、系统 互操作和可监控等方面的有力支持。e f c s ( e n t e r p r i s e f le x i b le c o m p o s i t io n s e r v i c e s ) 系统是受市场驱动而提出的。 e f c s ( e n t e r p r i s e f l e x i b l e c o m p o s i t i o n s y s t e m) 是由 东北大学计算机软件与 理论研究所开发的商用服务网 格服务系 统。 它基于w e b s e r v i c e , g r i d s e r v i c e 、 开 放网格服务构架( o g s a i o g s i ) 和标准平台( g l o b u s t o o l k i t ) ，实现具有良 好的可伸 缩性与可靠性的基本网格服务合成系统。 其目 标是以动态网格服务的合成为基础， 提供按需为用户提供集成服务资源、动态企业联盟的个性化商务合作、集成数据 服务资源等功能，实现跨分布式异构平台管理服务资源。 e f c s 系统基于四层体系结构 ( 前端应用、 核心服务、 支持基础、 共享资源) ， 其系统总体结构见图1 . 1 。 前端应用包括应用门户和管理门户， 是服务网格为用户 提供的实用工具和应用接口。核心服务包括系统管理和应用管理，是系统的具体 实现。 支持基础是基于o g s a和w e b s e r v i c e 的支持平台， 如g l o b u s t o o l k it , w e b s p h e r e , .n e t 等 开发 环 境和 运行 环境。 e f c s 系统的基本框架如图1 . 1 ，所示: 下面分别介绍各主要服务组件实现的功能: ( 1 ) 资源目录管理 资源分布在分布环境下，资源定位元数据组成服务网格资源目 录内容，随着 资源数量的增加，如何管理资源目 录，快速定位服务显得尤为重要。系统采用分 级管理目录，每一分区包含该区的注册的资源目录，同时也记录一张其他资源所 在的分区的路由日录表，可快速定位资源。 ( 2 ) 服务发现 服务发现是服务网格最佳响应用户请求的基本保证。本系统的服务发现可分 东北大学硕 卜 学位论文第一章引禹 资研究网格计算技术，网格中数据管理技术的研究既迫切又重大。 1 . 4本文的讨论重点 在本节中，将介绍e f c s 系统和本文的讨论重点。 1 .4 . 1 e f c s 系统的简要介绍 为了支持基于 w e b服务的业务服务，i b m提出了服务网格 ( s e r v i c e g r i d ) 概念， 服务网格旨在通过服务资源的抽象描述、 组织、 管理以及服务的动态组合， 支持开放环境下的应用虚拟组织，以及虚拟组织上灵活、高效的资源共享和业务 级协同。随着网格技术的不断发展，面向服务领域的支持企业集成、服务连接、 管理、集成优化和运行的服务网格将成为商业网 格系统的一个重要发展方向，它 为实现多企业或部门之间广域分布业务应用的集成和共享提供了按需服务、系统 互操作和可监控等方面的有力支持。e f c s ( e n t e r p r i s e f le x i b le c o m p o s i t io n s e r v i c e s ) 系统是受市场驱动而提出的。 e f c s ( e n t e r p r i s e f l e x i b l e c o m p o s i t i o n s y s t e m) 是由 东北大学计算机软件与 理论研究所开发的商用服务网 格服务系 统。 它基于w e b s e r v i c e , g r i d s e r v i c e 、 开 放网格服务构架( o g s a i o g s i ) 和标准平台( g l o b u s t o o l k i t ) ，实现具有良 好的可伸 缩性与可靠性的基本网格服务合成系统。 其目 标是以动态网格服务的合成为基础， 提供按需为用户提供集成服务资源、动态企业联盟的个性化商务合作、集成数据 服务资源等功能，实现跨分布式异构平台管理服务资源。 e f c s 系统基于四层体系结构 ( 前端应用、 核心服务、 支持基础、 共享资源) ， 其系统总体结构见图1 . 1 。 前端应用包括应用门户和管理门户， 是服务网格为用户 提供的实用工具和应用接口。核心服务包括系统管理和应用管理，是系统的具体 实现。 支持基础是基于o g s a和w e b s e r v i c e 的支持平台， 如g l o b u s t o o l k it , w e b s p h e r e , .n e t 等 开发 环 境和 运行 环境。 e f c s 系统的基本框架如图1 . 1 ，所示: 下面分别介绍各主要服务组件实现的功能: ( 1 ) 资源目录管理 资源分布在分布环境下，资源定位元数据组成服务网格资源目 录内容，随着 资源数量的增加，如何管理资源目 录，快速定位服务显得尤为重要。系统采用分 级管理目录，每一分区包含该区的注册的资源目录，同时也记录一张其他资源所 在的分区的路由日录表，可快速定位资源。 ( 2 ) 服务发现 服务发现是服务网格最佳响应用户请求的基本保证。本系统的服务发现可分 东北大学坝卜学位论文 第一章引南 资研究网格计算技术，网格中数据管理技术的研究既迫切又重大。 1 4 本文的讨论重点 在本节中，将介绍e f c s 系统和本文的讨论重点。 1 4 1e f c s 系统的简要介绍 为了支持基于w e b 服务的业务服务，i b m 提出了服务网格( s e r v i c eg r i d ) 概念，服务网格旨在通过服务资源的抽象描述、组织、管理以及服务的动态组合， 支持开放环境下的应用虚拟组织，以及虚拟组织上灵活、高效的资源共享和业务 级协同。随着网格技术的不断发展，面向服务领域的支持企业集成、服务连接、 管理、集成优化和运行的服务网格将成为商业网格系统的一个重要发展方向，它 为实现多企业或部门之间广域分布业务应用的集成和共享提供了按需服务、系统 互操作和可监控等方面的有力支持。e f c s ( e n t e r p r i s ef l e x i b l ec o m p o s i t i o n s e r v i c e s ) 系统是受市场驱动而提出的。 e f c s ( e n t e r p r i s ef l e x i b l ec o m p o s i t i o ns y s t e m ) 是由东北大学计算机软件与 理论研究所开发的商用服务网格服务系统。它基于w e bs e r v i c e 、g r i ds e r v i c e 、开 放网格服务构架( o g s a o g s i ) 和标准平( g l o b u st o o l k i t ) ，实现具有良好的可伸 缩性与可靠性的基本网格服务合成系统。其目标是以动态网格服务的合成为基础， 提供按需为用户提供集成服务资源、动态企业联盟的个性化商务合作、集成数据 服务资源等功能，实现跨分布式异构平台管理服务资源。 e f c s 系统基于四层体系结构( 前端应用、核心服务、支持基础、共享资源) ， 其系统总体结构见图1 1 。前端应用包括应用门户和管理门户，、是服务网格为用户 提供的实用工具和应用接口。核心服务包括系统管理和应用管理，是系统的具体 实现。支持基础是基于o g s a 和w e bs e r v i c e 的支持平台，如g i o b u st o o l k i t ，w e b s p h e r e ， n e t 等开发环境和运行环境。 e f c s 系统的基本框架如图l ，1 ，所示： 下面分别介绍各主要服务组件实现的功能： ( 1 ) 资源目录管理 资源分布在分布环境下，资源定位元数据组成服务网格资源目录内容，随着 资源数量的增加，如何管理资源目录，快速定位服务显得尤为重要。系统采用分 缴管理目录，每一分区包含该区的注册的资源目录，同时也记录一张其他资源所 在的分区的路由目录表，可快速定位资源。 ( 2 ) 服务发现 服务发现是服务网格最佳响应用户请求的基本保证。本系统的服务发现可分 东北大学硕士学位论文 第一章哼l 者 三层实现，即基于领域服务语义、资源目录树、用户需求约束发现最佳服务资源， 达到服务发现的快速性和准确性。具体如下：( 1 ) 基于用户的资源请求，依据服 务语义匹配领域服务概念；( 2 ) 基于良好的资源目录机制快速定位服务；( 3 ) 基于 用户约束定位最佳服务。 图1 1e f c s 系统的基本框架 f i g 1 1e f c sa r c h i t e c t u r e ( 3 ) 服务q o s 语义等价的分布服务资源在性能上可能存在一定差异，且具有自治性，不同 用户对服务的需求也各不相同。因此为保证服务网格提供的服务的有效、可靠， 也为满足用户的个性化需求，本服务网格预定义一个评价服务的模型，影响因素 涉及服务响应时间、服务费用、服务质量和用户评价等综合评价，为用户按需推 荐最好的服务。 ( 4 ) 领域知识管理 系统为规范领域知识，服务网格维护一套领域知识，领域知识基于本体概念 定义，预采用d a m l + o i l 详细定义领域概念与术语，以及它们之间的联系，为 异构解决和服务最佳查询提供规范知识。 ( 5 ) 服务审计 第三方提供的服务是组成网格服务的基本组件，而这些服务具有自治、动态 特性，要保证服务网格的健壮性，服务网格必须提供审计服务( 核心服务与第三 方服务) 组件的功能。系统拟采用周期检测和监测服务执行、修改等动态情况， 4 查! ! 查兰堡! ：堂竺丝兰二兰j 堕 保证共享的服务资源的可靠性。 ( 6 ) 安全机制 系统为支持高可靠性的服务或集成服务，系统拟依据一套权威安全认证机制， 实现证书颁发。通过鉴别用户身份，防止伪装与抵赖：采用r s a 加密t r i p l ed e s 的随机密钥，通过t r i p l ed e s 加密传输的信息，保证数据安全性。 ( 7 ) 数据集成 信息集成不论是单服务用户还是虚拟团体，都是至关重要的，也是服务刚格 系统的重要服务功能之一，是启动虚拟组织的必备能力。系统采用基于x m l 的 一致的信息格式，采用基于领域本体语义的模式匹配实现信息集成能力。 ( 8 ) 异构解决 分布资源的异构为资源集成带来了一定难度，系统采用基于本体知识和定义 的元本体转换知识自动实现资源异构解决。系统在服务准备阶段如注册时，实现 异构解决，提高集成速度。 ( 9 ) 服务合成调度器 基于用户定义的服务模板或系统内部提供的服务模板，服务集成调度器自动 实现服务最佳查找、协调和调度执行，响应用户的请求。集成调度器通过中心调 度器、服务发现管理器、服务执行管理器、异构转换协调器、日志管理器、恢复 管理器等实现。 ( 1 0 ) 服务代理 服务网格为用户提供一致的用户接口，由服务代理调用核心服务为用户提供 服务。 1 4 2 本文的讨论重点 本文的研究内容就是如何实现e f c s 系统中门户服务中的数据服务模块。通 过该数据服务模块，用户可以定制自己需要的数据服务，该数据服务以服务： 厂 的形式放置在服务器端。但为了应用的方便，在本系统实现时，我们通过数据服 务工厂创建数据服务实例，把该数据服务实例设置为持久服务，并把其接口布置 在服务器端，等待用户的数据服务请求。通过调用此数据服务，可以实现网格环 境中大量的、分布的、异构的数据的透明访问与集成。为了使数据服务的结构更 清晰，我们把数据请求刨除在外，其余部分我们把它叫做数据管理系统( d a t a m a n a g e m e n ts y s t e m ，e f c s d m s ) 。 本文的讨论重点就是基于e f c s 框架，实现一个在网格环境下支持异构数据 源透明访问和集成的数据管理系统e f c s - d m s 。我们研究目前已有的相关项目， 并进行对比分析，讨论适合网格环境下能透明访问与集成异构数据的e f c s d m s 东北大学硕 卜 学位论文第一章引合 保证共享的服务资源的可靠性。 ( 6 ) 安全机制 系统为支持高可靠性的服务或集成服务， 系统拟依据一套权威安全认证机制， 实 现 证书 颁发。 通过 鉴别 用 户身 份， 防 止 伪装与 抵 赖; 采用r s a 加密t r i p l e d e s 的随 机密 钥， 通过t r i p l e d e s 加密 传输的 信息， 保证数据安全性。 ( 7 ) 数据集成 信息集成不论是单服务用户还是虚拟团体，都是至关重要的，也是服务网格 系统的重要服务功能之一，是启动虚拟组织的必备能力。系统采用基于 x ml的 一致的信息格式，采用基于领域本体语义的模式匹配实现信息集成能力。 ( 8 ) 异构解决 分布资源的异构为资源集成带来了一定难度，系统采用基于本体知识和定义 的元本体转换知识自 动实现资源异构解决。系统在服务准备阶段如注册时，实现 异构解决，提高集成速度。 ( 9 ) 服务合成调度器 基于用户定义的服务模板或系统内部提供的服务模板，服务集成调度器自 动 实现服务最佳查找、协调和调度执行，响应用户的请求。集成调度器通过中心调 度器、服务发现管理器、服务执行管理器、异构转换协调器、日 志管理器、恢复 管理器等实现。 ( 1 0 )服务代理 服务网格为用户提供一致的用户接口，由服务代理调用核心服务为用户提供 服务。 1 . 4 . 2本文的讨论盆点 本文的研究内容就是如何实现e f c s系统中门户服务中的数据服务模块。通 过该数据服务模块，用户可以 定制自己需要的数据服务，该数据服务以 服务工厂 的形式放置在服务器端。但为了应用的方便，在本系统实现时，我们通过数据服 务工厂创建数据服务实例，把该数据服务实例设置为持久服务，并把其接口布置 在服务器端，等待用户的数据服务请求。通过调用此数据服务，可以实现网格环 境中大量的、分布的、异构的数据的透明访问与集成。为了使数据服务的结构更 清晰，我们把数据请求刨除在外，其余部分我们把它叫做数据管理系统 ( d a t a ma n a g e m e n t s y s t e