（计算机科学与技术专业论文）数据网格副本管理关键技术研究.pdf

国防科学技术大学研究生院学侥论文 摘要 信息技术的发展使政府、企业、教育科研、医疗卫生等各部门纷纷在i n t e r n e t 提供的信息服务平台上开展业务。由于i n t e r n e t 缺乏对数据共享和协同问题求解 的有效支持，使上述应用领域中的很多信息系统存在资源部门割据、信息分散、 数据难于查找、应用系统相互孤立、难以互联互通等问题。 数据网格( d a t ag r i d ) 面向广域网异构环境，为用户建立分布、异构、海量 数据的一体化访问、存储、传输、管理与服务架构，是实现广域网环境下数据共 享和协同问题求解的有效途径。数据网格技术可以为政府、企业、教育科研、医 疗卫生等领域中的大量数据提供有效管理和共享的途径。 面向上述应用领域的数据网格系统通常表现出如下特点：系统具有p 2 p 结构； 网络通信能力有限；各节点的存储能力有限等，我们将这种网络环境称之为“低 端计算环境”。在数据网格系统中，复制技术被广泛采用以提高系统性能，缩短 数据响应时间并降低网络带宽消耗，复制技术的引入带来了副本管理问题，而副 本管理的效率直接影响了系统的性能。目前，副本管理问题是业界广泛关注的热 点问题。为了提高运行在“低端计算环境”上的数据网格系统的性能，本文致力 于研究适应低端计算环境的数据网格副本管理关键技术。 本文以系统性能、可用性和可扩展性为目标，针对低端数据网格系统的特点， 开展低端数据网格系统中副本管理技术的研究。本文的主要贡献在于： 1 提出了n l p r 数据网格复制模型，建立了数据网格系统中副本管理各类 问题的统一描述，简化了副本管理问题的求解过程；提出了基于服务合成的副 本管理服务框架s c r m s a ，为面向不同应用领域的数据网格副本管理服务提 供了一种丌放、透明、灵活的实现方案；在此基础上，提出了数据网格系统管 理模型d g r m s m ，实现对数据网格副本的透明、可扩展、开放的管理。 2 提出了“存储联盟”的概念，并以此为基础提出了基于存储联盟的双层动 态副本创建策略s a d d r e s ，建立了存储联盟间利用缓存建立数据副本、存储 联盟内根据用户访问历史合理分布数据的副本创建策略。 3 基于“存储联盟环”的结构，提出了层次式副本定位与选择机制 s a h r l s m ，主要包括副本目录s a r r c 、副本定位算法s a h r l m 和副本选择 算法s a h r s m ，并实现了网格节点和存储联盟的动态性管理、副本目录的一 致性维护等机制，具有负载均衡、可靠性高以及可扩展性好等优点。 4 为了实现对网格副本的一致性管理并屏蔽不同网格应用的差异，引入了 副本一致性管理服务r c m s ，为数据网格系统提供了分布、高效、灵活的副 本一致性管理机制；基于低端数据网格系统的特点，提出了基于视图和版本的 副本一致性管理策略v v r c o m s ，该策略采用版本机制对副本进行管理，在 保证用户视图一致性的前提下，具有较好的系统性能。 第1 页 国防科学技术大学研究生院学位论文 5 通过对数据网格模拟工具o p t o r s i m 的扩充，建立了对低端数据网格环境 的描述，设计并实现了数据网格副本管理系统s t a r r m s ，模拟、验证了本文所 提出的副本创建、副本定位与选择、副本致性管理等各项策略，得到了一批 有参考价值的实验数据，验证了各项创新研究成果的正确性和有效性；在调整 网格环境参数的基础上，测试了数据网格副本管理系统s t a r r m s 的性能，为 其推广应用提供了有益的参考。 关键词：低端计算环境，数据网格，复制，副本管理 第1 1 页 里堕型兰垫查查兰婴塞生堕鲎竺丝苎 a b s t r a c t w i t ht h ep r o m o t i o no fi n f o r m a t i o nt e c h n o l o g y ，m a n yb u s i n e s s s y s t e m sh a v e b e e nd e v e l o p e do nt h ei n t e r n e ti nd o m a i n sa sd i v e r s ea sg o v e r n m e n t ，b u s i n e s s ，a n d e d u c a t i o n t h ec o m b i n a t i o no fl a r g ed a t a s e ts i z e ，g e o g r a p h i cd i s t r i b u t i o no fu s e ra n d r e s o u r c e ，c o o p e r a t i v eh e t e r o g e n e o u sr e s o u r c ea c c e s sa n dr e s o u r c es h a r i n go n w i d e a r e an e t w o r kr e s u l t si ns t r i n g e n td e m a n d st h a ta r en o ts a t i s f i e db ya n yt r a d i t i o n a l d a t am a n a g e m e n tt e c h n o l o g y d a t ag r i dp r o v i d e sam e c h a n i s mf o re f f e c t i v ed i s t r i b u t e dr e s o u r c e ss h a r i n ga n d t r a n s p a r e n tr e m o t ea c c e s st oh e t e r o g e n e o u sd a t ao nw i d e a r e an e t w o r k i tc a nb e a p p l i e dt om a n a g ea n ds h a r et h el a r g ed a t a s e t se f f e c t i v e l yi nd o m a i n ss u c ha s g o v e r n m e n t ，b u s i n e s s ，a n de d u c a t i o n t h ed a t ag r i ds y s t e m sa p p l i e di nd o m a i n sm e n t i o n e da b o v eh a v et h ef o l l o w i n g c h a r a c t e r i s t i c s ：p 2 pt o p o l o g y ，l i m i t e dc o m m u n i c a t i o nc a p a b i l i t ya n dl i m i t e ds t o r a g e c a p a b i l i t y w ec a l lt h ec o m p u t i n ge n v i r o n m e n tw i t ht h o s ec h a r a c t e r i s t i c s “l o w e n d c o m p u t i n ge n v i r o n m e n t ”a n dt h ed a t ag r i ds y s t e m sr u n n i n go nt h el o w e n d c o m p u t i n ge n v i r o n m e n t “l o w - e n dd a t ag r i d ”i nd i s t r i b u t e ds y s t e m s ，d a t a r e p l i c a t i o ni saw e l l - k n o w na n dw i d e l ya c c e p t e dt e c h n i q u et or e d u c ed a t ar e s p o n s e t i m ea n dn e t w o r kb a n d w i d t hc o n s u m i n g h o w e v e r ，t h er e p l i c a t i o ni nd a t ag r i db r i n g s as e r i e so fr e p l i c am a n a g e m e n tp r o b l e m st h a ta f f e c tt h ep e r f o r m a n c eo fd a t ag r i d s y s t e mg r e a t l ya n dr e p l i c am a n a g e m e n tb e c o m e sah o tt o p i ci nd a t ag r i d t h e p e r f o r m a n c er e q u i r e m e n to fl o w e n dd a t ag r i di sd r i v i n gf o r c ef o rt h i st h e s i s t h em a i nc o n t r i b u t i o n so ft h et h e s i si nt h e o r e t i c a l ，t e c h n i c a la n dp r a c t i c a la s p e c t s a r ea sf 0 1 】o w s ： 1to g i v eau n i f o r md e s c r i p t i o no fr e p l i c a t i o nt e c h n o l o g yi nd a t ag r i d ，t h e t h e s i sp r e s e n t sar e p l i c a t i o nm o d e ln l p ro nw h i c hr e p l i c am a n a g e m e n tr e l a t e d m e c h a n i s m sc o u l db ec l e a r l yd e s c r i b e d ar e p l i c am a n a g e m e n ts e r v i c e i m p l e m e n t a t i o ns k e l e t o n - s c r m s ai sp r o p o s e dt op r o v i d eas o l u t i o nt oo p e n ， t r a n s p a r e n ta n df l e x i b l er e p l i c am a n a g e m e n ts e r v i c e si nd i f f e r e n tf i e l d s b a s e d o ns c r m s a t h e 也e s i sp u t sf o r w a r dat r a n s p a r e n t ，s c a t a b l ea n df l e x i b l ed a t a g r i dr e p l i c am a n a g e m e n ts y s t e mm o d e ld g r m s m 2 t h et h e s i sg i v e san e wc o n c e p t s t o r a g ea l l i a n c e ，b a s e do nw h i c ha d y n a m i cr e p l i c ac r e a t i o ns t r a t e g ys a d d r e s i sp r e s e n t e d s a d d r e sc r e a t e s r e p l i c a sb yc a c h ea m o n gs t o r a g ea l l i a n c e s ，a n do p t i m i z et h ed a t ad i s t r i b u t i o n o fas t o r a g ea l l i a n c ea c c o r d i n gt ou s e r s a c c e s sh i s t o r y 3 r e p l i c al o c a t i o na n ds e l e c t i o nm e c h a n i s mi s t h ek e yi s s u eo fd a t a 第1 i i 页 国防科学技术火学研究生院学位论文 m a n a g e m e n ta n da c c e s si nd a t ag r i d ，t op r o v i d e al o a d - b a l a n c e d ， h i 曲一p e r f o r m a n c e ，a n dh i g h s c a l a b l er e p l i c am a n a g e m e n t ，t h et h e s i se x p l o r e sa h i e r a r c h i c a lr e p l i c al o c a t i o na n ds e l e c t i o nm e c h a n i s ms a h r l s m s a h r l s m i n c l u d e ss a r r cr e p l i c ac a t a l o g ，s a h r l mr e p l i c al o c a t i o nm e c h a n i s ma n d s a h r s mr e p l i c as e l e c t i o nm e c h a n i s m i ta l s op r o v i d e sas e r i e so fm e t h o d st o m a n a g et h ed y n a m i c so fn o d e s ，t h ed y n a m i c so fs t o r a g ea l l i a n c e sa n dt h e c o n s i s t e n c yo fs a r r cr e p l i c ac a t a l o g 4 i ti sat o u - 曲t a s kt oa c h i e v et h ec o n s i s t e n c yo ft h er e p l i c a si nd e f e r e n t d a t ag r i da p p l i c a t i o n s i nt h et h e s i s ，ar e p l i c ac o n s i s t e n c ym a n a g e m e n ts e r v i c e r c m si si n t r o d u c e dt op r o v i d ed i s t r i b u t e d ，h i 曲e f f i c i e n ta n df l e x i b l er e p l i c a c o n s i s t e n c ym a n a g e m e n t c o n s i d e r i n gt h ec h a r a c t e r i s t i c so fl o w e n dd a t a g r i d t h et h e s i sp r o p o s e sav i e wa n dv e r s i o nb a s e dr e p l i c ac o n s i s t e n c y m a n a g e m e n ts t r a t e g yv v r c o m s v v r c o m sa d o p t sv e r s i o nm e c h a n i s mt o m a n a g et h er e p l i c a sa n da c h i e v e sh i g hs y s t e mp e r f o r m a n c eb ya s s u r i n gt h e v i e wc o n s i s t e n c yo f u s e r s 5 i no r d e rt oe v a l u a t et h em e c h a n i s m sa b o v e t h ed a t ag r i ds i m u l a t i o n t o o l - o p t o r s i mi sa d o p t e d b ye x t e n d i n go p t o r s i m ，w ei m p l e m e n tt h er e p l i c a m a n a g e m e n ts y s t e ms t a r r m s w h i c hi n c l u d e sa l lm e c h a n i s m sw ep r o p o s e d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a to u rr e p l i c am a n a g e m e n tm e c h a n i s m sa r e c o r r e c ta n de f f e c t i v e b ya d j u s t i n ge n v i r o n m e n tv a r i a b l e so fo p t o r s i m ，w et e s t t h ep e r f o r m a n c eo fs t a r r m si nd i f f e r e n tc o m p u t i n ge n v i r o n m e n t s t h er e s u l t s w i l lb eav a l u a b l er e f e r e n c et ot h ea p p l i c a t i o no fs t a r r m si nf u t u r e k e y w o r d s ：l o w - e n dc o m p u t i n ge n v i r o n m e n t ，d a t a g r i d ，r e p l i c a t i o n ， r e p l i c am a n a g e m e n t 第1 v 页 国防科学技术大学研究生院学位论文 图表目录 图1 1 本文的组织结构图一1 4 图2 1 请求池、文件池和网格节点池2 1 图2 2 副本创建问题，2 2 图2 3 副本定位与选择问题2 3 图2 4 副本一致性管理问题2 3 图2 5 r m s 一用户访问数据的唯一逻辑入口2 5 图2 6s o a 体系结构一2 7 图2 7s c r m s a 副本管理服务框架一2 8 图2 t 8 副本管理服务创建逻辑文件副本的实现过程2 9 图2 9 集中副本管理模型3 0 图2 1 0 分布副本管理模型3 0 图2 1 l 混合副本管理模型3 1 图2 + 1 2 数据网格副本管理系统模型d g r m s m 3 2 图3 1 具有层次式拓扑结构的数据网格系统3 8 图3 2 基于存储联盟的网格系统一4 2 图3 3s a b c 主算法流程4 4 图3 4m a k e s p a c e 算法流程一4 7 图3 5 数据网格系统的拓扑结构4 9 图3 6 系统总作业时间与作业量的关系一5 0 图3 7 系统存储联盟问拷贝次数与作业量的关系5 l 图3 8 系统总作业时间与存储联盟内节点间网络传输速率的关系5 1 图3 9 系统总作业时间与存储联盟间网络传输速率的关系s 2 图3 1 0 系统总作业时问与单个节点的存储能力关系5 3 图4 1p 2 p 共享系统的资源定位算法分类5 6 图4 2s a h r l s m 机制的组成5 8 图4 3s a r r c 副本目录的结构5 9 图4 4 存储联盟环6 1 图4 5s a h r l m 算法的“三步走”一7 0 图4 6f r l i 在盟主节点上的分布7 2 图5 1 基于分布锁的数据网格副本一致性方案体系结构7 7 图5 2 写操作处理流程一8 4 图5 3 读操作处理流程8 5 图5 4 系统总作业时间与作业量的关系一9 0 第v 页 国防科学技术火学研究生院学位论文 图5 5 系统存储联盟间拷贝次数与作业量的关系9 0 图5 6 系统总作业时间与写概率的关系9 1 图5 7 系统存储联盟问拷贝次数与写概率的关系9 1 图6 1 节点网格拓扑结构9 4 图6 2 作业配置文件9 5 图6 - 3o p t o r s i m 中副本创建类的层次关系9 8 图6 4 改进后的网格配置文件片断9 9 图6 5s t a r r m s 副本管理系统1 0 0 图6 6l r c 类图1 0 1 图6 7s a r l i 类图1 0 1 图6 r 8f r l i 类图1 0 2 图6 9r m c 类图1 0 2 图6 1 0 r c m s 服务的结构图1 0 3 图6 1 1r c m s 类图1 0 3 图6 1 2r m s 类图1 0 4 图6 1 3r c s 类图1 0 4 图6 1 4r l s 类图1 0 5 图6 1 5r s s 类图1 0 5 图6 1 6r c m s c 类图1 0 5 图6 1 7 系统总作业时间与作业量的关系1 0 6 图6 1 8 系统存储联盟间拷贝次数与作业量的关系1 0 6 图6 1 9 系统总作业时间与写概率的关系1 0 7 图6 2 0 系统存储联盟问拷贝次数与写概率的关系1 0 7 图6 2 1 系统总作业时间与单个节点存储能力的关系1 0 8 图6 2 2 系统存储联盟问拷贝次数与单个节点存储能力的关系1 0 8 图6 2 3 系统总作业时间与存储联盟内部网络传输速率的关系1 0 9 图6 2 4 系统总作业时间与存储联盟间网络传输速率的关系1 0 9 第v i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进荇的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与拽一同工作的同志对本研究所做的任 何贡献均己在论文中作了明确的说明并表示诩意， 学位论文题目： 重蜜垒些让篡竖境煎塾量旦整劐查笪理差堡技本研! l 一 学位论文作者签名：盈11 i 是龚 日期：3c 晤年牛月f 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留，使用学位论文的规定本人授权 国防科学技术大学可毗保留并向国家有关部门或机构送交论文的复印件和电子 文档允许论文被查阅和借厨；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存，汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目： 适厘垒些盐簋竖擅鳗熬塑圆整副奎筻堡差毽量盔盟衮 学位论文作者签名 作者指导教师签名 日期：工p o 皇年4 月，日 日期* 吩啤毕月r 日 国防科学技术大学研究生院学侥论文 第一章绪论 随着i n t e m e t 的广泛普及，很多应用领域，特别是计算密集型和数据密集型 应用，对广域网环境下协同问题求解能力和海量信息分析处理能力的要求越来越 高。这些应用要求整合分布在广域网环境中的高性能处理能力、海量数据集合以 及多种可用资源，为地理上分布的用户提供服务。传统的高性能计算、分布式系 统以及相关技术已经无法适应这种高性能分布处理和大容量分布存储能力的需 求。为此人们提出网格计算( g r i dc o m p u t i n g ) 技术以构建一种分布计算的基础 设惑，在动态跨组织域的虚拟组织( v i r t u a lo r g a n i z a t i o n ，v 0 ) 内实现协同的资源共 享和问题求解【jj 。 1 1 1 应用背景 1 1 选题背景 随着信息技术的发展，包括企业、政府在内的各个部门纷纷在i n t e r n e t 平台 上开展业务，i n t e r n e t 上业务的不断拓展和信息化程度的逐步加深使得i n t e m e t 上 的各类数据成几何级增长。虽然i n t e r n e t 提供了数据的访问途径，但是并不能够 实现对数据的有效管理和共享，从而导致资源部门割据、信息分散、数据难于查 找、应用系统相互孤立、难以互联互通的局面。这种问题广泛存在于电子政务、 电子商务以及教育科研等多个领域。 电子政务 随着业务的不断拓展以及数据的不断积累，很多政府部门存在大量政务数据。 在很多政务业务中，往往需要使用由多个不同部门提供的海量数据。如在城市突 发事件的应急反应中，当城市面临地震、海啸等自然灾害时，就要求指挥机构能 够快速调阅受灾区域的信息。包括自然条件、人口分布、房屋毁坏情况、企事业 单位损失情况、救灾物资供应情况、公安消防力量部署、医疗救助力量布置等等， 并在此基础上制定及时、有效的应对措施。目前由于各部门自行开发的信息系统 实际上是一个个独立的信息系统，各个业务部门之间的数据缺乏有效共享，无法 为指挥机构提供协同问题求解的支持。 教育领域 教育部门是i n t e m e t 技术推广较早的领域之一。很多高校、科研孝几构在i n t e r n e t 上发布了大量的研究资源和研究成果，如公开发表的文章、课件以及丌放源代码 的程序等。如何在教育领域内有效共享和管理上述研究资源，对于加强教育部门 之问的学术交流与合作，提高整体学术水平具有重要意义。 上述问题迫切需要有- - t o e 新的理念和方法，来指导i n t e r n e t 上数据资源的统 第1 页 国防科学技术大学研究生院学位论文 一规划、部署和集成，促进数据的有效共享、资源的合理利用、应用的协同融合。 而网格恰好是解决大规模分布资源共享和协同工作的全新平台技术，通过它可以 汇聚i n t e m e t 中分散异构、动态变化的计算和数据资源，将其中不同组织和机构 的资源虚拟化，把i n t e m e t 从通讯和信息交互平台提升为资源共享和协同工作的 平台1 2 。数据网格技术主要致力于实现对广域网环境下分布、异构、海量数据资 源的统一访问与管理【5 。数据网格面向广域网异构环境，以命名透明性( n a m e t r a n s p a r e n c y ) 、定位透明性( l o c a t i o nt r a n s p a r e n c y ) 、协议透明性( p r o t o c o l t r a n s p a r e n c y ) 和时间透明性( t i m et r a n s p a r e n c y ) 为指导原则，旨在建立一个可 扩展、通用、可靠的数据访问、管理和计算环境，为用户屏蔽底层物理资源的异 构性，并最终建立分布、异构、海量数据的一体化访问、存储、传输、管理与服 务架构口1 。 通过数据网格技术建立基于i n t e r n e t 的资源共享平台，可以实现对电子政务、 电子商务以及教育科研等多个领域数据的透明管理和访问，从而能够充分利用现 有信息系统建设成果，快速应对新的跨部门系统建设的需求，整合和管理分散的 数据资源，实现网络虚拟环境下的资源共享和协同工作。 目前，基于电子政务、电子商务以及教育科研等领域的大多数数据网格应用 通常表现出如下特点： p 2 p 的拓扑结构 上述领域中的网格节点通常分布在i n t e r n e t 连接的广域网环境中，不同节点 之间通常具有p 2 p 拓扑结构，即很多节点均存有有用数据，在通过网络获取其他 节点提供的数据的同时，也向外界提供数据； 有限的网络通信能力 基于建设资金投入的限制以及应用的特点，上述领域中的大多数数据网格应 用都没有采用高性能的专用通信网络，其网络带宽通常较低并得不到可靠保证； 有限的节点存储能力 为了尽可能保护前期的研发投入，大多数数据网格应用通常要求以历史遗留 的计算机系统( l e g a c ys y s t e m s ) 甚至是桌面计算机系统( d e s k t o ps y s t e m s ) 为基 础进行建设，与当前高性能计算机系统相比，其单个节点的存储容量通常比较有 限，无法提供强大的存储管理能力。 考虑到目前很多信息系统的计算环境，尤其是中小企业信息系统计算环境大 多具有上述特点，而基于上述计算环境的数据网格系统在系统配置等方面明显低 于面向科学计算数据网格系统，我们将具有上述特点的计算环境称为“低端计算 环境”，而将运行在“低端计算环境”之上的数据网格系统称为低端数据网格系 统。 由于“低端计算环境”有限的存储、通信能力，低端数据网格系统的性能是 决定数掘网格技术在电子政务、电子商务以及教育科研等领域应用前景的重要因 素。在数据网格系统性能的各项指标中，核心的参数是数据响应时间和网络带宽 第2 页 国防科学技术人学研究生院学位论文 开销 8 1 。复制技术作为一项提高系统性能的传统技术，通过在数据网格系统中建 立多个数据副本，可以有效缩短网格系统的数据响应时间，降低网络开销，是改 善数据网格系统性能的有效途径。 复制技术在改善数据网格系统性能的同时，还带来了一系列副本管理问题， 主要包括： 如何创建数据的副本，即副本创建问题； 用户发出数据访问请求时，如何为用户的访问请求定位该数据对应的一 个或多个副本，即副本定位问题： 如何针对用户的具体访问请求选择一个最佳的副本，即副本选择问题； 在用户要求更新数据时，如何维护该数据不同副本间的一致性，即副本 致性管理问题。 上述副本管理问题直接影响到数据网格系统的正确性和系统性能，对数据网 格系统中副本的有效管理是实现复制技术的关键。 随着i n t e m e t 技术的深入推广，面向“低端计算环境”的数据网格技术成为 业界关注的焦点。而研究适应低端计算环境的数据网格副本管理技术，对于数据 网格技术在“低端计算环境”中的应用推广具有重要的意义。 1 1 2 技术背景 作为提高系统性能的有效途径，复制技术广泛应用在分布数据库、分布对象 和移动计算等传统领域中。由于复制的目标、复制的粒度以及应用环境的特点不 尽相同，因此副本管理问题在不同应用领域中的具体实现机制及关键技术也各不 相同。 在分布数据库领域中，复制技术可以提高数据库系统的容错能力、实现系统 的负载均衡、改善系统的访问性能等。其副本管理关键技术包括多个数据库间的 负载平衡、一致性维护以及分布式事务管理等【9 j 。 分布对象系统中通过复制多个服务对象，实现系统的容错、负载均衡等，其 副本管理关键技术包括对象组的生命周期管理、负载平衡、对象成员的出错恢复 以及对象成员状态一致性维护等【m 1 3 j 。 在移动环境下由于网络带宽较低，通过动态的数据复制技术，可以实现“数 据跟着用户走”，使得移动用户可以就近访问到所需数据，从而提高访问性能。移 动计算的数据复制主要考虑移动环境下的网络带宽低以及断接操作模式等特点， 其副本管理关键技术包括副本的创建以及副本的一致性管理等 4 a 5 l 。 与上述传统领域中的副本管理技术相比，数掘网格环境中的副本管理技术具 有以下不同特点： 广域网环境：数据网格系统的副本分布于广域网上，因此数据网格中的 副本一致性管理机制必须适用于广域网环境； 第3 页 国防科学技术_ 人学研究生院学位论文 海量数据：数据网格系统的数据量一般比较大，不仅表现为源数据的规 模较大，而且副本的数量也很多。因此要求副本管理机制对数据量具有 较好的可扩展性( s c a l a b i l i t y ) ； 网格系统具有动态性：由于网格系统允许网格节点动态加入和退出系统， 因此数据网格中的副本管理机制必须能够支持节点的动态加入和退出； 同时，要求副本管理机制于网格系统的规模具有可扩展性： 副本的动态创建和删除：网格系统的动态性等特点要求数据网格系统中 的副本能够在运行时刻动态创建和删除。 数据网格系统中副本管理所面临的上述特点决定了传统的副本管理技术并 不能够很好地应用到数据网格系统中，因此需要针对数据网格系统中复制技术的 特点，研究满足其要求的副本管理技术。 基于上述分析，为了满足数据嗣格应用的需求，数据网格中的副本管理系统 需要实现以下目标： 开放( o p e n ) ：支持不同开发商提供的副本管理系统之间的互操作，并 能够管理异构环境中的数据资源； 自动( a u t o n o m o u s ) ：副本管理系统需要具有收集和实时检测数据网格 系统相关信息的功能，同时还需要具有自动管理功能，能主动执行副本 管理任务； 自适应( a d a p t i v e ) ：副本管理系统需要根据数据网格系统的不同应用特 征和状态采取相应的副本管理策略，自适应包括可扩展性，即支持数据 网格系统节点数目、数据量和副本数的动态变化； 透明( t r a n s p a r e n t ) ：主要指实现、位置和访问的透明，即副本管理系统 的底层实现对用户是不可见的，同时用户可以在不掌握数据确切位置信 息的情况下访问数据。 目前，随着数据网格技术的推广，数据网格系统中的副本管理技术得到国内 外的广泛关注 1 6 - 2 5 1 ，而具有代表性的研究成果主要集中于以欧洲数据网格e d g t 2 6 为代表的，以及与e d g 具有合作关系的g r i d p h y n 2 7 1 、p p d g l 2 s l 和d a t af a r m 2 9 等面 向科学计算的数据网格系统。为了满足科学计算对高性能计算和海量数据处理的 需求，上述数据网格系统均采用高端配置环境来保证系统性能f 3 0 0 l j ：系统中所有 节点都可提供t b 级的存储能力，各节点之间通过专用、高带宽的通信网络互连等。 因此，目前比较成熟的副本管理技术主要适用于上述高端数据网格环境。 由于低端数据网格系统无法提供e d g 等数据网格系统所具有的高端系统配 置，因而当前成熟的数据网格副本管理技术也无法直接应用于低端数据网格系统 中，具体表现为以下几个方面：针对欧洲数据网格e d g 的层次式拓扑结构所建立 的副本创建策略无法适用于具有p 2 p 拓扑结构的低端数据网格系统：由于采用专 用高带宽通信网络，欧洲数据网格e d g 中实现的副本管理策略没有特别考虑网络 的带宽开销，而有限的网络带宽是低端数据网格系统中的副本管理技术需要重点 考虑的因素之一；由于低端数据网格系统中的节点只能提供有限的存储能力，因 第4 页 国防科学技术大学研究生院学位论文 而在应用针对欧洲数据网格e d g 所设计的副本管理策略时容易导致数据的频繁 复制和删除，系统性能大大降低：此外，由于欧洲数据网格e d g 所应用的科学计 算领域中通常只涉及对只读数据的操作，因而没有考虑副本一致性管理的问题， 无法满足低端数据网格系统中对数据执行写操作的应用需求。 1 2 课题研究目标 基于对应用背景和技术背景的分析，确立了本文的研究目标如下： 针对低端数据网格系统，以系统性能、可用性和可扩展性为目标，设计一个 自动、自适应、透明、开放的副本管理框架，研究数据网格系统中的副本创建、 副本定位、副本选择和副本一致性管理等关键技术。 关于系统性能、可用性和可扩展性的衡量标准如下： ( 1 ) 系统性能：在本文中，系统性能主要考虑网格系统的数据响应时间 和网络开销两项指标； ( 2 ) 可用性( a v a i l a b i l i t y ) ：定义为数据可以被用户访问的概率，通常以数 据在一段时间内的失效率( f a i l u r ep r o b a b i l i t y ) 来衡量i ( 3 ) 可扩展性：允许数据、网格节点动态加入、离开数据网格系统，允 许副本的动态创建和删除。 1 3 研究现状 随着数据网格技术的广泛应用，数据网格领域中的副本管理问题也受到业界 的广泛关注，并已形成了一批有价值的研究成果。 1 , 3 i 相关工作 针对数据网格系统的副本创建、定位和选择以及一致性管理问题，很多研究 机构和组织分别提出了相应的算法，并实现了一些面向领域应用的副本管理系统。 其中，具有代表性的包括： g l o b u s 项目 g l o b u s 【3 z j 是较早开展副本管理研究的网格项目。在g l o b u s 5 2 具包g l o b u s t o o l k i t 0 3 中提供了一个简单的副本管理服务和副本定位服务，同时还提供了高速 文件传输服务g r i d f t p 3 5 ，并在g r i d f t p 基础上实现了可靠文件传输服务 r f t 【j “。g l o b u st o o l k i t 构造了一套底层的副本管理开发工具，其他网格系统可以 基于这些工具开发功能更强大的副本管理系统。g l o b a st o o l k i t 只基于最简单的集 中式副本目录，提供了最简单的副本管理功能，并没有提供副本动态创建、副本 选择以及副本的一致性管理等功能【1 7 】。 欧洲数据网格项目 第5 页 国防科学技术人学研究生院学位论文 欧洲数据网格项目e d g 是目前在副本管理方面研究比较全面、深入的项目之 一，其副本管理系统包括g d m p 3 7 1 ( g r i dd a t am i r r o r i n gp a c k a g e ) 署1 r e p t o r 38 】两 个版本。g d m p 为网格系统提供安全、高效的数据复制功能，它提供了将数据文 件从一个网格节点复制到另一节点的功能。g d m p 的实现以g l o b u st o o l k i t 为基础， 开发了面向对象的副本目录a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ) ，隐藏了 g l o b u st o o l k i t 中提供的某些a p i 细节，并加入一些自己的特性，包括搜索过滤、 参数的正确性检验等。 r e p t o r 是欧洲数据网格项目组在g d m p 基础上开发的、功能更强大的副本管 理系统。它增加了副本动态创建和副本选择功能，同时还提供了副本元数据目录 一r e p m e c 对副本的相关元数据信息进行管理 。 欧洲数据网格项目并没有系统地定义数据网格系统中的复制技术，同时 r e p t o r 鬲q 本管理系统中的副本仓目建、副本定位和选择等策略主要针对具有层次性、 高网络带宽、节点存储能力强等数据网格系统。另外，目前欧洲数据网格系统中 并没有提供副本的一致性管理机制。 s r b 项目 s r b 4 0 1 ( s t o r a g e r e s o u r c e b r o k e r ) 存储资源代理项目是美国圣地亚哥超级计 算中心开发的数据网格软件。s r b 提供了自动创建副本的异步复制、同步复制等 复制模式。在副本失效时，s r b 提供了用户请求自动重定向的功能。但是s r b 并没有实现副本选择以及副本致性管理等功能。 v ，d a t a f a r m 项目 日本的d a t a f a r m 数据网格项目用于具有p e t