（计算机应用技术专业论文）基于soa的网格副本应用技术研究.pdf

基于s o a 的网格副本应用技术研究 摘要 网格中的副本技术是对等网络分布式存储中一个基本的、重要的环节。 通过合理的副本技术可以提高网络利用率并达到更好的负载均衡。在副本 技术研究中，设计副本技术在不同领域的应用以及改进副本复制机制都是 当前的研究热点方向。如今，针对数据副本的相关技术已经得到广泛研究 与应用，并证明对网络的分布式存储以及分布式计算能力的提高带来了极 大的帮助。尤其在对等网络中，合理的副本复制机制可以保证分布式存储 中的资源发现效率，提高分布式计算能力，同时防止单点失效带来的数据 丢失。所以在对等网络上研究不同数据的副本复制以及改进副本复制技术 是具有重要现实意义的。在当前研究现状中，大多数研究针对简单数据的 存储副本。而在副本复制方面多倾向于利用结构化、集中型对等网络进行 数据管理。本文首先研究在网络环境中将程序副本化，并设计程序在网络 中的重构及复制，进而提高网络中分布式计算能力，最后通过实验证明其 性能上的提高。本文进一步研究改进了非结构化离散型对等网络中的副本 复制机制，平衡了发现效率与节点存储压力之间的关系，并分析其性能。 面向服务体系结构使得通过改进副本机制进一步提高分布式计算和存 储能力成为可能。利用面向服务体系结构中的服务封装思想，可以将程序 进行粗耦合划分，并将相互独立的部分封装成不同的服务，在网络环境中， 通过合理的服务组装，即可形成不同的程序。考虑到数据挖掘程序具有运 行消耗大，用户个性化需求强，难以升级的特性。本文针对数据挖掘网格 环境，通过将数据挖掘过程封装成不同服务，在方便用户个性化选择以及 自身升级的前提下，进一步设计了数据挖掘服务在网络中的服务副本复制 机制。通过将服务副本放置在不同节点中，并建立合理的服务副本复制， 达到了程序的重构，提高了用户个性化选择能力并达到了更好的负载均衡。 针对当前大多研究集中于或利用分布式哈希表或利用类中央服务器机 制来实现更好的副本发现及副本管理，本文基于网络中最普遍的非结构化 离散型对等网络提出了副本复制技术的改进方法。在不改变网络拓扑和资 源查找方法的前提下，提高了网络利用率和资源发现效率，并降低了网络 中节点的存储压力。通过该机制，进一步设计了普通节点与超级节点的协 作关系，通过超级节点对副本复制机制起到了弥补的同时降低了超级节点 的重要性，进而提高了整个网络的负载均衡。最后，本文理论推导证明该 方法的有效性。 关键词：对等网络副本复制面向服务体系结构数据挖掘非结构化 网络超级节点 i i t h er e s e a r c ho nr e p l i c aa p p l i c a t i o n t e c h n o l o g yi ng r i dn e t w o r kb a s e do ns o a a b s t r a c t r e p l i c a t i o nm e c h a n i s mi ng r i dn e t w o r ki st h em o s tb a s i ca n di m p o r t a n te l e m e n ti n p e e r - t o 。p e e rd i s t r i b u t e ds t o r a g e t h en e t w o r k sl o a dc a nb eb a l a n c e dt h r o u g ht h er e a s o n a b l e r e p l i c a t i o nm e c h a n i s m i nt h er e c e n ts t u d yo nr e p l i c a t i o nt e c h n o l o g y , d e s i g n i n gs u i t a b l e r e p l i c a t i o nm e c h a n i s mi nd i f f e r e n ta r e n a sa n di m p r o v et h er o u t i n ga l g o r i t h m sa l et h eh o ts p o t n o w a d a y s ，r e p l i c a t i o nm e c h a n i s mt o w a r d sd a t ah a sb e e ns p r e a d w i d e l ya n dm a n y a p p l i c a t i o n sh a v ec a m ei n t ou s e a l lo ft h er e s e a r c hr e s u l t sh a v eb e e np r o v e dt oe n h a n c et h e d i s t r i b u t e d s t o r a g e a n dc o m p u t i n ga b i l i t y g r e a t l y e s p e c i a l l y f o rt h em e c h a n i s mi n p e e r - t o p e e rn e t w o r k ，ap e r f e c tm e c h a n i s mc a nf i s s u r et h es e a r c ho fr e s o u r c ee f f i c i e n c y , i m p r o v i n gt h ep e r f o r m a n c eo fd i s t r i b u t e dc o m p u t i n ga n da v o i d i n gt h ep r o b l e mo fr e s o u r c e l o s tc a u s e db yo n en o d ei n v a l i dp r o b l e m t h e r e f o r e ，i ti sac r i t i c a lr e s e a r c ha r e at h a tt os t u d y o nt h eu s eo fr e p l i c a t i o nm e c h a n i s mi nd i f f e r e n ta r e a sa n dt h e i m p r o v e m e n to fr e p l i c a a l l o c a t i o na l g o r i t h m i nt h ep r e s e n tr e s e a r c h ，t h em o s to ft h e mf o c u so ns e t t i n gm e c h a n i s mt o r e p l i c a t es i m p l ys t r u c t u r eo fd a t aw h i c hi sa l s ot h ef o u n d a t i o no fd i s t r i b u t e ds t o r a g e a n do n t o p o l o g y , t h er e s e a r c h e sl i k et ou s es t r u c t u r e ds e a r c hm e c h a n i s ma n dc e n t r a l i z e dt o p o l o g yt o f e t c ht h ed i s a d v a n t a g eo fp 2 p n e t w o r k ，w h i c hi se a s yt ob ec o n t r o l l e d i nt h ep a p e r , w ef i r s t l y f o c u so nt u m i n gt h ep r o g r a mi n t or e p l i c aa n ds e t t i n gm e c h a n i s mt oc o n t r o lt h ep r o g r a m r e p l i c ai nt h en e t w o r k s e c o n d l y , w ei m p r o v et h er e p l i c a t i o nm e c h a n i s mi nu n s t r u c t u r e d d e c e n t r a l i z e dp 2 pn e t w o r k ，c h a n g i n gt h eb a l a n c eo fd i s c o v e r ye f f i c i e n c ya n dt h ep r e s s u r eo f s t o r a g ei nn o d e s ，a n da n a l y s i st h ep e r f o r m a n c ea tl a s t s e r v i c eo r i e n t e da r c h i t e c t u r em a k e si ti s p o s s i b l et ou s es e r v i c er e p l i c at oe n h a n c et h e a b i l i t yo fd i s t r i b u t e dc o m p u t i n ga n ds t o r a g e t h r o u g ht h et h e o r yo fs e r v i c eo r i e n t e d a r c h i t e c t u r e ，w ec a nd i v i d et h ep r o g r a mi n t ou n i q u ed i f f e r e n ts e r v i c e s i nt h en e t w o r k e n v i r o n m e n t ，d i f f e r e n tp r o g r a m sc a nb es e tu p b yt h ec o m b i n a t i o no fd i f f e r e n ts e r v i c e s 1 1 1 c o n s i d e rt h eo b v i o u sl o a do fr u n n i n gd a t am i n i n gp r o c e s s ，s t r o n gd e m a n df o ru s e r s p e r s o n a l i t ya n dt h e c h a r a c t e r i s t i c so fd i f f i c u l tt ou p g r a d e t h ep a p e rf o c u s e so nt h ed a t a m i n i n g 鲥de n v i r o n m e n t ，d e s i g nt h ed a t am i n i n gs e r v i c ea n di t sr e p l i c a t i o nm e c h a n i s mi nt h e 鲥dw h i c hm a k e si te a s yt ob eu p g r a d e da n di m p r o v e st h eu s e r sp e r s o n a l i z e da b i l i t y w es e t s e r v i c er e p l i c ai nd i f f e r e n tn o d e sa n dw i t hs u i t a b l er e p l i c a t i o nm e c h a n i s mt oa c h i e v eb e t t e r l o a db a l a n c ei nt h en e t w o r k b e c a u s et h em o s to fr e s e a r c hf o c u so ne i t h e ru s em e c h a n i s m sl i k ed h to ru s et o p o l o g i e s l i k ec e n t r a l i z e dt oa c h i e v eb e a e rp e r f o r m a n c ea n dc o n t r o lo fr e p l i c a i nt h ep a p e r , w ed o r e s e a r c hb a s e do nt h em o s tp o p u l a rn e t w o r k ：u n s t r u c t u r e dd e c e n t r a l i z e dp 2 pn e t w o r k s r e p l i c a t i o nm e c h a n i s m w ei m p r o v e t h en e t w o r ku t i l i z a t i o na n de f f i c i e n c yo fr e s o u r c e d i s c o v e r yw i t h o u tt h ec h a n g eo ft o p o l o g ya n dd i s c o v e r ym e c h a n i s m a n dw i t i lt h eh e l po f m e c h a n i s mw es u p p o r t ，t h ep r e s s u r eo fs t o r a g ei nn o d e sa l s od e c r e a s e sr a p i d l y a l s ow i t ht h e h e l po f t h em e c h a n i s m ，w es e tan e wb a l a n c eb e t w e e nn o r m a ln o d e sa n ds u p e rn o d e sw h i c h c a nb eu s e dt oa c h i e v eb e r e rl o a db a l a n c e a tl a s t ，w ep r o v et h em e c h a n i s mb yd e d u c t i o n k e yw o r d s ：p e e r - t o - p e e rn e t w o r k ；r e p l i c a t i o nm e c h a n i s m ；s e r v i c e - o r i e n t e d a r c h i t e c t u r e ；d a t am i n i n g ；u n s t r u c t u r e dn e t w o r k ；s u p e m o d e 广西大学学位论文原创性声明和使用授权说明 原创性声明 本人声明：所呈交的学位论文是在导师指导下完成的，研究工作所取得的成果和相 关知识产权属广西大学所有，本人保证不以其它单位为第一署名单位发表或使用本论文 的研究内容。除已注明部分外，论文中不包含其他人已经发表过的研究成果，也不包含 本人为获得其它学位而使用过的内容。对本文的研究工作提供过重要帮助的个人和集 体，均己在论文中明确说明并致谢。 论文作者签名：音艺 学位论文使用授权说明 2 0 0 9 年多月z f 日 本人完全了解广西大学关于收集、保存、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本： 学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务； 学校可以采用影印、缩印、数字化或其它复制手段保存论文； 在不以赢利为目的的前提下，学校可以公布论文的部分或全部内容。 请选择发布时间： 口即时发布口解密后发布 ( 保密论文需注明，并在解密后遵守此规定) 卉芝新躲。陟2 啷年占月日 ，西大掌硕士掌位论文基于s o a 的网格副本应用技术研究 1 i 研究背景 第一章绪论 随着网络技术的飞速发展，传统的客户机服务器( c l i e n t s e r v e r ) 模式从渐渐走向 衰退。在这种模式下，用户通过中央服务器上的数据获取所需的资源。然而，随着i n t e m e t 的广泛普及和网络应用规模的不断扩大，传统的c s 模式由于其中央服务器的约束，一 方面制约了整个网络的负载均衡进而降低了整个网络运行的效率，另一方面降低了网络 中资源发现和数据挖掘的效率进而也制约了网络中的知识发现。 对等网络( p e e r - t o p e e rn e t w o r k ) 1 1 2 1 的目标就是充分利用那个i n t e m e t 环境中各种 可能的空闲的终端设备进行大规模的分布式计算和分布式资源共享，从而能够充分发现 和利用互联网中所蕴含的各种潜在资源。与传统的c s 模式不同，在p 2 p 计算中，分布 的各个节点( p e e r ) 的地位平等，联系也更为直接，节点之间直接交换共享的计算、存 储、服务和信息等资源，而无需依赖集中的中央服务器或其上的资源。p 2 p 技术凭借其 灵活性、可扩展性、自组织性、容错能力和鲁棒性等诸多优势，正逐步成为学术界和各 种应用领域共同关注的话题之一。 当前，p 2 p 相关技术已经涉及到诸多领域，如分布式共享存储、大规模的分布式计 算、即时通讯等。同时，基于p 2 p 技术的应用数量和范围都有显著增长和扩展。现有的 p 2 p 分布式存储系统中比较著名的系统有f r e e n e t ，n a p s t e r ，c a n ，g u n t e l l a ，b i t t o r r e n t 等。国内一些单位也已经进行了多种p 2 p 分布式计算及存储相关方面的研究。较有规模 的p 2 p 分布式存储系统典型应用如；北京大学的分布式海量文件存储系统“燕星 、清 华大学的广域存储系统g r a n a r y 等。 在网格相关技术研究中，目前研究或侧重于分布式并行算法或侧重于相关体系结构 的研究。但目前各种形式的分布式计算已过百种，而大多数互无联系，因此不利于发展 的需要，并且存在对用户专业性要求过强、难以进行程序更新等问题。而分布式存储中 的搜索定位及副本复制机制为分布式计算提供了良好的基础，但在分布式存储自身研究 上，同时也存在着大多数研究倾向于建立结构化或集中化的约束机制，而对最普遍的非 结构化离散型对等网络却缺乏关注。总之，分布式存储和分布式计算是呈互补的关系， 研究副本相关问题，作为分布式存储中的重要组成部分，对分布式存储以及计算能力的 提高都将有很大的影响。 面向服务体系结构( s e r v i c e o r i e n t e da r c h i t e c t u r e ，s o a ) 的提出让我们通过副本技术 进步提高分布式计算能力成为可能。它是一种新的进行系统开发的体系架构，源于早 期的基于构件的分布式计算。s o a 的目标是无约束地连接分布的应用程序，并实现应用 程序间的数据和功能的共享，而且s o a 是以不对应用程序本身大规模修改为前提的， 广西大学硕士学位论文基于s o a 的网格副本应用技术研究 因此集成其它应用程序的能力是s o a 技术的基本特征【3 】。采用s o a 构建的分布式应用 程序可以将各功能模块作为服务交付给终端用户，也可以用它来构建其它的服务。面向 服务体系结构同时具有简单性、模块化、松耦合和突现行为四大优势，随着网络的普及 和网格技术的发展，更出现了o g s a 和w e bs e r v i c e s 作为面向服务的体系结构在网格环 境中的典型应用。面向服务的体系结构在网格中的成熟使用，为进一步研究和改进网格 中不同应用提供了强大的应用支持和理论基础。s o a 的出现，将为企业级的软件架构设 计带来巨大的变革。 面向服务体系结构于1 9 9 6 年提出，并在最近几年取得突破进展，i b m 4 1 、m i c r o s o f t p j 、 b e a t 6 】【7 】都推出了自己的s o a 解决方案并占据了大半市场。o g s a 和w e bs e r v i c e s 框架 作为s o a 在网格上的典型应用也已日渐成熟。如今，已有多种编程工具支持利用s o a 思想进行创作，如j 2 e e 和n e t 已经完全支持s o a 架构的编程。这些都为开发新的应 用提供方便。目前s o a 相关研究集中在对服务组合、服务管理以及服务协同方面的研 究，其中，服务组合探讨了包括基于类型、本体( o n t o l o g y ) 、有向图、q o s 等多种服务 组合方法；服务管理包括l 、通过包装遗留系统为w 曲服务的方法来协调管理集成系统 和2 、管理w 曲服务两方面：而服务协同方面也出现了相应的标准，如b e p l 、b p e l 4 w s 、 w s c o o r d i n a t i o n 等。 对等网络和面向服务体系结构作为当今研究热点问题，在国内外都得到了广泛研究 与应用。而将两者相结合的应用，通过两者的优点达到互补从而进一步提高网络下的存 储和计算效率的研究，比如研究如何改进s o a 使之适应p 2 p 网络架构以及利于p 2 p 网 络提高s o a 的应用范围，这些都还处于刚起步的阶段。两者的结合作为一种交叉学科 的出现，在这方面国内外的差距并不很大，及时开展交叉学科的研究，有利于弥补我国 与国外及技术的差距，进而对整个国家的科技、经济发展起到重大的战略意义。 1 2 研究内容 随着分布式计算的理念提出，对等网络技术的研究以及不同领域专业知识在对等网 络上的应用都具有极其重要的意义。随着数据量的不断扩大，大量的研究成果被用来改 进分布式计算、分布式存储的效率。本文首先系统、全面地学习和总结了p 2 p 网络的发 展现状和未来趋势，包括：p 2 p 存储系统构建、结构化和非结构化p 2 p 路由算法、动态 副本管理等内容，以及面向服务体系结构在不同领域的应用。并在此基础上，深入细致 地研究了基于p 2 p 网络的数据挖掘网格的相关技术。本文主要工作内容如下： 1 融合面向服务体系结构和对等网络，研究在对等网络环境下的服务复制。 随着i n t e m e t 的持续发展，对传统的分布式系统提出了更高的要求。由于关于p 2 p 网络的研究成果不断涌现，可以发现通过s o a 优势可以使得p 2 p 网络有更好的通用性 和适应性。首先，本文分析了s o a 和p 2 p 网络的概念和特点，并对对等网络中的w e b 2 广西大学硕士掌位论文基于s o a 的网格副本应用技术研究 服务做出可行性分析。然后，本文提出一种动态副本复制机制d s l 冲，d s l 冲将s o a 思 想融入到p 2 p 网络中，并解决s o a 中的服务副本在p 2 p 网络中的动态复制的方法。d s i 冲 通过实现s o a 中各个程序服务的动态复制以提高各个节点的运行效率，从而完善分布 式存储和分布式计算能力。最后，利用s o a 封装知识发现过程并通过模拟数据挖掘网 格的实例环境进行了验证。 2 改进离散型非结构化p 2 p 网络中的副本复制机制 通过对p 2 p 分布式存储网络的研究发现，离散型非结构化网络代表着最广泛规模的 p 2 p 网络环境，使得针对它的研究更具有实际价值，而当前的研究多偏向于向结构化或 集中性拓扑靠拢。首先，本文提出一种基于离散型非结构化网络的副本复制机制j i 泓， 融合了传统的副本复制机制的优点，在保证副本发现效率的前提下降低了节点的负载压 力并提高了带宽利用率。其次，本文研究通过j r m 机制降低混合式p 2 p 网络中超级节 点的地位以便进一步提高整个网络的负载均衡和带宽利用率，提高了普通节点的利用 率。最后，通过数学公式理论推导验证j r m 算法的可靠性。 1 3 论文组织结构 第l 章：绪论。本章介绍论文的研究背景、研究内容；介绍对等网络和面向服务体 系结构相关概念；在评述现有的研究成果的基础上，提出我们的研究内容；最后给出论 文全文的组织结构。 第2 章：对等网络概述。本章主要从对等网络的基本概念开始，对p 2 p 网络的结构、 特点、应用、技术和研究进展做出介绍，并针对对等网络副本这一p 2 p 分布式存储问题 做详细介绍。此章目的在于给出后续章节所必需的基本理论知识。 第3 章：面向服务体系结构概述。介绍面向服务体系结构相关概念和特点、相关应 用，并给出后续章节所必需的基本理论知识。 第4 章：数据挖掘网格中的动态服务副本机制。着重描述了将s o a 融入p 2 p 网络 遇到的问题和相关研究。并以数据挖掘网格为例，实现一种动态服务副本机制( d s r p ) 。 本章内容有：s o a 封装知识发现过程的模拟实验、动念服务复制机制的框架和实现以及 通过分析和模拟实验验证机制的可行性和高效性。 第5 章：非结构网络下副本复制机制。本章针对当前非结构网络下副本复制算法的 不足，提出了一种新的副本复制算法，在保证副本发现效率的前提下，提高了网络负载 均衡并降低了节点的负载压力。本章内容有：非结构网络下副本复制概念和研究现状介 绍、副本复制机制的框架和算法、利用j r m 降低超级节点地位的方法、数学推导j r m 的高效性和负载均衡性。 第6 章：总结。本章对全文的工作、研究方法、研究结果、贡献和创新之处进行总 结，并给出下步将要进行的工作的研究方向。 3 广西大掌硕士掌位论文基于s o a 的网格副本应用技术研究 2 1 对等网络相关概念 第二章对等网络概述 为了介绍本文所运用到的属于对等网络分布式存储的副本相关知识，本章首先介绍 对等网络的概念、特点以及其优势，然后对p 2 p 分布式存储系统做详细介绍，包括p 2 p 分布式存储系统中存在的问题和本文所利用到的关键技术的研究现状做出分析。 2 1 1p 2 p 网络 互联网系统中对等( p e e r - t o p e e r , p 2 p ) 模式中，对等计算( p 2 pc o m p u t i n g ) 通过利 用异构计算机的未用资源如c p u 、硬盘等来解决复杂的计算问题：对等分布式存储( p 2 p s t o r a g e ) 通过利用计算机空闲存储资源来实现海量数据的查找与保存。p 2 p 的核心思想 是网络中所有参与系统的计算机节点处于完全对等的地位，没有客户机和服务器之分， 也可以说每个节点有双重身份，既是客户机( c l i e n t ) ，也是服务器( s e r v e r ) 。一般来说， 可以称p 2 p 网络中节点拥有的责任和义务是相等的。 随着p c 技术和互联网( i n t e r n e t ) 的发展，个人计算机的能力越来越强，接入带宽 也逐渐增大，如何利用所有计算机的能力组件更好的分布式系统成为焦点问题。近年来， p 2 p 技术越来越受到人们的关注。因其巨大的技术和商业潜在价值，有许多机构从多种 角度开发出了不同性质的对等模式系统，但主要可以分为三类：分布式计算、文件存储 共享以及应用层组播，包括：普适计算、广域网络存储系统、信息资源共享、信息检索 等。而p 2 p 的分布式存储是本文研究的重点，其目的是通过互联网连接独立的计算机用 户，进而实现大规模的文件存储、交换、共享。 图2 1c s 与p 2 p 模式网络拓扑比较 f i g 2 - 1s t r u c t u r ed i f f e r e n c eb e t w e e nc l i e n t s e r v e ra n dp e e r - t o - p e e rn e t w o r k 4 广西大掌硕士学位论文基于s o a 的网格副本应用技术研究 2 1 2p 2 p 网络的特点 不同于传统的集中式结构，p 2 p 网络的特点是节点数量众多，地位平等，并且一般 分布在不同的地理区域上。因此，根据p 2 p 的分布式特点，节点之间也不可能存在强力 的约束条件用于管理或资源定位。而作为独立的节点，它们可以不必遵循任何协议地随 时加入或者离开p 2 p 系统。因此，使得对等网络具有以下特点： 1 节点的自治性。对等网络中，每个节点享有充分的自治性，节点间相互无信任关 系，p 2 p 系统达到系统目标的前提就是确保各节点的自治性。 2 节点资源数量大。在p 2 p 系统中的节点由于数目众多导致需要管理的资源数量大， 进而导致系统管理和组织的复杂。 3 节点动态性。在i n t e m e t 环境下，网络中的计算机节点会因多种原因( 例如网络 断线或是系统故障以及连接不稳定等) 无通告地加入或离开系统，所以说节点的动态加 入与退出是对等网络系统的一个特点。而p 2 p 的应用系统必须适应这种动态性，从而在 节点发生变化时保障系统的正常运转。 4 强分布性与弱集中管理。因为p 2 p 系统中节点独立和资源数量巨大，并且各个节 点以及各种资源分布广泛，可以认为具有很强的分布性。这种完全的分布性有利于系统 的负载均衡，但也使得对系统的检测和控制将变得更加复杂。 p 2 p 网络的上述特点决定了其与传统的c s 模式有本质的不同。在传统的c s 模式 中，节点缺乏自治性和动态性，并且进行集中管理。正是因为p 2 p 网络的上述特点，决 定了其有传统模式不可比拟的优势，但同时也要针对该特殊结构做更多方面的研究，使 之适应网络应用的发展。 2 2p 2 p 网络的优势 p 2 p 网络是由若干节点互连形成一个逻辑网络，由于其结构特殊性，相对传统的网 络结构，它具有以下优剧8 】【9 】： 1 可扩展性 在传统的c s 模式中，系统能够容纳的用户数量和提供服务的能力主要受服务器的 资源限制。p 2 p 网络中，用户的加入，不光增加了服务的需求，也使得系统整体的资源 和服务能力得到了扩充。完全分布式的体系结构可被认为不存在瓶颈，其理论可扩展性 是无限的。p 2 p 模式在可扩展性方面的优势已在一些应用实例中得以证明，如g n u t e l l a ， n a p s t e r ， f r e e n e t 等。 2 分散化 p 2 p 网络中，资源和服务分散在所有节点上，传输和实现都直接在节点之间进行， 因此避免了可能的瓶颈和单点失效等问题，并使得对集中式服务器的资源和性能要求大 广西大掌硕士学位论文基于s o a 的网格副本应用技术研究 大降低。 3 隐私性 随着互联网的普及和计算存储能力的飞速增长，收集隐私信息正变得越来越容易。 隐私的保护作为网络安全性的一个方面受到大家关注。在p 2 p 网络中，由于信息的传输 分散在各节点之间进行，用户的隐私信息被窃听和泄漏的可能性大大缩小。而且在p 2 p 中，其具有特殊的节点结构和转发机制，因而大大提高了匿名通讯的灵活性和可靠性， 能够为用户提供更好的隐私保护。 4 鲁棒性 很多异常情况如网络拥塞、节点失效等多种异常事件都会影响系统的稳定性并对服 务性带来持续性的影响。p 2 p 网络由多个相互对等的结点构成，所以其具有自组织性。 由于服务是分散在各个节点之间进行的，部分节点失效时对其它部分影响很小。某些 p 2 p 模型还能够不断地根据网络带宽、节点数、负载等变化做自适应调整，因此具有较 强的鲁棒性。 5 高性能 性能优势是p 2 p 被广泛关注的一个重要原因。随着硬件技术的发展，采用p 2 p 网络 可有效地利用互联网中散布的大量普通节点，将计算任务或存储资料分布到所有节点， 因为个人计算机的计算能力、存储能力和网络带宽等性能遵循摩尔定律增长。而我们更 可以利用独立的计算能力或存储空间，达到高性能计算和海量存储的目的。p 2 p 网络可 以用较小的代价达到或超过集中式系统的规模。 2 3p 2 p 技术的应用及研究现状 p 2 p 技术是计算机借助直接交换实现资源共享，它有许多应用。共享包含各种格式 音频、视频、数据等的文件是非常普遍的，即时数据也可以使用p 2 p 技术来传输。按计 算机资源( c p u 、存储、带宽) 类型不同，其应用可以分为分布式计算、文件分布式存 储共享和应用层组播三大类。 在这三大类的典型应用有：k a z a a t j 是利用p 2 p 技术进行文件共享的p 2 p 存储系统， 它通过划分节点为普通节点和超级节点来管理存储资源，并通过泛洪查询来获取所需资 源。s e t i h o m e r i o 是一个利用社会捐赠的运算能力，分析射电望远镜得到的数据，进 而探索外太空是否存在类似人类文明的应用。o v e r c a s t t l 2 】是构建在i n t e m e t 底层网络之上 的一个应用层组播系统，它利用简单的协议构造一个有效的数据组播树以提供可扩展的 组播并能较好地适应底层网络的变化和节点的动态性。最近，u n i v e r s i t yo f p e n n s y l v a n i a 联合m i t 和s i m o nf r a s e ru n i v e r s i t y 的研究人员，正在开发一个p 2 p 网络的学术性应用， 称之为l i o n s h a r e t b j ，基于g n u t e l l a 4 3 1 模型。l i o n s h a r e 的目的是让在众多不同学术机构 的用户能够共享学术材料，该研究使用混合型对等网络，混合了g n u t e l l a 和传统的c s 6 广西大爿啊炙士学位论文基于s o a 的用格副本应用技术研究 网络。这个程序的用户能够上传文件到一个服务器上，不管用户是否在线，都能够持续 共享。 在下一节将详细介绍p 2 p 分布式存储的相关概念。由于对等网络中的搜索机制对于 副本复制技术有很好的引导作用，从搜索机制更可以发现当前副本复制机制的不足，故 将主要介绍分布式存储中的两个重要环节：搜索技术和副本技术的相关知识。 2 4p 2 p 分布式存储系统 p 2 p 分布式存储系统即组织管理散布在广泛节点上的存储资源和数据的技术，通过 充分利用计算机的空闲计算资源、存储资源和带宽资源，构建高可扩展、高可靠、高性 能的分布式存储系统。而合理的副本机制是让用户高效准确地定位正确数据的重要手 段。本节将p 2 p 分布式存储相关概念、特点和发展趋势作简单介绍。 2 4 1p 2 p 分布式存储的分类 基于p 2 p 的分布式存储是p 2 p 计算模式最重要的应用之一。p 2 p 分布式存储系统中， 根据节点集中程度和o v e r l a y 网络结构方面的不同可以分为多种不同的类别【3 】【4 射。 节点的集中程度( d e g r e eo fc e n t r a l i z a t i o n ) 是根据节点之间相互通信时是否需要中 央服务器，进而区分节点对服务器的依赖程度。根据节点组织的集中程度可以将p 2 p 文 件存储系统分为三类： l 、完全非集中式( p u r ed e c e n t r a l i z e d ) ：也叫离散型，系统中所有节点担任完全相同 的角色，系统不对这些几点的信息和行为进行集中的管理和控制，也没有中心服务器， 完全非集中式代表了最基本和现存最广泛的p 2 p 网络拓扑。代表系统有g n u t e l l a 、p a s t 等。 2 、部分集中式( p a r t i a l l yc e m r a l i z e d ) ：也叫半分布式，系统中有一部分节点担任比 般节点更重要的角色，通常被成为超节点( s u p e m o d e ) 。这些节点掌握着自己所在区 域中的所有节点的文件索引。系统中的超节点通过多种不同算法动态选举和替换。代表 系统如k a z a , a 和g n u t e l l a2 。 3 、混合非集中式( h y b r i dd e c e n t r a l i z e d ) ：系统中存在中央目录服务器用来存放着系 统中各节点上文件的元数据。节点先向服务器查询自己所需的文件在系统中的位置，再 直接与存放文件的节点连接传输文件。只有节点间端到端的连接是p 2 p 方式，而节点与 服务器问仍然是传统的c s 方式。系统在服务器处存在单点故障缺陷。代表系统是m a z e 、 n a p s t e r 和b i t t o r r e n t 。 p 2 p 分布式存储系统的网络结构指一个节点如何在p 2 p 网络中定位自己需要的文件： 根据网络结构的不同可以将p 2 p 文件存储系统分为三类： 7 广西大掌硕士掌位论文基于s o a 的网格看本应用技术研究 l 、非结构化( u n s t r u c t u r e d ) ：这种结构中，文件的存放与拓扑结构完全无关。其结 构是最初期的对等网络资源定位结构，而且在网络中很难安排固定节点作为服务器或者 设置约束机制管理资源。非结构化对等网络也是现存网络中最普遍的拓扑结构。节点在 存取一个文件的时候，不知道文件的具体存放位置，只能通过几种类泛洪请求( f l o o d i n g ) 的查询算法发起随机的搜索请求。好处在于节点的数量对系统来说是完全透明的，节点 的加入退出相对自由。但是要想获得较高的文件查询准确率，就要在系统中尽可能广地 散播查询消息，当系统规模很大时，将使得通讯开销急剧增加。所以这种系统一般被认 为低可扩展性。代表系统是早起版本的g n u t e l l a 。 2 、结构化( s t r u c t u r e d ) - 这种网络结构中，设置映射关系于文件i d 和文件存放节点 之间，使得文件的存放位置可以被精确定位。当节点发出对一个文件的请求时，这个请 求可以通过节点间转发被路由到存放文件的节点处。因此，在结构化的网络结构中可根 据文件名沿一定的路由路径找到文件，降低了盲目性。结构化的网络结构的缺点在于较 难适应高动态的系统环境，并且如果节点加入和离开的随意性太大，将导致维护节点上 的路由表困难。代表系统有c a n 、c h o r d 、p a s t 等。 3 、松散结构化( l o o s e l ys t r u c t u r e d ) ：这种网络结构介于结构化和非结构化之间。文 件的位置是由文件存放沿途留下的“线索”来指引，节点根据线索，一步一步尝试找到 文件。由于文件定位采用的是“尽量”( d ob e s t ) 策略，因此有可能找不到系统中存在 的文件。代表系统如f r e e n e t 。 根据“集中程度”和“网络结构”这两大特征，大致可以将现有主流的p 2 p 文件存 储系统分类如表2 1 所示： 表2 - lp 2 p 存储系统分类 t a b l e2 - 1c l a s s i f yo f p e e r - t o p e e rs t o r a g es y s t e m 结构化非结构化松散结构化 m a z e ，n a p s t e r , 混合分布式 b i t t b r r e n t c h o r d ，c a n ， 完全分布式o c e a n s t o r e ， g n u t e l l af r e e n e t f a s t k a z a a 部分集中式 g u n t e l l a2 2 4 2p 2 p 存储系统的研究现状 p 2 p 存储技术引起人们广泛和深入的研究，国际上，如支持大规模分布式存储的 o c e a n s t o r e ，c f s ，p a s t ，国内相关研究也有如“燕星”系统等。o c e a n s t o r e 是基于p 2 p 8 广西大学硕士学位论文基于s o a 的网格副本应用技术研究 路由算法t a p s t r y 的分布式存储系统，并引入了文件动态复制和c a c h e 机制、相应的数 据一致性维护机制等。c f s 是基于c h o r d 基础上建立的系统，与f r e e n e t 类似，提供开 放的文件存储环境，用户可以匿名保存文件并可以匿名访问。p a s t 是在p 2 p 路由算法 p a s t r y 基础上建立的分布式存储系统，但在路由的效率和可靠性方面做了一些改进。 p a s t r y 和t a p s t r y 都属于d h t 路由算法。 2 4 3p 2 p 存储系统的优势 1 扩展性好：在p 2 p 存储系统中，节点可以直接交换信息，共同分担文件的存储和 服务，而无需中央服务器。这使得p 2 p 存储系统的扩展性上有优势，因为p 2 p 系统规模 的扩大和缩小对其性能几乎没有影响。 2 系统成本低：用户无需专门建立高性能、大容量的专用服务器，而只需将闲散的 存储资源整合，就可以实现高质量的网络存储服务。另外，p 2 p 存储系统中节点之间的 共享机制使得网络大流量局限在一个相对小范围，降低了整体网络代价。 3 系统容量大：由于文件不是集中存放在服务器，而是分布在众多的p 2 p 网络节点 上，系统的存储容量不受服务器硬件的限制。系统的存储容量可以认为是所有节点贡献 出来的空闲磁盘空间的综合，且随着加入节点数量增长而增长。 4 可靠性高：首先，p 2 p 存储系统具有自组织性，可以较好地适应节点的动态加入 和退出。其次，普遍应用于p 2 p 存储系统的文件容错技术，使得即使一部分保存副本的 节点因各种原因退出系统，仍可以保证文件拥有较高可靠性。另外，p 2 p 存储系统的节 点在地理上广泛分布的特性，决定了有较好的容灾能力。 5 服务性能好：对c s 模式的存储系统来说，高动态的网络环境减弱了文件服务性 能，而庞大的用户量更给服务器带来了沉重负担。而对于p 2 p 存储系统，每个节点只需 要承担少量的任务。通过在网络中不同位置保留文件副本，节点可以就近访问所需的数 据，因此降低访问时延进而提高网络的整体访问性能。 2 5p 2 p 存储系统的关键技术 本节主要针对本文研究所利用到的关键技术概念进行阐述，包括p 2 p 搜索和定位机 制以及p 2 p 副本技术。其余知识将在随后的章节中将结合具体问题作更详细的分析。 2 6 1p 2 p 存储系统面临的问题 1 节点异构性。p 2 p 网络中不同的节点的能力和网络的不同，就造成了参与p 2 p 系 统的节点在存储能力、计算能