（计算机系统结构专业论文）ppdss存储系统设计与实现.pdf

摘要 摘要 随着i n t e m e t 的高速发展，各种形式的新型应用层出不穷。特别是以w 曲2 0 为代表的新一代互联网应用，给传统的数据存储模式带来了极大的挑战。以往的 i n t e m e t 服务几乎都基于c l i e n t s e r v e r 模式，资源集中存储在服务器端。随着存储 内容的急剧增长，单靠服务器已无法满足同样海量的互联网用户的访问需求。 结合近年来流行的对等计算( p 2 p ) 技术，我们开发了基于专有存储服务器的、 面向i n t e m e t 用户的数据存储服务。通过在广域网部署的少量存储服务器，形成了 可靠的结构化覆盖网络( d h t ) ，向用户提供可保证的资源查找服务。存储服务器负 责文件分片副本的存储与分发，通过少量的副本冗余即可保证数据的可靠存储， 避免了数据的单点故障，提供了极高的可用性。引入自适应的副本冗余管理算法， 智能地控制副本的数量，引导副本向临近用户的存储服务器迁移，更能适应未来 的移动互联网业务。通过让下载同一文件的用户构成p 2 p 覆盖网络，利用它们的 边缘带宽向其它客户提供上传服务，有效地减轻了s e r v e r 的压力。即使面对海量 的用户的请求，系统也能应付，保证了良好的可扩展性。 为了保证存储服务器的高性能与高可靠性，网络i o 采用非阻塞的异步处理机 制，基于e p o l l 的r e a c t o r 框架。系统中存在大量的定时器，在r e a c t o r 框架中实现 了高效的定时器管理。磁盘i o 的处理采用l i n u xa i o 来实现，在其之上构建了高效 的磁盘缓存机制。通过u d p 套接字实现了c h o r d 查找算法。 本系统分为服务器( c h u n k s e r v e r ) 与客户端( c l i e n t ) ，c h u n k s e r v e r 以l i n u x2 6 为 开发平台，采用c + + 作为开发语言，运用面向对象的程序设计思想开发完成。 如再加强对实际网络中的异常情况处理的话，可以作为基础的存储平台在i n t e m e t 部署并向广大用户提供可靠的存储服务。 为了减轻存储服务器的服务压力和增加系统的吞吐量，我们原创性地设计并实 现了基于分片放大能力的存储服务器直接邻居节点选择算法( p a d n n s ) 。通过选取 分片放大能力较大的p e e r ，允许他们直接连上存储服务器下载分片再通过它们将 分片快速分散到系统中，能有效地改善p e e r 的下载体验，特别是在内容新上线时。 通过建模分析与实验验证，该算法确实能够有效地改善文件的整体分发效率，增 加了系统的吞吐量。 关键字：对等计算，分布式存储系统，直接邻居选择，异步1 0 ，非阻塞 i a b s t r a c t a b s t r a c t w i t ht h er a p i dg r o w t ho ft h ei n t e r n e t ，v a r i o u sf o r m so fn e wa p p l i c a t i o n sh a v e e m e r g e di na ne n d l e s ss t r e a m e s p e c i a l l yt h ew e b2 0 ，r e p r e s e n t a t i v eo ft h en e w g e n e r a t i o ni n t e r n e ta p p l i c a t i o n s ，h a sb r o u g h tg r e a tc h a l l e n g e st ot r a d i t i o n a ld a t as t o r a g e i nt h ep a s t , i n t e r n e ts e r v i c e sw e r em o s t l yb a s e do nc l i e n t s e r v e rm o d e l ，、) l ，i t l lt h e r e s o u r c e sb e i n gs t o r e di nt h ec e n t r a l i z e ds e r v e r s w i t ht h es h a r pg r o w t ho ft h ec o n t e n t s o fs t o r a g e ，i t 。sn o tp o s s i b l et om e e tt h em a s s i v ei n t e r a c tu s e r s a c c e s sr e q u i r e m e n t so n l y b ys e r v e r s i n c o r p o r a t i n gt h ec o n t e m p o r a r i l yp o p u l a rp e e r - t o p e e r ( p 2 p ) t e c h n i q u e ，b a s e do n d e d i c a t e ds t o r a g es e r v e l 暑a n di n t e m e tu s e r so r i e n t e dm a s s i v ed a t as t o r a g es e r v i c eh a s b e e nd e v e l o p e d af e ws t o r a g es c i v b 奠 sw h i c ha r ed e p l o y e di nw a n ，m a k i n gu pt h e r e l i a b l es t r u c t u r e d o v e r l a yn e t w o r k s ，p r o v i d et h e h t e r n e tu s e i sw i t hg u a r a n t e e d r c s o u r c 昭l o c a t i n gs e r v i c e t h es t o r a g es e r v e r sa r er e s p o n s i b l ef o rp j e c er e p l i c a ss t o r a g e a n dd i s t r i b u t i o n ，a n dt h er e d u n d a n c yp r o v i d e db yaf e wr e p l i c a sw h i c hi m p r o v et h e s y s t e m sa v a i l a b i l i t y , a v o i d i n gs i n g l ep o i n tf a i l u r e b yi n t r o d u c i n gt h es e l f - a d a p t i v e r e p l i c ar e d u n d a n c ym a n a g e m e n ta l g o r i t h m , w ec a l la d j u s tt h er e p l i c a s q u a n t i t y i n t e l l i g e n t l ya n dl e a dr e p l i c a sm i g r a t et ot h es t o r a g es e r v e r sn e a r b yt h eu s e r , f a c i l i t a t i n g f u t u r em o b i l es e r v i c e s t h ep 2 po v e r l a yn e t w o r k sw h i c hi sc o m p o s e db yt h eu s e r d o w n l o a d i n gt h es a m ec o n t e n t ，p r o v i d i n gu p l o a db a n d w i d t ht oo t h e ru s e r s ，h a sr e l i e v e d t h es e r v e r s p r e s s u r e e v e nt h o u g hm a s s i v eu s e r sr e q u e s tt h ec o n t e n t ，t h es y s t e ms t i l lc a l l c o p e ，谢mt h eg u a r a n t e eo fg o o ds c a l a b i l i t y f o rt h es t o r a g es e r v e r sh i g hp e r f o r m a n c ea n dh i g ha v a i l a b i l i t y , n e t w o r ki oi s h a n d l e db yn o n b l o c ks o c k e ta s y n c h r o n o u s l y , w h i c hi sc a l l e dr e a c t o rf r a m e w o r kb a s e d o nl i n u xe p o l lm e c h a n i s m t h e r ea r em a n yt i m e r s ，s oe f f i c i e n tt i m e rm a n a g e m e n ti s i m p l e m e n t e di nr e a c t o r d i s k - i oi sp r o c e s s e db yl i n u xa i o ，a n de f f i c i e n td i s kb l o c k c a c h em a n a g e m e n ta l g o r i t h mh a sb e e np r o p o s e d b yu d ps o c k e tp r o g r a m m i n g , c h o r d l o c a t i n ga l g o r i t h mh a sb e e ni m p l e m e n t e d t h i ss y s t e mi sc o m p o s e do fs e r v e r ( c h u n k s e r v e r ) a n dc l i e n t ( p p d s sc l i e n o c h u n k s e r v e r sa r er u n o nl i n u xp l a t f o r m ，w r i t t e ni nc + + l a n g u a g e ，a n dd e s i g n e db y i i a b s t r a c t o o p i fw ec a nt a k ee x c e p t i o n si nr e a ln e t w o r k si n t oa c c o u n t , t h i ss y s t e mc a nb e d e p l o y e di ni n t e m e ta sf u n d a m e n t a ls t o r a g ep l a t f o r mt op r o v i d er e l i a b l es t o r a g es e r v i c e t om a s s i v ei n t e m e tu s e r s t oa l l e v i a t et h es t o r a g es e l v e r s p r e s s u r ea n di m p r o v et h es y s t e m st h r o u g h p u t , p i e c ea m p l i f i c a t i o nb a s e dd i r e c tn e i g h b o r i n gn o d e ss e l e c t i o na l g o r i t h mh a sb e e n d e s i g n e da n di m p l e m e n t e d b ys e l e c t i n gt h ep e e r sw i t hg o o dp i e c ea m p l i f i c a t i o n , g u i d i n gt h e mt oc o n n e c ts t o r a g es e r v e r sd i r e c t l y , d o w n l o a d i n gp i e c e sf r o ms t o r a g e s e r v e ra n dq u i c k l yd i s t r i b u t i n gt h ep i e c e sb yt h e m s e l v e s ，t h ed o w n l o a de x p e l i e n c eh a s b e e ni m p r o v e dr e m a r k a b l e , e s p e c i a l l yd u r i n gt h et i m ew h e nt h ec o n t e n t sa r ej u s t p u b l i s h e d a c c o r d i n gt oo u rm o d e l i n ga n a l y s i sa n de x p e r i m e n tv e r i f i c a t i o n , t h i s a l g o r i t h mh a si m p r o v e dt h ec o n t e n t sd i s t r i b u t i o ne f f e c t i v e l ya n de n h a n c e dt h es y s t e m s t h r o u g h p u t k e yw o r d s ：p 2 p ；d i s t r i b u t e ds t o r a g es y s t e m ；d i r e c tn e i g h b o r i n gn o d e ss e l e c t i o n ； a s y ni o ；n o n - b l o c k i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：! 隆日期：护7 年6 月弓日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名： 日期：州年舌月? 日 第一章引言 1 1 研究背景 第一章引言 7 0 年代的终端主机( t e r m i n a l h o s t ) 计算模式将数据集中存储在主机上，数据 存储的核心是主机上高效的文件系统，终端只是作为用户登录的界面。8 0 年代以 后，随着计算机网络技术的不断进步，客户机服务器( c l i e n t s e r v e r ) 模式得到了快 速地发展并大范围普及，基于c s 模式的分布式存储技术得到了长足的发展。在 这种模式下，数据集中在各种服务器上，用户通过联网从服务器获取所需的数据。 在9 0 年代中后期，伴随着i n t e m e t 网络的出现，浏览器服务器( b r o w s e r s e r v e r ) 模式变得越来越流行。与c s 模式相比，由专门的客户端应用程序变成了浏览器， 这样用户不用安装应用程序即可以访问所需的数据。 然而，随着i n t c r n c t 规模的进一步扩大以及新型应用的层出不穷，c s 和b s 模式的存储都面临着巨大的挑战n 】： 1 、用户对i n t e m e t 服务质量要求越来越高。互联网用户数量正以爆炸式的速 度增长，并且接入方式多种多样，接入速度也有了很大提高。庞大的用户数量带 给i n t e m e t 的是高密度的数据请求。据统计，一台普通的w w w 服务器在一分钟 之内，就可能收到i 0 0 万次的数据请求乜1 。而客户机连接速度的提高也使得用户期 望更快更好地获取服务，再难以忍受以往过长的服务响应延迟。这些都对网络服 务器的服务质量提出了更高的要求。然而，由于服务器和客户机在数量上的不均 衡性，单纯地依靠提高服务器端的软硬件配置和增加网络出口带宽来满足大规模 用户并发的服务请求，已不是十分现实。特别是在某些突发事件出现时，服务访问 量会瞬间提升，经常会造成用户访问延迟，甚至服务器宕机，极大地降低了用户体 验。 2 、数据文件类型和大小不断增加，要求服务器储存容量不断提高。随着互联 网应用的不断发展，数据类型也日趋多元化。早期的互联网服务内容相对单一， 主要是h t m l 网页、e m a i l 信件和图片文档等，数据量较小。而现在通过i n t e m e t 共 享的数据类型越来越丰富，单个文件的数据量也越来越大，如软件、音乐、视频 文件的大d , 贝j j 是动辄数十兆字节，有的甚至多达数g b 。数据文件平均大小的增加， 使得同样容量的服务器空间能够容纳的信息数量减少。网络服务器存储容量的增 电子科技大学硕士学位论文 加难以跟上数据文件大小和数量的增长速度，这样网络服务器很快就会产生容量 与网络带宽等各方面的性能瓶颈。 3 、用户交互模式发生变化，需要一种新的数据共享模式。随着桌面计算机性 能的不断提高和网络环境的不断改善，互联网用户不再仅仅满足于单向地从服务 器端下载数据，他们开始热衷于分享自己的资源，形成用户间实时交互。近两年 兴起的w e b2 0 技术中，实时、高效地在用户问直接进行数据交换变得越来越普遍。 像b i t t o r r e n t 、e m u l e 、p p l i v e 等p 2 p 文件分享软件相继出现，并在短时间内发展了 大量用户。这表明了当前的网络情况已经极大地改善，特别是客户一端的网络带 宽。这为用户间的实时交互提供了带宽上的保障。 4 、用户对数据的可靠性要求越来越高，特别是对于已经高度电子化的现代企 业来讲，运行过程中积累起来的大量数据资料是它们最宝贵的资源。如果这些数 据一旦丢失或损坏，企业将遭受沉重的打击。根据3 m 公司的调查，对于市场营销 部门来说，恢复数据至少需要1 9 天，耗资1 7 ，0 0 0 美元；对于财务部门来说，这 一过程至少需要2 l 天，耗资1 9 ，0 0 0 美元；而对于工程部门来说，这一过程将延 至4 2 天，耗资达9 8 ，0 0 0 美元。而且在恢复过程中，整个部门实际上是处在瘫痪 状态。放在今天，长达4 2 天的瘫痪足以导致任何一家公司破产! 美国“9 1 l 恐 怖袭击的灾难性后果就使得世贸大厦中多家公司的商业数据毁于一旦，给企业用 户造成了无可挽回的损失，也使人们认识到了数据集中存储的局限性和可能带来 的潜在危险。 5 、互联网的应用日新月异，对存储技术的扩展性以及适应性提出了更高的要 求。随着3 g 技术的成熟以及手持终端设备处理能力的不断增强，无线设备访问互 联网资源时的种种限制将不复存在，将会有越来越多的无线设备接入到i n t e m e t 。 更为海量的移动上网用户，会给现有的i n t e r a c t 基础设施带来更严峻的挑战。由于 移动设备具有天然的移动性，又要求设备能够无缝地、透明地访问互联网应用。 6 、随着企业数据的不断增加，需要降低单位存储的成本开销。现今，随着企 业商务的电子化，时刻都在产生着具有重要价值的数据。但对于广大中小企业来 讲，不可能购买昂贵的硬件存储设备，因此需要一种新的可靠的、成本低廉的新 型存储方式。正因为此，g o o g l e 、i b m 、e m c 、a m a z o n 等1 1 r 巨头提出了“云存 储州3 3 概念：即用户不需要自己购买存储设备，而是购买存储服务。这样，企业用 户只须付出少量的存储服务费用，即可享用高可靠性的存储服务。 在这种技术趋势下，未来的数据存储系统必须要具有很好的扩展性，能够有 效地管理种类繁多的计算设备产生的海量数据，并使用户可以快捷高效地存取、 2 第一章引言 查找这些数据，满足用户大规模、高动态的数据请求。因此，分布式存储系统成 了当今业界研究的热点内容。 1 2 本文的工作内容与创新 通过对当前流行的p 2 p 分布式存储系统的调研，再根据项目提出的背景与应 用场景，设计并实现了基于p 2 p 结构化覆盖网络的分布式文件存储系统( p e e rt o p e e rb a s e dd i s t r i b u t e ds t o r a g es y s t e m - - - p p d s s ) 。 对于存储功能而言，最基本的需求即是保证文件的可靠存储，包括文件内容与 文件元数据的可靠存储；同时还要求系统能够向用户提供高效的发布、下载、更 新途径。因此，存储服务器是整个分布式存储系统中最重要的模块，必须提供高 可用、高性能的数据存储业务。 针对存储服务器的各种功能和性能需求，本系统将具备如下的功能： 首先，作为存储服务器，需要具备最基本的文件发布、存储、删除，更新和 下载等功能。 其次，作为存储功能最基本的要求即可靠性，我们将采用副本冗余的方式在 不同的存储服务器上保存文件分片的多个副本。 第三，由于系统中的存储服务器可能掉线，其上的副本需要在其它服务器上 修复。当掉线的服务器上线以后，其上的副本可能已经过时，需要做删除处理。 因此，存储服务器需要具备基本的副本冗余度管理。 第四，访问内容的用户可能离存储服务距离比较远，导致较大的访问延迟。 因此，需要根据用户的访问密度及目标域内的副本数量做出综合决策，进行副本 迁移。 第五，存储服务器要具有优异的性能，尽可能支持多的并发请求，因此需要 针对高网络i o 、高磁盘i o 的特点设计最合适的系统框架。 第六，系统向用户提供了更新操作，这样，就需要存储服务器具有基本的内 容一致性管理，特别是在多用户并发更新的时候。 第七，为了提高发布、更新的性能，将在操作客户端与存储服务器间进行p 2 p 发布、更新。 第八，存储服务器的带宽毕竟有限，为了服务更多的用户，需要在客户端之 间进行p 2 p 传输，加快文件分发速度。 第九，由于现实中的电信、网通的骨干网络的交换带宽不足以及在做副本管 电子科技大学硕士学位论文 理的时候需要知道节点之间的错误关联性，引入了节点所在域的概念，引导域内 用户优先进行p 2 p 交换。 通过对现有的p 2 p 文件分享系统的分析，发现连接存储服务器的p e e r 是随机 选取的，而这些p e e r 可能并不会向系统贡献自己的上传带宽。因此，提出了基于 分片放大能力的直接邻居节点选择算法( p a d n n s ) ，选择分片放大能力较好的节点 作为存储服务器的直接邻居节点，允许它们从存储服务上下载分片并迅速分发到 其它p e e r ，有效地改善了分发速度，特别是在内容刚上线阶段。通过理论分析与 实验验证，发现p a d n n s 算法能够在不增加服务器压力的情况下，缩短客户端的 平均下载时间。 1 3 本文结构 本文的主要内容是设计和实现l i n u x 平台下基于p 2 p 的高性能存储服务器， 其章节安排如下： 第一章介绍课题相关背景、工作内容和文章结构。 第二章介绍本系统涉及到的各种技术，包括各种分布式文件系统、p 2 p 技术、 典型p 2 p 存储系统等内容。 第三章介绍p p d s s 框架和功能，分析和设计存储服务器的各关键部分，包括 网络协议、i o 模型、体系结构、模块组成等。 第四章实现p p d s s 系统中存储服务器的整体框架与底层模块。其中对整体框 架和d h t 模块、存储模块实现做了详细的介绍。 第五章介绍了p a d n n s 算法的设计原理与具体实现方法，并给出了理论分析 和相关实验验证。 第六章对本文所设计的p p d s s 系统的特点进行了总结，提出了今后的研究和 改进方向。 4 第二章分布式存储原理 第二章分布式存储原理 2 1 分布式存储技术简介 随着i n t e r a c t 技术的不断发展和互联网应用的日渐广泛，传统的c l i e n t s e r v e r 数据存储模式已难以满足用户高性能、高可靠、高可扩展性的海量数据存储要求。 在应用需求的推动之下，分布式存储技术得到了快速的发展，为构建新一代的 i n t e r n e t 数据存储和服务模式铺就了一条新的可行之道h 1 。 下面我们分别介绍几类分布式存储技术的典型代表。 2 1 1 分布式文件系统 l 、n f s s u nm i c r o s y s t e n l s 公司于1 9 8 5 年开发了n f s ( n e t w o r kf i l es y s t e m ) 【5 】，用来 透明访问远程服务器上的文件。使用n f s ，客户可以透明地访问服务器上的文件 与文件系统，不同于提供文件传输服务的f t p 协议。f 1 p 会变化一个完整的文件 副本。n f s 只访问一个进程引用文件的那一部分，并且n f s 的一个目的就是使得 这种访问对应用程序透明。这意味着任何能够访问一个本地文件的客户程序不需 要任何修改就能访问一个n f s 文件。 n f s 客户通过向n f s 服务器发送r p c 请求来访问其上的文件，本质上还是 c l i e n t - s e r v e r 模式。n f s 的一个特征是n f s 服务器是无状态的( s t a t e l e s s ) 的，这样 在服务器崩溃后并且重新启动时，能够极大地简化服务器的崩溃恢复操作，使之 具有较好的容错能力。 n f s 适合小型组织内部共享文件资源，已经成为事实上的共享标准，很多系统 都支持n f s ，包括l i n u x 、w i n d o w s 、u n i x 等。不过，由于n f s 没有任何副本机 制以及恢复机制，不能作为可靠存储系统。同时，也不支持海量访问的存储系统 实现。 2 、g o o g l e f s g o o g l ef i l es y s t e m 【6 1 ( 简称g f s ) 是由g o o g l ei n c 设计并实现的分布式文件 系统，部署在大量l i n u x 服务器上。 如图2 1 所示，一个g f s 集群由一个m a s t e r 和大量的c h u n k s c r v c r 构成，并 电子科技大学硕士学位论文 被许多客户( c l i e n t ) 访问。m a s t e r 和c h u n k s e r v e r 是运行在用户层的l i n u x 进程。 只要资源和可靠性允许，c h u n k s c r v e r 和c l i e n t 可以运行在同一个机器上。文件被 分成固定大小的块，每个块由一个不变的、全局唯一的6 4 位c h u n kh a n d l e 标识， c h u n kh a n d l e 是块在创建时由m a s t e r 分配的。c h u n k s e r v e r 将c h u n k 当作l i n u x 普通文件存储在本地磁盘。出于可靠性考虑，每一个块被复制到多个c h u n k s e r v o r 上，默认情况下，保存3 个副本，当然这也可以由用户指定。 图2 - 1g o o g l e f s 系统总体架构 m a s t e r 维护文件系统所有的元数据( m e t a d a t a ) 包括名字空间、访问控制信息、 从文件到块的映射关系以及块的存储位置。它也控制系统范围的活动，如租约( 1 e a s e ) 管理，孤儿块的垃圾收集，c h u n k s c r v o r 间的副本迁移。m a s t e r 定期通过h e a r t b e a t 消息与每一个c h u n k s e r v c r 通信，给c h u n k s e r v e r 传递指令并收集它的状态。与每 个应用相联的g f s 客户代码实现了文件系统的a p i 并与m a s t 髓和c h u n k s e r v e r 通 信，读写数据。客户与m a s t e r 的交互只限于对元数据( m c t a d a t a ) 的操作，所有 c h u n k 都直接从c h u n k s e r v e r 上获得，有效地降低了m a s t e r 压力。 g o o g l e f s 的读操作主要包括两种：对大量数据的顺序读和对少量数据的随机 读。在前一种读操作中，可能要读几百k b ，通常达1 m b 甚至更多。来自同一个 客户的连续操作通常会读文件的一个连续区域。随机的读操作通常在一个随机的 偏移量开始读。在g o o g l e 的应用场景中，顺序读的比例远大于随机读，因此在 g o o g l e f s 中对顺序读做了特别的优化。 在分布式系统中，并发的写操作会带来一致性问题。针对g o o g l e 的应用场景， 更多的是在文件末尾添加而不是随机的写。因此，g o o g l e f s 提出了“r e c o r da p p e n d 模式，原子地在文件末尾增加数据，写完之后，文件几乎不被修改，可以被视为 6 第二章分布式存储原理 只读的。这样，即使在并发修改的情况下，也能够保证文件保证松散一致性。 正是g o o g l e f s 这些特性，通过大量的廉价p c 满足了g o o s e 的各种互联网应 用对海量数据的存储需求，同时再配以强大的并行计算工具m a p r e x t u c , o ，才得以 7 x 2 4 的为全世界的互联网用户提供可靠、快速的搜索服务。 3 、m o g i i e f s m o g i l e f s t 7 j 是w 曲2 0 开发技术中出现的新型的分布式文件系统，主要解决海 量用户上传的小文件如图片等的可靠存储。 m o g i i c f s 基本架构： ( 1 ) 元数据数据库 与g o o g l e f s 一样，m o g i l e f s 采用了集中式的方式来保存文件系统的名字空间、 副本位置等元信息，只不过将它们保存在m y s q l 数据库内。这样，可以通过采用 m y s q l 集群来解决元数据的可扩展性、可靠性等要求。 ( 2 ) t r a c k e r s ( 跟踪器) t r a c k e r 类似于g o o g l e f s 里面的m a s t e r ，通过与元数据数据库交互，来进行基 本的文件管理：r e p l i c a t i o n ，d e l e t i o n ，q u e r y ，r e a p e r ，m o n i t o r 等。它自身并不保 存元数据，而是将其保存在数据库。客户端在上传、下载文件时也需要与t r a c k e r 交互，获得存储节点的位置信息。 ( 3 _ ) 存储节点 通过用户程序m o g s t o r e x t 来实现真实副本文件的磁盘存储。将普通的小文件保 存在本地文件系统，并接受t r a c k e r s 的指令实现文件副本的管理以及c l i e n t 的文件 存取要求。 因此m o g i l e f s 存储系统具有如下特点： 应用层不需要特殊的k e r n d 组件，整个系统运行在应用层，每一个副 本均以单独的f i l e 存储在磁盘上。 自动的文件复制基于不同的文件“分类”，文件可以被自动的复制到多 个有足够存储空间的存储节点上，这样可以满足这个“类别”的最少复制要 求。比如你有一个图片网站，你可以设置原始的j p e g 图片需要复制至少 三份，如果丢失了某一副本，那么m o g i l e f s 可以重新建立遗失的副本。 避免了传统图片系统中的备份操作，尤其了对大量小图片文件的备份是相 当麻烦的。 传输中立，无特殊协议m o 舀l e f s 客户端可以通过n f s 或h t t p 来和 电子科技大学硕士学位论文 m o 百l e f s 的存储节点来通信，没有有采用特殊的私有协议。 不会碰到文件系统本身的不可知情况在m o g i l e f s 中存储节点的磁盘 可以被格式化成多种格式( e x t 3 , r e i s e r f s 等等) 。m o g i l e f s 会重新安排整 个文件系统的目录层次，所以它不会碰到文件系统本身的一些限制，比如 一个目录中的最大文件数，使之具有良好的适应性。 不过，m o g i l e f s 不支持对一个文件的随机读写，因此注定了只适合一部分应 用，比如图片服务，静态h t m l 服务，即文件写入后基本上不需要修改的应用， 当然你也可以生成一个新的文件覆盖上去。因此，m o g i l e f s 适合于w e b 网站中大 量的静态文件的存储。 之前所介绍的分布式文件系统，从功能上讲，已经基本满足了构建大规模存 储系统的需要，但是在文件访问性能、系统可靠性、系统易维护性等诸多方面， 距离面向i n t e r n e t 的分布式存储服务的实用要求还存在相当差距。另外，所有这类 系统的服务器之间都直接或间接地采用了“层次式体系结构，不利于提高系统 的可扩展性和易维护性。 2 2p e e r - t o p e e r 文件存储共享技术 2 2 1p 2 p 简介 p 2 p ( p e o rt op e 砷即对等计算或者对等网络，通常简称为p 2 p ，可以简单地定 义成通过直接交换来共享计算机资源和服务【8 l 。在p 2 p 网络环境中，成千上万台彼 此连接的计算机都处于对等的地位，整个网络一般来讲不依赖于专用的集中服务 器。网络中的每一台计算机既能充当网络服务的请求者，又能对其它计算机的请 求做出响应，提供资源与服务。通常这些资源和服务包括：信息的共享与交换、 计算资源( 如c p u 的共享) 、存储资源( 如缓存和磁盘空间的使用) 等。 p 2 p 给互联网的分布及共享带来了无限的遐想。有观点认为：至少有1 0 0 种应 用将被开发出来。但从目前的应用来看，p 2 p 的威力还主要体现在大范围的存储、 共享及搜索的优势上，主要解决了网络上的四大应用：对等计算、协同工作、搜 索引擎、存储共享和流媒体应用【9 】。 对等计算：通过众多计算机来完成超级计算机的功能，一直是科学家梦寐以 求的事情。采用p 2 p 技术的对等计算，正是把网络中的众多计算机暂时不用的计 算能力连接起来，使用积累的能力执行超级计算机的任务。任何需要大量数据处 8 第二章分布式存储原理 理的行业都能从对等计算机中获利，如天气预报、特效制作、芯片验证等领域。 有了对等计算机以后，就不再需要昂贵的超级计算机了，使用大量的闲置的普通 计算机便能提供强大的计算能力。 协同工作：p 2 p 技术的出现，使得互联网上任意两台p c 都可建立实时的连接， 建立一个安全、共享的虚拟空间。l o t u s 公司的创始人奥奇开发了协同工作产品 g r o o v eo o 】，实现地理上分散的小组成员间协同交互。 搜索引擎：p 2 p 技术的另一个优势是能够开发出强大的搜索工具。它使用户能 够深度搜索文档，而且这种搜索无需通过w e b 服务器，可以不受信息文档格式和 宿主设备的限制，达到传统目录式搜索引擎( 只能搜索到2 0 - 3 0 的网络资源) 无可比拟的深度，g n u t e l l a 1 1 j 是其中的代表。可以说，p 2 1 为因特网的信息搜索提 供了全新的解决之道，g o o g l e 也宣称要采用p 2 p 技术来改进搜索引擎；一家名为 i n f r a s e a r c h 的新公司也因为开发p 2 p 技术的搜索引擎而获得了巨额的风险投资。 文件共享：利用p 2 p 技术，网络上的计算机之间可以直接交换数据，而无需 任何中央服务器。正是由于对文件共享庞大的需求，才导致p 2 p 技术迅猛发展。 如p 2 p 文件共享和存储【1 2 】，应用层多播【1 3 】以及p 2 pw e bc a c h e t l 4 】等。其中基于p 2 p 的文件存储共享是p 2 p 技术在i n t e m e t 中最重要的应用。 流媒体应用：通过p 2 p 技术实现的应用层组播能够实现实时直播与点播。正 是将p 2 p 技术引入了流媒体应用，中国互联网才出现了许多新兴的视频应用如： p p l i v e t l 5 】、s o p c a s t 、t o o 等，为p 2 p 技术的实际应用推广做出了巨大的贡献。 2 2 2p 2 p 网络存储技术 o v e r l a y l l 6 1 7 】网络是基于现有的物理网络构建一个虚拟网络，解决或缓解底层 网络的一些问题。o v e r l a y 网络节点之间的通讯是通过沿着o v e r l a y 网络逻辑连接 传递消息实现的。o v e r l a y 网络实际上是一种分布式系统的组织形式。构造o v e r l a y 网络的目的是为了使得上层的分布式系统能获得较好的性能。 为实现某一应用目标，若干p e e r 互连形成一个逻辑网络，节点之间以p 2 p 方 式交互，这种网络称为p 2 po v e r l a y 网络，简称p 2 p n e t w o r k ，也叫对等网络 n a p s t e r l l 8 】是i n t e m e t 上第一个用于r a p 3 文件共享的商用p 2 p 系统。在n a p s t e r 中，设置一个集中的名字服务器用来索引用户共享出来的文件名。当用户需要使 用共享m p 3 文件时，首先到中央名字服务器进行查询，获取实际文件的具体网络 位置，然后直接从实际文件所在的计算机下载到本地。n a p s t e r 是准p 2 p 系统：文 9 电子科技大学硕士学位论文 件传输符合p 2 p 原则，但是文件名的管理却是集中式的。 c m u t e l l a 对n a p s t e r 的集中式名字管理进行了改进。在g n u t e l l a 中，不存在中 央名字服务器。所有的节点被组织成一个逻辑的树型结构。节点之间的通讯通过 沿着逻辑树路径传递消息来实现。当一个节点需要查询一个文件时，查询请求沿 着逻辑树扩散出去，直到找到相应的文件。 f r e e n e t i l 9 】是一个支持文件匿名存储、共享的系统。f r e e n e t 的每个节点都保存 最近一段时间内访问过的文件所在的节点位置，并将其作为路由表。通过路由表， 各节点被连结成一个p 2 p 网络。所有的文件插入、查找等操作都通过在这个网络 中传递消息来实现。一个文件可以在系统中存在多个备份，以提高文件的访问效 率。f r e e n e t 有一个缺点：文件定位采用的是“尽量 ( d ob e s t ) 策略，因此，有可 能找不到系统中存在的文件。 这些p 2 p 文件共享系统虽然实现了广域网范围的文件共享，但系统中的p 2 p 网络结构还显得简单，从系统的可扩展性、文件访问效率等方面都难达到海量文 件存储服务的要求。 目前国际上还存在几个以支持广域网范围的海量文件存储为目标的系统，它 们是：o c e a l l s t o d 2 0 】【2 l 】，p a s t 2 2 和c f s l 2 3 1 。国内有“燕星 系统【2 4 】，它们采用的 也都是p 2 p 体系结构。 2 2 3p 2 p 网络存储技术与c s 模式的对比 在p 2 p 网络中，弱化了服务器的功能，甚至取消了服务器，任意两台p c 互为 服务器客户机；节点所有者可以随意地将自己的信息发布到网络上。p 2 p 技术将 导致数据访问成本向所有用户的计算机均匀分布，即“边缘化”趋势。p 2 p 存储与 c s 相比具有如下优势【2 5 】： 首先，c s ( c l i e n t s e r v e r ) 模式下的i n t e m e t 是完全依赖于中心服务器的，没有 服务器的p 2 p 的不足之处就在于不易管理，而对c s 网络，只需要在中心点进行 管理。从而与c s 相比，p 2 p 不足点就在于网络中数据的安全性难于保证以及可管 理性不强。 在传统的c s 模式中，客户端之间要进行文件交换就必须通过服务器，随着 节点的增加，服务器的负担越来越重，并逐渐形成系统性能瓶劲，一旦服务器崩 溃，整个网络也随之瘫痪。而在p 2 p 网络中每个节点的地位都是均等的，每个节 点既充当服务器，为其它节点提供服务，同时也充当客户端，享用其它节点提供 1 0 第二章分布式存储原理 的服务。同时，由于每个节点在工作时都向网络贡献资源( 存储空间、c p u 资源等) ， 因此系统中的p e e r 数量越多，系统的整体性能也就越好。这样，p 2 p 系统就不存 在单点故障的可能，具有良好的可扩展性。 其次，c s 模式下即使客户端有大量的闲置资源，如果没有得到服务器的呼应 资源也无法被利用，资源利用率极为低下。而在p 2 p 网络中，一切闲散资源都有 被利用的机会，具有很高的资源利用率。 最后，p 2 p 存储能够有效的降低单位存储成本。传统的c s 或者是b s 模式中， 资源全部存储在服务器端，服务提供商为了满足用户不断增长的需求，不得不购 买新的存储设备，运营成本居高不下。而在p 2 p 网络中，资源是