（通信与信息系统专业论文）基于自适应反馈思想的缓存系统分流优化方案研究.pdf

摘要 摘要 代理缓存( p r o x yc a c h e ) 是一种减少数据重复传输，加快网络对用户请求响应 速度的重要技术。它对用户提供透明的数据缓存服务，不影响现有网络结构。在 用户群边缘设置代理缓存系统，能够大幅减小用户群间的网络流量。p 2 p 网络中 采用代理缓存技术，可以显著降低p 2 p 应用的带宽占用，并使用户获得更好的服 务质量。 p r o x yc a c h e 已有许多优秀的缓存替换算法，但这些算法并没有对用户请求进 行优先级区分。这使得p 2 pp r o x yc a c h e 出现服务瓶颈时，无法优先对用户集中的 p 2 p 资源提供服务。此外，p 2 p 应用具有数据量大、连接时间长的特点，也对优 化方案提出了新的要求。因此，需要根据其特点研究系统的解决方案和优化算法， 使p 2 p p r o x y c a c h e 能够优先服务热门资源，并保证冷门资源的用户体验。 本文基于p 2 pp r o x yc a c h e 系统改进研究，以解决缓存系统的服务能力瓶颈为 目的。在探讨p 2 p 选路方式的基础上，实现了基于反馈思想的分流优化方案。该 优化方案主要包含以下几个方面： 1 、本文采用了路由环节分流用户请求的策略，目的是使系统服务集中于热门 资源。热门服务进程越多，系统性能越能得到提升。因此对于热门资源请求，p 2 p p r o x yc a c h e 为其提供服务；对于冷门资源的请求，系统将其转发至数据源。 2 、本文实现了自适应反馈的控制机制。已缓存资源能显著提高系统吞吐率， 但p 2 pp r o x yc a c h e 分流结构没有合理利用资源的缓存信息。因此，文中通过缓存 环节的信息反馈，使得系统路由环节能有效地控制用户请求。 3 、本文提出并实现了一种资源价值评价的近似最优算法。该算法结合了组合 最优化原理和时间复杂度的要求，并能自适应用户行为的变化。通过其对资源的 冷热程度做出合理判定，从而正确引导路由环节进行请求分流。 根据上述优化方案的思路，论文在原有p 2 pp r o x yc a c h e 的基础上，实现了反 馈控制系统。文中搭建实验环境对反馈控制系统的功能进行了测试，并模拟了资 源评价算法。实验结果验证了系统能自适应用户请求的动态变化；同时，资源评 价算法能够提升系统的处理能力，从而改善了系统性能。 关键字：对等网，服务质量，n p c ，反馈，代理缓存 a b s t r a c t a bs t r a c t p r o x yc a c h ei sa 1 1i m p o r t a n tn e t w o r kt e c h n o l o g y , w h i c hc a nr e d u c ed u p l i c a t e dd a t a t r a n s m i s s i o na n dm a k er e s p o n s e st ou s e r sf a s t e r i tp r o v i d e st r a n s p a r e n td a t ac a c h i n g s e r v i c et ou s e r s ，a n dw i l ln o ta f f e c tt h ee x i s t i n gn e t w o r ka r c h i t e c t u r e w h e np r o x yc a c h e s y s t e mi sp l a c e da tt h ee d g eo f u s e rg r o u p ，i tc a l ls i g n i f i c a n t l yr e d u c et h en e t w o r kt r a f f i c s ou s i n gp r o x yc a c h ei np 2 pn e t w o r k s ；i tc a ns i g n i f i c a n t l yr e d u c et h eb a n d w i d t h c o n s u m p t i o na n dw i l lm a k e u s e r sh a v eb e t t e rq o sp e r f o r m a n c e p r o x yc a c h eh a sm a n ye x c e l l e n tc a c h er e p l a c e m e n ta l g o r i t h m s ，b u tt h e yd on o t p r o v i d ep r i o r i t yd i s t i n c t i o nb e t w e e nr e q u e s t s t h e r ea r eb o t t l e n e c k si ns y s t e ms e r v i c e ， s op r o x yc a c h ei su n a b l et os e r v et h eu s e r sw h o r e q u e s tf o rh o tr e s o u r c e s t h ed o m i n a n t f e a t u r e so fp 2 pa p p l i c a t i o n sa r el a r g ea m o u n to fd a t at r a n s m i s s i o na n dl o n gc o n n e c t i o n h o l d i n gt i m e ，w h i c hs h o u l db ec o n s i d e r e di nt h eo p t i m i z a t i o n t h e r e f o r e ，t h es o l u t i o n s a n dt h eo p t i m i z a t i o na l g o r i t h m ss h o u l db eb a s e do nt h e s ep 2 pc h a r a c t e r i s t i c s t h e y m a k ep 2 pp r o x yc a c h es e r v e dt h eu s e r sw h or e q u e s tf o rh o tr e s o u r c e s ，a n de n s u r eq o s o fu s e r sw h o r e q u e s tf o rc o l dr e s o u r c e s b a s e do nt h ep r o je c to fp 2 pp r o x yc a c h eo p t i m i z a t i o n ，t h i st h e s i sf o c u so nt h e s o l u t i o n sf o rs y s t e mb o t t l e n e c k o nt h eb a s i so fp 2 pr o u t i n g ，t h i st h e s i ss t u d i e dt h e o p t i m i z a t i o ns c h e m ew h i c hu s e df e e d b a c kc o n t r o lm e c h a n i s m t h e r ea r et h r e em a j o r a s p e c t si n c l u d e di nt h es c h e m e ： 1 、i no r d e rt oc o n c e n t r a t es y s t e ms e r v i c e so nt h er e q u e s t sf o rh o tr e s o u r c e s ，t h e s c h e m ed i s t r i b u t eu s e rr e q u e s t si nr o u t i n gl e v e l t h em o r ep r o c e s s e sw h i c hs e r v et h e r e q u e s tf o rh o tr e s o u r c e s ，t h eb e t t e rs y s t e mp e r f o r m a n c ec a nb ee n h a n c e d t h e r e f o r e ， p 2 pp r o x yc a c h es h o u l dp r o v i d es e r v i c e st ot h er e q u e s t sf o rh o tr e s o u r c e s ，w h i l e f o r w a r d i n gt h er e q u e s t sf o rc o l dr e s o u r c e st od a t as o u r c e 2 、t h i st h e s i si m p l e m e n t e da l la d a p t i v ef e e d b a c kc o r i t r o lm e c h a n i s m t h ec a c h e d r e s o u r c e sc a ns i g n i f i c a n t l yi m p r o v es y s t e mt h r o u g h p u t ，b u td i s t r i b u t i o ns t r u c t u r eo fp 2 p p r o x yc a c h ew o r k sw i t h o u ta n y r e a s o n a b l eu s eo fc a c h e di n f o r m a t i o n t h e r e f o r e ，w i t h t h ef e e d b a c ki n f o r m a t i o n ，t h em e c h a n i s mm a k e sr o u t i n gs y s t e mc a nc o n t r o lt h eu s e r r e q u e s t se f f e c t i v e l y a b s t r a c t 一一 3 、t h i st h e s i sp r e s e n t e d a n d i m p l e m e n t e d a n o p t i m i z a t i o na l g o r i t h m o f c o m p r e h e n s i v ee v a l u a t i o n c o m b i n i n gt h eo p t i m i z a t i o nt h e o r ya n dt h ed e m a n do f t i m e c o m p l e x i t y ，t h ea l g o r i t h ma d a p t st o t h ed y n a m i cb e h a v i o ro fu s e r s w i t hr e a s o n a b l e d e t e n n i n a t i o no fr e s o u r c e s a t t r i b u t e s ，t h i sa l g o r i t h mc a nd i s t r i b u t er e q u e s t se f f e c t i v e l y a c c o r d i n gt ot h ea b o v eo p t i m i z a t i o n ，af e e d b a c kc o n t r o ls y s t e mw a sd e s i g n e da n d d e v e l o p e do nt h ep 2 pp r o x yc a c h e i nt h ee x p e r i m e n t a le n v i r o n m e n t ，t h ef u n c t i o n so f f e e d b a c kc o n t r o ls y s t e mw e r et e s t e d ，a n da l s ot h eo p t i m i z a t i o na l g o r i t h mw a ss i m u l a t e d e x p e r i m e n tr e s u l t ss h o wt h a tt h es y s t e mc a na d a p tt o t h ed y n a m i cu s e rb e h a v i o r ； s i m u l t a n e o u s l y ，t h eo p t i m i z a t i o na l g o r i t h mo fr e s o u r c ee v a l u a t i o nc a ne n h a n c es y s t e m c a p a c i t ya n di m p r o v es y s t e mp e r f o r m a n c e k e yw o r d s ：p e e r - t o - p e e r , q o s ，n p c ，f e e d b a c k ，p r o x y c a c h e i i i 图目录 图2 1 图2 2 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 图3 - 9 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图4 9 图4 1 0 图4 “ 图4 1 2 图4 1 3 图4 1 4 图4 1 5 图4 - 1 6 图4 1 7 图目录 p 2 p 的应用层网状结构7 湖北联通1 6 5 网络p 2 p 流量分布1 0 缓存系统s q u i d 结构图1 2 c d n w 曲c a c h e 结构图13 系统存在不同热度的服务进程l3 w e bc a c h e 部分重定向结构图1 5 缓存服务器信息的反馈过程16 “- k 原则”指导部分分流1 8 p r o x yc a c h e 部分分流结构1 9 f e e d b a c kc o n t r o l 控制曲线2 1 a d a p t i v ef e e d b a c kc o n t r o l 框架2 1 p 2 p p r o x yc a c h e 系统结构及数据交互2 8 p 2 pp r o x yc a c h e 消息交互流程图2 9 p 2 pp r o x yc a c h e 反馈控制结构图3 0 p 2 pp r o x yc a c h e 反馈系统模块划分31 p 2 p p r o x yc a c h e 分流控制消息流程一3 3 r e d i r e c t o r 的功能变化3 4 c a c h es r v 的功能变化3 5 h o t t a b l e i n i t _ ，n a n s _ m s g 消息定义3 6 h o t t a b l e i n i t - ，r r a n s _ m s g 消息实例3 6 c a c h e _ h o t r e s s u m _ m s g 消息定义3 6 c a c h e _ h o t r e s s u m _ m s g 消息实例3 6 c a c h e _ h o t r e p o r tm s g 消息定义3 7 c a c h e h o t _ r e p o r t _ m s g 消息实例3 7 c a c h e _ h o t _ r e p o r tm s g _ e x 消息定义3 7 u s r s t a t _ m s g 消息定义3 8 u s r _ s t a t _ m s g 消息实例3 8 h o t _ t b l _ i t e m _ m s g 消息定义3 8 v i i i 图目录 图4 18 图4 1 9 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图5 8 图5 - 9 图5 1 0 图6 1 图6 2 图6 3 图6 4 图6 5 图6 - 6 图6 7 图6 8 h o tt b li t e mm s g 消息实例3 9 r e d i r e c t o r 内核新增控制接口3 9 p 2 p 资源及其描述符的映射关系4 4 资源价值的优先级分布图4 8 h o t t a b l em g r 统计数据处理流程5 0 h o t t a b l em g r 用户信息更新流程5 2 h o t t a b l em 嚣超时节点处理流程5 3 h o t t a b l em 酉的逻辑数据结构5 4 h o t t a b l em 擘改进型数据结构5 5 h o t t a b l em 掣哈希表排序算法5 8 m e m o r yp o o l 系统接1 2 1 5 9 资源的冷热属性变化过程6 0 f e e d b a c k 系统功能实验环境6 2 c a c h es r v 缓存信息决定热门列表6 4 用户请求统计影响热f - j y u 表构成6 5 用户行为变化影响热门列表构成6 6 c a c h es r v 缓存增加影响热f - j y o 表6 7 c a c h es r v 缓存减少影响热门列表6 8 热门请求分流控制实验环境7 0 热门请求分流前后流量比较7 2 i x 缩略语 c s p 2 p d h t c d n n p n p c n p h d n s h s m c i u 垤 r s & i m c h a s h q o s g p c 缩略语 c l i e n t s e r v e r p e e r t op e e r d i s t r i b u t e dh a s ht l b l e c o n t e n td e l i v e r yn e t w o r k n o n d e t e r m i n i s t i cp o l y n o m i a l n p - c o m p l e t e n p h a r d d o m a i nn a m es e r v e r h o t t a b l em 黟m o d u l e c a c h er e p o r tm o d u l e r e qs t a t i s t i c & i n f om 伊m o d u l e c o n s i s t e n th a s h q u a l i t yo fs e r v i c e g e n e r a l i z e dp r e d i c t i v ec o n t r o l x 客户机服务器 点对点 离散哈希表 内容传送网络 非确定性多项式( 问题) n p 完全( 问题) n p 难( 问题) 域名服务器 热门列表管理模块 缓存上报模块 用户请求统计与传送模块 一致性哈希( 函数) 服务质量 广义预测控制 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：叠盛整日期：力谚年多月6 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：生赵导师签名：銎丝虫2 日期：工乃孑年乡月多日 第一章引言 第一章引言弟一早 ji 菌 采用p 2 pp r o x yc a c h e 系统能够降低网络负载，加快网络对用户的响应时间。 但系统存在服务数极限，需对其进行优化以提高效率。传统的优化方案是提高缓 存效率，但这并不能应对服务能力瓶颈；其次，当前的应用( 如p 2 p 等) 往往面 向数据量大的文件共享等服务；多媒体数据应用更是对数据量和传输率提出了更 高的要求，p 2 pp r o x yc a c h e 在代理缓存的基础上相应地引入了许多新的特性。因 此，面对p 2 pp r o x yc a c h e 系统服务能力不足的情况，需寻求更好的优化措施。 1 1 研究背景 p 2 p ( p e e r - t o p e e r ) 应用的快速发展和多媒体业务的盛行，使网络不堪重负。p 2 p 网络充分挖掘了i n t e m e t 上被忽视的客户机资源，在利用率、扩展性、容错等方面 具有巨大潜力。2 0 0 7 中国互联网大会上有数据指出，p 2 p 流量已经占到了网络总 流量的一半以上，多为流媒体播放和p 2 p 数据下载等业务。由于缺乏有效的管理 机制，p 2 p 对网络质量产生了严重的影响，也削弱了运营商的利益。同时，多媒体 服务的盛行使网络开销日益增大，成为影响网络带宽的另一因素。多媒体应用和 p 2 p 技术相结合，是当前许多视频应用的实现方式，这使得网络负担加重。 通过p r o x yc a c h e 能够使网络应用得到控制，将其分布在网络“边缘”位置， 动态地将服务资源转移到网络边缘，能够尽力减小对网络出口的带宽占用，从而 减小网络拥塞，提高对用户访问的响应速度。因此，从传统p r o x yc a c h e 的思想出 发，构建分布式p 2 pp r o x yc a c h e 成为解决网络问题的一种方案。 课题中通过构建面向b t 的p 2 pp r o x yc a c h e 系统，降低了网络骨干带宽消耗。 但系统在应用中出现了服务数达到极限，而服务器处理能力未被完全利用的情况， 对b t p r o x y c a c h e 提出了优化需求。本文的内容从此子课题出发，主要研究优化系 统的架构和优化算法的设计，并使优化系统具备通用性，适合多种p 2 p 应用。 1 2 研究目的和意义 p 2 pp r o x yc a c h e 缓存节点的服务能力是有限的，而p 2 p 应用用户数众多、资 电子科技大学硕士学位论文 源丰富，使得缓存系统不可避免地存在服务瓶颈。因此，需进行系统优化使之服 务于对热门资源的用户请求，从而提高系统的工作效率。 p r o x yc a c h e 技术最初应用于w 曲环境，并非适用于p 2 p 应用。就数据量和服 务器负载而言，w e b 服务远不能和文件共享以及视频分享等应用相比较。同时， 传统的w 曲c a c h e 和p 2 pp r o x yc a c h e 面对的应用有所区别： 前者连接时间短，通常单服务进程可以满足服务需求：后者由于p 2 p 连接时 间长，通常都需要多进程以资源为单位进行服务。当系统能力达到瓶颈时，前者 通常从缓存替换的角度出发寻求优化算法；后者需要从服务分流上进行思考，为 流行的资源服务，避免冷门资源占用服务能力。 以上这些因素，使得传统p r o x yc a c h e 的优化措施不能直接应用于p 2 pp r o x y c a c h e 系统。如何使p 2 pp r o x yc a c h e 提高服务效率? 如何确定用户行为的集中度， 从而使缓存节点具备对热门内容的自适应能力? 这些问题都具备研究价值和实际 价值。 文章分析了现有p r o x yc a c h e 的基本优化方法，首先针对服务能力不足的情 况，结合p 2 p 的选路方式，提出了对冷热请求的分流机制；其后，提出了一种基 于用户行为分析的反馈控制模型。目的在于通过自适应判决资源的冷热程度，使 系统能将服务能力集中到热门资源上，而通过分流保证对冷门资源的服务质量。 1 3 工作及论文结构 本论文首先研究p 2 pp r o x yc a c h e 的相关内容，探讨其优化思路。接下来，分 析传统p r o x yc a c h e 的优化方式，逐步引入相关原理解决现有p 2 pp r o x yc a c h e 系 统的不足；在此基础上进行反馈控制系统的整体设计和模块设计；最后，通过实 验验证其功能及模拟热门评价算法对系统的改善。 本论文后续章节安排如下： 第二章p 2 pp r o x yc a c h e 背景技术。 第三章p r o x yc a c h e 系统优化以及相关原理研究。 第四章p r o x yc a c h e 反馈分流机制整体设计与实现。 第五章热门表管理模块的设计与实现。 第六章实验验证反馈分流机制的功能；模拟了系统使用热门评价算法控制分 流后的性能改善。 第七章论文工作总结，以及后续工作重点。 2 第二章p 2 pp r o x yc a c h e 背景技术 第二章p 2 pp r o x yc a c h e 背景技术 p 2 pp r o x yc a c h e 系统通过缓存p 2 p 资源，从而减小了对网络带宽的占用。但 其可提供的服务进程数目有限，为了保证服务质量，必须考虑系统高负荷运转时 的优化方案。通过分析p r o x yc a c h e 的结构以及p 2 p 选路方式，可以指导系统优化 研究，并且为多媒体缓存系统提供优化参考。 2 1 p r o x yc a c h e 技术 2 1 1 网络缓存技术概述 用户量增长使服务器不堪重负；网络规模不断扩大，使用户访问受时延、带 宽的限制越来越明显。而单纯提高服务器能力和网络带宽，需要投入大量资金和 升级网络设施。如何在有限的环境中保证用户质量，这是长期以来的研究重点。 用户访问存在地区差异。相同区域内用户的访问比较集中；此时如果缓存相 应的资源，就不必将请求发送到远端服务器，大量的数据也不需要通过中继网络。 而且用户访问存在着热度不均的特点，大量用户只访问了海量资源中的部分内容。 从这样的观点出发，服务器可以重点服务大部分用户关注的内容。 综上所述，网络缓存基于用户访问的不平衡性，服务于一定区域内用户集中 访问的内容。将未来可能访问到的数据预先放置到离用户较近的服务器上，用户 可以直接从缓存服务器上获取数据，而不必和远程服务器之间进行数据传输【l 】，从 而减少了骨干带宽上的数据重复，提高了网络性能。 2 1 2 p r o x yc a c h e 的实现形式 网络缓存有客户端、服务器端、代理缓存三种实现形式： 客户端缓存机制把经常访问的资源存储在客户机上提高访问效率，但缓存资 源大小有限，而且难以实现数据同步的及时性，是一种不大可靠的机制。服务器 端缓存是在服务器上划分缓存空间，存储用户经常访问的内容，用以提高系统响 应能力和吞吐量，但增加了服务器消耗【l 】。客户端和服务器端缓存来自于访问请 求的两端，对网络带宽占用没有起到根本的缓解作用。因此，这两种缓存结构不 电子科技人学硕士学位论文 适宜优化网络性能。 代理缓存是当前普遍应用的网络缓存机制，一般来说有以下几个过程： 1 、判断用户请求的内容是否已经缓存；如果命中缓存，则由缓存服务器直接 应答相应数据。 2 、否则，向外部源服务器进行数据请求。 3 、缓存外部服务器到达的数据，并转发给用户。 这种缓存机制大幅度减少了用户群之间重复数据传输数量，有效利用了网络 带宽和现有资源，极大提高了用户访问的及时性( 缩短了用户访问的距离) 。典 型的代理缓存有n e t s c a p e 公司的n e t s c a p ep r o x ys e r v e r 、c o l o r a d o 大学的h a r v e s t o b j e c tc a c h e 以及在h a e s t 基础上n l a n r 开发的s q u i d 【l 】缓存系统等。 2 1 3 p r o x yc a c h e 技术的发展 p r o x yc a c h e 系统随着网络应用的发展，而有了进一步增强。p 2 p 应用和多媒 体技术的成长，使文件下载与数据共享的需求不断增强。网络应用不再局限于传 统方式，而逐渐面向大型文件共享、实时视频音频数据传送。这使得p r o x yc a c h e 系统引入了许多新的特性： 1 、针对p 2 p 应用以及多媒体数据传输设计的缓存服务器，提高了缓存系统的 服务质量。同时有效控制了流量，合理利用了网络资源。服务采用多进程的方式 工作，不同于传统的单进程服务模式。 2 、引入缓存群组和相应控制模块，形成了有组织i 均p r o x yc a c h e 网络，便于全 局控制。缓存服务群组的实现使得数据流量限制在小范围的用户群内，不会造成 对骨干带宽的大量占用。 3 、通过p r o x y c a c h e 的路由请求模块智能控制策略，使得用户请求可以在缓存 服务器之中进行合理分配。分配的标准可以简单根据地域进行分流，实现了多域 分割用户范围的需求。同时，可以针对请求的热度和q o s 级别进行粗粒度的控制。 4 、随着p 2 p 技术的茁壮成长和缓存网络的功能逐渐增强，各个服务器之间可 以通过资源定位消息发展资源搜索能力，并能够通过多个缓存服务器之间的协作 关系增强数据共享。 c d n ( c o n t e n td e l i v e r y n e t w o r k ) 技术的引入，使缓存系统形成了规模化。c d n 的数据获取主要有两种形式：服务商主动分发( p u s h ) 和缓存热门资源( p u l l ) 。 p u l l 形式的c d n 具备普通c a c h e 数据的功能，实现数据本地存储，可以看作是 4 第二章p 2 pp r o x yc a c h e 背景技术 p r o x y c a c h e 发展的新阶段。c d n 技术将用户访问集中的资源汇聚到距离用户仅有 “一跳”的位置，提高缓存系统的系统性和用户访问的高效性【2 1 。另外，c d n 能 够有效对内部用户的访问内容进行监管和控制。国内外已有多个c d nc a c h e 系统实 例，例女 i c h i n a c a c h e 、北邮c a c h e 系统等。 2 2p 2 p 技术背景知识 2 2 1p 2 p 技术概述 过去几年中，p 2 p 技术( p e e r - t o p e e r ) 迅速成为计算机界关注的热门话题之一。 b i t t o r r r e n t 、e m u l e 、e d o n k e y 这样的文件共享软件在i n t e m e t 上迅速传播，用户数 量急剧增长；基于p 2 p 的即时通信和互联网电话发展迅速；对等多媒体服务的形 式正在兴起。2 0 0 4 年3 月来自w w w s l y c k t o m 的数据显示：p 2 p 软件的用户使用 数量分布从几十万、几百万到上千万并且急剧增加，给网络带宽带来巨大冲击。 i n t e l 将p 2 p 定义为“通过系统问的直接交换所达成的计算机资源与信息的共 享，【3 1 ，这些资源与服务包括信息交换、处理器时钟、缓存和磁盘空间等。i b m 则 给p 2 p 赋予更广阔的定义，把它看成是由若干互联协作的计算机构成的系统并具 备若干特性。 p 2 p 网络没有服务器和客户机的明显界限，和传统的c s 模式形成了强烈对 比。p 2 p 重叠网中，各个节点都和其他参与者共享自身的一部分资源。p 2 p 网络的 节点既是服务提供者，又同时不断从别的用户处获得数据。仅在资源定位时需要 特定节点的参与，数据传输时并不需要应用层中继节点的参与而直接通信。随着 p 2 p 网络的规模化发展，它表现出了结构松散、流量无序、网络资源消耗严重等缺 点。因此如何有序组织和管理整个网络的服务系统，针对不同p 2 p 应用进行网络 优化工作? 这是一个需要研究的方向。 2 2 2p 2 p 技术的特点 非中心化( d e c e n t r a l i z a t i o n ) 【4 】 服务器通常只充当资源搜索的中介，服务能力分布到参与网络的多个节点上。 可扩展性和健壮性 资源的分布式存储使得用户的加入和退出对网络服务影响很小。因此，p 2 p 网络始终能够满足用户的需求，其服务能力可认为是无限扩展的。同样原因，即 5 电子科技大学硕士学位论文 使网络部分节点遭到破坏，对服务几乎不构成重大影响。 高性价比 p 2 p 技术有效利用网络中各个用户的软硬件能力，从而等效产生了几乎无限的 服务能力，体现了价格低廉的优势。对服务提供者来说，只需要提供数据源服务， 却能够使整个网络用户受益。 安全性保护 p 2 p 网络的用户信息分布在各个节点中，信息的交互不需要经过某个集中服务 器。同时，用户在p 2 p 环境中的身份标识p e e r l d 是通过一致性h a s h 函数生成的， 其随机性使得通信双方隐私信息泄露的可能性大大降低。 全局负载均衡 p 2 p 网络环境下，网络节点同时充当了服务器和客户机的角色。用户数目越多， 网络的平衡性越明显，自动地形成了整个网络的全局负载平衡。 2 2 3p 2 p 技术的应用领域 文件资源共享服务【3 】【5 】 这些服务对实时性要求不高，数据量大、持续性较强是其显著特点，它成为 了当前p 2 p 的主要应用。比较著名的软件有n a p s t e r 、g n u t e l l a 、e d o n k e y 、e m u l e 、 b i t t o r r e n t 等。 点播、直播服务、多媒体数据共享 实时性强、数据量大、持续性较强、对网络质量要求较高，它是i p t v 的重要 实现形式之一。国内现有比较著名的p 2 p 视频点播和直播软件有p p l i v e 、p p s t r e a m 、 s o p c a s t 等，视频共享有y o u k u 、u u s e e 等。 即时通讯交流 即时通信工具的特点是对实时性要求较高，通信量不是主要的影响因素。主 要的工具包括i c q 、o i c q 、m s nm e s s e n g e r 等。 安全的p 2 p 通讯与信息共享 v o i p 技术在p 2 p 网络的支撑下，体现出高性价比的优势，而且能够防备单点 故障。现有服务有s k y p e 、c r o w d s 、o n i o nr o u t i n g 等。 挖掘p 2 p 对等计算和协同处理能力 利用空闲终端设备能力构建强大的计算网络，等价产生了如同大型服务器的 能力。例如s e t i h o m e 、a v a k i 、p o p u l a rp o w e r 等。利用客户端构建协作平台和 6 第二章p 2 pp r o x yc a c h e 背景技术 环境，用户在这个虚拟的空间中可以实时与小组成员进行交互与项目协作。例如 j x t a 、m a g i 、g r o o v e 、n e tm y s e r v i c e 等。 2 2 4p 2 p 网络的结构特点 p 2 p 用户之间直接进行资源共享，每个参与服务的用户同时也在提供服务。它 不同于传统c s 模式的访问控制和数据存放都是在服务器中完成。图2 1 说明了各 个p 2 p 节点通过应用层形成了一个网状结构： 飞 图2 - 1p 2 p 的应用层网状结构 p 2 p 技术的出现，使得网络节点的功能有了很大改变。参与p 2 p 网络的用户， 身兼服务器和客户机的双重角色。既能从别的节点处获得数据，同时能够将自身 的软硬件资源提供给其他用户使用。在分层p 2 p 应用中，还存在“超级”节点完 成索引数据的功能。 2 2 5p 2 p 路由技术的研究 根据路由组织方式，p 2 p 网络可分为结构化、非结构化方式。非结构化方式将 重叠网看做是完全的随机图，节点之间的链路没有确定的预定义关系，节点的加 入和退出没有遵循一定的结构准则。而结构化方式通常将节点搜索和资源查找通 过d h t ( d i s t r i b u t e dh a s ht a b l e ) 算法进行控制，具备确定性的准则。 非结构化方式 第一代p 2 p 网络采用中央控制网络体系结构。s h a w nf a n n i n g 的n a p s t e r 被视 为典型意义上p 2 p 应用的开始【4 j 。这种服务方式实际上并没有摆脱中心化的特点， 需要服务器端进行用户接入和身份认证，文件检索服务也在中心服务器完成。节 7 电子科技火学硕士学位论文 点之间通过检索信息得到获取数据的地址，从而完成数据传送。它弱化了服务器 和客户机的概念，但结构简单、存在单点故障，且可扩容性较差。 第二代全分散方式的p 2 p 网络不存在集中控制节点，每个节点处于完全对等 的地位。用户随机接入p 2 p 网络，通过邻居节点构成重叠网络结构。纯分布式p 2 p 网络中，任何节点都能够提供完整的目录和文件服务【4 】，扩展性和容错性较好。但 因资源查询通过邻居节点将广播向外扩散，这使得资源发现效率低，查询结果不 能完善地反映实际情况。 第三代非结构化p 2 p 网络综合了前两代网络的优点，引入了超级节点。如 k a z a a 将节点按能力区分为普通节点和搜索节点。搜索节点负责数据索引的功能， 存储了系统中其他部分结点的信息。资源查找消息仅在超级节点之间转发，超级 节点再将查询结果转发给用户【6 】。超级节点的存在提高了搜索效率，而且使普通节 点的行为受到控制，有效地消除了洪泛。 结构化方式 结构化p 2 p 重叠网的研究是现在比较新的课题。多数研究成果采用分布式哈 希表( d h t ) 提供完全分布式结构化拓扑网络。分布式哈希表实际上是一个由大 量结点共同维护的巨大哈希表，每个节点维护表中的部分内容。核心思想是通过 将对象的特征经过哈希运算得到键值，对象的分布存储依据键值来进行。通过内 容标识与节点标识的对应关系，能够迅速实现资源的精确查找。d h t 类寻址能够 自适应结点的动态变化，有着良好的可扩展性、抗攻击性和自组织能力。 当前主要研究项目和成果有： t a p e s t r y 【7 】是一种p 2 p 重叠网路由结构，它将高效的、可扩展的、与位置无关 的路由信息直接发送给临近的服务点。而且通过利用一种自愈性、软状态的路由 层，它的编程接口支持无中心化的目标定位和路由方式。 c a n 8 ( c o n t e n t a d d r e s s a b l en e t w o r k ) 是分布式的网络结构，在互联网规模的 网络上，c a n 可以实现h a s h 查找的功能。 c h o r d 【9 】支持这样的操作：假定存在一个键值，它是一个节点的映射。键值又 与数据的某项特性相关联，并将此键值数据项存储在键值对应( 最接近) 的节点 上。通过以上的方式，c h o r d 脏轻易实现数据定位。 p a s t r y 【l o 】在应用层进行选路和目标定位，这使其有潜力能通过互联网连接许多 节点，形成大规模的重叠网。它支持大量的p 2 p 应用，包括全局数据存储、数据共 享，以及群组通信、名字服务等。 由于采用映射关系，d h t 可以提供数据的精确查找。正因为这种映射关系， 第二章p 2 pp r o x yc a c h e 背景技术 d h t 类路由算法不能提供模糊匹配的能力。现有d h t 系统都较为适合小规模系 统，大型网络中拓扑修复也比非结构方式复杂得多，甚至c h o r d 项目中产生了绕 路的问题【4 1 。网络上比较大型的应用是k a d e m l i a 。它由p e t a rm a y m o u n k o v 等人提 出，k a d e m l i a 定义了网络结构，规划了网络节点之间的通信和具体信息交互过程。 2 3c a c h e 优化技术及思路分析 p 2 p 的迅速发展和