（计算机应用技术专业论文）基于对等网络的流媒体网络架构的研究.pdf

辽宁科技大学硕士论文摘要 摘要 近年来，i n t e m e t 上的流媒体应用得到了迅猛的发展，然而媒体的质量并不能 让人满意，传统的基于单播的传输方式很容易导致服务器端的性能瓶颈，并不能 有效的支持流媒体的大规模数据分发。而i p 组播技术因其自身固有的限制而难以部 署，为了提高i n t e m e t 上的流媒体的q o s ，研究人员将p 2 p 网络技术引入到了流媒体 中，产生t p g p s t w a m 啾术。 所谓p 2 p s t r e a m i n g 技术就是将p 2 p 技术和应用层组播技术、编码技术等流媒体 技术相融合应用到流媒体的分发中，从而提高流媒体的服务质量。 本文首先介绍了p 2 p 的三种网络：结构的p 2 p 网络，无结构的p 2 p 网络，以及结 构与非结构相结合的p 2 p 网络i sp 2 p 网络，并对i s _ p 2 p i t 目络进行了深入研究， 提出了索引对等体的选择算法和负载均衡策略；接着介绍了与流媒体相关的组播 技术和编码技术，并对当前典型的p 2 p s t r e a m i n g 模型进行了分析；然后提出一个新 的模型l i v es t r e a m i n g ，该模型主要适用于流媒体大规模的单源分发，它采用了p 2 p 技术、应用层组播技术和编码技术，提出一种先进的应用层组播树的形成规则和 维护规则。该组播树能够在高动态的网络中快速恢复，节点的失败对整个网络几 乎不会产生影响。它采用了当前比较先进的流媒体编码机制m d c 编码，为了 进一步提高流媒体的播放质量，根据该模型的应用领域特点对m d c 编码技术进行 了改进，提出了l i v em d c 编码机制；最后将该理论模型应用到实践中，采用j x t a 技术实现了一个基于l i v es t r e a m i n g 模型的网络电视台系统。 关键词：流媒体，应用层组播，对等网，组播树 辽宁科技大学硬士论文 a b s t r a c t l u t c n 孵ts t r e a m i n gm e d i aa p p l i c a t i o nh a sr a p i d l yd e v e l o p e ds i n c el a s tf e wy e a r s ， b u tt h eq u a l i t yo ft h a ti ss t i l ln o ts a t i s f i e d b a s e do nt h et r a d i t i o nu n i q u ec a s tt r a n s m i t m e t h o di sv e r ye a s yt oc a u s ep e r f o r m a n c eb o t t l e n e c ko fs e r v e r i tc a nn o te f f i c i e n t l y s u p p o r tm a s s i v ed a t ad i s t r i b u t i o no fs t r e a m i n gm e d i a a n di pm u l t i c a s tt e c h n o l o g yi s v e r yd i f f i c u l tt od e p l o yd u et oi t so w nl i m i t a t i o n f o ri m p r o v i n gq o so ns t r e a m i n g m e d i a , d e v e l o p e ri n v o k e sp 2 pn e t w o r kt e c h n o l o g yi n t os t r e a m i n gm e d i a , a n dw ec a l li t p 2 p s t r e a m i n gt e c h n i c a l s oc a l l e dp 2 p s t r e a m i n gt e c h n o l o g yi st h a ti tc o m b i n e st h ep 2 pt e c h n o l o g ya n d l a y e r m u l t i e a s tt e c h n o l o g y ，c o m p r e s s e d p f o g r a m m i n gt e c h n o l o g y e t c i n t ot h e d i s t r i b u t i o n o f s t r e a m i n g m e d i a t o i m p r o v e t h es e r v i c e q u a l i t yo f s t r e a m i n g m e d i a t h ed i s s e r t a t i o nf i r s ti n t r o d u c e st h r e et y p e so fp 2 pn e t w o r ks u c ha ss t r u c t u r e d p 2 pn e t w o r k , u n s t m c t u r c dp 2 pn e t w o r ka n ds t r u c t u r e da n du n s t r u c r l r c dm i x e dp 2 p n e t w o r k i s _ p 2 pn e t w o r k id 0af u r t h e rs t u d ya b o u ti sp 2 p ，a n db r i n gf o r w a r d i n d e x i n gp o e te h o o s i n ga l g o r i t h ma n do v e r l o a d b a l a n c es t r a t e g y t h e ni n t r o d u c e s s t r e a m i n gm e d i ar e l a t e dm u l t i c a s tt c c l l i l 0 i o g ya n dc o m p r e s s e dp r o g r a m m i n gt e c h n o l o g y ， a n da n a l y s e st h el a t e s tm o d e mt e c h n i c a lp 2 p s t r e a m i n gm o d u l e f i n a l l yb r i n g sf o r w a r d an e wm o d u l el i v e s t r e a m i n g t h i sm o d u l em a i n l ys u i t sf o rm a s s i v eu n i td i s t r i b u t i o n o fs t r e a m i n gm e d i a , i ta d o p t sp 2 pt e c h n o l o g y ，a p p l i c a t i o n l a y e r m u l t i e a s ta n d p r o g r a m m i n gt e c h n o l o g y a n db r i n g st h ef o r m i n ga n dm a i n t a i nr e g u l a t i o nf o r 姐 a d v a n c e da p p l i c a t i o nl a y e rm u l t i c a s tt r e e t h i sm u l t i c a s tt r e ec a nb er a p i d l yr e c o v e r yi n t h eh i g h l yd y n a m i cn e t w o r k ，a n dt h en o d e sf a i l u r ec a l ln o ta f f e c tt h ee n t i r en e t w o r k i t a d o p t st h el a t e s ts t r e a m i n gm e d i am e c h a n i s m - - m d c f o ri m p r o v i n gt h eq u a l i t yo f s t r e a m i n gm e d i a , i m p r o v m gt h em i x 3t e c h n o l o g ya c c o r d i n gt h ef e a t u r ei na p p l i c a t i o n f i e l do ft h i sm o d u l e ，i tb r i n g sl i v e m d cm e c h a n i s m a tl a s t , p u t sl i v e _ s t r e a m i n g m o d u l ei n t op r a c t i c e ，a n di m p l e m e n t san e t w o r kt vs t a t i o ns y s t e mb a s e do nj x t a k e y w o r d ：s t r e a m i n gm e d i a ，a p p h c a f i o nl a y e rm u l t i e a s t ，p e e r _ t o - p e e r ， m u l t i c a s tt r e e i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得鞍山科技大学或其它教育机构的学位或证书而使用过的材料，与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了谢意。 签名：垒五镯日期：出丑：! 关于论文使用授权的说明 本人完全了解鞍山科技大学有关保留、使用学位论文的规定， 即：学校有权保留送交论文的复印件，允许论文被查阅和借阅：学校 可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手 段保存论文。 ( 保密的论文在解密后应遵守此规定) l 鲻日期：出| 7 辽宁科技大学硕士论文 绪论 1 1 课题的提出 第1 章绪论 随着现代网络技术的发展，作为第四媒体的网络开始带给了人们更多形式的 信息模式。从在网络上出现第一张图片，到现在各种形式的网络视频、三维动画， 人们的视听觉感官在网络上得到了很大的满足。随着这些媒体形式所包含的信息 量越来越大，需要的存储量也不断增加。如果用传统的“下载播放”方式， 在欣赏精彩的多媒体内容之前，人们不得不去等待很长的下载时间。流媒体技术 把连续的影像和声音信息经过特殊的压缩方式分成一个个压缩包，由视音频服务 器向用户计算机连续、实时地传送。用户可以一边下载一边观看，而不需要等待 整个文件完全下载到本地计算机硬盘中。 微软、r e a l n e t w o r k s 和a p p l e 等主流的流媒体技术提供商提供的流媒体平台都 采用了c s 或b s 模式，所有的客户机都需要连接到流媒体服务器接收多媒体流。 由于服务器带宽和处理能力的限制，在进行诸如现场音乐会直播等有大量用户参 与的情况下，流媒体服务器会成为整个系统的瓶颈。如果流媒体服务器发生故障， 流媒体服务就会停止，流媒体服务器成为系统的单一失败点。 目前的i n t e m e t 中流媒体应用的q o s 并不能让人满意，因为i n t e r n e t 的原始设计 主要是为满足端对端系统的需求，传统的基于单播的传输方式很容易导致服务器 端的性能瓶颈，并不能有效地支持流媒体的大规模数据分发。 新近兴起的p 2 p 应用模式部分地或全部地抛弃了服务器的使用。在p 2 p 的世界 里，每个对等点的地位都是一样的，既接受其它对等点的服务，又可以为其它对 等点提供服务。p 2 p 网络中，应用崩溃的风险分散到了每个对等点上，整个系统中 没有单一的失败点。将p 2 p 技术与流媒体技术有机结合，有助于二者的应用与推广。 如何把p 2 p 技术应用到流媒体服务中是当前业界研究的热点问题。 本课题探讨了基于p 2 p 网络应用模式的流媒体系统设计和实现问题。 1 2p 2 p s t r e 硼i n g 概述 基于单播的c s 架构的模型并不适合流媒体大规模数据的分发，而i p 组播技术 辽宁科技大学硬士论文 也存在很多固有的限制而难以部署，为了提高i n t e r a c t 上流媒体应用的q o s ， p 2 p s t r c a m i n g 技术被提了出来，它把组播的功麓从网络层移到应用层，把p 2 p 技术 应用到流媒体，每个流媒体用户就是p 2 p 网络中的一个节点。在目前的流媒体系统 中用户之间是没有任何联系的，但是采用p 2 p 技术后，用户可以根据他们的网络状 态和设备能力与一个或几个用户建立连接来分享数据，这种连接在减少服务器的 负担的同时提高每个用户的视频质量。p 2 p 技术在流媒体应用中特别适用于一些热 门事件“1 ，即使是大量的用户同时访问流媒体服务器，也不会造成服务器因负载过 重而瘫痪。此外，对于多人的多媒体实时通信，p 2 p 技术也会对网络状况和视频质 量带来很大改进。p 2 p 技术如果与可扩展性视频编码技术结合将能极大地提高每个 用户所接收的视频质量。由于可扩展性码流的可加性，媒体数据不用全部传输给 每个用户，而是把它们分散传输给每个用户，再通过用户间的连接，每个用户就 可以得到合在一起的媒体数据。郎使每个用户与服务器的连接带宽是有限的，应 用p 2 p 技术，每个用户依然可以通过流媒体系统享受高质量的多媒体服务。 目前 p 2 p s t r e a m i n g 模型主要可以分为两大类：基于树状拓扑协议及扩展的模型 ( t r e e b a s e dp r o t o c o l a n de x t e n s i o n s ) 和基于g o s s i p 协议的模型( g o s s i p - b a s e d p r o t o c 0 1 ) 。在本文的第五章将对现有的p 2 p s t r e a m i n g 模型作详细的介绍。 1 3 课题的现状 流媒体简单来说就是应用流技术在网络上传输的多媒体文件，而流技术就是 把连续的影像和声音信息经过压缩处理后放到网站服务器，让用户一边下载一边 观看、收听的工作方式。随着网络宽带化的趋势，人们不再满足于信息高速公路 中仅有文本，图像或声音这一类简单的信息，而越来越希望更直观，更丰富的新 一代信息的表现形式，流媒体技术由此应运而生。以前，多媒体文件需要从服务 器上下载后才能播放，由于多媒体文件一般都比较大，下载整个文件往往需要很 长的时间，限制了人们在互联网上使用多媒体数据进行交流。流媒体应用的一个 最大的好处是用户不需要花费很长时间将多媒体数据全部下载到本地后才能播 放，而仅需将起始凡秒的数据先下载到本地的缓冲区中就可以开始播放。作为多 媒体和网络研究领域的交义学科，流媒体技术的应用和研究在近几年得到了迅速 发展。 在国外对p 2 p s 仃e 哪l g 架构有很多研究，并且一些公司己经开始了把p 2 p 应用 模式引入到流媒体系统中，开发t 基于 p 2 p s t r e a m i n g 架构的企业级应用系统。基于 应用层的多媒体组播的研究工作主要集中在多媒体数据服务器的最大效率的发送 辽宁科技大学硬士论文 机制以及系统的稳定性、高效性、可靠性、高可用性等方面。例如，美国的d a r p a ( d e p a r t m e n t o f a d v a n c e d r e s e a r c h p r o j e c t a g e n c y ) 资助了几个研究项目，专门致 力于应用层组播通用模型，其中比较典型的有加州大学b e r k e l e y 分校的b a y u e x 研究 项目和卡耐基梅隆大学的e n ds y s t e mm u l f i e a s t 系统。 相对于国外来说，国内p 2 p 发展要滞后许多，基本处于以文件共享和即时通讯 为主的阶段，现有的应用系统大多与n a p 删g n u i e i l a 相类似，主要应用于娱乐领 域，如：k u r o 、b t 下载软件等。但是，近年来对国p 2 p s t r e a m i n g l j 6 9 的研究逐步 兴起，吸引了众多的研究机构和研究人员从事这项工作，具有代表性的是清华大 学g r i d m c d i a 的和浙江大学的c o o p s t r e a m i n g 。 1 4 课题的目标 通过研究已有或者研究中的p 2 p 流媒体模型，结合目前的p 2 p 网络和流媒体 的关键性技术，提出一种基于对等网络的流媒体网络架构，并利用现在的编程技 术对其进行实现，最终实现一个能满足一定要求的p 2 p 流媒体系统。 本文正是试图把p 2 p 应用模式引入到流媒体系统中的研究，提出基于 p 2 p s t r e a m i n g 的架构l i v es t r e a m i n g ，构建了基于l i v es t r e a m i n g 的网络电视 台系统，并使用j x t a 技术对其进行了实现。在这种直播系统中，一个对等点可 以在接收、播放视频流的同时，复制并转发视频流给其他的对等点，同时担当播 放器和服务器的角色。这样，媒体服务器的连接数大大减少，减轻了媒体服务器 的负担；在现有的网络带宽下，可同时欣赏直播节目的用户数也大大增加了，增 加了媒体源的提供者，有效地避免了“热点现象”的发生。 1 5 本文组织结构 本文首先介绍t p 2 s t r e a m i n g 所涉及到的技术_ p 2 p 网络、应用层组播和编码 机制；然后详细分析了几种现有典型的p 2 p s t r e a m i n g 模型：接着提出一个 p 2 p s t r e a m i n g 模型i j v 屯s t r e a m i n g ；最后使用j x t a 对其进行了实现。 本文剩下的部分是这样组织的： 第2 章概要地介绍了对等网络，根据资源组织与定位方法的不同可分为无结 构p 2 p 网络和有结构p 2 p 网络。本章还介绍了一种拥有无结构和有结构的p 2 p 网络特 点的网络模型i sp 2 p ，并在此架构上设计了索引对等体的选择算法，提出一 个负载均衡策略。 辽宁科技大学硕士论文 第3 章介绍了组播技术。组播通信分为基于网络层的组播和基于应用层的组 播两大类，本文着重介绍了基于应用层组播。 第4 章分析了当前的四种编码机制的原理，总结了各自的特点和j = 1 i 足之处。 第5 章介绍并分析了当前的几种典型的p 2 p s t r e a m i n g 技术模型。 第6 章提出了一种p 2 p s t r e a m i n g 模型l i v e - s t r e a l i g 。该模型集p 2 p 技术， 应用层组播和编码技术于一身，具有很好的性能。组播树构造遵循z i g z a g 中介绍 的组播树构造方法。编码机制采用l i v e _ m d c 编码，它是对m d c 编码的改进。介绍 了t a 平台，并在该平台上实现了一个基于l i v c _ s 删n g 架构的网络电视台系统 第7 章总结全文。 4 辽宁科技大学硕士论文 对等网络 2 1 概述 第2 章对等网络 p 2 p 是英文p e e r - t o p e e r 的缩写，称为对等网技术“1 。p 2 p 是一种网络模型，在这 种网络中所有的节点是对等的，称为对等点，各节点具有相同的责任与能力并协 同完成任务。对等点之间通过直接互连共享信息资源、处理器资源、存储资源甚 至高速缓存资源等，无需依赖集中式服务器或资源就可完成。这种模式与当今广 泛使用的客户端服务器( c s ) 的网络模式形成鲜明对比，c s 模式中服务器是网 络的控制核心，而p 2 p 模式的节点则具有很高的自治性和随意性。随着像n a p s t e r ， g n u t e l l a 这种信息共享应用程序变得越来越流行，p 2 p 技术受到人们的广泛关注。 近年来，对等网络由于其诸多优越特性，被应用于众多领域。b e r k e l e y 开发的 o c e a n s t o r e 系统率先提出建立基于对等网络的海量存储服务；著名的大文件分发系 统b i t t o r r e n t 所实现的广域网上高速合作式文件下载，是其他体系结构的文件共享 系统难以完成的；b e e h i v e 实现了大规模分布式合作缓存，在该系统中，节点问相 互合作，根据文件的流行程度进行缓存，从而大大提高了系统效率；网络电话系 统s k y p e 实现了基于对等网络的高质量i p 电话；大规模视频广播系统s p l i t s t r e a m 其 可靠性和可扩展性都是其他架构的系统所无法比拟的。虽然对于“p 2 p 系统”这一 概念尚未形成统一的权威定义，但从已有的p 2 p 系统来看，至少以下两点是所有p 2 p 系统共有的核心特点： 1 、从用户的使用方式来看，系统中每个用户既向其他用户提供资源，也从其 他用户那里获取资源。换言之，每个结点既是服务器也是客户端。这里所说的“资 源”可以是一份文件、一块存储空阃、一定量的带宽，也可以是一段时间内保证 质量的c p u 使用权限。总之。p 2 p 系统的精神是参与系统的所有结点互相合作、互 利互惠。这与传统的一方提供服务一方享受服务的c s 结构有着本质的不同。 2 、从体系结构来看，系统采用无中心结构，没有中心结点负责一致性控制、 任务调度、决策仲裁等工作，而是通过参与系统的结点之间充分合作以完成用户 提交的任务。事实上，很多p 2 p 系统的规模都非常大，往往有上百万结点同时参与。 在这种情况下，也很难有结点能够有能力进行中心控制和全局管理。 除了以上两点之外，很多p 2 p 系统还具有结点数量太、动态性高、异构性强、 辽宁科技大学硬士论文对等网络 分布广泛、结点之间不互信等特点，这些都是传统的在集群或者局域网范围内实 现的分布式系统所不曾面临的问题，也很大程度上增加了p 2 p 系统设计与实现的难 度。 实际上，p 2 p 模式中也并不一定是完全无中心的。它可以分为纯p 2 p 系统( p u r e p 2 ps y s t e m ) 和混合p 2 p 系统( h y b r i dp 2 ps y s t e m ) ”1 。 ( 1 ) 纯p 2 p 系统：没有服务器的概念，所有的参与者都是对等的，存储、交换、搜 索都是在对等者上完成的。g n u t e l l a 系统就近似于纯p 2 p 系统。纯p 2 p 系统克服 了c s 模式服务器单点失效和瓶颈等问题，但一个节点的搜索请求要经过整个 网络或者至少是一个很大的范围才能得到结果，占用很多带宽，而且可能需要 花费很长时间才能有返回结果。其信息交换模式如图2 1 所示。 皿对等体 q查询 r 回符 d下载 图2 1 纯p 2 p 系统信息交换模式 ( 2 ) 混合p 2 p 系统：将分布式系统与集中式系统相结合，由位于网络中的服务器搜 集相关信息，作为索引节点，负责记录共享信息以及回答对这些信息的查询， 而共享资源则分布在各个节点上。对等点首先向服务器发出请求，获得相关对 等体的地址信息，之后信息交换仍发生在两个对等节点之问。1 。n a p s t e r 系统就 是这类系统的代表之一。这类系统中，要求服务器必须能够处理大量的用户连 接，拥有足够的内存和磁盘空间来维护和搜索文件列表，并连续运行。其信息 交换模式如图2 2 所示。 皿对等体 皿服务器 q鹰询 r 回答 d f 载 图2 2 混合p 2 p 系统信息交换模式 p 2 p 网络根据资源组织与定位方法的不同可分为无结构p 2 p 网络和有结构 6 辽宁科技大学硕士论文对等两络 p 2 p 网络。 2 2 无结构的p 2 p 网络 所有的p 2 p 网络有一个共同点，那就是实际的数据传输是在资源请求者和接收 者间直接进行的。但p 2 p 网络控制层面的实现有不同的方式，据此，非结构化p 2 p 网络可以归结为如下三种结构：集中协调式结构、完全分布式结构和混合式结构【卯。 ( 1 ) 集中协调式p 2 p 集中协调式p 2 p 结构是最早出现的p 2 p 应用模式，因为仍然具有中心化的特点 也被称为非纯粹的p 2 p 结构。在这种结构中，使用专门的中央索引节点，这些节点 保留了在p 2 p 系统中可得到的活动节点信息和其上的共享资源的目录信息。当一个 节点加入p 2 p 系统时，该节点就发送一份其上存储的所有文件的名单给中央索引节 点，中央索引节点将保存每个用户加入系统时提供的文件列表名单并进行动态更 新。当请求一个文件时，用户要查询中央索引节点。当中央索引节点收到查询请 求时，就在它保存的索引文件列表中判别是否含有感兴趣内容的节点，如果有的 话，就将这些节点的i p 地址名单返回给用户。同时，中央索引节点会查找与查询 匹配最佳的对等节点( 最佳对等者可能是速度最快的、代价最低的、用户最容易得 到的对等者，最佳是由用户的需求来决定的) 。之后，用户与最佳对等者之间直接 传送文件，而不再通过中央索引节点。集中协调式p 2 p 如图2 3 所示。目前的典型 代表是n a p s t e r 系统。这种网络结构非常简单，但是它显示t p 2 p 系统信息量巨大的 优势和吸引力，同时也揭示了p 2 p 系统本质上所不可避免的两个问题：法律版权和 资源浪费的问题。 卫对等体 卫服务器 o 查询 r 回答 d下载 图2 3 集中协凋式p 2 p ( 2 ) 完全分布式p 2 p 完全分布式p 2 p n 络根本不设置中央服务器，查询以泛洪方式在网络中传播， 辽宁科技大学硕士论文 对等罔络 收到查询消息的节点先查找本地文件，然后把结果发回给查询节点。这种网络结 构在基于泛洪的查询过程中会产生很多查询消息。它取消了集中的中央服务器， 每个用户随机接入网络，并与自己相邻的一组邻居节点通过端到端连接构成一个 逻辑覆盖的网络。完全分布式p 2 p 如图2 4 所示。它的代表系统为g n u t e l l a 。它解决 了网络结构中心化的问题，扩展性和容错性较好，但是g n u t e l l a 网络中的搜索算法 以泛洪的方式进行，控制信息的泛滥消耗了大量带宽并很快造成网络拥塞甚至网 络的不稳定。同时，局部性能较差的节点可能会导致g n u t e l l a 网络被分片，从而导 致整个网络的可用性较差，另外这类系统更容易收到垃圾信息，甚至是病毒的恶 意攻击。这种搜索机制的优点是简单强健，缺点是不适用于大规模系统，因为每 产生一个查询，就会由于消息在网络中泛滥而导致了大量的网络带宽损耗，而且 不容易度量。r i t t e r 分析了c m u t e l l a 搜索协议之后得出；在一个拓扑为树型、分支 为8 、r r l 为8 的g n u t e l l a 系统中，为了控索一个1 8 b 的字符串可能仅仅进行文件定 位会产生1 2 g b 的网络流量。但在一个小型网络中，如公司的内部网络中，这种机 制还是可取的。 对等体 查询 回答 下载 圈2 4 完全分布式p 2 p ( 3 ) 混合式p 2 p 在p 2 p 网络的实现上，混合式结构是最新研究的结构，该结构的目标是实现以 上两种结构的优点。通过引入超级对等体，混合结构既有集中协调式结构的特点， 又有完全分布式的特点。超级对等体成为与其相邻对等体的服务器，就像集中协 调式结构一样，超级节点完成这些对等体的查询工作。超级节点通过完全分布式 结构连接起来。混合式结构在控制层面引入了两层，一层是普通对等体通过客户 机服务器模式连接到超级对等体，另一层是这些超级节点通过完全分布式无结构 网络连接到一起。混合式p 2 p 如图2 5 所示。k a z a a 模型是p 2 p 混合模型的典型代表， 它在纯p 2 p 分布式模型基础上引入了超级节点的概念，综合了集中式p 2 p 快速查找 和纯p 2 p 去中心化的优势。k a z a a 模型将节点按能力不同( 计算能力、内存大小、连 接带宽、网络滞留时间等) 区分为普通节点和搜索节点两类( 也有的进一步分为三 类节点，其思想本质相同) 。其中搜索节点与其临近的若干普通节点之间构成一个 8 辽宁科技大学硕士论文 对等网络 自治的簇，簇内采用基于集中目录式的p 2 p 模式，而整个p 2 p 网络中各个不同的簇 之间再通过纯p 2 p 的模式将搜索节点相连起来，甚至也可以在各个搜索节点之间再 次选取性能最优的节点，或者另外引入一新的性能最优的节点作为索引节点来保 存整个网络中可以利用的搜索节点信息，并且负责维护整个网络的结构。由于普 通节点的文件搜索先在本地所属的簇内进行，只有查询结果不充分的时候，再通 过搜索节点之间进行有限的泛洪。这样就极为有效地消除纯p 2 p 结构中使用泛洪算 法带来的网络拥塞、搜索迟缓等不利影响。同时，由于每个簇中的搜索节点监控 所有普通节点的行为，这也能确保一些恶意的攻击行为能在网络局部得到控制， 并且超级节点的存在也能在一定程度上提高整个网络的负载平衡。 图2 5 混合式p 2 p 总的来说，基于超级节点的混合式p 2 p 网络结构比以往有较大程度的改进。然 而，由于超级节点本身的脆弱性也可能导致其簇内的结点处于孤立状态，因此这 种局部索引的方法仍然存在一定的局限性。这导致了结构化的p 2 p 网络模型的出 现。 2 3 有结构的p 2 p 网络 结构化p 2 p 网络使用文档路由模型，这是p 2 p 网络最新的搜索方法。文件路 由模型需要用分布式哈希表，这是有结构p 2 p 网络采用的搜索方法，这也是有结 构和无结构p 2 p 网络的根本区别。在这种模型下，每个对等体都有一个l d 号，每 个文件有一个关键字k e y ，当宣告一个关键字为k l 的文件时，先通过哈希映射得 到对应的k 。一i d l ，然后将该文件信息( 可以是文件本身的内容，或者是文件的位 置) 存到i d 号为i d l 的节点，文件信息的存放过程需要将文件信息从当前节点路 由到目标节点i d l 。反过来，当查找一个关键字为k 。的文件信息时，先进行哈希 映射得到k ，一i d l ，然后将查找消息路由到i d i 节点，再将该文件信息从i d 号为 9 辽宁科技大学硕士论文 对等网络 i d f 的节点上取到。 有结构的网络对拓扑结构有很严格的控制。基于d h t ，数据存放的位置和查 询算法都有很精确的定义或描述。即使系统的状态在连续变化，某一数据项所在 节点的位置也总是可以被找到的叫。由于它们潜在的高效性、鲁棒性、可扩展性和 数据位置的确定性，近年来人们对有结构的网络进行了一些深入的研究。其中具 有代表性的d h t 包括c a n ，c h o r d ，p a s t r y ，t a p e s t r y 和k a d c m l i a 。 2 4 有结构与无结构结合的p 2 p 罔络 2 4 1l s - - p 2 p 髓络的结构 i s p 2 p 网络结合有结构p 2 p 网络和无结构p 2 p 网络的特点，形成新的两层混合 结构。它利用p 2 p 网络中节点的性能差异，具有高效的查找性能。上层由比较稳定 的索引节点组成有结构索引网络，使用文档路由搜索机制，提供资源的发布和查 找功能。下层由普通节点组成分布式网络，该网络中的节点可以任意地和上层网 络中的节点建立邻居关系，从而能够适应p 2 p 网络的高度动态性。i s p 2 p 网络结构 如图2 6 所示。 圈2 6i s - p 2 p 网络结构 索引网络：上层由索引对等体组成的网络称作索引网络。它本身是个完接的有 结构p 2 p 网络，为下层提供索引服务。每个索引节点有一个i d 号，发布消息和 套询消息可以从任意的节点i d o 路由到目标节点i d l ，而不是盲目泛洪寻找目 标。索引网络中索引节点的加入和离丌都会影响索引网络的结构，需要对索引 网络作适当的修复操作，这就要求索引对等体是高可靠的，且变动少的节点。 能否有效的判断并选择出这样的节点将严重影响该p 2 p 网络的性能。 辽宁科技大学硕士论文 对等网络 x p ( i n d e x i n gp e e r ) ：索引对等体，由p 2 p 网络上可靠性高，在线时问长，变动少 的节点组成。所有的x p 形成有结构p 2 p 网络，对网络上的资源进行索引。由于 x p 组成的是有结构网络，所以x p 在加入建立邻居关系时需要遵循有结构p 2 p 网络的规则。x p 也不能随意离开，离开时要进行修复操作。也正因为在离开 时要修复，所以x p 要选择由在线时问长，变动少的节点组成。如何在动态地 网络中选择出符合要求的对等体将在2 2 4 节给出算法。 c p ( c o m m o np e e r ) ：普通对等体，可以是任意的网络节点，对普通对等体没 有任何要求。c p 可以和一个或多个) 【l 琏接建立邻居关系。c p 和哪些x p 建立邻 居关系是任意的。这种结构就使得i s p 2 p 网络上的绝大部分节点可以任意地加 入和离开，不需要进行网络的修复工作，从而能够更好地适应网络的动态性。 当某个普通节点c p 需要查找关键字为k e y 的资源时，就把查询消息发送给上层 索引网络，索引网络返回结果得到资源的位置l o c a t i o n ( k e y ) ，c p 然后在 l o c a t i o n ( k e y ) 位置上得到需要的资源，资源直接从l o c a t i o n ( k e y ) 位置的对 等体传输给该c p 。 i s p 2 p 结构有点像混合式无结构p 2 p 网络口1 ，但是它们在资源的索引方式上有 根本的不同。在混合式的无结构p 2 p 网络中，超级节点索引与之直接相邻的节点的 资源，在i s p 2 p 网络中，x p 并不是直接索引与之相邻的c p 的资源，而是通过分布 式哈希表索引与之相关的资源。在i s p 2 p 网络中包括下面三个主要的操作： 资源发布p u b l i s h ( k e y ，l o c a t i o n p ( k e y ，c p ) ) ； 资源查找s e a r c h ( k e y ，c p ) ，返回资源所在的位置； 资源取消w i t h d r a w ( k e y ，l o c a t i o n ( k e y ，c p ) ) ，其中，k e y 是某个资源的 关键字，l o c a t i o n ( k e y ，c p ) 是该资源k e y 在当前对等体c p 上存放的位置，通 常是对等体的i p 地址。 2 4 2x p 选择算法 p 2 p 网络上大部分节点在线时间非常短，带宽很小，也有一小部分节点在线时 间很长，有很大的存储能力和较多的带宽资源。i s - p 2 p 正是根据这种节点的异质 性将它们赋予不同的角色，分别担当x p 和c p 。但是在文献中并未给出x p 角色 的选择算法，如果采用自愿方法，由加入对等体自己决定参与的角色，由于欺骗 的存在就很难保证i s - p 2 p 网络的性能。 辽宁科技大学硕士论文 对等网络 2 4 2 t 申谓 审批模型 每个节点在本地维护一个日志列表，用来记录每次加入、退出i s - p 2 p 网络的 时间：部署一个本地性能获取模块，提供自身的性能参数，如网络带宽，c p u 的 性能以及其他资源情况。索引节点x p 还需要维护一个审查监控列表，记录提出申 请的节点的在线信息。设定i s p 2 p 网络中索引对等体x p 的两个选择闺值分别为 t d 。i n 和。 l 、申请的自动提出 对等体在加入i s - p 2 p 网络时，自动根据自己的日志列表计算自己的在线状况 的量化评估o l ，并调用自己的性能获取服务，得到个量化的性能评估值 。 设定个评估值比重参数口，那么自身评估值e v 如下： e = p o l , + ( 1 一卢只，0 1 对于c p ： 若e 虬 则自动提出索引对等体资格申请 对于x p ： 若e 贬k 。 则自动提出辞掉索引对等体资格申请 2 、审查监控 这里的审查监控由较稳定的索引对等体完成，索引对等体会对网络中提出申 请的对等体在提出申请后的一段时间内进行监控审查，记录其在线信息。根据大 多数或全部的索引对等体的监控信息对提出申请的对等体进行审核，给出审核结 果，根据该结果决定加入节点的身份。 由于一个对等体的行为具有一定的时间性，近期的行为体现着对等体现在和 将来的信息走向，对当前评估更有意义，所以在以上两个阶段的评估计算过程中 都可以引入时间依赖函数粥，通过设置时间因子来调接权值，从而能更好的反映现 实情况，进行更准确的评估。 2 4 2 2 基于申请审批模型的角色分配 首先指定一个x p 个数的期望值m ，当i s - p 2 p 网络中的索引对等体的个数 m m 时，就可以通过增大索引对等体x p 的选择阈值t d 。减小1 1 ) m i n 来减少网 1 2 辽宁科技大学硬士论文对等网鳍 绍中索引节点的个数；当i s p 2 p 网络中的索引对等体个数mtm 时，就可以通过 增大索引对等体x p 的选择阈值t d 。减小t d 。来增加索引节点数目。这样的 机制动态地调整了i s p 2 p 网络中的索引节点的规模。通过调按审查监控时问可以 调整索引网络的动态变化幅度。整个角色的分配过程的活动框图如图2 7 所示。 “帕。篙”i ：| 0 蠢h 唾目富矗、 一j 一一 t x p 一0 z 礓 r 一：。 ， 焉蜒i 告赠一。鞠；目晤 。 2 4 3 负载均衡策略 图2 7 角色分配过程的活动框图 负载均衡对于提高p 2 p 架构服务的可靠性和可用性是十分关键的”1 。文献中提 到了代价平衡分布，但是仅考虑了由于连入普通节点数目的增加而引起的热点索 引节点问题，提出一种简单的处理方法，当索引节点x p 。的普通节点比x p 。的普通 节点多时，可以将x p 。的一部分节点转移到x p 。这种普通节点的“转移操作”可 以在任何相邻的索引节点间进行，这不会破坏上层索引网络的结构。 由于热点节目或新闻的关键字可能存储于一个索引节点x p o 上，那么该节点 将处理所有的对该关键字的查找请求，并返回结果集。随着请求者的增多，该节 点将超载，并没有有效利用p 2 p 网络的资源。假定一个阈值缸规定关键字的h a s h 映射值的个数 2 。当第2 + 1 个含有该关键字的资源被发布到x p o 时，x p o 就将 其转发给其他的索引对等体x p i ，这样有效的减轻了x p o 负载，从而在索引对等体 上达到了负载均衡，提高了p 2 p 网络的资源利用率。 同样若有多个对同一关键字资源的请求被转发到同一索引节点x p 上，该x p 辽宁科技大学硕士论文 对等网络 返回给请求节点的结果集是相同的，这样就可能导致多个c p 向同一个c p o 请求连 接以获得相同的服务，这样将导致被连接的c p o 过载，而无法提供服务。然而这 种因c p 过载，而无法提供服务将可能对某个节点造成该服务已经不存在的假象， 从而错误地删除该服务。为了能够平衡c p 负载，c p 在获得的结果列表中利用随 机函数选取c p ，这样降低了多数请求连向同一c p 的可能性，并约定获得某个资 源的对等体在接受服务后就拥有了该资源的复制，自动发布该资源。除非该对等 体不具备发布服务的能力。这样使得同一个资源有了多个复制品的存在，增加了 资源提供者，体现p 2 p 网络的优点的同时能够有效避免“热点现象”的发生。 2 5 本章小结 无论采用客户机服务器模型( c s ) ，还是采用客户浏览器模型( b s ) ，其差 异主要是对业务划分的不同配置。系统或多或少都要受到服务器的限制，服务器 成了系统运行和安全的瓶颈。c s 和b s 这两种结构都是一个以站点为中心的物理 网络，同时由于n a t 、d h c p 和防火墙的存在限制了不同物理网络之问的通信。 而p 2 p 网络是建立在现有网络之上的更强调功能应用的逻辑网络，以反集中和实 现多个节点的并行工作为主要特点，强调节点的自由工作9 1 。 本章概要地介绍了p 2 p 技术，p 2 p 模式中也并不一定是完全无中心的。它可 以分为纯p 2 p 系统和混合p 2 p 系统。p 2 p 网络根据资源组织与定位方法的不同可 分为无结构p 2 p 网络和有结构p 2 p 网络。无结构p 2 p 网络是基于泛洪搜索，在定 位资源时需要泛洪查询消息，产生很多查询通信量，搜索较慢而且消耗大量的资 源，扩展性较差。结构化p 2 p 网络是基于分布式哈希表的，在进行资源定位时， 消息所经过的路径具有较少的跳数，搜索速度快，产生的查询消息少，资源消耗 少。但是有结构网络中的对等体在加入和离开网络时需要进行修复操作，产生大 量的消息，因此有结构的网络不适合高度动态的网络环境。有效的结合结构化和 非结构化p 2 p 网络的特点，引出了一个两层的网络i sp 2 p ，上层是由结构的 索引网络，下层是可自由加入的无结构的网络。该结构具有如下特点：对节点的 能力作了有效的区分，赋予不同的角色，有效地利用了各节点的资源；资源在多 处复制，增加了资源提供者：继承了结构化p 2 p 网络的优点，资源查找效率高； 采用了负载均衡策略，使得网络代价平衡分布；有效的避免了“热点现象”的发 生：消除了单点失败的问题；适应高度动态的网络环境。 1 4 辽宁科技大学硕士论文组播 第3 章组播 由于目前的多媒体业务( 如计算机会议系统、远程学习系统、远程会议系统) 多为实时交互应用，即使采用了很好的压缩技术，传输多媒体数