（机械电子工程专业论文）基于p2p的流媒体系统研究与实现.pdf

基于p 2 p 的流媒体系统研究与实现 基于p 2 p 的流媒体系统研究与实现 摘要 随着网络技术的的日益发展，人们的生活中越来越离不开 i n t e r n e t ，全球的电信运营商也将目光集中在宽带网上的各类增值业 务。其中，基于流媒体技术的i p t v 服务有着广阔的应用前景。传统 的i p t v 服务采用的是客户机服务器( c s ) 结构，随着用户数量的 增加，服务器的负载越来越重，而服务器本身的处理能力和带宽有限， 因此容易造成“单点实效 ，系统的可扩展性差。p 2 p 技术不同于以 服务器为中心的c s 传输模式，其采用的是对等网络模式：网络中的 节点即可以获取其他节点的资源，又充当服务器为其他节点提供资 源。这种模式将服务由中心推向了边缘，充分利用网络中各节点的资 源，极大减轻了系统服务器的负载，这些特点都极大促进了基于p 2 p 的流媒体系统特别是i p t v 的应用和发展。 本文首先介绍了p 2 p 三代网络体系结构，技术特点及流媒体相关 方面知识。其次，重点分析了b i t t o r r e n t 系统组成及其协议，并根 据流媒体传输的特点，对b i t t o r r e n t 的部分算法进行改进。最后结 合b i t t o r r e n t 协议，将传统的i p t v 系统中的内容分发网络( c d n ) 模 式和p 2 p 进行有效融合，设计了一种适合部署和运营的p 2 p 结构的 i p t v 系统，有效解决了原i p t v 系统的扩展性差、资源利用率低和系 统吞吐性能不高等问题。同时，为实现系统的跨平台运行以及往机顶 盒上移植，系统使用跨平台的a c e 网络库编写，可以支持l i n u x 、 w i n d o w s 、s o l a r i s 等系统。 关键词：b t ：流媒体；i p t v ：p 2 p ：直播 北京邮电大学硕士学位论文 基于p 2 p 的流媒体系统研究与实现 r e s e a r c ha n di m p l e m e n t a t i o no f s t r e a m i n gm e d i as y s t e mb a s eo np 2 p a b s t r a c t w i t ht h ed e v e l o p m e n to fn e t w o r k , i n t e r n e tb e c o m eo n ep a r to fo u r l i r eg r a d u a l l y m o r ea n dm o r et e l e c o ms e r v i c ep r o v i d e r sa r o u n dt h e w o r l dp a ya t t e n t i o nt o 也ev a l u e a d d e ds e r v i c e e s p e c i a l l yt h es e r v i c eo f i p t vw h i c hb a s eo ns t r e a m i n gh a sab r i g h t e rf u t u r e i nt h ep a s t t h e s e r v i c eo fi p t 、厂a d o p tt h es t a n d a r ds t r u c t u r eo fc s ( c l i e n t s e r v e r ) t h e s t r u c t u r eo fc sh a saf a t a l l i m i t a t i o nt h a tl i k e l yt og e to v e r l o a d e da n dh a s as i n g l ep o i n to fe f f e c t i v e n e s sw h i c ha f f e c t e db yt h el i m i t a t i v ep r o c e s s i n g c a p a b i l i t yo fs e r v e r a n dt h eb a n d w i d t h t h es t r u c t u r eo fp e e r - t o - p e e r c h a n g e st h em o d eo fs e r v e r - c e n t r i ca n dm a k e se v e r yp e e re q u i v a l e n ti n t h en e t w o r k e v e r yp e e ro f f e r ss e r v i c ef o ro t h e rp e e r sa tt h es a m et i m e e n j o y st h es e r v i c e sp r o v i d e db yo t h e rp e e r s s oi p t vb a s e do np 2 ps o l v e t h e p r o b l e m o ft r a d i t i o n a li p t vs e r v i c e ，a n d g r e a t l y b o o s t st h e a p p l i c a t i o na n dd e v e l o p m e n to f i p t v t h i sp a p e rr e c o m m e n d st h ea n c i e n t l ys t r u c t u r ea n dt e c h n i cc h a r a c t e r o fp 2 pa n dt h ek n o w l e d g eo fs t r e a m i n gf i r s t l y t h e nf o c u so nt h es y s t e m c o m p o s i t i o n a n dt h e p r o t o c o l o fb i t t o r r e n t t h e n i m p r o v e t h e p i e c e p i c k e ra r i t h m e t i co fb i t t o r r e n ta c c o r d i n gt ot h ef e a t u r eo fs t r e a m i n g u l t i m a t e l yu n i f yt h em e r i to ft r a d i t i o n a lc o n t e n td i s t r i b u t i o nn e t w o r k a n dp 2 p ，p r o d u c e sa ni p t vs y s t e mg r e a ta td e p l o y m e n ta n do p e r a t i o n f o rt h es a k eo ft r a n s p l a n t i n gt ot h es e t - t o pb o x ，t h es y s t e mb a s eo na c e t h a ts u p p o r tf o rl i n u x ，w i n d o w s ，s o l a r i ss y s t e m s k e y w o r d s ：b t ；s t r e a m i n g ；l p t 址p 2 p ；l i v es t r e a m i n g i i 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机 构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处， 本人签名：筻亟 垒 本人承担一切相关责任。 日期：兰壁垒：主：兰z 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校 可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保 存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文 注释：本学位论文不属于保密范围，适用本授权书。 本人签名：签自丝日期：查竺壁：兰：兰2 导师签名：j 雠日期：弓酬! 垒：z 北京邮电大学硕士学位论文基于p 2 p 的流媒体系统研究与实现 1 1 课题背景及意义 第一章绪论 随着网络技术的的日益发展，人们的生活中越来越离不开i n t e r n e t ，全球的 电信运营商也将目光集中在宽带网上的各类增值业务。其中一项重要的增值业务 就是流媒体服务。流媒体是指在互联网上实时传播音视频等多媒体内容的连续媒 体。流媒体技术不像于传统的播放技术：由客户端从服务器下载完整的文件后进 行播放，而采用了流式传输方式，将整个多媒体文件压缩解析成多个压缩数据包， 向客户端实时地顺序传送。用户不必等到整个文件全部下载完毕，而只需经过几 秒或几十秒的启动缓冲数据包延时即可在用户的计算机上利用解压设备对多媒 体文件解压后进行播放和观看。 现今，流媒体技术已经广泛应用在各个方面：视频直播点播，网络电台，远 程教育，网络广告，电子商务，网络游戏，视频会议等等。在视频直播点播方面， 以t v 应用得最重要也最为广泛，也是流媒体技术能够在未来迅猛发展的重要 方向。口t v 是一种基于宽带的视频业务，以p c ，电视机加机顶盒或其他智能设 备作为终端设备，向用户提供包括视频、音乐、游戏等多种交互式多媒体服务。 在欧洲，几乎所有的传统电信运营商都完成了p t v 的部署。在美国，随着 碑t v 管制政策的突破，电信运营商纷纷发力i p t v 市场，几乎所有大的电信运 营商都在致力于开发口t v 服务。在中国，香港和台湾地区走在了p t v 业务的 前列。香港电讯盈科是全球口t v 业务开展最好的电信运营商之一。其名下的 “n o w t v 电视业务品牌仅用了3 年时间就发展了7 0 万名用户。而中国大陆， 更是口t v 产业发展潜力最大的市场，尤其是2 0 0 8 年奥运会的举办，将为m t v 的发展起到助推器的作用。 目前的i p t v 系统大多采用传统的服务器客户端模式来提供服务。该结构模 型以服务器为中心的，所有资源都放在服务器端，客户端通过网络连到服务器请 求服务。在c s 模式下，同一时刻服务器所能支持的客户端访问数量受到自身处 理能力和服务器所在网络吞吐能力的限制，随着节点的不断增加，服务器的负载 就越来越重，很容易出现单点实效的情况。 随着p 2 p 技术在文件传输等各方面的突出表现，也为i p t v 系统提供了一个 新的选择。在网络性能方面，p 2 p 的优点在于它是基于互联网的对等架构，可以 大大改善资源的流量分布，充分利用i n t e r a c t 边缘节点的带宽、资源、存储等， 解决网络拥塞和带宽的瓶颈问题，极大减缓存储服务器的响应压力。在通信方式 北京邮电大学硕士学位论文基于p 2 p 的流媒体系统研究与实现 上，基于p 2 p 的系统由于p e e r 之间的协作，具有高度的容错性和非常好的可扩 展性，可以快速对数据进行发布和资源的聚合，数据传输的即时性和成本都具有 c s 所无法比拟的优越性。p 2 p 技术在网络性能以及系统扩展性等方面具有非常 明显的优势，基于p 2 p 结构的刚技术发展前景非常广阔，相信在未来几年将 会有较为广泛的应用。 1 2 国内外发展现状 目前m t v 应用服务主要是基于传统c s 模式的流媒体系统。在c s 模式中 由于服务器单点“瓶颈 的限制，一台服务器只能支持有限的并发流。要解决十 万、百万用户同时收看的问题，需要大量服务器，同时还需要极宽的网络带宽。 因此基于c s 模式的p t v 系统存在建设费用高、中心网络带宽要求高、可扩展 性较差等缺陷。 第二种m t v 系统采用的传输模式是内容传送网络( c d n ) 技术。c d n 的 基本工作原理就是广泛采用各种c a c h e 服务器，将这些c a c h e 服务器分不到用户 访问相对集中的地区或网络中，在用户访问时，利用全局负载均衡技术将用户的 访问指向离用户距离最近的工作正常的c a c h e 服务器上，由c a c h e 服务器直接响 应用户的请求。将服务器尽量放到离客户近的地方的方式减轻了网络负荷，但是 现有网络要支持组播，需要进行设备改造，平均用户的建设成本较高，不具备竞 争能力。并且采用c d n 传送网络技术的口t v 系统并没有真正解决i o 瓶颈问 题，虽然可以在一定程度上加速流媒体下载及播放，但其核心仍然是基于集中服 务器的结构，开发和维护成本过高，业务扩展能力差，另外，c d n 技术在高峰 时期对突发流量的适应性，容错性等方面仍然存在一定缺陷。 近年来，随着n a p s t e t l l l ，c _ m u t e l l a 2 1 ，k a z a a 3 1 ，b i t t o r r e n t 4 1 ，e d o n k e y 5 】等 p 2 p 软件的发展和服务的提供，打破了传统的c s 的服务模式，迅速改变了整个 互联网传统秩序，基于p 2 p 技术实现流媒体传输技术也开始慢慢兴起。2 0 0 0 年 出现的p 2 p 视频直播系统e s m 系统就标志着p 2 p 流媒体进入系统发展期。在流 媒体领域，采用p e e r 之间对等服务的模式，每个p e e r 节点既是流服务的提供者， 又是流服务的享用者，p e e r 节点之间互相协作，为其他p e e r 节点提供服务。这 种方式将服务器的负载分散到各p e e r 节点中，使得加入的p e e r 节点越多，p e e r 节点为系统贡献的资源也越多，整个系统总的流服务能力也就越强，从而有效地 减轻了服务器设备的负载，极大地提高了流服务系统的吞吐容量和播放质量。从 而大大提高了资源共享的利用率，能在较低的成本下，充分利用空闲时间分发数 据，避免拥塞，提供具备高实时性和容错性能的流服务。为流媒体服务开辟了一 北京邮电大学硕士学位论文 基于p 2 p 的流媒体系统研究与实现 条崭新的道路。2 0 0 4 年5 月欧洲杯期间，香港科技大学张欣研博士开发的 c o o l s t r e a m i n g r 【6 系统在p l a n t l a b 网络上试用并获得了巨大成功，奠定了中国在世 界p 2 p 流媒体技术领域的地位，极大鼓舞了中国p 2 p 流媒体业务的发展【7 1 。 目前基于p 2 p 的p t v 技术还不成熟，还有很多地方需要改进和完善。如网 络的不可控，对骨干网流量的冲击、认证计费、对p 2 p 的信息进行安全控制等 等问题，都需要进一步解决【8 , 9 1 。 1 3 论文内容 本课题的主要研究目的是解决t v 传统的c s 模式的系统瓶颈问题，采用 p 2 p 技术实现视频的直播功能，支持大量用户同时在线观看直播节目。采用p 2 p 技术实现口t v ，使每个享受服务的节点同时作为服务器为其他节点提供服务， 网络中每个节点处于平等地位，这样节点之间可以不需要通过服务器而直接交换 资源，直接减轻了服务器端的负载，有效解决的c s 模式中服务器自身的计算性 能和带宽限制等系统瓶颈，支持大规模用户同时使用，具有广阔的应用和发展前 晷 1 0 - 1 4 爪 本文研究的重点是p 2 p 中最具代表性的b i t t o r r e n t 的协议及其系统。分析其 具体工作原理，系统组成，并根据流媒体传输的特点对b t 协议的片选原则进行 改进。在p 2 p 流媒体系统中最重要的是流媒体的顺序下载，而b t 在设计时是文 件传输，虽然同样是需要把文件分片传输，但是在传输的过程不需要讲究片段的 顺序下载，只有文件下载完全即可。所以在基于b t 结构做流媒体传输时改进时， 重要工作就是进行p i e c e p i c k e r “片断选择算法的改进。同时采用新的p 2 p 网络 拓扑结构，解决服务器瓶颈问题以及高延迟问题，实现一套从视频采集、编码、 传输到播放的完整系统。 1 4 论文结构 全文共分六章，各章组织结构如下： 第一章为绪论，介绍课题的研究背景和意义，国内外p 2 p 技术及i p t v 系统 发展现状及论文的研究内容和论文结构。 第二章介绍p 2 p 技术的相关概念，p 2 p 的网络体系结构及p 2 p 的技术优势， 应用和现今还存在的问题。 第三章介绍了流媒体技术的相关基础理论知识。 第四章重点研究分析了b t 系统组成，工作原理和各部分的源码分析。并且 3 北京邮电人学硕士学位论文 基予p 2 p 的流媒体系统研究与实现 根据流媒体传输的特点对b t 中的片选算法p i e c e p i c k e r 进行改进。 第五章论述了p 2 p 流媒体系统结构和工作原理，及各模块的具体设计与实 现。同时具体分析和构建了p 2 p 流媒体系统的页面发布系统。 第六章对全文的研究工作进行总结，并分析了下一步的工作 唾 北京邮电大学硕士学位论文基于p 2 p 的流媒体系统研究与实现 2 1p 2 p 技术基础 第二章p 2 p 技术基础 2 1 1p 2 p 的概念 p 2 p 即p e m - t o p e e r ，也称为对等网络或点对点技术。现在p 2 p 被更广泛的 理解为p o i n t e r - t o p o m t e r 或p c t o p c 等。不同于目前互联网的主要c s ( c l i e n t s e r v e r ) 及b s ( b r o w s e r s e r v e r ) 的“中心化一网络模式，p 2 p 网络弱 化了服务器与客户端的概念，甚至取消了服务器，让任意p e e r 既是服务器也是 客户端，从而实现p e e r 与p e e r 之间避免中间服务器的介入，跨越服务器的中转， 真正达到p e e r 与p e e r 之间的直接互联【1 5 , 1 6 。 其实p 2 p 并非新概念，早在1 9 6 9 年，i n t e m e t 的前身a r p a n e t 刚出现的时 候，网络的应用模式就是p 2 p ，而t c p i p 协议之初也并无服务器客户端之分， 可以说p 2 p 是互联网架构的基础。但由于8 0 年代以后p c 机出现，1 9 9 5 年后p c 广泛的使用并接入i n t e r n e t ，计算资源从集中走向分布时弱化才使c s 网络模式 得到广泛应用，本质上互联网本身就是分布的、自治的，结点是对等的。现今 p 2 p 技术发展迅猛，业界对p 2 p 这一概念至今还没有形成统一的共识【1 7 , 1 8 】。 m m 公司对于p 2 p 的定义是：p 2 p 系统由若干互联协作的计算机组成，且 至少具有如下特征之一： 1 系统依存于边缘化( 非中央式服务器) 设备的主动协作，每个成员直接 从其他成员而不是从服务器的参与中受益。 2 系统中成员同时扮演服务器及客户端的角色。 3 系统应用的用户能够意识到彼此的存在，构成一个虚拟或者实际的群 体。 而第一家试图为p 2 p 提供标准的s u n 公司对p e e r 的定义是：任何一种可以 使用一种或多种j x t a 网络协议的网络设备。p e e r 的范围包括：传感器，移动电 话，p d a ，个人计算机及各种服务器等。每种p e e r 都可以是独立的同步的，都 有一个唯一的i d 。 同时m i c r o s o f t 和i n t e l 在他们的研究实验室中都有自己的一套标准。所以说 来，p 2 p 还是个开放而没有标准的领域。目前，正式的p 2 p 组织尚未成立，但 2 0 0 0 年p 2 p 工作组成立，成员包括i n t e l 、i b m 、h p 等企业，目标集中在p 2 p 技 术的标准、安全性及可靠性等方面【1 9 】。 5 j 乏京郄泡大学硕士学位论文 萋子p 2 p 鹃流媒体系统研究与实现 2 1 2p 2 p 的网络体系结构 p 2 p 技术在发展过程中，存在三种结构模式的体系结构：集中目录式p 2 p ， 纯分布式p 2 p 和混合式p 2 p 2 0 - 2 2 1 。 2 1 2 1 第一代挖卜集中目录式p 2 p 集中目录式p 2 p 的特点是有一个或一群中央服务器管理各节点各节点向 中央薅录服务器注册关于自身的信息( 名称、地址、资源和元数据等 ，由服务 器来管理各节点数据同时生成各节点的文件索引。但与传统的c s 模式不同，集 中基录式p 2 p 所有资料内容是存贮在各个麓点中而j 并服务器上节点只需要 中央目录服务器做信息的查询，同时根据网络流量和延迟等信息来选择与定位其 它对等点著直接建立连接，资源的传输是不必经过中央尽录服务器进行的。 第一代p 2 p 最典型的系统是n a p s t e r 。它通过一群高性能中央服务器保存所 有n a p s t e r 用户上传的音乐文件索引和存放位置的信息。当用户需要某个音乐文 件时，系统工作原理如下： 1 首先连接到n a p s t e r 服务器，对中央服务器发出文件查询请求， 2 。再由服务器根攥用户请求进行裰关文件检索，并返回存有该文件酶用户 信息； 3 文件请求者接收裂中央服务器返回信息后，根据网络流量和延迟等条件 选择合适的p e e r 建立直接连接并进行文件传输。 ( k e 哆 r e s p o n s e l i n k 图2 - i 集中譬蒙式p 2 p n a p s t e r 首先实现了文件查询与文件传输的分离，有效地节省了中央服务器 的带宽消耗，减少了系统的文件传输延时。这种方式最大的隐患在中央服务器上， 如果该服务器失效，整个系统都会瘫痪。当用户数量增加较高时，n a p s t e r 的系 统性能会大大下降。另外在安全性上，n a p s t e r 并没有提供有效的安全机制。 北京邮电大学硕士学位论文基于p 2 p 的流媒体系统研究与实现 可见，集中目录式p 2 p 网络模型的优点在于： 1 网络结构简单，易于管理，资源发现效率高。 2 由于资源的发现依赖中心化的中央目录服务器，发现算法灵活高效并能 够实现复杂查询。 3 管理维护整个网络消耗的网络带宽较小。 但该网络模型也相应存在很多问题，主要表现为： 1 依赖于中央目录服务器的查询，所以容易造成单点故障导致整个网络的 崩馈，因此可靠性和安全性较低。 2 随着网络规模的扩大，对中央索引服务器进行维护和更新的费用将急剧 增加，所需成本过高。 3 中央服务器的存在引起共享资源在版权问题上的纠纷，并因此被攻击为 非纯粹意义上的p 2 p 网络模型。对小型网络而言，集中目录式模型在管 理和控制方面占一定优势。但鉴于其存在的种种缺陷，该模型并不适合 大型网络应用。 2 1 2 2 第二代p 2 卜- 纯分布式p 2 p 纯分布式p 2 p 也被称作广播式的p 2 p 模型，它没有集中的中央目录服务器， 节点随机接入网络，并与自己相邻的一组邻居节点通过端到端连接构成一个逻辑 覆盖的网络。内容查询和内容共享都是通过系统内洪泛，每个节点同时记录搜索 轨迹，以防止搜索环路的产生。 第二代p 2 p 结构的典型系统是g n u t e l l a 和b e a r s h a r e 等。其工作原理如下： 1 节点需要查询某文件时，首先向与之相邻的节点以洪泛的方式发送查询 包。 2 相邻节点收到查询包后，检查自身是否有符合要求的文件，有则返回一 个响应包，无则继续以洪泛的方式发送查询包。 3 其他节点若收到查询包或响应包时，都通过洪泛的方式把响应包传出， 以此类推，直至查询包中的t t l ( t i m et ol i v e ) = 0 。 北京邮电大学硕上学位论文基于p 2 p 的流媒体系统研究与实现 p e e r e p e e r f p e 叮g q q u e r y p e 盯j + - - r - - r e s p o n s e + l + ：l i n l 【 p e e r k 图2 - 2 纯分布式p 2 p 广播式的p 2 p 模型没有中心化的问题，扩展性和容错性较好。但是也因此 没有一个对等节点知道整个网络的结构，而且网络中的搜索算法以泛洪的方式进 行，控制信息的泛滥消耗了大量带宽，并造成网络拥塞甚至网络的不稳定，从而 导致整个网络的可用性较差，另外这类系统更容易收到垃圾信息，甚至是病毒的 恶意攻击。 2 1 2 3 第三代p 2 卜混合式p 2 p 混合式网络结构综合了纯分布式p 2 p 和集中目录式p 2 p 两种p 2 p 模式的特 点，保留了纯p 2 p 没有中心化和集中目录式快速查找的优势。同时按节点能力 不同( 计算能力、内存大小、连接带宽、网络滞留时间等) 区分为普通节点和 s u p e r 节点两类。s u p e r 节点与其临近的若干普通节点之间构成一个自治的簇， 簇内采用基于集中目录式的p 2 p 模式由s u p e r 节点充当中央目录服务器，而整个 p 2 p 网络中各个不同的簇之间再通过纯p 2 p 的模式将搜索节点相连起来。 在各个搜索节点之间可再次选取性能最优的节点，或者另外引入一新的性能 最优的节点作为索引节点来保存整个网络中可以利用的搜索节点信息，并且负责 维护整个网络的结构。 第三代p 2 p 的典型系统有k a z a a ，b i t t o r r e n t 等。其工作原理如下： 1 当有节点需要搜索文件时，首先查询本簇内的中央目录服务器。 2 当本簇内的中央目录服务器查询到本簇内有相关内容的节点则返回信 息。 8 北京邮电大学硕士学位论义基予p 2 p 的流媒体系统研究与实现 3 若本簇内的中央目录服务器朱查询到本簇内有相关内容的节点，则以洪 泛的方式查询相邻簇的中央圜录服务器。 总的说来，第三代p 2 p 较前两代p 2 p 有很大优势： 1 普通节点对文件的搜索是先在本簇内进行，只有查询结果不充分时，再 通过s u p e r 节点进行有限的泛洪。这样就极为有效地消除全局使用泛洪 算法带来的网络拥塞、搜索迟缓等不利影响。 2 。每簇中的s u p e r 节点监控着本簇内普避节点的行为，戆确保一些恶意的 攻击行为在本簇网络局部得到控制，在一定程度上提高整个网络的负载 平衡。 3 但是在每个簇中因为有中央目录服务器的存在，还是会有单点实效的问 题。目前大部分商业的p 2 p 系统都是采用该模式。 p c c r bp e e r e - - q - q 懈曙 诎一瓢r l l i n k 图2 - 3 混合式p 2 p 2 1 3 结构化p 2 p 在p 2 p 搜索机制上较常用的就是洪泛算法，但是这种非结构化的搜索会带 来很多扩展性方面的问题。例如g n u t e l l a 采用的洪泛搜索，严重浪费网络流量并 造成系统不稳定，网时扩展性也较差。为解决这一闻题，许多研究小组提出建立 新一代结构化系统。结构化p 2 p 模式是采用纯分布式的消息传递机制和根据关 键字进行查找的定像服务。邂过结构纯的p 2 p 模式，可以有效控制网络的拓釜 结构，并有较好的可扩展性。 由于d h t 各节点不需要维护整个网络的信息，节点只需要存储相邻的后继 节点信息，因此较少的路由信息就可以有效的传递达目标节点。该类模型有效的 减少了节点信息的发送数量，从而增强了p 2 p 网络的可扩展性。 嚣前此类路由馨法主要是采用分布式啥希表( d h t ) 技术，也是目前可扩展 性最好的p 2 p 路由方式之一。进行该类算法研究项目的主要有加州大学伯克力 分校提出的c a n ( c o n t e n ta d d e r s s a b l en e t w o r k ) 和t a p e s t r y ，麻省理工学院提 9 乾衷郎咆大学矮士攀往论文 基于p 2 p 的漉媒俸系绕研究与实现 出的c h o r d 及微软提出的p a s t r y 2 3 】。 1 c a n c a n 是加州大学伯克力分校和a t & t 共同设计的基于d h t 和查找和路由 协议，采用多维的标识空间来实现分布式敬列算法。c a n 将所有节点映射到一 个n 维的笛卡尔空间中，并为每个节点尽可能均与的分配一块区域。c a n 采用 的敖列函数通过对( k e y , v a l u e ) 中的k e y 进行教列运算，得到笛卡尔空闻中的一 个点，并将( k e y , v a l u e ) 对存储在拥有该点所在区域的节点内c a n 采用的路 由算法相当直接简单，知道曩标点的坐标蘑，就将请求传给当前节点鼷邻中坐标 最接近目标点的节点。 2 c h o r d c h o r d 是麻省理工学院设计的分布式可扩展的查找和路瞻协议。其原理为节 点在逻辑上按照标识的大小组成一个环，数据同样有标识并且存放在和自己标识 最近的节点上。当在某一个节点上输入查询请求的时候，如聚节点的标识小于数 据的标识，则向该节点知道的下一个节点请求文件，下一个节点如果拥有该文件 则返回结果，否则按前面的方式继续转发给下一个节点。其中每令c h o r d 节点只 需要知道部分节点和到达它们的路由信息。c h o r d 路由查找过程有两个重要特 性：每个节点都只需要知道一部分节点的信息，藤且离它越近的节点，它就知道 越多的关于它们上面的数据信息；每个节点的路由表只有部分节点的路由信息并 且不能确定任意一个关键字的确切位置，只能知道- f 一跳的节点。 3 t a p s t r y t a p s t r y 是分布式容错查找和路由的协议。其思想来源于p l a x t i o n 的思想。 在p l a x t o n 中，蒂点使用自己所知道的邻近节点表，按照爵的国来逐步传递消 息。t a p e s t r y 基于p l a x t i o n 的思想，加入了容错机制，从而可适应p 2 p 的动态变 化的特点。o e e a n s t o r e 是以t a p e s t r y 为路由和查找基础设施的p 2 p 平台。它是一 个适用于全球数据存储的p 2 p 应用系统。任何用户均可以加入o c e a n s t o m 系统， 或者共享自己的存储空闻，或者使用该系统中的资源。通过使用复制和缓存技术， o c e a n s t o r e 可提高查找的效率。 同时，t a p s t r y 为适应p 2 p 网络的动态特性，做了许多改进，增加了额外的 机制实现了网络的软状态，并提供了自组织，鲁棒性，可扩展性和动态适应性， 当网络高负载且有失效节点的时候性能有限降低，消除了对全局信息的依赖、根 节点易失效和弹性差的闷题。 4 p a s t r y p a s t r y 是微软研究院提出的可扩展的分布式对象定位和路出携议，可用于构 建大规模的p 2 p 系统。在p a s t r y 中，每个节点分配一个1 2 8 位的节点标识符号 l o 北京邮电大学硕士学位论文基于p 2 p 的流媒体系统研究匈实现 ( n o d e i d ) ，所有的节点标识符形成了一个环形的n o d e i d 空间，范围从0 到2 1 2 8 。l ，节点加入系统时通过散列节点礤地址在1 2 8 位的n o d e i d 空间随机分配。 这些系统一般都假定节点具有相同的能力，这在规模较小的系统较为有效， 但是对于大规模的i n t e m e t 部署来说还存在很多问题。例如d h t 类结构的维护 机制较为复杂，尤其是节点频繁加入退出造成的网络波动( c h u m ) 会极大增加 d h t 的维护代价。d h t 所面临的另外一个问题是d h t 仅支持关键词匹配查询， 无法支持内帮语义等复杂查谗。所以结构化的p 2 p 还缺乏i n t e m e t 中的大规模真 是部署的实力，成功应用还比较少。 2 。1 4p 2 p 的技术优势 2 141c s 与b s 网络模式的技术特点 e n te c l i e n t c 图2 - 4 c s 网络模式 c s ( c l i e n t s e r v e r ) 模式下，系统主要分为“服务器客户端两部分。其 网络运行主要为“请求一响应的应答模式： 1 客户端需要访问服务器时，由客户机发出“请求。 2 服务器接受到“请求后进行籍响应 ，然后执行相应的服务，褥把执 行结果送回给客户机。 3 。客户视对服务器送回的数据进一步处理蜃再提交给焉户。 随着网络技术的发展，c s 已无法完全满足人们的需要，而且静态网页也无 法提供充分的交互功能，动态信息发布相对较圈难，这就需要将数据库与w e b 服务器连接起来，供用户查询或更新；发布动态信息还可以简单到只需改动一下 数据库的若干记录或字段就可以实现。这样，b s ( b r o w s e r s e r v e r ) 模式在管理 信息系统中开始大量应用。b s 结构体系多了w e b 服务器，用户使用w 西浏览 器访问w e b 页，通过w e b 页上显示的表格与数据库进行交互操作。从数据库获 取的信息能以文本、匿豫、表格或多媒体对象的形式在w 曲页上展现。 北京邮电大学硕上学位论文基于p 2 p 的流媒体系统研究与实现 以服务器为中心的c s ，b s 模式，有如下特点： 1 采用服务器集中计算和集中控制方式，信息数据都存放在服务器上 2 服务器的处理能力和网络的带宽决定了整个系统的性能。 总的说来c s 结构在技术上可以说很成熟，其主要优点是交互性强、具有安 全的存取模式、网络通信量低、响应速度快、利于处理大量数据。但是随着基于 c s 模式的网络服务的急速增长，整个i n t e r n e t 系统越来越依赖于少数的主要信 息源的服务器节点，从而引起一系列问题，服务器总是同时服务大量的客户机， 负担太重，其系统性能迅速降低；当流量增加时，服务器容易成为整个系统的瓶 颈区；因为是。中心式一服务，容易造成“单点实效现象。另一方面，w e b 服务的深入，使越来越多的用户需要直接控制资源。这些原因，直接或间接的引 起了p 2 p 技术的再次复出。 2 1 4 2p 2 p 技术特点及优势 通过p 2 p 技术的相关介绍，总结p 2 p 模式有如下特点： 1 非中心化：非中心化是p 2 p 系统的一个最重要特性。网络中的每个节点 同时扮演c s 模式下的服务器和客户端的角色。 2 可扩展性：非中心化带来的好处之一就是使系统具有很强的可扩展性， 因为网络中每个节点都是服务器，可以方便的提供路由和缓冲的功能。 3 自组织：自组织是指系统中成员能自己组织起来而不用依靠外界的帮 助。p 2 p 系统能任意地壮大发展起来，无法在某个时期预期系统会有多 少用户多少节点。因此无法用集中控制的方法来配置系统，只能通过系 统中的成员自组织。因此p 2 p 系统也有自我维护和修复功能。 4 负载均衡：负载均衡是p 2 p 系统共同特点，大幅度地减少了使用和维护 系统的费用。例如在分布式计算中如s e t i h o m e 系统比世界上最快的 超级计算机的计算速度都要快但费用却仅是这个超级计算机费用的 1 。 5 冗错：p 2 p 系统主要目标之一是避免关键点实效。很多纯p 2 p 系统都实 现了这一点，但它们都面临着连接断开、节点实效和不可达等问题。 6 a dh o c 连接：在p 2 p 系统中p e e r 随意地接入和退出系统，p 2 p 系统必须 能处理p e e r 的这种a dh o c 连接方式。 以上特点决定了p 2 p 相对与c s 模式具有以下优势： 1 充分利用了边缘节点的资源。多个节点的互相连接，用户所在的网络带 宽将会被最大程度的利用，大大提高了网络利用率。 2 高效资源共享和高性价比。特别是对宽带视频资源的高效共享，同时有 效利用网络中散布的大量闲散资源。 北京邮电大学硕士学位论文基于p 2 p 的流媒体系统研究与实现 3 提高了网络服务的可靠性。避免了c s 模式“中心化 带来的单点实效 问题。 4 可扩展性。随用户增加，系统整体资源和服务能力可同步扩充。 5 负荷平衡。每节点既是服务器又为客户机，资源分布于多个节点，可更 好实现网络负荷平衡。 6 系统架构顽强性。部分节点失效时能自动调整架构拓扑，允许节点自由 加入与离开，信息文件的分开存放可提高信息共享与存储过程中的安全 性。 7 有助用户隐私保护。因所有参与者均可提供中继转发功能，提高了匿名 通信的灵活性与可靠性。 2 1 5p 2 p 的应用 因为能够极大缓解传统c s 架构中服务器端的压力过大、单一失效点等问 题，又能充分利用终端的丰富资源，所以p 2 p 在当今互联网时代发展迅猛。目 前互联网网内p 2 p 流量达到网络流量带宽的4 0 6 0 。p 2 p 业务也广泛应用 于计算机网络的各个领域：文件共享、流媒体直播点播、实时通信、语音通信、 在线游戏、分布式计算等各方面【2 4 j 。 1 文件共享 p 2 p 技术的兴起不可不提文件共享类软件n a p s t e r ，它是由1 9 岁大学生绍恩 开发的一个以音乐交换为目的的音乐共享软件。与传统的音乐共享技术不同的是 n a p s t e r 中的音乐资源并不是存储于服务器中，而是共享广大用户群中的音乐资 源，中心服务器只是提供了音乐文件的索引工作。用户之间可以直接共享和传输 文件而不必通过中心索引服务器。 用户使用n a p s t e r ，可方便搜索到其他用户共享的m p 3 音乐资源，并从中免 费下载自己感兴趣的音乐，同时用户也可共享自己计算机里面保存的音乐给其他 用户。这种免费又方便的音乐共享服务一经推出就到了人们的普遍欢迎，2 年内 注册用户就猛增4 0 0 0 万，同时n a p s t e r 对于m p 3 在i n t e r a c t 的普及可以说起到 里程碑的作用。另外这项音乐资源共享的软件也将p 2 p 概念迅速印刻在人们脑 海。 现今，p 2 p 技术在互联网上应用最成功最广泛也当属文件共享类软件。列数 目前p 2 p 类下载类业务，就知道p 2 p 技术已经深入人们的网络生活：b i t t o r r e n t ， e m u l e e d o n k e y ，m a z e ，迅雷下载，g n u t e l l a ，n a p s t e r ，k a z a a 等。 2 流媒体直播点播 随着网络的迅猛普及和流媒体技术的发展，人们发现p 2 p 不仅适合于文件 传输，还同样适用于流媒体的直播与点播。国内p 2 p 研究短时间内迅速聚焦于 袭京都毫大学碛圭学位论文基子p 2 p 麓滚媒体系统磺究与实现 p 2 p 的流媒体上，为p 2 p 流媒体业务发展提供了强大推动。 2 0 0 7 年1 2 月互联网协会就表示上半年我国网民数量增长率为3 1 7 ，从网 络视频市场观察，我国已成为p 2 p 流媒体发展最快的国家。同时，我国已经形 成了一条以内容供应商、技术提供商、广告主、用户为主要构成的网络视频产业 的雏形，视频搜索进一步发展成为新的热点。目前常见的p 2 p 流媒体的应用主 要有： 1 视频点播( v o d ) ：这是最常见、最流行的流媒体应用类型 2 。视频广播：视频广播可以看作是视频点播的扩展，它把节尽源组织成频 道，以广播的方式提供。 3 。交互式网络电视( p t v ) ：i p t v 利用流媒体技术通过宽带网络传输数 字电视信号给用户，这种应用有效地将电视、电信和计算机3 个领域结 合在一起，具有很好的发展前景。 4 远程教学：远程教学嚣前应用也比较广泛，而且具有很好的市场应用前 景。远程教学可以看作是前面多种应用类型的综合，在远程教学中，可 以采用多种模式，甚至混合的方式实现。远程教学以应用对象嗳确、内 容丰富实用、运营模式成熟，成为目前商业上较为成功的流媒体应用。 其他流媒体系统的一些新的应用和服务，例如虚拟现实漫游、无线流媒体、 个人数字助理( p d a ) 等也在迅速的变革和发展。 3 实时通信 实时通信技术是互联网中非常重要的通信技术，成功的实时透信系统吸引了 数以万计的在线用户。许多熟知蹦系统都是采用了p 2 p 的技术。如：q q ，m s n ， y a h o o m e s s a g e r ，g o o g l et a l k 等。这些漱系统一般都有一个中心服务器控制着 用户的认证等基本的信息，而节点之间的数据通信都是基于p 2 p 直接连接的。 4 。语音通信 v o l p ( v o i c eo v e r 母) 是一种全新的网络电话通信业务，它和传统的p s t n 电话业务相比有着扩展性好、部署方便、价格低廉等明显的优点。在全球范围内 的v o l p 应用中，由于通信各方可能处于不同的网络状况下，所以采取少数几个 服务器来进行话音包中转不仅存在压力过大的问题，还可能无法为指定通信双方 提供满意的通话质量保证。所以采取p 2 p 技术动态自适应地根据通信双方网络 进行链路控制与消息转发是可行的解决方案。 嚣前风靡全球的s k y p e 即是一款典型的p 2 pv o l p 软件。s k y p e 南于能够提 供清晰的语音质量和免费的服务，使用起来又方便快捷，所以吸引了全球数千万 的用户，每天在线用户达5 0 0 万人，著且注册用户数每天增加1 5 万。基本上， s k y p e 采取类似k a z a a 的拓扑结构，在网络中选取一些超级节点。在通信双方 1 4 北京邮电大学硕士学位论文 基于p 2 p 的流媒体系统研究与实现 直连效果不好时，一些合适的超级节点则担当起其中转节点的角色，为通信双方 创建中