（计算机应用技术专业论文）基于对等网络架构的流媒体在线直播系统的设计和实现.pdf

华宗师范大学硕士学位论文基千对等网络架构的流媒体在线1 播系统的设计和实现 摘要 p 2 p 技术的迅速发展使其成为构建中大型分布式系统的有力工具。p 2 p 流 媒体系统作为p 2 p 技术的重要应用之一也成为当前分布式系统领域的一个研究 热点。从传输方式的角度而言，p 2 p 流媒体传输方式可以划分两种：基于应用层 组播的p 2 p 流媒体传输和基于单播的p 2 p 流媒体传输。基于单播的p 2 p 流媒体 传输适用于上下行带宽不一致的网络环境，并且一般不能提供高比特率的流媒体 传输。而基于应用层组播的p 2 p 流媒体传输则适用于网络环境中上下行带宽都很 充裕并且需要高质量的流媒体传输的情况，比如在大型的企业网和校园网中进行 在线直播。 目前，适用于互联网环境的基于单播的p 2 p 流媒体分发系统目前已经有产品 被开发出来，比如p p l i v e 、c o o l s t r e 锄等等。这类系统受限于当前的互联网环境， 而不能提供高质量的流媒体服务，并且服务质量存在较大波动。而适用于大型 i n t r a n e t 的基于应用层组播的流媒体分发系统，目前基本上还是一片空白。i d t r a n e t 在网络环境上要大大优于h l t e m e t ，并且i 曲加e t 用户对服务质量的要求也大大高 于i n t e m e t 用户。流媒体在i n t r a l l e t 内部的应用主要是大型的在线直播，其瓶颈 也在于服务器性能和服务器端的带宽资源，而且，因此，基于应用层组播的p 2 p 流媒体分发技术非常适用。 当前，基于应用层组播的研究很多都停留在理论研究上，往往利用各种网络 模拟器对相关算法迸行模拟，很少有实际的可以运行的产品。本文立足实践，力 图在不改变现有流媒体传输协议和现有流媒体服务器系统的基础上利用应用层 组播技术建立一个p 2 p 的流媒体在线直播系统，用最小的代价解决传统c s 模式 下的流媒体服务系统由于服务器性能和服务器端的带宽资源有限，严重阻碍流媒 体服务质量提高和容量扩大的问题。 关键词：应用层组播，对等网络，流媒体 华东师范大学礤士学位论文基于对等爵络檠格的董黑体在缝直播系统舶设计和宴理 a b s t r a c t n l eq u i c kd e v e l o p m e n to f p 2 p 伽l l i l o l o g yh 船n l a d ei t s c l f ap o w e m l l l n i o ni l i b u i l d i n gu pl a r g e s c a l ed i s 啊b u t e ds y s t e i n a so n eo ft h em a g n i f i c t 印p l i c 砒i o 璐o f p 2 pt e c l l n o l o g y p 2 p 蛐a m i n gm e d i as y s t e mh a sb e c o m eo n eo f 也ch o t s p o t0 fp 2 p r e s e a r c h i nt h ep e r s p e c t i v eo fw a yo f 衄l s m i s s i o n ，p 2 ps t 陀a i l l i n gm e d i ac 弧b e t m s m i t t e di nt 、ow a y s ：b 船e do na l m ( a p p l i c a t i o nl a ”rm u l t i c 鹳t ) a n db a s e do n 谢c a s t n es e c o n do n e 矗t s f o r 也en 咖o r ke n v i 跏m e n t 讹c h l l a sd 豫i ；e n tu p l o a d b a n d 谢d t ha i l dd o w n l o a db 锄d 、i d 血，纽dc a n n o ta 筋r dah i g h - b i 廿a t es 仃e 锄m e d i a 岫s m i s s i o n ，w k l e 也ef i r s to n ei sa p p l i e dt 0f n 岫m i m i 坞l l i g h 小缸吼es t 踟 m e d i ai nal l i 曲b 粕捌d 也e n v 曲衄1 c 】鸣f o re x a m p l e ，t 0r e a l i z eal i v eb m a d c 粕ti na l a r g es i z ee m e r p r i s e 埘加r ka n dc 枷p u sn e “o r k c u r r e n t i y p m d u c t so fa i l 妇e m e ta p p l i c dp 2 ps 缸鼬mi d i as y 啦mb 躺e d0 n u l l i c a s th 船b e e nd e v e l o p e d ，l i k ep p l i v e 、c o o l s 骶锄e t c 1 1 l i sm o d eo fs y “血i s r e s 仃i c t e db yc u i t e n ti n t e m e tc o n d i t i o 璐也i l sc 趴n o tp r o v i d eam g hq l i a l 时s 吮锄 m e d i as e r v i c e 锄dm cq o si sn o ts 诅b l e w h i l em e 糊o fs t r e 飘腓d i as y s t c mb 嬲e d o na l ms 伍t e df o rt h el a r g es c a l ei i l 由咖啤ts d hr e m a i 】雌u n d e v e l o p e d c o n c e n r i n g n e t w o r ke r l v i r o n m e m 1 1 1 咖e ti sm u c hb e t t l e rt h a nh l t e m e ta n dt h ec l i e n t so f 妇n e t a s k m o r e 血m e q o s t i l a l l m o s e l l s i n g t l l e 访t e m e t t h e 蚰冶锄m e d i a i s m o s t 璐e d f o r l a 玛es c a l el i v eb r o a d c 髂ti 1 1i 【l 廿a i l e t ，趾dt h eb o n k n e c km l i e so nt l l ep e r f b m l 强c eo f s e r v e ra n dt h eb 赳l d w i d 也o f 也es a v e rs i d e 。i n 吐l i se o n n e c 虹o n ，p 2 ps t r 铭mm e d i a s y s t c mb 踮e do na l mi sj u s tf i t m l i nt l l i st i i n e ，r e s e a r c ho na l ma r ey e ti n 龇l c v e lo f t h e 0 觚c a ld i 啦s i o n 皿e y l l s u a l l ys 劬l a l _ em e i ra l g o r i t h l n s 、i t l lv a d o wn e 咖r ks i n l u l a t 0 培f e wa p p l i e d p r o d u c th 船b e e nd e v e 至0 p e d t l l i st h e s i s ，b 船e do n 也em l 蛔sp 鞠棚c c ，仃y i n gt 0s e t u pa p 2 pg t r e 咖m e d i a s y s t e m b a s e d o n a l m ，w h i c hc 吼u u i 髓c u 鹏n ts 仃e a m m e d i a 岫p o r tp r o t o c o la n ds n 锄m e d i as e r v 盯s y s t e m t h e 托b y w ec 眦l v et h i s p m b l e mi nt h e 也| d 渤a ic ，sp 砒t e ms y s t e md e 辩r i b e da _ b o v eb y 也el o w 器“m s t n 华东师范大学硕士学位论文基于对等网络架构的流媒体在线直播系统的设计和实现 k e yw o r d s ：a l m ，p e e r _ t o p e e rn e t w o r k s t n a mm e i d a i l i 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究 成果。据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经 发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均已在 文中作了明确说明并表示谢意。 作者签名：日期： 学位论文使用授权声明 本人完全了解华东师范大学有关保留、使用学位论文的规定，学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将 学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅。有权 将学位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要汇 编出版。保密的学位论文在解密后适用本规定。 学位论文作者签名：繇只乏 导师繇方五穗 华束师范大掌磺士学位论文基于对等两终檠构的瀛攥体在线直播系统的设计和实现 1 1 研究背景 第一章绪论 随着i n t e m e t 的日趋普及和信息传输技术的快速发展，i n t e m e t 上的传输内容 己逐渐由单纯的文字传输，转变成为包含文本、音频、视频的多媒体数据传输。 这样的改变不仅使i n t e m e t 使用者能获得更为丰富多样的信息，同时也代表着多 媒体网络时代的来i 临。特别是流媒体技术的出现和普及，使得声音、影像或动画 等时基媒体可以由音视频服务器向用户计算机的连续、实时传送，用户不必等到 整个文件全部下载完毕就可观看到媒体，从而满足了实时交互的需要。然而，目 前的互联网上的基于服务器客户机模型的流媒体服务还远没有达到可以与传统 的w w w 、f t p 等应用相比拟的服务质量，尤其在可扩展性( s c a l a b i l 时) 和容 错性( f a u l t t o l e r a i l c e ) 等方面还远远不能满足应用的需求： 1 可扩展性( s c a l a b i l 姆) 是一个多方面的概念集合，包括了对计算资源 的可扩展、对应用规模的可扩展以及对技术换代的可扩展。这里我们主 要考虑的是对应用规模，尤其是对多媒体资源和用户数量的可扩展性。 到目前为止，流媒体文件的数量的增长速度有逐年加剧的趋势，这样要 求提供多媒体服务的计算机系统提供巨大的存储空间。其次，流媒体服 务比普通的文本和图片服务需要更高的计算资源和带宽资源这使得为 了能够支持大量的同时在线用户，而绝大多数现有的多媒体服务器为终 端用户提供媒体服务的带宽上限都不超过5 0m b p s ，离支持大规模用户 的应用目标差距甚远。 2 容错性( f a u l t t o l e r a n c e ) 是指计算机系统在遇到系统硬件或软件错误 的时候仍能以可接受的服务质量继续工作的能力。计算机系统主要通过 复制( r e p l i c 撕o n ) 、冗余( r e d u n d a n c y ) 和自我修复( s e l f s 协b i l i z a t i o n ) 等方法来实现容错。显而易见，中心的多媒体服务器是整个多媒体服务 系统中的单点故障( s i n g l ep o 硫o f f a i l u r e ) 部件，这种服务器客户机模 型决定了系统的容错能力不高，并易于遭到攻击。 华东师范大学硕士掌位论文 基千对等舟诗集构的灌寡体在缝直播系统的设计和实现 3 鲁棒性( r o b u s t n 缁s ) 是指当一个控制系统中的参数发生摄动时系统能 否保持正常工作的一种特性或属性。研究者们发现，包括w w w 在内的 i n 把m e t 访问具有自相似的特性，自相似序列的一个重要特性是多个序 列的叠加与原序列具有类似的分布，而不像泊松序列，多个序列叠加的 结果趋于平滑。换句话说，服务并发数的增加并不意味着服务总量是相 对平稳的，实际上，短时的突发访问量高峰是i n t e m e t 访问的基本特征。 另一方面，某些突发的事件可能造成使用服务的人数的短时指数级上 升，这往往被称为f i 硒hc r o w d 现象，原词出现在1 9 7 1 年的一部科幻 小说【8 】中，意指数之千计的人们回到过去去目睹历史事件的发生。例如 2 0 0 1 年9 月对美国的恐怖袭击发生后，、】l ，、v w c 衄c o m 等新闻站点的访 问量骤然上升，以致很多站点无法访问。因此，成功的i n t e m e t 服务必 须能够在过量访问下，实现得体的性能下降( g m c e f i l l p e 响衄a n c e d e 础i o n ) ，而不是立即崩溃。 通过以上分析，我们可以看到，目前流媒体服务所广泛采用的服务器客户 机模型不能提供高可扩展能力和高可用的服务。为了解决这些问题，许多研究都 提出了相应的解决办法，目前国内外的解决方案基本上有如下3 种：1 使用服务 器集群技术，提高整个流媒体服务系统的性能。2 使用内容分发网络技术( c 4 一c o n t e n td e l i v e r yn e t w o r k ) ，通过把服务和内容“推”向网络的“边缘”，从而 减轻服务器和网络负载。3 使用i p 多播( m 1 l l t i c a s t ) 技术，将原来由服务器承担的 数据重复分发工作转到路由器中完成。这三种方法都从一定程度上增大了流媒体 服务系统的容量，但是仍然不能满足目前庞大的用户群。而且，这三种方式都以 昂贵的硬件成本和系统的复杂度为基础，使得流媒体的成本太高。 近年来，p 2 p 技术由于能利用i n t e m e t 中的各个节点进行对等计算，充分挖 掘i n t e n l e t 上的空闲资源，受到了广泛关注，并在文件共享、协同工作等领域取 得了良好效果。如果把p 2 p 技术引入到流媒体服务中，就可以充分发挥以往被忽 略的众多客户机的作用，让客户机缓存一部分信息，充当一部分服务器的功能， 使服务分散化从而减轻服务器的负载和网络带宽占用，具有潜在的应用前景。 目前，基于p 2 p 的流媒体服务体系已经引起了许多大学、研究机构以及公司的重 视并纷纷开展研究。p e e r t 0 p r 模式( 对等计算，亦简称p 2 p ) 的核心思想是 华东师范大学硕士学位论文基于对等两终架掏的渡媒体在缝直播系统的设计和实现 通过参与系统的节点之间的直接交互来实现信息资源和服务的共享。一方面p 2 p 突破了传统的客户端服务器模式，强调结点之间的“对等性”，即p 2 p 系统中每 一参与结点兼有服务器和客户端两种身份，在利用其他结点上的资源之同时也为 其他结点提供服务。这就使p 2 p 系统的服务能力能够随需求的增长而自然增长， 具有“与生俱来”的可扩展性，能够解决传统客户端服务器结构中服务器过载 和资源瓶颈的问题。另一方面，p 2 p 系统采用结点自组织的方式工作，强调无中 心的结构，并且很好地适应了结点随机加入和退出的动态性，因而在容错性、数 据高可用性和抵抗攻击方面具有不可替代的优势。因此，基于p 2 p 网络构建多 媒体系统，能够从根本上解决基于服务器客户机模型的系统的不可扩展性、低 容错性和低鲁棒性。 从传输方式的角度而言，p 2 p 流媒体传输方式可以划分两种：基于应用层组 播的p 2 p 流媒体传输和基于单播的p 2 p 流媒体传输。基于单播的p 2 p 流媒体传 输适用于上下行带宽不一致的网络环境，并且一般不能提供高比特率的流媒体传 输。而基于应用层组播的p 2 p 流媒体传输则适用于网络环境中上下行带宽都很充 裕并且需要高质量的流媒体传输的情况，比如在大型的企业网和校园网中进行在 线直播。目前，适用于互联网环境的基于单播的p 2 p 流媒体分发系统目前已经有 产品被开发出来，比如p p l i v e 、c o o l s t r e 吼等等。这类系统受限于当前的互联网 环境，而不能提供高质量的流媒体服务，并且服务质量存在较大波动。而适用于 大型i n 怕d e t 的流媒体分发系统，目前基本上还是一片空白。 1 2 本文的主要内容和贡献 当前，基于应用层组播的研究很多都停留在理论研究上，往往利用各种网络 模拟器对相关算法进行模拟，很少有实际的可以运行的产品。本文立足实践，力 图在不改变现有流媒体传输协议和现有流媒体服务器系统的基础上利用应用层 组播技术建立一个p 2 p 的流媒体在线直播系统，用最小的代价解决传统c s 模式 下的流媒体服务系统由于服务器性能和服务器端的带宽资源有限，严重阻碍流媒 体服务质量提高和容量扩大的问题。 华东师范大学硕士学位论文基于对等爵终桀构的流媒体在蛙直播系统的设计和实现 1 3 本文的组织结构 第一章，绪论。首先介绍了目前互联网上传统的基于客户服务器模型的流 媒体系统发展所面临的问题，并指出了目前流行的解决方案，然后介绍了当前利 用对等网络进行流媒体传输的研究状况。 第二章，相关工作及研究现状。本章是对第一章的发展，综述了与p 2 p 和 p 2 p 流媒体系统相关的研究结果，分为四个部分：首先介绍了流媒体系统的发展 过程、应用、系统特点。其次，介绍了当前存在的几种内容发布技术。然后，介 绍了p 2 p 的概念及其发展。最后，对应用层组播技术进行了综述，分析了当前的 三种应用层组播构建方式。 第三章，p 2 p s t r e 眦i n g 体系架构。首先介绍了用p 2 p 网络传输流媒体数据 的技术框架：其次，提出了一个充分利用现有流媒体传输协议和流媒体服务系统 的p 2 p 流媒体传输模型并阐述了其设计思想。然后，介绍了p 2 p s 在e 锄i n g 系统 体系架构设计；最后，对系统中用到的关键技术思想进行了阐述。 第四章，p 2 p 网络层的设计与实现。首先，在对z i g z a g 模式研究的基础上， 设计了p 2 p s 骶锄协g 系统的组播树构建协议；然后，详细阐述了p 2 p 网络层的 实现。 第五章，流媒体控制层的设计与实现。首先，介绍了流媒体控制层的内部组 织结构；然后，对a s f 文件格式进行了介绍；最后，以模块为单位对各个模块 的设计和实现进行了介绍。 第六章，p 2 p s 讹a i i l i n g 系统的发布技术。介绍了p 2 p - s 拄嘲m j n g 系统的发稚 技术。 第七章，总结和展望。对论文进行了总结，提出了进一步的研究方向。 华东师范大学硕士学位论文基于对等罔络架构的流攥体在线直播系统的设计和实现 第二章相关工作及其研究现状 2 1 流媒体应用介绍 流媒体( s 仃e a r n j n gm e d i a ) 是指视频、声音和数据通过实时传输协议以连续 流方式顺序从源端向目的地传输，目的地只需接收到一定数据缓存后就可以立即 播放的多媒体应用。在采用流式传输的系统中，用户不必等到整个v 文件全 部下载完毕，而只须经过几秒或十数秒的启动延时，即可进行观看。当声音等时基 媒体在客户机上播放时，文件的剩余部分将在后台从服务器内继续下载。与传统 的“先下载、再播放”机制相比，流媒体技术不仅使启动延时成十倍、百倍地缩 短而且不需要很大的缓存容量。 互联网上视频流媒体技术应用近年来增长迅速，2 0 0 0 年网上访问流媒体的 人数增加6 5 ，流媒体技术在世界范围内得到应用。流媒体技术可广泛用于网上 新闻发布、在线直播、网络广告、远程教育、实时视频会议等，目前应用最直接 的是网上直播。商业网站利用流媒体播放新闻，开展音乐直播和点播服务，企业 和机构采用点播和流媒体进行员工培训、信息发布、公司介绍等，从而提高效率， 节约开支。基于流媒体的应用转变了传统互联网呆板的内容表现形式，具有强视 觉冲击力的视频节目成了人们进入宽带网络的最重要的应用之一，多媒体互动成 了人们对宽带网络未来发展的寄托。传统影视媒体市场与宽带网络的应用服务相 融合，产生了宽带v o d 、在线音乐、远程教育、宽带收费电视等新的应用。 目前应用的流媒体系统大体都可以分成四部分：媒体编码器、媒体文件存储 器、媒体服务器和媒体播放器。各部分功能如下： 1 媒体编码器：将原始的媒体文件或摄像头采集进来的实时媒体数据制作 成适合网络传输的文件格式( 流格式) ，然后将流文件存储在媒体文件 存储器中，或直接送到流媒体服务器。 2 媒体文件存储器：存储流格式的媒体文件，一般采用s c s i 硬盘或磁盘 阵列。 3 媒体服务器：响应调度服务器从w e b 服务器转过来的用户请求，通过 网络传输协议将流格式的文件传到用户桌面。 华东师范大学硕士学位论文基于对等霸络架构的流媒体在缝直播系统的设计和实现 4 媒体播放器：接收网络媒体数据，并在本地播放。 提供流媒体的服务器成为流媒体服务器，又称连续媒体( c o m 血u o u s m c d i a c m ) 服务器广泛应用在流媒体新闻点播、远程教育、电子商务以及商业培训 等方面。实际应用中的流媒体服务器，多采用w 曲服务器+ 媒体服务器的形式。 图1 1 是一个简单的单服务器示意图，用户通过客户端的w 曲b r o w s e r 访问w 曲 s e r v e r 上的连接，发出控制信息，然后再由w e b s e r v e r 将此控制信息发给媒体 服务器。在流式传输中，一般采用h t t p t c p 来传输控制信息，而用r t p ud p 来传输实时数据。w e b 服务器和w 曲浏览器通过m i m e 标记媒体类型，浏览器 通过m i m e 识别出流媒体类型后，再调用p l u g i n 或助手应用程序( h e l p 哪进行 处理， 图2 1w 曲上的流式传输原理示意图 流媒体文件的传输和播放具有实时性的限定条件，如果在传输过程中不满足 这个实时性的条件，客户端的播放就会出现中断、延迟或抖动的现象。另外，媒 体文件多数都比较大，一个播放时间两小时播放带宽4 m b s 的m p e g 2 视频文 件有3 6 g b ( g 远a b ”e s ) 。因此，单机流媒体服务器很难支撑大规模的服务。因 此出于负载分担和支持更多用户考虑，出现了集群流媒体服务器，通过一台管理 服务器来根据各服务器负载状况决定将用户请求发往当前负载最低的服务器，管 理服务器还负责流媒体文件管理，数字版权管理等。流媒体服务的门户一般仍然 为w 曲服务器。 华东师范大学硕士学位论文基于对等弼络架构的流攥体在线直播系统的设计和实现 2 2 内容发布技术现状 2 2 1 传统的c l i e n t s e r v e r 架构 图2 2c s 模型中s e r v e r 的拥塞 如图所示，在传统的c 1 i e n t s e r v e r 架构中，服务器必须通过网络给每个用户 发送多份相同的数据，因为多媒体的数据量大，随着客户端数目的增加，很容易 造成s e “e r 端的网络拥塞。为了降低服务器的负载。代理服务器，c d n 技术开 始得到研究和发展。 华东师范大学硕士学位论文基于对等同络架构的流媒体在缝直播系统的设计和实现 2 。2 2 多媒体代理服务器 图2 3 代理缓存模型 代理服务器( p r o x y ) 是一种特殊类型的i m e m c t 服务器。在传统的w 曲应 用中，代理服务器用于扩展用户对h l t e m e t 的数据访问能力，为了提高代理服务 器的系统效率，缓存( c a c h e ) 技术被引入到代理服务器中，代理服务器将一些 频繁访问的数据存贮在内存或硬盘中，当用户通过代理服务器用户访问时，如果 数据在代理服务器的缓存中，代理服务器就无需访问远程的服务器，而只需通过 本地缓存为用户服务。流媒体代理服务器的重要作用表现在： z 代理服务器承担了一部分用户访问，有效的降低了主服务器的访问负 载； l 可以提高用户访问的响应速度，降低启动延迟； z 代理服务器离用户较近，网络状况较好，可以提供更好的流媒体服务： 可以提高服务器的鲁棒性及节省网络资源。 然而代理服务器的主要问题在于如何保证主服务器的内容于代理缓存中的 内容的一致性。即当服务器的内容更新后。如何保证代理服务器中缓存数据的即 华东师范大学硕士学位论文基于对等嗣终槊构的流媒体在线直播系统的设计和实现 时更新，对于这些问题的研究就产生了更智能的c d n 技术。 2 。2 3c d n 概述 图2 - 4c d n 架构 c d n 的英文全称是c o n t e n t d e l i v e r n e 锕o r k ，即互联网内容发布系统，它是 一个建立并覆盖在互联网( i f l t e m e t ) 之上，由分布在不同区域的节点服务器群组 成的虚拟网络，如图所示。c d n 可以实现把服务器的内容高效、稳定地发布到 离客户端最近地地方。其基本思想就是尽可能避开互联网上有可能影响数据传输 速度和稳定性的瓶颈和环节，使内容传输得更快、更稳。通过在网络各处放置节 点服务器所构成得在现有的互联网基础之上的一层智能虚拟网络，c d n 系统能 够实时地根据网络流量和各节点地连接、负载状况以及到用户地距离和响应时间 等综合信息将用户地请求重新导向离用户最近地服务节点上。对用户来说，通过 c d n 系统，得到响应地时间被大大缩短，连接质量也大大提高，从而大大提高 了上网访问的总体性能。然而，c d n 高昂地部署成本始终是一个问题。 华东师范大学硕士掌位论文基于对等罔络架构的流焦体在缝直播系统的设计和实现 2 2 4i p 组播 目前基于t c p ，m 的h l t e m e t 网络土要有二种传输模式：单播、广播和组播。 单播技术是一种单点到单点的数据传输模式，这种模式也是最常见的 i n t e m e t 通信方式。h t t p 和f t p 等应用都采用这种单播模式。这种模式的缺点 是如果多个用户同时请求同一份数据，服务器必须通过网络给每个用户发送多份 相同的数据，因为多媒体的数据量大，随着客户端数日的增加，很容易造成s e r v e r 端的网络拥塞。 广播技术是一点到所有主机的数据传输模式，服务器发送一份数据，发送到 连接在网路上的所有主机。采用这种模式，服务器只需要发送一次数据，效率很 高，但是由于发送模式的盲目性，数据会扩散到所有的网段而不关心网段中的主 机是否需要接收。如果多媒体通信采用广播发送方式则大量的数据将造成“广 播风暴”，使网路通信处于瘫痪。 组播技术融合了以上两种传输模式的特点。可以将一份数据同时发送给一组 特定的用户，避免了数据的冗余又不会盲目的造成的网络带宽的浪费，目前很多 的流媒体应用都采用这种传输模式。组播技术创始人s t e v ee d 血g 定义组播 为：“将i p 数据包发送到麸享相同m 地址的一个主机组中，该主机组的成员数 目可以为零个或多个。组播数据包的传输可靠性和i p 单播相同。主机组的成员 是动态的，任何主机可以在任何时刻加入或退出某个主机组，主机组对其成员没 有位置和数量的限制，且一台主机可以同时是多个主机组的成员”。 在这种模型中，数据被有效的发送给对数据感兴趣的接收者，在大规模的应 用中，组播技术能够有效的节省网络带宽，然而p 组播技术有着其自身的问题。 虽然研究人员对m 组播技术做了很多研究，并基于组播技术实现了一些应用， 如视频会议。然而在实际的部署中，i p 组播技术仍然存在一些很重要的关键问 题。主要包括：网络协议的复杂性、网络和终端系统的异构性、组播的可靠性。 ( 1 ) 网络协议的复杂性 i p 锛议在现实中能够成功的应用和流行，其中最重要的原因就是协议的简 单性和健壮性。i p 协议的设计遵循了端对端设计中的简单性原则，使i n t 锄e t 的核心网络层保持简单、健壮并且易于理解，而让其上层的协议提供其它复杂的 服务。在i p 层只是简单的提供b e s t - e 矗m 的服务，而传输可靠性、拥塞控制和流 华东师范大学硕士学位论文基于对等嘲络架构的漉媒体在线直播系统的设计和实现 量控制等都有上层系统实现。 然而，组播要比单播复杂得多而难以部署。 首先，组播模型中缺乏有效的组管理。i r l t e m e t 缺少对于网络层的访问控制， 导致任何匿名的用户可以加入某些特定的组会话。任何用户都可以通过给一些著 名的组播会话中的节点发送一些无用的信息发动拒绝服务攻击。虽然拒绝服务攻 击在单播服务中也存在，然后在组播系统中会严重的多。 第二，路由器需要维护组播中侮个s e s s i o n 的状态，这不但增加了路由的复 杂性，同时也导致了路由的扩展性。 第三，组播要求给每个s e s s i o n 分配一个全球唯一的组地址。组地址分配机 制的缺乏将导致s e s s i o n 间的地址冲突。 第四，组播监视和调试工具的缺乏导致难以管理。 ( 2 ) 网络和终端系统的异构性 虽然组播能够有效的提高系统效率，很多网络应用能够从组播服务受益，然 而i n t e m e t 是一个异构网络，在异构环境中，组播仍然存在一些问题和挑战。 异构性表现在很多方面，包括网络和终端。 i m e m e t 的底层硬件平台千差万别，可以是以太网、a 1 m ，f d d i 、令牌环网、 帧中继、串行链路( p s t n ，x d s l ) 、无线网络、卫星网络、移动网络等。这些底层 网络具有不同的带宽、硬件存取控制方式和时延特性。在多链路情况下，各链 路的带宽与代价也可能不同。另外，某些网络平台的数据链路具有非对称性， 比如x d s l 和卫星网络。 终端主机的硬件处理能力和操作系统各不相同。就操作系统而言，主要操作 系统包括u n ，w - m d o w s ，ma c o s 和o s 2 等以及各自不同的版本，对i p 组播的 支持程度和进程调度与管理，t c p i p 的实现方式和a p i 都存在差异。 互联设备的差异。路由器、交换机、网络服务器在背板能力、包转发率、支 持的路由协议的互操作性存在差异。 这些异构性都导致在实现口组播网络中的复杂性。由于多个用户共享同一 个通道，组播虽然在网络效率( e 融i e n c y ) 上要远高于单播，然而单通道的组播的 用户只能接收同样的数据，不能同时满足不同用户的不同需求，单通道组播缺少 扩展性( n e x i b i l i t y ) 。 华东师范大学葡士学位论文基于对等罔络榘构的流攥体在线直播系统的设计和实现 ( 3 ) 组播的可靠性 在组播中，数据包的传输可靠性和单播中时一样的，都只提供b c s t _ e f o r t 服 务，然而上层系统为组播提供可靠性传输、拥塞控制和流量控制等服务要比为单 播提供这些服务要复杂得多。在单播中，传输的可靠性、有序性和拥塞控制等基 本上都己经在t c p 里实现了，而组播中，不同的应用对可靠性、拥塞控制和流 量控制有不同的需求，这就使实现这些服务非常的复杂。 2 3p 2 p 概念及其发展 p 2 p 技术主要指由硬件形成网络连接后地信息控制技术，主要代表形式是在 应用层上基于p 2 p 网络协议地客户端软件。i b m 为p 2 p 下了如下定义：p 2 p 系 统由若干互联协作的计算机构成，且至少具有如下特征之一：系统依存于边缘化 ( 非中央服务器) 设备的主动协作，每个成员直接从其他成员而不是从服务器的 参与中受益：系统中成员同时扮演服务器与客户端的角色；系统应用的用户能够 意识到彼此的存在，构成一个虚拟或实际的群体。事实上p 2 p 网络是互联网整体 架构的基础，互联网最基本的t c p i p 协议并没有客户端和服务器的概念，在通 讯过程中，所有的设备都是平等的一端。 从p 2 p 技术的发展状况来说，可以把p 2 p 系统分为三个阶段：第一阶段是 以n a p s t c r 为代表的带索引服务器的集中目录模型；第二阶段是以g n u t e l l a 为代 表的完全分布式的泛洪请求模型；第三阶段是以p a s n y 为代表的带d h t 算法的 h a s h 表模型。 2 3 1 集中目录模型 在集中目录模型( c e n t r a li n d e xs e r v e rm 0 d e l ) 中，有一个类似于服务器的 节点集中提供资源索引信息。当用户共享资源时，需要向索引服务器进行资源注 册。需要查找资源时，p 2 p 网络中的用户通过该索引服务器进行资源查找，一旦 定位到资源的存储位置后，资源的下载在节点之间直接进行，与索引服务器没有 关系。示意图如图2 2 所示。 华东师范大学硕士学位论文 基于对等霸络蔡拇骑洼纛体在缝l 播系箍的设计和实瑰 图2 5 集中目录模型 n a p s t e r 是集中目录模型的代表应用。它是基于带有发现和查找服务器的p 2 p 模型构建而成的，服务器上保存所有n a p s 钯r 用户在线注册信息和这些用户共享 的m p 3 俺d a 音乐文件的列表；用户为了查找某一首歌曲而发送请求时，首先 连接到n a p s t e r 服务器，在服务器进行检索，并由服务器返回存有该曲目的用户 的信息；再由请求者直接连到曲目的所有者进行文件传输。服务器在连接建立后 就退出通信过程，文件从一个用户传送到另一个用户的机器上，服务器并不存储 实际的文件。 从严格意义上来说，n a p s 衄是c s 模型与p 2 p 模型的混合体。其资源发现 和查找过程采用c ，s 模式，节点间的文件传输贝采用p 2 p 模式。这种方式带来的 不足在于：1 它仍是带有集中式特征的系统，单点故障使系统的容错性很差， 一旦出现技术问题，服务器会减速甚至停止服务：2 服务器很容易成为系统的 瓶颈，服务器可承受的负载限制了系统扩展；3 安全性问题，n a p s t e r 并没有提供 有效的安全机制。 2 3 2 泛洪请求模型 与集中目录模型不同，泛洪请求模型( f l o o d i n g 脚s t m o d e l ) 没有中央目 录服务器，是单纯的p 2 p 网络，但节点的请求通过广播的方式向所有与之相连的 节点传递。这些节点或者响应该请求，或者继续向与自己相连的其他节点广播， 直到请求得到响应为止。为了减少广播带来的网络带宽浪费，一般将传递限制在 7 8 跳以内。示意图如图2 3 所示。 华东师范大学硕士学位论文基于对等圈络槊构的流媒体在线直播系统的设计和实现 图2 6 洪泛请求模型 g n u t e l i a 是洪泛请求模型的代表应用。g n u t e i l a 的节点遵循g n u t e l l a 协议， 采用p 2 p 方式通信。g n u t e l l a 协议是一个简单的分布式文件搜索协议。它和 n a p s t e r 最大的区别在于g n u t e l l a 是纯粹的p 2 p ，在g n u t e l l a 中没有集中式服务器。 g n u t e l l a 软件同时具有客户端和服务器的功能，支持双向的信息传输。所有的查 询都通过在网络中以有限的f l o o d i i l g 的方式进行。节点a 连上网络，通过发送 p i n g 消息来随机发现网络上的其它g 叫把l l a 节点。并告知这些节点自己已经登 录到网络中。收到p g 消息的g m u t e l l a 节点返回p o n g 消息，其中包含自己的 i p 地址、响应请求的端口号、共享的文件数量和大小。节点a 根据收到的响应， 记录下固定数量的其它节点的信息( 比如系统规定每个节点记录其它4 个节点的 信息) 。当节点a 收到查询请求时，如果本地存储了所查询的资源，节点a 就响 应该请求，否则就把该请求转发给它所知道的其它节点。每个消息都有一个唯一 的i d 编号，一方面可以区别不同节点发送的具有同样内容的请求，另一方面可 以检测传输过程中是否出现回路，即消息超过一次被转发到同一节点上。g n u t e l l a 的优势在于：1 由于没有中央控制服务器，g n u t e l l a 是真正意义上的非集中式网 络，消除了由于中央服务器单点故障而影响整个系统运行的可能性；2 可以共 享所有种类的文件，而不仅是m p 3 文件。g 肌t e l l a 的不足在于：1 查询所需时 间和成功的概率都不确定，搜索速度很慢，因为网络上有许多数据提供者，节点 通过有限的广播很难保证能找到拥有某一资源的节点，而数据提供者同样不能保 证能监听到所有的查询，而且这个过程相当耗费时间，并给网络流量增加很重的 负担；2 g n u t e l l a 协议没有采取任何措施来阻止向一个已经非常繁忙的节点发送 请求，在这种情况下节点很容易形成瓶颈；3 在应用中遇到许多错误，例如丢 华东师蓖大学硕士学位论文 基于对等罔络架构的流攥体在线l 播系统的设计和实现 弃报文的数量很高。 2 3 3h 酗h 表模型 h a s h 表模型( h a s ht a b l em o d e l ) 采用分布式h 蠲h 表( d h t ) 算法来管理 资源和路由消息。在该模型中，每个节点带有一个特定的标识符( p i d ) ，并且每 个节点保存一定数量的其他节点的信息。当文档、信息等资源需要在某一个节点 发布共享时，采用分布式h a s h 算法对该实体信息、文档名或内容信息进行h a s h 运算，生成资源的标识符( g u i d ) ，该资源被存储到相关的节点中。从而在p i d 和g u i d 之间建立某种联系。节点在查询资源时，向自己保存的节点请求查询和 定位，最终发送到与该g u i d 最接近的节点。示意图如图2 4 所示。 图2 7h a s h 表模型 p a s t r y 是h a s h 表模型的代表应用。它具有可扩展的分布式对象定位和路由 协议，可用于构建大规模的p 2 p 系统。在p 嬲廿y 中，每个节点分配一个1 2 8 位的 节点标识符号( p ) ，所有的节点标识符形成了一个环形的p i d 空间，范围从0 到2 1 2 8 1 ，节点加入系统时通过哈希节点i p 地址在1 2 8 位p m 空间中随机分配。 p 勰酊中节点的路由状态包括以下三部分： 1 路由表r 它由i l 0 9 2 b n f 行构成，每行有2 5 1 个入口的表项组成。行n 的2 6 一1 个入口指向其p d 和当前节点的p d 共享前n 位但第n + l 位不同的2 6 1 个表 项。值b 的选择考虑了路由表的长度和路由跳数的权衡，b 越大则路由跳数 越少，但需维护的路由信息多。 华东师范大学硕士学位论文 基于对等网络槊构的流媒体在线直播系统的设计和实现 2 邻居集m 它包含了同本地节点最接近( 根据p m x 砌t ym e t r i c ) 的i m l 个节点， 不用于路由转发而用于保证局部邻接( 1 0 c a l 时) 特性。 3 叶子集l 它是ll 忙个其p i d 最接近且大于本地节点p i d 的节点和i l l 2 个其 p i d 最接近且小于本地节点p i d 的节点集合，典型的和m 1 值是2 6 和2 + 2 6 。 给定一k e y ，节点首先检查该k e y 是否落在叶子集范围内，如是，则直接把 查询请求递交到叶子集中p i d 最接近该关键字的节点，查询结束：如在叶子集范 围之外，则节点把查询请求首先转发到其p i d 和k e y 共享的位数比本地p i d 和 k e y 共享的位数至少长一位的节点，如果不存在该节点则转发到共享位数一样长 但p i d 数值比本地p i d 数字更接近k e y 的节点。 2 4 应用层组播综述 i p 组播是1 9 8 8 年s t e v ed e e r i n g 首先在他的博士论文中提出的。i p 组播用于 一对多、多对多、多对一的组通信。它是一种有效的数据传输应用，发送的同一 数据在物理链路中只传输一次，减少了数据包在网络传输中的冗余，节约了带宽， 提高了传输效率。组播自提出到现在已经有十多年了，却还没有被广泛地应用到 i n t e m e t 主要有以下一些原因： ( 1 ) 技术上的原因。组播还是一个很复杂的研究领域，许多的协议还没有 实现，对其监控、管理比较复杂，如对组的管理、组播地址的分配、安全方面的、 支持网络管理方面的问题，2 2 4 小节对其进行了详细介绍。 ( 2 ) 市场的原因。打破了传统的计费模式，当前的组播的服务模式没有支 持组播的付费，要在当前的服务模式和协议体系结构下普遍化和商业化，i p 组 播会遇到很多困难。 ( 3 ) 组播还存在“鸡”和“蛋”的问题。当前组播的研究主要还是受学术 的驱动，而客户需求驱动较少。 随着对等网络研究的不断发展，人们提出了采用应用层组播技术来解决在互 联网上部署流媒体组播应用的难题。它利用对等网络技术，在底层网络基础之上 构建一个虚拟网络，将组播路由功能从组播路由器转移到端系统上，然后在端系 统的应用层建立发送端和接收端之间的组播转发树。该技术本质上是用单播来实 现组播，将组播的复杂性从网络移动到端系统。和d 组播增加网络机制的方法 华东师范大学硕士学位论文基于对等网络架构的流媒体在线直播系统的设计和实现 不同，应用层组播的基本思想是保持i n t e m e t 原有的简单、不可靠、单播的转发 模型，由端系统来实现组播转发的功能。这也是著名的“e n d t o e n da r 毋1 m e n t ” 所倡导的思想。 应用层组播协议通常把组成员组织成两个逻辑拓扑：控制拓扑和数据传输拓 扑。拓扑上的每条边都相当于一条单播连线。控制拓扑主要用来在端系统间周期 性的交换控制信息来发现和恢复由于一些成员的非法离开造成的拓扑破坏。数据 拓扑通常是控制拓扑的一个子集，