（计算机应用技术专业论文）基于p2p网络的流媒体直播系统的设计与实现.pdf

大连理工大学硕士学位论文 摘要 p 2 p 技术的迅速发展使其成为构建广域网中大型分布式系统的有力工具。p 2 p 采用 完全分布式结构，网络中的节点既可以获取其他节点的资源或服务，同时又是资源或服 务的提供者。使用p 2 p 技术的系统具有比传统的c s 系统更好的健壮性和可扩展性。p 2 p 流媒体系统作为p 2 p 技术的重要应用之一也成为当前分布式系统领域的一个研究熟点。 使用p 2 p 技术进行流媒体直播能有效降低服务器资源和带宽占用，降低运营成本， 对异构网络的适应力强，部署的成本和复杂度低。虽然目前基于p 2 p 的流媒体直播系统 已经有多种实现，然而现有系统仍然有一些必须解决的问题，这些问题包括：时延、网 络不可控、a d s l 节点上下行带宽不对称、n a t f 霄穿越、安全、可管理性等。 本文对p 2 p 流媒体直播的一些基本内容作了研究，包括用于构造流媒体传输网络的 p 2 p 拓扑结构、流媒体数据分发和搜索方法、降低流媒体传输延迟的方法、p 2 p 网络管 理和安全等方面。 根据对于p 2 p 流媒体直播的研究，本文设计并实现了一套基于p 2 p 网络的流媒体直 播系统，该系统使用定向扩散方法提高流媒体数据扩散效率，降低流媒体数据的传输延 迟和带宽；使用双路由方法控制数据传输范围；使用基于责任制的数据补偿方法解决带 宽不对称问题；建立了一种安全并且可管理的p 2 p 直播框架。 该系统在大连理工大学网络电视转播过程中得到测试应用，根据测试情况经过多次 调整，逐步完善成为一套可靠的p 2 p 流媒体直播系统。该系统在降低流媒体传输延迟、 控制网络传输范围、提高p 2 p 网络安全性和可管理性等方面都有显著进步。 关键词：p 2 p ；k a d e m l i n , 流媒体直播；实时传输调度 大连理工大学硕士学位论文 ap 2 pb a s e dd e s i g na n di m p l e m e n t a t i o no f l i v es t r e a m i n gs y s t e m a b s t r a c t n 帕r a p i dd e v e l o p m e n to f p 2 pt e c h n o l o g ym a d e i ta so n eo f t h em o s td i s r u p t i v et o o l sf o r t h ec o n s t r u c t i o no fl a r g e s c a l ed i s t r i b u t e ds y s t e mo v e ri n t c m e t p 2 pn e t w o r ku s e dt h e c o m p l e t e l yd i s t r i b u t i o n a lc o n s t r u c t i o n , i nw h i c hn o d e sn oo n l yg a i n e dr e s o u “：e so rs e r v i c e f r o mo t h e r s ，b u ta l s oc o n l r i b u t e d 1 1 忙n e t w o r kw a sd i d n tr e l yo ns o m ec e n t r a ls e r v e r s ，w h i c h w a sm o r er o b u s ta n de x t e n d i b l et h a nt r a d i t i o n a lc ss y s t e m t h e r e f o r e a so n eo ft h em o s t p e r s p e c t i v ea p p l i c a t i o n s ，p 2 ps t r 锄丑i n gs y s t e mh a sb e p , o m eo n eo ft h eh o t s p o to fp 2 p r e s e a r e l i p 2 pb a s e dl i v es t r e a m i n gs y s t e mc o u l dr e d u c et h es e r v e rr e s o u r c e sa n db a n d w i d t h e f f e c t i v e l y , w a sa d a p t i v et oh e t e r o g e n e o u sn e t w o r k , a n da l s or e d u c e dd e p l o y m e n tc o s t b u t t h ee x i s t i n gs y s t e ms t i l lh a ds o m ep r o b l e mt os o l v e , t h e s ep r o b l e mi n c l u d e d ：d e l a y ， u n c o n t r o l l a b l en e t w o r k ,a s y m m e t r i c a lt r a n s m i s s i o n , n 芦a 琢t r a v e r s a l s e c u r i t ya n d m a n a g e m e n t t m st h e s i sc o n d u c t si n - d e p t hr e s e a r c ho ns e v e r a lb a s i ci s s u e so fp 2 ps t r e a m i n gs y s t e m , i n c l u d i n gh o wt od e s i g no fp 2 po v e r l a yn e t w o r k , h o w t oo p t i m i z et h et o p o l o g yb a s e do n u n d e r l a yn e t w o r k , h o w t oc o l l e c tn o d ei n f o r m a t i o n , h o wt os e l e c td a t as e n d i n gn o d es e t , h o w t ol o c a t ed a u t , a n dh o wt os c h e d u l ed y 衄n l ed a ms e tb e t w e e nd a t as c n d i i l gn o d e st oo b t a i n m i n i m u md e l a y , a n da l s oi n c l u d i n gp 2 pn e t w o r km a n a g e m e n ta n ds e c u r i t y t l l i st h e s i sd e s i g n e da n di m p l e m e n t e dap 2 pb a s e dl i v es t r e a m i n gs y s t e m , w h i c hu s e d d i r e c t i o n a ld i f f u s i o nt oi m p r o v ed i f f u s i o ne f f i c i e n c ya n dr e d u c eb a n d w i d t ha n dd e l a y , u s e d d o u b l er o u t i n gt a b l et oc o n t r o ld a t at r a n s m i s s i o ns c o p e ，u s e dr e s p o n s i b i l i t yb a s e ds y s t e md a t a c o m p c l l 盥l t i o l lt os o l u t i o na s y m m e t r i c a lt r a n s m i s s i o np r o b l e m , a n de s t a b l i s h e dak i n do f s e e u l ea n dm a n a g e a b l ep 2 pl i v es t r e a m i n gf r a m e w o r k n 摇s y s t e mw a st e s t e dd u r i n gf w a2 0 0 6r e b r o a d c a s ti nd l u t ，w h i c hw a s 碉i l s t c d m a n y t i m e sd u r i n gt e s t , a n dh a v eb e e nar e l i a b l es y s t e mn o w t i l i ss y s t e mm a d er e m a r k a b l e p r o g r e s s i n r e d u c i n gt r a n s m i s s i o nd e l a y ，c o n t r o l l i n gn e t w o r kt r a n s m i s s i o ns c o p e ，a n d e n h a n c i n gp 2 pn e t w o r ks e c u r i t ya n dm a n a g e m e n t k e yw o r d s ：p 2 p ；k a d e m f i a ；l i v es t r e a m i n gm e d i a ；r e a lt i m et r a n s m i s s i o n s c h e d u l i n g 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：曼鱼毒日期：坦：! ! ：穹 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名：盗盘 导师签名 迎年生月4 日 大连理工大学硕士学位论文 1 绪论 随着网络技术的不断发展，p c 机能力的不断增强，边缘网络信息的不断丰富，互 联网中传统的客户机服务器( c l i e n t - s e r v e r ) 通信模式统治的局面被逐渐打破，出现了 越来越多的对等( p e e r t op e e r ，p 2 p ) 的通讯模式。p 2 p 通讯指的是参与通讯的每个节点既 是服务器，又是客户端，节点间自组织地形成对等的逻辑网络。 在低速网络时代，网络应用以客户服务器方式为主，大型服务器处于网络应用的 核心地位。服务器拥有庞大的计算资源和网络带宽，可以同时为许多用户服务。个人用 户只能作为访问网络的终端，不可能为他人提供服务。但是在高速网络时代，不仅网络 带宽得到了极大的提高，计算资源的价格也不断下降，性能却在迅速提高。现在，一台 普通个人计算机，计算能力和存储能力很可能超过二十年前的大型机。计算资源和网络 带宽这两方面条件的改进，使得很多网络终端也具备了一定的服务能力。因此，许多人 开始用自己的个人计算机对外提供特定形式的服务。最常见的应用是个人文件共享服务 以及协同计算服务等。但是个人用户的应用环境毕竟无法与专业的服务提供商相比。无 论计算资源还是网络资源，个人用户都不具备提供大规模服务的能力。例如，对于网络 流媒体( 包括直播、点播) 服务，服务器需要存储大量的流媒体文件，同时还要拥有强 大的计算能力以处理大量并发的请求。个人计算机显然对这种服务是无能为力的。但是， 如果把网络上数量巨大的个人计算机作为一个整体联系起来，就可以提供任何集中式服 务器无法比拟的计算资源。基于这样的思想，许多p e e rt op e e r 的网络应用迅速兴起。 p 2 p 与c s 模式的对比如图1 1 所示： 。i 事零妙q ic i i e n 堋e r v 日模式p e e r t op e c x 模式 图1 1p 2 p 与c s 模式的对比 f i 晷1 1c o n t r a s to f p 2 pa n dc sp a t t e r n 基于p 2 p 网络的流媒体直播系统的设计与实现 p 2 p 技术的特点体现在以下几个方面： ( 1 ) 非中心化( d e c e n t r a l i z a t i o n ) ：网络中的资源和服务分散在所有节点上，信息的传 输和服务的实现都直接在节点之间进行，可以无需中间环节和服务器的介入，避免了可 能的瓶颈。p 2 p 的非中心化基本特点，带来了其在可扩展性、健壮性等方面的优势； ( 2 ) 可扩展性：在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整 体的资源和服务能力也在同步地扩充，始终能较容易地满足用户的需要。整个体系是全 分布的，不存在瓶颈，理论上其可扩展性几乎可以认为是无限的； ( 3 ) 健壮性：p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在各个节 点之间迸行的，部分节点或网络遭到破坏对其它部分的影响很小。p 2 p 网络一般在部分 节点失效时能够自动调整拓扑，保持其它节点之间的连通性。p 2 p 网络通常都是以自组 织的方式建立起来的，并允许节点自由地加入和离开。p 2 p 网络还能够根据网络带宽、 节点数、负载等变化不断地做自适应式的调整： ( 4 ) 高性价比：性能优势是p 2 p 被广泛关注的一个重要原因。随着硬件技术的发展， 个人计算枫的计算和存储能力以及网络带宽等性能依照摩尔定理高速增长。采用p 2 p 架 构可以有效地利用互联网中散布的大量普通节点，将计算任务或存储资料分布到所有节 点上。利用其中闲置的计算能力或存储空间，达到高性能计算和海量存储的目的。通过 利用网络中的大量空闲资源，可以用更低的成本提供更高的计算和存储能力； ( 5 1 负载均衡：p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少了对传 统c s 结构服务器计算能力、存储能力的要求，同时因为资源分布在多个节点，更好的 实现了整个网络的负载均衡。 1 1 流媒体应用介绍 流媒体是指视频和音频数据从源端同时向目的地传输，它可以作为连续实时流在目 的地被接收。这里的源指的是服务器端的应用，而目的地或称接收端是指客户端应用。 流媒体数据从服务器端应用传输后可由客户端应用接收并播放，一般是客户端应用接收 到足够的数据并将之存储在缓冲区后便立即将音视频播放出来。 互联网上视频流媒体技术应用近年来增长迅速，流媒体技术在世界范围内得到应 用。流媒体技术可广泛用于网上新闻发布、在线直播、网络广告、远程教育、实时视频 会议等。商业网站利用流媒体播放新闻，开展音乐直播和点播服务，企业和机构采用点 播和流媒体进行员工培训、信息发布、公司介绍等，从而提高效率，节约开支。基于流 媒体的应用转变了传统互联网呆板的内容表现形式，具有强视觉冲击力的视频节目成了 人们进入宽带网络的最重要的应用之一，多媒体互动成了人们对宽带网络未来发展的寄 大连理工大学硕士学位论文 托。传统影视媒体市场与宽带网络的应用服务相融合，产生了宽带v o d 、在线音乐、 远程教育、宽带收费电视等新的应用。 流媒体系统一般包括三部分：流媒体编码系统，流媒体传输系统和流媒体播放系统。 流媒体编码系统将原始的媒体文件或摄像设备采集进来的实时媒体数据制作成适合网 络传输的文件格式( 流格式) ，然后将流文件存储在媒体文件存储器中，或直接送到流 媒体服务器。流媒体传输系统包括流媒体服务器和客户端，两者之间使用流煤体协议或 普通协议传输流媒体数据。 图1 2 流媒体服务示意图 f i g t 2s t r e a m i n gm e d i as 州 提供流媒体的服务器称为流媒体服务器，又称连续媒体( c o n t i n u o u sm e d i a ，c m ) 服务器，广泛应用在流媒体新闻点播、远程教育、电子商务以及商业培训等方面。实际 应用中的流媒体服务器，多采用w e b 服务器+ 媒体服务器的形式。图1 2 是一个简单的 单服务器示意图，用户通过客户端的w e bb r o w s e r 访问w 曲s e r v e r 上的连接，获取流媒 体服务的基本信息，然后启动本地流媒体播放器，根据流媒体信息连接流媒体服务器， 获得流媒体数据。在流式传输中。一般采用h t t p t c p 来传输控制信息，而用r t p u d p 来传输实时数据。w e b 服务器和w e b 浏览器通过m i m e 标记媒体类型浏览器通过 m i m e 识别出流媒体类型后，再调用p l u g - i n 或助手应用程序( h e l p e r ) 进行处理。 流媒体文件的传输和播放具有实时性的限定条件，如果在传输过程中不满足这个实 时性的条件，客户端的播放就会出现中断、延迟或抖动的现象。另外，媒体文件多数都 比较大，一个播放时间两小时播放带宽4 m b s 的m p e g - 2 视频文件有3 6 g b ( g i g a b y t e s ) 。 因此，单机流媒体服务器很难支撑大规模的服务。因此出于负载分担和支持更多用户考 基于p 2 p 网络的流媒体直播系统的设计与实现 虑，出现了集群流媒体服务器，通过一台管理服务器来根据各服务器负载状况决定将用 户请求发往当前负载最低的服务器，管理服务器还负责流媒体文件管理，数字版权管理 等。流媒体服务的门户一般仍然为w e b 服务器。 目前我国大多数的流媒体网站采用集中服务的方式，即将服务器集中托管在一个数 据中心内，对全国，乃至全球的用户提供统一服务，实行统一管理。这种方式在设备管 理上有一定的方便性，但是也不可避免地存在一些问题： ( 1 ) 虽然使用集群能够提高流媒体服务的可扩展性和并发数量，但由于流媒体服务 对服务器资源占用要比一般服务大的多，每台服务器可提供的并发数量有限，必须不断 扩充集群规模； ( 2 ) 集中服务除了给服务器带来压力之外，还会给网站的带宽带来巨大的压力。网 站在购买新的服务器的同时，还要不断地向数据中心购买带宽资源。然而，一个数据中 心的带宽也是有限的，当网站发展到一定的阶段，而数据中心的发展跟不上时，就必须 考虑重新选择数据中心； ( 3 ) 尽管网站不断的升级服务器，扩充带宽，仍然有可能出现对有的用户的服务品 质无法保证的情况，可能就是因为用户网络与服务器网络分属与不同的供应商，用户与 服务器的连接不稳定造成的。如果流媒体网站是免费的，这个问题不是很大，但如果是 收费的网站，就可能导致用户不再购买此流媒体网站的服务，造成网站收入的流失。 所以传统的集中式集群服务只能提供中小规模的流媒体服务。 针对上述问题目前有三种改进方案： ( 1 ) 使用组播技术：对于直播的流媒体服务使用组播技术降低服务器和网络负载， 但组播需要网络设备支持组播服务，并不是互联网上所有的网络设备都支持并打开了组 播服务，组播服务很难在大范围内应用，而且组播技术只能用于流媒体直播服务； ( 2 ) 使用c d n 技术：c d n 的全称是c o n t e n td e l i v e r yn e t w o r k ，即内容分发网络。 其目的是通过在现有的i n t e m g t 中增加一层新的网络架构，将网站的内容发布到最接近 用户的网络“边缘”，使用户可以就近取得所需的内容，提高用户访问网站的响应速度。 相对于集中集群服务，使用c d n 可以提高流媒体服务的服务质量，但并不能解决服务 器压力和带宽压力，随着应用规模的扩展，需要不断增加服务器和带宽，仍然无法应用 于大规模服务； ( 3 ) 使用p 2 p 技术：在文件共享系统中，p 2 p 网络对于降低服务器和带宽负载效果 明显，于是利用p 2 p 网络构建流媒体分发网络也开始兴起 2 2 1 1 2 3 1 1 2 4 1 1 2 s 1 1 2 9 1 ，目前p 2 p 流媒 体直播技术已经进入商业化阶段【1 那引，但是也存在一些缺点。对于现有的p 2 p 直播服 务，相对于流媒体源的播放延迟是一个重要问题，这些系统的播放延迟一般都在2 分钟 4 一 大连理工大学硕士学位论文 以上，对于互动直播系统来说这种延迟仍然是无法容忍的。另一方面，p 2 p 流媒体点播 系统发展一直比较缓慢，到目前为止也没有出现成熟的解决方案，而网路流媒体系统相 对于传统电视最大的优点是其提供的点播服务，所以除了改进p 2 p 流媒体直播系统之 外，p 2 p 流媒体点播系统也是研究的重点。 1 2 p 2 p 系统发展 对等网络计算( p e e r - t o - p e e r ，p 2 p ) 应用最初出现时和现在并不相同。事实上可以认为 它是若干不同技术以及流行趋势的产物。下面是两个导致p 2 p 技术发展最重要的趋势： 首先是某些新技术与软件工程结合，形成了一种将工作分散的趋势。p 2 p 计算正是 这种分散工作趋势的自然结果。其次，从工程的角度看来，在企业应用集成等因素的驱 动下，过去十年渐渐形成一种从集中的单机系统转向分布式系统的趋势。在集中式的应 用中进行控制是相对容易的，这一点在一定程度上抑制了分布式潮流的发展。然而随着 互联网的发展，以及b 2 b 商务交易方式的日益流行，全面的分布式计算也就成为一种 商业需求。对功能强大的网络计算枧的需求以及昂贵的带宽开销，是对这种趋势影响最 大的两个因素。这两种趋势导致了p 2 p 应用技术研究的迅速发展。 除了技术方面之外，社会因素也是一个重要原因。人们现在对p 2 p 计算技术的热切 关注起源于n a p s t e r 、g n u t e l l a , 以及这些家族的其他成员产品。这些产品提供了所谓的 m i l e r8 p p s ”功能，能够将p 2 p 技术中的一部分放到客户端中。正是这种相互的服务模式， 增加的服务的规模和质量。然而必须指出的是，最初的p 2 p 应用大约产生于2 0 年前， ，并且其中的许多至今仍然被使用。尽管这些早期应用的核心就是p 2 p ，但由于大多数的 使用者并未使用过，因此通常并不认为它们是典型p 2 p 技术。 第一代p 2 p 的文件交换服务是n a p s t e f 【1 1 ，其技术特点是建立一个大型的集中化索 引，对网络上所有的可用资源进行追踪。1 9 9 9 年5 月，由s h a w nf a n n i n g 和s e a np a r k e r 共同创办的文件共享社区网站- n a p s t e r 正式成立。该公司最主要的服务是，为其用 户提供一种便捷、易用的界面以实现媒体文件的搜寻及共享；同时还为音乐迷们提供相 互交流的论坛，以及即时消息、聊天室、用户书签等产品。 ，这种方法虽然相当有效率，让使用者可以存取到庞大的资源，但同时发生了最著名 的官司：美国唱片业协会( r 工a a ) 代表环宇音乐、索尼音乐、华纳音乐、百代唱片、 b m g 等七大唱片公司以违反版权保护法为由把n a p s t e r 公司推上法庭，历时三年最终将 n a p s t e r 告倒，法院最终判定n a p s t e r 侵权。就在n a p s t e r 陷入诉讼危机的同时，又一批 软件诞生了，而且更为强大。g n u t e l l a 便是一例，它吸取了n a p m e r 的失败教训，将p 2 p 的理念更推进一步：它不存在中央目录服务器，用户只要安装了该软件，立即变成一台 基于p 2 p 网络的流媒体直播系统的设计与实现 能够提供完整目录和文件服务的服务器，并会自动搜寻其它同类服务器，从而联成一台 由无数p c 组成的网络超级服务器。传统网络的s e r v e r 和c l i e n t 在它的面前被重新定义。 但这种技术一开始相当不便，特别是数以百万计的搜索要求在网络上的每一台电脑间来 回发送时，在高峰时往往造成网络拥塞。后来通过随机方式选出品质较优的用户作为超 级节点服务器，用户可从超级节点服务器上获得p e e rl i s t ，下载方法也越来越进步。与 第一代p 2 p 软件命运截然不同的是，美国法院宣判，这种分散式的p 2 p 应用是合法的， 这种软件的散播者并未直接控制网络上所出现的行为。 e d o n k e y 是由j e d 在2 0 0 0 年刨立的。1 e d 给p 2 p 世界带来一些的新特征( 以及反对它 的诉讼1 。最重要的是可以同时从许多人那里下载同一个文件，它采用了“多源文件传 输协议”( m f t p ，m u l t i s o u r c ef i l et r a n s f e rp r o t o c 0 1 ) 。e d o n k e y 的索引服务器并不集 中在一起的，而是各人私有的，遍布全世晃，每一个人都可以运行电驴服务器，比以前 更为分散化。 e m u l e t 3 i 】开始于2 0 0 2 年0 5 月1 3 日，m e r k u r 不满意原始e d o n k e y 2 0 0 0 客户端并且 坚信他能做得更好，于是e m u l e 项目诞生了。e m u l e 目标是将e d o n k e y 极好的部分保留 下来。并增加新的特征以及使图形接口变得更好。e m u l e 采用了开放源代码模式，同时 也提供了很多e d o n k e y 所没有的功能，比如可以自动搜索网络中的服务器、保留搜索结 果、与连接用户交换服务器地址和文件、优先下载便于预览的文件头尾部分等，这些都 使得e m u l e 使用起来更加便利。 g n u t e l l a 2 和e d o n k e y 以及e m u l e 代表了第二代p 2 p 无中心、分布式系统的特点， 它不再是简单的点到点通信，而是更高效、更复杂的网络通信，再加上e d o n k e y 和e m t t l e 引入的强制共享机制，在一定程度上避免了第一代p 2 p 的随意性和低效率。 2 0 0 3 年3 月3 1 日，共享世界开放源代码操作系统的顶级作品r e d m t 9 0 如期推出， 供全球用户免费下载试用。但开发商为了避免网络过度负载，规定只有红帽子网络正式 注册的用户才可以在第一时间获得，其它用户要等到一周之后下载。r e d h a t 9 0 由3 张 光盘组成，即便能够下载，接近2 g 的数据量也令众多人望而兴叹。有了b t 这种正在 大面积传播的p 2 p 新技术，才使这种情况得以根本改观。更多人在第一时问获得了 r e d h a t 9 0 。通过b t ，在短短的几个小时内，全部3 张光盘镜像的5 0 0 份拷贝被下载， 数据总量达到了1 5 t b ，相当于2 0 0 0 多部高质量电影，最高速度达到了1 7 0 m b 秒。有 超过3 0 0 0 人加入了b t 共享队伍。如此快捷、高效、自发而又有序的数据传播方式，在 b t 出现以前几乎是不可思议的事情。如果纯粹从性价比着眼，人们在传统互联网架构 上投入巨资建立的旨在解决流量拥塞、负载均衡的内容分发网络( c d n ) 技术也相形见绌。 一6 一 大连理工大学硕士学位论文 b t 的全名叫做b i t t o r m n t 6 1 ，它是b r a m c o h e n 用p y t h o n 开发出来的。b t 开创了新 一代p 2 p 潮流，它批判地继承了前辈产品的优点，将中央目录服务器的稳定性同优化的 分布式文件管理结合起来，从而在效率上远远超出了e d o n k e y 这类产品。它要求提供一 个或多个统一的w e b 发布服务器，供网友发布和搜寻资料。在客户端，它通过一个正 插件或独立程序提供下载、上传管理。b t 把一份大文件切割成碎片，给每一个碎片标 上特殊标识，用户无需到一个固定地点( 例如传统网络的中心服务器) 上下载完整的文件， 系统会帮助你自动寻找、随机下载具有相同标识的文件碎片，将其加以蘩合成为完整的 文件。 b t 不需要指定服务器，虽然在b t 里面还是有服务器的概念，但使用b t 的人并不 需要关心服务器在哪里，b t 的服务器称为t r a c k e r 。用b t 下载，需要得到一个扩展名 是t o r r e n t 的文件，这个文件很小，可以放在某个w e b 服务器上，或者用f t p 和传统的 p 2 p 来得到，甚至作为附件贴在论坛上。这个文件里面存放了对应的发布文件的描述信 息、该使用哪个t r a c k e r 、文件的校验信息等，b t 用文件关联来对其进行处理。 b t 把提供完整文件的人称为种子( s e e d ) ，正在下载的人称为客户( c l i e n t ) ，某一个 文件现在有多少种子和客户是可以看到的，种子越多、客户越多的文件抓起来的速度会 越快。如果传输中间断掉了，b t 客户端会自动的续传； 近年来，利用p 2 p 技术实现流媒体点播和直播的系统也开始兴起。2 0 0 0 年出现第 一套p 2 p 视频直播系统的原型e s m 系统【3 】，该系统采用用户网状结构互连构造最优 媒体数据多播树的方法在用户间传播实时的多媒体内容。由于算法限制，这套系统只能 扩展到几千人同时在线，但已经标志着p 2 p 流媒体直播系统进入了系统发展期。2 0 0 4 年5 月欧洲杯期间，香港科技大学张欣研开发的c o o l s t r e a m i n g 原型系统在p l a n e t l a b 网 上试用获得成功【m 】。这套系统使用g o o s i p 协议在用户之间传播控制信令，使用类似于 b t 的多点数据传播协议在用户之间传送媒体数据包。c o o l s t r e a m i n g 系统是第一次真正 将高可扩展和高可靠性的网状多播协议应用在p 2 p 流直播系统当中，标志p 2 p 直播技术 进入准商业运作阶段。在c o o l s t r e a m i n g 成功的鼓舞下，中国流媒体直播技术和业务发 展迅速，在世界上独树一帜，目前中国有十多个网站使用各自发展的软件提供p 2 p 流媒 体直播业务。 1 3 研究内容 对于基于p 2 p 网络的流媒体直播和点播，周时涉及到资源分配和资源定位两方面的 问题，即在资源发布之初需要合理地将流媒体资源分发到部分节点上，并且其他节点可 以通过一定算法定位这些含有流媒体资源的节点。在已有的p 2 p 流媒体服务中，这种分 基于p 2 p 网络的流媒体直播系统的设计与实现 发和定位都是由服务器完成，并没有充分完全利用p 2 p 网络的优点，在大规模服务时很 容易造成服务器瓶颈问题，而且目前的资源分发和定位算法也有待改进，往往为了保证 播放流畅性而存在很大的延迟，所以新算法需要在不影响流畅性的前提下尽可能减少延 迟时间。 本文研究地重点在于使用合理的p 2 p 网络拓扑结构解决流媒体资源的分发和定位 问题，在另外对流媒体的采集、编码、传输、播放也是本文需要解决的问题。 本文预期完成目标包括：采用新的p 2 p 网络拓扑结构，解决服务器瓶颈问题以及高 延迟问题。同时实现一套从视频采集、编码、传输到播放的完整系统。 本文所要解决的主要问题包括； ( 1 ) 使用合理的p 2 p 网络拓扑结构，提高直播系统在大规模应用情况下的可扩展性， 同时降低在保证流畅性情况下的播放延迟； ( 2 ) 采用合适的编解码格式，便于流媒体资源的采集和发布； ( 3 ) 使用可靠的数据分组传输方法和调度方法。保证系统使用过程中的稳定性。 1 4 各章内容简介 第一章( 即本章) 介绍互联网流媒体的发展，应用和系统特点，分析使用传统技术 实现流媒体系统时面对的问题以及一些解决方法。介绍p 2 p 发展历史，以及在各个阶段 出现的新技术和新应用。介绍p 2 p 流媒体服务的研究内容和需要解决的问题。 第二章综述了与p 2 p 和p 2 p 流媒体系统相关的研究结果，首先介绍p 2 p 基础设施， 及在p 2 p 研究领域内的一些核心问题和关键技术。其次介绍传统流媒体系统中可供借 鉴的技术，主要是传输质量控制、穿越防火墙、传输协议。最后分类叙述并讨论了现有 p 2 p 流媒体的研究成果。 第三章研究作为流媒体应用底层平台的p 2 p 拓扑协议并构造基于p 2 p 网络的流媒体 直播系统，本章介绍使用k a d e m l i a 路由构造p 2 p 流媒体直播传输网络，通过定向分发 把流媒体数据片段有规律地分散到各个节点上。介绍针对流媒体服务的特点，对传输方 法和传输调度的优化。 第四章描述系统的总体设计和实现。包括流媒体系统的体系结构、实现概要以及功 能。 第五章描述系统在2 0 0 6 世界杯转播时测试运行情况，介绍在测试运行过程中遇到 的问题和解决方法，评估系统性能和测试结果。 大连理工大学硕士学位论文 2 研究背景和相关工作 本章综述与p 2 p 和p 2 p 流媒体系统相关的研究结果，首先介绍p 2 p 拓扑结构，以 及在p 2 p 研究领域内的一些核心问题和关键技术。其次介绍现有p 2 p 流媒体的研究成果。 2 1p 2 p 网络基础设施 p 2 p 网络基础设施是p 2 p 节点相互协作的基础，一般指节点互联的拓扑结构和节点 在与相邻节点保持连接时的行为规范。p 2 p 网络基础设施保证节点形成连通的图结构， 并在其上建立了特定的节点逻辑组织。所谓路由( 搜索) 算法是指从一个节点出发，沿 着节点之间的连接进行消息转发，最终到达目标节点或实现路由目标( 如搜索到所需数 据) 的过程。p 2 p 网络基础设施与路由算法一般是一一对应的，特定的基础设施决定了 其上的路由特性和搜索性能。 对于p 2 p 流媒体系统而言，p 2 p 网络基础设施决定了节点问互联的基本规则，进而 决定了搜索流媒体数据和数据供应节点的方式和性能，因此，对于p 2 p 流媒体系统有着 至关重要的作用。p 2 p 网络的类型又分为结构化p 2 p 网络和非结构化p 2 p 网络，它们的 主要区别在于结构化p 2 p 网络的节点信息是预知的，而非结构化p 2 p ，网络的节点信息是 不可预知的，而且非结构化p 2 p 网络节点的加入和离开是随机的不受控制的。本文分别 综述这两类p 2 p 网络的研究成果。 2 1 1 结构化p 2 p 网络 结构化p 2 p 网络主要是采用分布式散列表( d i s t r i b u t e dh a s ht a b l e ，d h t ) 技术来组 织网络中的节点。d h t 是一个由广域范围大量节点共同维护的巨大散列表。散列表被 分割成不连续的块，每个节点被分配给一个属于自己的散列块，并成为这个散列块的管 理者。通过加密散列函数，一个对象的名字或关键词被映射为1 2 8 位或1 6 0 位的散列值。 分布式散列表起源于s d d s ( s e a l a b l ed i s t r i b u t ed a t as t r u c t u r e s ) 研究嘲，g r i b b l e 等实 现了一个高度可扩展，容错的s d d s 集群。d h t 结构能够自适应节点的动态加入和退 出，有着良好的可扩展性、鲁棒性、节点m 分配的均匀性和自组织能力。由于重叠网 络采用了确定性拓扑结构，d h t 可以提供精确的发现。只要目的节点存在于网络中d h t 总能发现它，发现的准确性得到了保证，典型的结构化p 2 p 网络是t a p e s t r y ，p a s t r y ， c h o r d 和c a n 。 t a p e s 仃一2 0 】提供了一个分布式容错查询和路由基础平台，在此平台基础之上，可以 开发各种p 2 p 应用。t a p e s t r y 的思想来源于p l a x t o n 。在p l a x t o n 中，节点使用自己所知 道的邻近节点表，按照目的d 来逐步传递消息。t a p e s t r y 基于p l a x t o n 的思想，加入了 基于p 2 p 网络的流媒体直播系统的设计与实现 容错机制，从而可适应p 2 p 的动态变化的特点。o e e a n s t o r e 是以t a p e s t r y 为路由和查询 基础设施的p 2 p 平台。它是一个适合于全球数据存储p 2 p 应用系统。任何用户均可以加 入o c e a n s t o r e 系统，或者共享自己的存储空间，或者使用该系统中的资源。通过使用复 制和缓存技术，o c e a n s t o r e 可提高查询的效率。最近，t a p e s t r y 为适应p 2 p 网络的动态 特性，作了很多改进，增加了额外的机制实现了网络的软状态( s o f ts t a t e ) ，并提供了 自组织、鲁棒性、可扩展性和动态适应性，当网络高负载且有失效节点时候性能有限降 低，消除了对全局信息的依赖、根节点易失效和弹性差的问题。 p a s t r y 0 9 1 是一种可扩展的分布式对象定位和路由协议，可用于构建大规模的p 2 p 系 统。如图2 。1 所示，在p a s t r y 中，每个节点分配一个1 2 8 位的节点标识符号( n o d ei d ) ， 所有的节点标识符形成了一个环形的n o d e1 1 3 空间，范围从0 到2 1 2 7 ，节点加入系统时 通过散列节点p 地址在1 2 8 位n o d ei d 空间中随机分配。当节点收到一条含1 2 8 位k e y 的消息时，节点能高效地将消息发送到在当前邻居节点中，i d 最接近k e y 的节点。在 p a s t r y 网络中里，发送步骤的复杂度是0 0 0 9n ) ，在每个p a s t r y 节点中，路由表要维护 节点数量的复杂度是o ( 1 0 9n ) 。在消息传递经过的每个p a s t r y 节点时，会通知回调函数， 应用程序可以对这条消息进行处理。每个p a s t r y 节点监视和它d 值最接近的l 个节点f 这 个集合叫做l e a f s e t ，其中比当前节点d 大及小的节点各占l 2 ) ，应用程序可以通过回 调知道l e a fs e t 中新节点的加入、失效和恢复。p a s t r y 网络是分散的、灵活的、自组织 的，当出现新节点、死节点、节点失败时它会自动配置。 图2 1p a s t r y 的消息路由 f i g 2 1m e s s a g e r o u t eo f p a s t r y 大连理工大学硕士学位论文 c h o r d b 0 t 4 1 项目的目标是提供一个适合于p 2 p 环境的分布式资源发现服务，它通过 使用d h t 技术使得发现指定对象只需要维护o ( 1 0 9 长度的路由表。在d h t 技术中， 网络节点按照一定的方式分配一个唯一节点标识符( n o d e ) ) ，资源对象通过散列运算 产生一个唯一的资源标识符( o b j e c t1 0 ) ，且该资源将存储在节点i d 与之相等或者相近 的节点上。需要查询该资源时，采用同样的方法可定位至存储该资源的节点。因此，c h o r d 的主要贡献是提出了一个分布式查询协议，该协议可将指定的关键字( k e y ) 映射到对应 的节点( n o d e ) 。从算法来看，c h o r d 是相容散列算法的变体。图2 2 显示了c h o r d 的拓 扑形状。， 图2 2c h o r d 的拓扑结构 f i g 2 2t o p o l o g yo f c h o r d c a n ( c o n t e n ta d d r e s s a b l en e t w o r k s ) 项耳团墚用多维的标识符空间来实现分布式散 列算法。c a n 将所有节点映射到一个1 1 维的笛卡尔空间中，并为每个节点尽可能均匀 的分配一块区域。c a n 采用的散列函数通过x q ( k e y ，v a l u e ) 对中的k e y 进行散列运算，得 到笛卡尔空间中的一个点，并将( k e y ，v a l u e ) 对存储在拥有该点所在区域的节点内。c a n 采用的路由算法相当直接和简单，知道目标点的坐标后，就将请求传给当前节点邻居中 坐标最接近目标点的节点。 基于p 2 p 网络的流媒体直播系统的设计与实现 d h t 这类结构最大的问题是d h t 的维护机制较为复杂，尤其是节点频繁加入退出 造成的网络波动( c h u m ) 会极大增加d h t 的维护代价。d h t 所面临的另外一个问题 是d h t 仅支持精确关键词匹配查询，无法支持内容、语义等复杂查询。 2 1 2 非结构化p 2 p 网络 p 2 p 应用的兴起主要来源于非结构化p 2 p 网络的发展，在非结构化网络中，参与到 p 2 p 网络的节点可以是互联网中的任何一台计算机，这些节点可以在任何时候加入或离 开p 2 p 网络。由于非结构化网络的这种特性，使用传统的d h t 技术并不能构造可靠的 非结构化p 2 p 网络，非结构化p 2 p 网络的拓扑结构经过四个阶段：集中式结构、全分布 式结构、混合结构和改进的d h t 结构。 集中式结构：集中式结构最大的优点是维护简单，资源发现效率高。由于资源的发 现依赖中心化的目录系统，发现算法灵活高效并能够实现复杂查询。该结构的最大问题 与传统客户机服务器结构类似，容易造成单点故障，易引起访问的“热点”现象和版权 纠纷等相关问题，这是第一代p 2 p 网络采用的结构模式，经典案例就是著名的m p 3 共 享软件n a p s t e r 。 图2 3n a p s t e r 的拓扑结构 f i g 2 3t o p o l o g yo f n a p s