（计算机应用技术专业论文）基于网络编码的p2p流媒体传输技术.pdf

基于网络编码的p 2 p 流媒体传输技术摘要与基于客户端朋艮务器方式的流媒体传输网络架构不同，在p 2 p网络中，充分利用了客户机资源，减轻了服务器的压力，满足大量用户访问的同时使用户得到高质量的服务，因此p 2 p 流媒体技术近年来得到了迅速的发展。本文首先概括介绍了p 2 p 流媒体技术以及流媒体分层编码技术，然后通过对启动时延和播放质量两个指标指出了现有p 2 p 流媒体传输系统的不足。随后，本文介绍了网络编码技术。为提高p 2 p 流媒体传输系统的性能，提出了一种基于随机网络编码的p 2 p 流媒体数据传输方案。该方案包括流增加的流媒体代理机制，媒体传输中对数据的预处理，数据块的网络编码和解码过程，网络编码与流媒体分层编码配合策略以及订阅机制等部分。该方案根据情况判断将部分或全部原始数据网络编码后传输，接收节点可根据带宽情况控制发送节点是否发送增强层数据，减小启动时延，提高了播放质量。对比仿真试验表明，在变化的网络条件下，相对于现有的纯p 2 p流媒体传输系统，使用本文中的基于网络编码的传输方案，在用户的启动时延和接收节点的播放质量等方面能够得到一定提高。关键词：p 2 p 网络流媒体分层编码网络编码n e t w o r kc o d i n gb a s e dp 2 pm e d i as t r e a m 烈gt e c h n o l i g ya b s t r a c tc o m p a r e dt om e d i as t r e a m i n gs y s t e m sw h i c ha r eb a s e do nt h ec l i e n t s e r v e rf r a m e w o r k ，i np 2 pn e t w o r k e a c hc l i e n tr e c e i v e sd a t aa n df o r w a r d si tt oo t h e r sa tt h es a m et i m e l a r g en u m b e r so fc l i e n t sr e s o u r c ei g n o r e db e f o r ec a nb ee f f e c t i v e l yu s e d t h eb u r d e no nt h es e r v e rw i l lb er e l i e v e da n dt h es e r v e rc a l lp r o v i d eb e t t e rq u a l i t yo fs e r v i c ef o rag r e a td e a lo fu s e r sa tt h es a m et i m e s op 2 pm e d i as t r e a m i n gt e c h n i q u ed e v e l o p e df l e e t l yi nr e c e n ty e a r s f i r s t l y t h et h e s i ss u m m a r i z e dt h ep 2 pm e d i as t r e a m i n gt e c h n i q u e sa n dl a y e r e dc o d i n gt e c h n o l o g y t h e n ，s t a r t u pd e l a ya n dp l a y b a c kq u a l i t yw e r ei n t r o d u c e da st w oi n d i c a t o r sf r o mw h i c hw ep o i n t e do u tt h es h o r t a g eo ft h ee x i s t i n gp 2 ps t r e a m i n gs y s t e m s t oi m p r o v et h ep e r f o r m a n c eo ft h ep e e r - t o - p e e r ( p 2 p ) s y s t e m ，d a t at r a n s m i s s i o ns c h e m eb a s e do nr a n d o mn e t w o r kc o d i n gi sp r e s e n t e d i ti n c l u d e st h ep r e p r o c e s s i n go fs t r e a m i n gm e d i ad a t ai np e e rn o d e ，t h ee n c o d i n ga n dd e c o d i n go fd a t ab l o c k ，t h ed a t as c h e d u l i n ga l g o r i t h mi np e e rn o d e s t h ep o l i c yo fn e t w o r kc o d i n go p e r a t ew i t hl a y e r e dc o d i n ga n ds u b s c r i b i n gm e c h a n i s m i nt h i sd e s i g n ，l a y e r e dc o d e dd a t aw a sa l s oc o d e dt h r o u g hn e t w o r kc o d i n gb e f o r et r a n s m i t t e dt ot h er e c e i v i n gp e e r , a n dt h er e c e i v i n gp e e rc o u l dd e c i d ew h e t h e rt h et r a n s m i t t i n gp e e rs h o u l ds e n dt h ee n h a n c e m e n tl a y e rd a t a ，a n dt h i sm e t h o dc o u l di m p r o v et h ep l a y b a c kq u a l i t ya n dr e d u c et h es t a r t u pd e l a y a c c o r d i n gt ot h er e s u l to fc o m p a r i s o ns i m u l a t i o n s u n d e rt h ec h a n g i n gn e t w o r ks i t u a t i o n ，c o m p a r e dw i t ht h eo r i g i n a lp e e r - t o - p e e rs y s t e m ，t h ep r o p o s e ds c h e m ec a l li m p r o v et h es t a r t - u pt i m e o ft h es y s t e ma n dt h ep l a y b a c kq u a l i t yo ft h er e c e i v i n gp e e r k e yw o r d s ：p 2 pn e t w o r ks t r e a m i n gm e d i al a y e r e dc o d i n gn e t w o r kc o d i n g独创性( 或创新性) 声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人签名：钾缸子本人承担一切相关责任。日期：跏d ) 5 2关于论文使用授权的说明学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定)保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权书。本人签名：丕p 铆日期：加叫j 2导师签名：哥麓日期：乃一弓y1 1 研究背景第一章绪论1 1 1p 2 p 流媒体技术在多媒体数据传输中，把一系列连续的、带有时间戳的数据包称之为“流”。和一般的数据传输不同的是，流式数据是一边传输，一边解码还原，供接收者浏览，而传统的数据传输一定要等整个文件数据传输完毕才能打开。采用流形式传输的图像、图片、文本、声音等信息载体称为流媒体( s t r e a m i n gm e d i a ) ，以流的方式处理活动图像和声音信息的技术称为流媒体技术。流媒体传输的是多媒体信息数据，这些数据大多数是事先经过特定处理，并按照规定的网络协议传送的。p 2 p 技术在流媒体信息传输应用中有很多，比如网络流媒体电视。p 2 p 是p e e r - t o p e e r 的简写，译为“对等网络 。p 2 p 系统最大的特点就是客户端之间直接共享资源，p 2 p 网络是一种具有较高扩展性的分布式系统结构，其对等概念是指网络中的物理节点在逻辑上具有相同的地位，而并非处理能力的对等。p 2 p技术其实质在于将i n t e r n e t 的集中管理模式引向分散管理模式，将内容从中央单一节点引向网络的边缘，从而充分利用互联网中众多终端节点所蕴涵的处理能力和潜在资源。相对于传统的集中式客户服务器( c s ) 模型，p 2 p 弱化了传输器的概念，系统中的各个节点不再区分服务器和客户端的角色关系，每个节点既可请求传输，也可提供传输，节点之间可以直接交换资源和传输而不必通过服务器。在p 2 p 的流媒体信息传输机制中，不仅可以使用服务器的资源，而且可以充分利用客户计算机的资源，客户在享受流媒体节目的同时，也在利用自身计算机的资源为其他客户提供传输。整个系统的计算机和网络资源随客户数的增多而增多。理论上，基于p 2 p 的流媒体传输系统的客户数可以达到无限大，而且在建立系统时不用增加传输器和网络设施。1 1 2 网络编码技术网络编码是近几年提出的一个新的研究领域，作为信息论和网络技术的融合，它最先由a h l s w e d e 1 】提出。传统的网络中，路由器或网络中间节点( 如p 2 p网络中的各主机) 对收到的数据包只简单转发到下一个节点。而利用网络编码，1网络节点可以把收到的多个数据包通过一定的编码手段( 如线性编码) 重新组包再发送到下一节点，接收端收到一定数量的包后通过解码获得数据。网络编码理论的划时代意义在于推翻了独立的比特不能再被压缩的经典结论，指出网络信息流( n e t w o r ki n f o r m a t i o nf l o 州可以被压缩，从而可进一步提升网络吞吐量。网络编码理论因此也被称为网络信息流理论。其主要优点是提升多播网络吞吐量、改善网络负载均衡、节省网络带宽消耗、提高网络链路鲁棒性。1 2 国内外研究现状普通的流媒体系统中，用户之间是没有什么联系的，而在融合了p 2 p 技术后，用户可根据他们的网络状态和设备能力与一个或几个用户建立连接来共享数据，这种连接能够减少服务器的负担并且提高每个用户的视频质量。基于p 2 p方式的流媒体系统相关技术和各种原型系统等大量涌现出来【2 】【3 1 。分别在直播和点播方面都有许多针对p 2 p 流媒体的协议产生。在直播领域，微软研究院的c o o p n e t s p l i t s t r e a m 4 5 1 协议，马里兰大学的n i c e协议、伯克利大学的g o s s i p 6 】协议等是p 2 p 直播系统中应用层多播协议的代表。香港大学在p l a n e t 上进行试用了c o o l s 骶锄i 1 1 9 【7 】系统，这套系统中使用g o s s i p协议在用户之间传播控制信令，使用类似于b i t t o r r e n t 的多点对多点数据传播协议在用户之间传送媒体数据包。c o o l s r e a m i n g 系统真正将可扩展和高可靠性的网状多播协议应用在实际网络中。美国普渡大学的g n u s t r e a m 是在g n u t e l l a 8 】【9 】网络基础之上实现的第一个p 2 p准点播系统( 不提供v c r 操作) ，该系统也使用了网状多播的策略。在应用层传输协议方面，以美国学者在2 0 0 2 年提出的p 2 c a s t 以及2 0 0 3 年提出的p r o m i s e 1 0 1系统中使用的c o l l e c t c a s t 】最具有理论参考价值。网络编码技术虽然出现的时间不长，但一经提出便引起了国际学术界的广泛关注，其理论和应用己成为通信领域研究的新热点。网络编码在提高网络吞吐量、改善负载均衡、减小传输延迟、节省节点能耗、增强网络鲁棒性等方面均显示出其优越性，可广泛应用于a dh o e 网络【1 2 】，传感器网络【1 3 1 、p 2 p 内容分发【1 4 1 、分布式文件存储【1 5 】和网络安全【1 6 】等领域。国外多所著名大学如麻省理工学院【1 6 】、多伦多大学【1 7 1 、瑞士e p f l 学院【1 8 】等和多家知名1 1 r 研究机构包括微软研究院【1 9 1 、2贝尔实验室【2 0 】等都在积极开展网络编码的理论和应用研究。目前，已经有不少机构和学者开展了网络编码和p 2 p 结合方面的研究，例如微软的p a b l or o d r i g u e z 【3 1 1 ，研究了网络编码在大规模内容分发中的应用。但是，基于网络编码的p 2 p 流媒体研究相对开始较晚，但目前也有例如多伦多大学的b a o c h u nl i t 3 2 】等人在这方面做了很多工作。1 3 主要研究内容本文首先从p 2 p 技术的原理着手，介绍了p 2 p 技术的特点和发展以及应用，随后介绍了p 2 p 流媒体技术。作为一种特殊的p 2 p 应用，p 2 p 流媒体技术在文件传输的稳定性和连续性等方面有着特殊的要求。文章从资源发现和资源传输两个主要模块着手，介绍了现有p 2 p 流媒体传输系统工作原理和设计思路。对于现有的p 2 p 流媒体传输系统，本文通过对播放质量和启动时延两个指标的分析，指出了其性能上的不足，并且说明了通过基于网络编码的技术，可以提高系统的性能。在文件传输过程中，通过增加的流媒体代理机制以及将网络编码和现有系统中的流媒体分层编码有机的结合起来，既减少了启动时延，又有效地提高了播放质量。此外，通过订阅机制，在有大量用户进入p 2 p 网络的情况下可以有效减小启动时延。经过仿真试验证明，本文所设计的基于网络编码的p 2 p 流媒体传输系统在网络带宽不断变化的情况下，相比现有的非网络编码p 2 p流媒体系统，可以有效减少用户的启动时延，提高播放质量。1 4 论文结构论文分为六章，在接下来的章节中，将详细介绍基于网络编码的p 2 p 流媒体传输系统。第二章主要回顾了当前一些主要的p 2 p 的流媒体应用的架构及其应用，并且通过对p 2 p 流媒体技术非中心化，可扩展性，自组织，负载均衡，冗错性等特点的说明，为以后的介绍做了铺垫。第三章在上章p 2 p 流媒体解决方案的介绍基础上，说明了通过使用分层编码改善p 2 p 流媒体传输性能的技术。分层编码作为一种能较好适应网络带宽变化的编码方式，已经得到了较好的应用。在本章最后，我们定义了播放质量和启动时延两个评价p 2 p 流媒体传输系统性能的参数，并通过这两个参数，详细分析了现有p 2 p 流媒体传输系统的不足，为网络编码的引入做了铺垫。第四章介绍了网络编码技术基础，提出了基于网络编码的p 2 p 流媒体系统设计，介绍了其实现方案，并说明其在资源发现模块和传输模块上的具体改进措施。第五章详细介绍了仿真平台的设计方案，并通过仿真结果说明了基于网络编码的p 2 p 流媒体传输系统在缩短系统启动时延，提高播放质量方面的优势。第六章总结了本系统的设计和实验的工作，并对继续研究工作提出了展望。42 1p 2 p 技术基础第二章p 2 p 流媒体技术2 0 世纪7 0 年代中期，源于局域网中文件共享的p 2 p 技术就开始流行起来，目前大家所关注的p 2 p 并非新技术，而是旧有技术新的应用模式。限于p c 机的性能，并基于易管理性和安全性考虑，后来发展的那些架构在t c p i p 之上的软件大多采用了c s ( 客户端朋艮务器) 模式的结构，比如浏览器和w e b 服务器，邮件客户端和邮件服务器等。随着w 曲服务需求的增长，人们感到有必要直接控制、改变和共享资源。9 0 年代后期，p c 机的性能在速度和处理能力上突飞猛进，人们开始意识到可以将服务器软件放在单独的p c 上，而且可以在p c 机之间初始化全双工的信息流，这就导致了p 2 p 技术的复兴。2 0 0 0 年用于共享m p 3音乐的n a p s t e r 软件与美国唱片界的一场官司将p 2 p 技术重新带回人们的视线。继n a p s t e r 之后，各种基于对等网的应用风起云涌，文件交换方面比较有代表性的有：g n u t e l l a 、f r e e n e t 等。对等计算方面有：著名的d i s t r i b u t e 0 n e t 案例，其利用1 0 0 ，0 0 0 台分布在互联网上的p c 机对5 6 位d e s 数据加密算法进行了强力攻击；s e t i h o m e 项目使用一个屏保程序占用大约1 0 0 万台c p u 的空闲时间，循环分析寻求外太空生命过程中所产生的数据。协同工作方面有：i n t e l 内部处理器开发工具n e t b t c h 允许工程师们利用没有使用的1 0 0 0 0 台遍布全球的i n t e l公司工作站为芯片的设计执行计算机仿真，在l o 年里已经为i n t e l 节省了约5 亿4 一夫兀op 2 p 技术对目前广泛应用的c s 模式的互联网基本构架、人们的上网习惯、企业的运作方式、相关法律等诸多方面都提出了全新的挑战，有人曾预言对等网络可能会成为未来互联网的基础。2 1 1p 2 p 网络的基本分类及其主要特点纯分布式的p 2 p 网络如图2 1 所示，网络中没有服务器，节点之间构成一个分散式网络。通过基于对等网协议的客户端软件搜索网络中存在的对等节点，节点之间不必通过服务器，可直接建立连接。这种p 2 p 网络模型优点在于允许用户设定自己的规则和建立自己的网络环境；为与i n t c m c t 合作，提供近似的即插即用特性；不仅能够在i n t c m c t 下有效地工作，而且对于l a n 和i n t r a n e t 也非常有用。存在的问题是：由于没有中心管理者，网络节点难以发现；不易管理且安全性较差。此种类型的p 2 p 网络如：c m u t c l l a 、f r c c n c t 等。纯分布式的p 2 p 模型没有中心化的问题扩展性和容错性较好。但是也因此没有一个对等节点知道整个网络的结构，而且网络中的搜索算法以泛洪的方式进行，控制信息的泛滥消耗了大量带宽。并造成网络拥塞甚至网络的不稳定，从而导致整个网络的可用性较差，另外，这类系统更容易收到垃圾信息。甚至是病毒的恶意攻击。囤2 - l ：纯分布式p 2 p 模型田2 - 2 ：磊夸或p 2 p 模型实际的p 2 p 系统大多使用混合式的方式。如图2 - 2 所示，混合式的p 2 p 网络各节点之间可以直接建立连接，但网络的构建需要服务器，通过集中认证，建立索引机制。然而这里的服务器仅用于辅助对等节点之间建立连接，一旦连接成功，服务器不再起作用，对等节点之间直接进行通信。这不同于c s 模式中的服务器，也可以认为是弱化了服务器的作用。这种p 2 p 网络模型和纯分散式p 2 p 网络相比，易于发现网络节点，易于管理且安全性较好，但也有类似c s 模式的缺陷，如容错性差等。目前p 2 p 技术的应用大多为这种模式，较为典型的如：n a p s t e r等。通过p 2 p 技术的相关介绍，总结p 2 p 模式有如下特点：非中心化：非中心化是p 2 p 系统的一个最重要特性。网络中的每个节点同时扮演c s 模式下的服务器和客户端的角色。可扩展性：非中心化带来的好处之一就是使系统具有很强的可扩展性，因为网络中每个节点都是服务器，可以方便的提供路由和缓冲的功能。白组织：自组织是指系统中成员能自己组织起来而不用依靠外界的帮助。p 2 p 系统能任意地壮大发展起来，无法在某个时期预期系统会有多少用户多少节点。因此无法用集中控制的方法来配置系统，只能通过系统中的成员自组织。因此p 2 p 系统也有自我维护和修复功能。7负载均衡：负载均衡是p 2 p 系统共同特点，大幅度地减少了使用和维护系统的费用。例如在分布式计算中如s e t i h o m e 系统比世界上最快的超级计算机的计算速度都要快但费用却仅是这个超级计算机费用的l 。冗错：p 2 p 系统主要目标之一是避免关键点实效。很多纯p 2 p 系统都实现了这一点，但它们都面临着连接断开、节点实效和不可达等问题。a dh o c 连接：在p 2 p 系统中p e e r 随意地接入和退出系统，p 2 p 系统必须能处理节点的这种a dh o e 连接方式。以上特点决定了p 2 p 相对与传统的c s 模式具有以下优势：充分利用了边缘节点的资源。多个节点的互相连接，用户所在的网络带宽将会被最大程度的利用，大大提高了网络利用率。高效资源共享和高性价比。特别是对宽带视频资源的高效共享，同时有效利用网络中散布的大量闲散资源。提高了网络服务的可靠性。避免了c s 模式“中心化 带来的单点实效问题。可扩展性。随用户增加，系统整体资源和服务能力可同步扩充。负荷平衡。每节点既是服务器又为客户机，资源分布于多个节点，可更好实现网络负荷平衡。系统架构顽强性。部分节点失效时能自动调整架构拓扑，允许节点自由加入与离开，信息文件的分开存放可提高信息共享与存储过程中的安全性。有助用户隐私保护。因所有参与者均可提供中继转发功能，提高了匿名通信的灵活性与可靠性。2 1 2p 2 p 技术的应用目前，p 2 p 技术主要应用包括以下几个方面：首先是文件共享。p 2 p 技术使在i n t e r a c t 上的任意两台计算机之间直接共享文档、多媒体和其它文件成为了可能。利用p 2 p 技术，网上计算机之间可以进行直接交互，而不需要使用任何一台中央服务器。可以说，对文件交换的需求直接引发了p 2 p 技术热潮。在传统的e f g 方式中，要实现文件交换需要服务器的大力参与，通过将文件上传到某个特定的网站，用户再到某个网站搜索需要的文件，然后下载，这种方式对用户而言非常不方便。n a p s t e r 就是在此情况下出现的，它抓住人们对m p 3 音乐的需求，其m p 3 交换直接引发了网络的p 2 p 技术革命。在p 2 p 网络中，对等机通过不同的查询机制定位含有所需资源的其它对等机后，将直接与其建立连接，并下载所需文件。其次是分布式计算。分布式计算是指协调p 2 p 网络中的计算机完成同一计算任务，有时这种计算模式也被称为“网格计算”( g - r i dc o m p u t i n g ) 。一个成功典范是1 9 9 9 年的s e t i h o m e 项目。在该项目中分布于世界各地的2 0 0 万台个人电脑组成计算机阵列，搜索射电天文望远镜信号中的外星文明迹象。据统计，在不到两年的时间里，这种计算方法已经完成了单台计算机3 4 50 0 0 年的计算量。另外，不少公司也已经开始注意开发这方面的商机。如：p o p u l a r p o w e r 公司就收集处于工作间隙的p c 的闲置计算能力，通过集群技术产生超级计算能力，提供给高强度计算工作和大型研究项目使用，通过销售个人计算机的闲置资源来获取利润。在p o p u l a rp o w e r 的模式中，用户被要求在他们的p c 上安装一个特制。的屏幕保护程序。当屏保运行时，p o p u l a rp o w e r 就会向这些用户的p c 分配工作负载。另外，p 2 p 技术还可以用于协同工作。公司机构的日益分散，给员工和客户提供轻松、方便的消息和协作的工具，变得日益重要。网络的出现，使协同工作成为可能。但按传统的w e b 方式实现，给服务器带来了极大的负担，造成了暴贵的成本支出。p 2 p 技术的出现，使得互联网上任意两台p c 都可建立实时的联系，建立了这样一个安全、共享的虚拟空间，人们可以进行各种各样的活动，这些活动可以是同时进行，也可以交互进行。p 2 p 技术可以帮助企业和关键客户，以及合作伙伴之间建立起一种安全的网上工作联系方式，因此基于p 2 p 技术的协同工作也受到了极大的重视。l o t u s 公司开发的协同工作产品g r o o v e 就是p 2 p技术在该领域最具有代表性的应用之一。2 2 基于p 2 p 的流媒体传输技术2 2 1流媒体的概念流媒体，即s t r e a m i n gm e d i a ，指的是在互联网上以数据流的方式实时的发布音频、视频多媒体内容的媒体格式。流媒体技术有别于传统的播放技术：不是9由客户端从服务器下载完整的文件后进行播放，而采用了流式传输方式，将整个多媒体文件压缩解析成多个压缩数据包，向客户端实时地顺序传送。用户不必像采用下载方式那样等到整个文件全部下载完毕，而是只需经过十几秒或几十秒的启动缓冲数据包延时即可在用户的计算机上利用解压设备对压缩的d v d 等多媒体文件解压后进行播放和观看。在播放过程中，后台继续下载后续的压缩数据包，从而达到流媒体的随时传送随时播放。这个过程的一系列相关的包称为“流 。与单纯的下载方式相比，流式传输有以下优势：启动延时速度有大幅度的缩短。视频文件不必下载到本地后才能播放，只需经过几十秒甚至几秒或的启动缓冲数据包延时即可观看内容。对系统缓冲容量的需求明显降低。采用数据包的流式传输后，不必把视频文件都下到本地硬盘，而是根据客户端的网络情况，在保证数据包顺序传输使媒体数据能够连续输出的条件下，缓冲一定视频压缩数据包即可播放。流式传输的实现有特定的实时传输协议般采用r t s p 等实时传输协议，更加适合动画，音视频在网上的流式实时传输。2 2 2p 2 p 流媒体的主要应用p 2 p 流媒体的应用主要有四点。首先是远程教育。现代信息技术的快速发展，使利用卫星传输技术、计算机网络技术和多媒体技术进行远程教育成为可能。人们可以不受时间和空间的限制，随时随地地进行交互式教与学活动，不必在指定的地点时间，即可享有最好的老师、最好的学校和最好的课程，并可以随时提出疑问并获得优秀老师的解答，使每个学生得到优秀教育成为可能。远程教育是对传统教育模式的一次革命，它能够集教学与管理与一体，突破了传统“面授”的局限，为学习者从时间和空间上都提供了便利。有很多技术均可以用于在i n t 朗 n e t 上发布多媒体信息，但它们通常要求终端用户将多媒体信息下载到本地计算机后再利用播放器插件或专门的媒体播放器来播放。这带来了两个突出的问题：首先，多媒体信息的数据量通常都很大，在用户接入速率较低的情况下，下载一个很短的视频片段可能都需要很长的时间；其次，由于必须将节目下载到本地计算机后播放，必然占用本地计算机的存储资l o源。面对有限的带宽和拥挤的拔号网络，实现窄带网络视频、音频、动画传输最好解决方案是流式媒体传输方式。而p 2 p 流媒体技术能够大大节省服务器及服务器带宽资源，并且响应速度快，播放质量高，因此在远程教育中获得了越来越多的应用。第二是视频点播。视频点播是二十世纪9 0 年代在国外发展起来的，英文称为“v i d e oo n d e m a n d ，所以也称为“v o d ”，就是根据观众的要求播放节目的视频点播系统。视频点播能在用户需要时随时提供交互式视频服务，即“想看什么就看什么，想什么时候看就什么时候看 。它是随着计算机技术( 特别是多媒体数据压缩解压缩技术) 和通讯技术的发展，综合了计算机技术、通讯技术、电视技术而迅速兴起的- i 1 综合性技术。流媒体技术的出现，使我们可以在视频点播方面遗弃局域网而使用互联网。因为流媒体经过了特殊的压缩编码，使得它很适合在互联网上传输。客户端采用浏览器方式进行点播，基本无需维护。采用p 2 p 流媒体技术，更可以对大规模的并发点播请求进行处理，能适应大规模的点播环境第三是网络直播。应用p 2 p 流媒体技术的网络直播系统硬件上不需要太多的投入，软件上实现简单，并且可以提供更大规模、更好质量的服务。因此成为很多网络直播提供者的首选技术。现在很多p 2 p 流媒体技术的网络直播软件已经得到了比较广泛的应用。p p l i v e 就是一款用于互联网上大规模视频直播的共享软件，该软件使用网状模型，采用多点下载，网状模型的p 2 p 技术。有效解决了当前网络视频点播服务的带宽和负载有限问题，实现用户越多，播放越流畅的特性，整体服务质量大大提高。p p s t r e a m 也是一套完整的基于p 2 p 流媒体技术网络直播软件，包括流媒体编码、发布、广播、播放和超大规模用户直播。能够为宽带用户提供稳定和流畅的视频直播节目。与传统的流媒体相比，p p s t r e a m采用了p 2 p s t r e a m i n g 技术，具有用户越多播放越稳定，支持数万人同时在线的大规模访问等特点。第四是视频会议。视频会议系统是支持人们远距离进行实时信息交流、开展协同工作的应用系统。视频会议系统实时传输视频与音频信息，使协作成员可以远距离进行直观、真实的音视频交流。另一方面，利用多媒体技术的支持，视频会议系统可以帮助使用者对工作中各种信息进行处理，如共享数据、共享应用程序等，从而构造出一个多人共享的工作空间。2 2 3基于p 2 p 的流媒体传输技术由于p 2 p 模式在大规模的网络应用中能够有效地提高系统的可扩展性，基于p 2 p 方式的流媒体系统的研究也逐步引起了人们的重视，相关技术或原型系统不断出现。p 2 p 网络以其分布式的设计和框架克服了中心化服务器的瓶颈缺陷，而且p 2 p 网络是自治的，能很方便地对网络中的资源进行管理。这些突出的特点使p 2 p 成为解决i n t e m e t 中流媒体传播的一个候选方案。但是由于其动态的和异构的本质，使利用p 2 p 技术在构建高效的流媒体应用时带来了一系列的挑战和问题。尤其是如何在充分利用众多节点资源的同时能确保服务质量，成为p 2 p 流媒体技术研究的热点。2 3 本章小结所谓流媒体是指采用流式传输的方式在i n t e m e t 中播放的媒体格式，如音频、视频或多媒体文件。在数据网络上按时间先后次序传输和播放的连续音、视频数据流。流媒体在播放前并不是把整个文件下载完，只将开始部分内容存入内存，在计算机中对数据包进行缓存并使媒体数据正确地输出。p 2 p 流媒体技术是当前学术界研究的热点，其相对p 2 p 普通文件传输的一个很大的区别就是对文件传输的质量有较高的要求。1 2第三章分层编码在p 2 p 流媒体传输中的应用3 1 分层编码技术基础3 1 1概述一般说来，视频编码分为非扩展( u n s c a l a b l o 性视频编码和扩展( s c a l a b l e ) 性视频编码两类。非扩展性视频编码是将完整的视频内容压缩成一个固定码率的比特流( b i t s t r e a m ) ，它是面向存储的视频压缩编码技术，因此不适合用于视频流的网络传输。扩展性视频编码是将视频内容压缩成多个子比特流( s u b s t r e a m ) ，其中一个比特流作为基本位流，形成基本层( b a s el a y e r ) 视频数据流，解码器可以对其进行独立解码，并产生粗糙质量的视频序列；而其它的比特流则形成增强层( e n h a n c e m e n tl a y e r ) 视频数据流，解码器必须依靠基本位流才能对其进行解码，解码后的视频质量将大大优于仅依靠基本位流解码的视频质量。因此，我们又把扩展性视频编码技术称为分层视频编码( l a y e r e dv i d e oc o d i n g ) 技术，通过将视频信息进行分层，动态调整编码速度，以适应不同网络环境下网络带宽所发生的变化，具有网络带宽适应能力，特别适用于网络传输。在分层视频编码方式下，如果我们要得到最佳的视频解码效果，必须对所有比特流( 基本层和增强层) 进行解码还原，当视频信息在网络传输过程中出现比特流丢失，那么解码效果将视比特流的丢失程度，引起相应的视频质量劣化。随着i p t v 的逐渐升温，网络视频数据流的传输对新的源编码技术和网络传输算法提出了新的更高的要求。通过口网传送视频数据流的主要问题是包延时的大范围起伏、损耗、流量限制等。因此，在接收端需要找到一种优化显示质量的方法，以满足比特率限制和延时限制的要求。这样就要求对数据进行有效的压缩，某种形式的比特率调节，弹性容错技术等。比特率调节可用标量编码器采用分层编码技术实现，译码时以不同的比特率译码，这样可提供不同质量的图象。标量编码已成为某些视频编码标准的一部分，因为这种编码方式可进行速率控1 3制，以缓和网络拥堵。在接收机为主的分层组播方式中，视频层可以用不同的组播群发出，每个接收机通过预定合适的群分别进行速率控制。分层视频编码还可与不同的服务质量组合使用：例如，重要的层以更好的q o s 传送，但收费高一些；而不太重要的层则减少q o s 保障或没有q o s 保障。视频信号的分层编码由一个基本层和几个增强层组成。基本层独立编码，提供基本质量。增强层只是改善基本层的质量，不能独立使用。多重描述编码则是对分层编码技术的改进。每一重描述独自保证一个基本级别的重构质量，每一重附加描述进一步改善基本级别的重构质量。目前，i n t e r n e t 网络非常成功的实现了提供“尽力而为 的数据业务服务，但是对于提供实时视频通信服务还面临着严峻的挑战，必须能根据网络带宽、延时、抖动等综合因素动态地调整视频流量才能保证实时视频业务的有效传输。分层扩展视频编码技术有效地为我们提供了一种在异构网络环境中，在出现网络拥塞的情况下，动态实现视频图像有效编码与传输的解决途径。3 1 2分层编码分类就分层的种类来说，主要有三种也就是前面提到的空间分层，时间分层和s n r 分层。空间分层编码空间分层主要是为了实现不同大小的图像的服务的兼容性。空间分层编码先在原始图像中用采样的方法得到一帧空间上低分辨率的图像。该低分辨率图像可以利用h 2 6 3 ，m p e g 等标准进行编码得到基本层。从原始图像减去经过内插的抽样图像得到差值图像，对差值图像再进行编码得到增强层。时间分层主要是为了实现不同帧率的视频服务的兼容。时间分层编码的基本层和增强层具有相同的空间分辨率和s n r 。基本层的图像进行运动估计时，其参考帧只能再基本层中选取，而增强层的图像进行估计时，可在增强层也可在基本层选取。由增强层和基本层两部分数据重建的图像帧率要比只有基本层数据重建的要高。视频的精细分层( s n r ) 编码是为了支持信道特性多变的包交换网上多媒体应用和服务而提出来的它的应用范围包括了：i n t e m e t 视频流，视频内容分布，视频档案，交互式视频游戏，会议电视，可视电话，多媒体邮件，网络数据库服1 4务，远程视频监视，无线多媒体应用等等尤其是目前移动通信网络的迅速发展，无线信道正成为访问因特网的一个方便的途径。精细分层编码的基本原理如下：对视频进行编码时，产生一个基本层码流和一个嵌入式的增强层码流基本层采用常用的基于运动补偿预测的d c t 编码。基本层包含了最重要的，质量较低的视频信号，因此对于基本层要能保证它能安全的在网络上传输，嵌入式的增强层码流，它保存着基本层的量化差值，嵌入式的码流是指在码流的任意位置截断，解码器均能恢复出一定质量的视频信号。这就使得当网络带宽变化时( 码流可能在某处截断) 视频信号的改变是渐进的，平滑的。3 2 基于分层编码的流媒体传输技术现有的p 2 p 流媒体传输系统很多是基于分层编码实现的，其系统主要由两个模块组成：一是资源发现模块；二是资源传输模块。3 2 1资源发现模块资源发现模块的主要任务是协助新加入节点找到自己感兴趣的流媒体文件的所在位置。首先简要介绍一下p 2 p 流媒体的节点接入机制。每一个节点有一个在整个系统的全局唯一的标识，比如p 地址，超级节点维护一个系统中其他节点的标识缓存。当新节点a 接入时，首先通过资源查找获得拥有所需文件的伙伴节点列表。对于列表中的节点，a 通过t c p 的“三次握手的机制与对方建立连接，并测试和对方的可用带宽，a 从所有的各选节点中选择合适的节点作为自己的上游节点，则此建立连接的过程才得以完成。新节点获得稳定的伙伴节点，开始进行流媒体下载缓冲，进入稳定的播放阶段。整个节点接入流程如图3 1 所示。新节点加入获取伙伴节点列表j建立连接测试带宽选取合适的节点上开始进行流媒体缓冲图3 - 1 ：新用尸接入过程从目前的研究现状来看，p 2 p 流媒体的资源查找主要存在以下3 种算法：第一是集中索引算法( c e n t r a li n d e x ) 以n a p s t e r 系统为代表。在n a p s t e r 系统中，用户都与一个中央服务器相连接，中央服务器上保存了共享文件的索引。由中央服务器对收到的用户请求进行匹配查找，直到找到保存了所需文件的目的用户。然后，由发起请求的用户与目的用户直接进行文件交换。这种算法的不足在于依赖一个集中式的结构，将会影响系统的可扩展性。第二是洪水消息算法( f l o o d e dr e q u e s t s 玳表系统为g n u t e l l a 。每一个用户消息都将被广播给与该用户直接相连的若干其他用户，这些用户收到消息后，也同样地将消息广播给各自连接的用户，以此类推，直到请求被应答。这种算法存在的不足在于需要较大的网络带宽，因此也会影响可扩展性。第三是文件路由算法( d o c u m e n tr o u t i n g ) 代表系统为f r e e n e t 。算法的特点是采用基于哈希函数的映射。系统中的每一个用户都有一个随机的i d 序列号，系统中的每一个文件也有一个i d 序列号，这个序列号是根据文件的内容和他的名1 6字，经过哈希函数映射得来的。文件发布时，每一个用户都把文件转发到拥有与文件的i d 最相近的i d 值的用户上去，直到最接近文件i d 的用户就是该用户本身。转发过程中每经过的一个用户都将保持该文件的副本。索取文件时，每个用户都将请求消息转发给一个拥有与所需文件i d 最相近的i d 的用户，直到文件或文件的一个拷贝被发现为止。这种算法的优势在于可扩展性较好，不足在于它可能导致整个网络分裂成若干彼此不相连的子网络，形成所谓的孤岛，他的查询也要比洪水消息算法等麻烦些。3 2 2资源传输模块资源传输模块的任务是完成资源传输中的任务分配，任务调度以及任务控制等内容。在p 2 p 文件传输系统中，流媒体文件被以g o p 组为单位划分成数据块，文件块中的数据又被分为多个数据包，并且使用可用度向量的概念来标识一个节点拥有数据块中的哪些数据包。p 2 p 流媒体传输系统的资源传输模块分为请求数据，发送数据和接收数据三个相关联的部分。发送部分相对简单，如图3 2 所示，首先判断接收到的请求的类型：1 如果是连接请求，则检查已经建立的连接的数目是否达到最大连接数如果已经达到，则发送拒绝消息，如果没有达到，则发送接受连接消息。2 如果是数据请求，则从本地存储的数据中找出对应的数据发送给其它节点。如果没有找到，则发送未找到消息。图3 - 2 ：数据发送过程1 7接收部分的主要任务是接收到数据后，按照一定的结构将数据存放在本地，并且修改本地的数据的可用度向量。如果接收到重复数据，则直接丢弃。请求数据部分首先向发送节点询问当前期望传输文件块的可用度向量，得到以后，根据请求节点与其他提供资源节点之间的带宽情况，计算出对应于每个提供资源节点的队列长度，以及将然后再将欲发送的请求放入各自的队列中，各队列独立的向对应节点发送请求。当一个时间段t 后还未收到某节点a 发送的数据包，则认为a 已经离开系统，并将其余下的任务按照一定算法分配给剩余的节点。如果一段时间后又收到a 发送的数据包，则重新为a 建立请求队列，并填充数据请求。3 3 现有的流媒体传输系统存在的问题首先，我们引入对p 2 p 流媒体传输的两个评价指标。播放质量：维持播放的连续性是流媒体应用的首要目标。为了对系统进行评估，引入定义播放质量( p l a y b a c kq u a l i t y ) ，它是在一段时间内得到的播放数据块个数与应该播放的数据块个数的比值。播放连续度的值位于0 和l 之间( 当比值大于1 时，以l 计) ，播放连续度的值越大，说明节点播放质量越好。假设平均一个节点在一个时间段内得到的数据块的数目为q a ，在此时间段内应该播放的数据块数目为q b 。当q a 曲直接向相应的发段送节点索取l 是+流媒体代理点对点传送视频段1r客户端获得视频段并播放图4 5 ：流媒体加速通过此策略，新加入节点可以在较短的时间内获得所申请的媒体对象的第一个完整视频段，并开始播放，减少了用户等待时间，提高了接入速率。然而，由于流媒体代理服务器的c p u 处理能力，存储能力和网络带宽都是有限的，不可能对每一个媒体对象建立缓存，所以必须要采用一些调度和置换策略。设流媒体代理服务器能容纳的同时存在缓存的最大媒体对象的数目为n ，为了能使以上的策略可行，流媒体代理服务器为可能的新连接媒体对象预留了m个通道，这样每次最多有n - m 个媒体对象缓存在流媒体代理服务器中，当媒体中有超过n r n 个媒体对象时，就要采取一定的策略把它给置换掉。在p 2 p 流媒体组播系统中，对于一个媒体对象，收看的用户越多，用户可用的伙伴节点数也越多，这样用户在规定的缓冲时间里面得到的完整的视频段的概率就越大，用户收看到节目的质量就越好。而对于那些收看的用户少的节目，由于用户没有足够的伙伴节点数，所以媒体对象的收看质量就得不到有效的保障。所以我们的在流媒体代理援服务器中的置换策略就是“最热先置换”，简单来说，当缓存存满时，2 8对于越热门的节目我们就把它从缓存中去除，对于用户量少的“冷门节目，就尽量把它保