（信号与信息处理专业论文）网络编码及小世界在p2p流媒体中的应用研究.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 i n t e r a c t 的日益普及以及通信传输技术的迅速发展，使以视频为主的流媒体业务成为目 前i n t e r a c t 应用的最快增长点。然而，如何解决视频巨大的数据量占用带宽高、服务持续 时间长、传输实时性高的问题面临着很大的挑战。 p 2 p 技术以其去中心化特性，充分开发和利用了每个网络节点的能力，使各个终端的 带宽和计算资源可以相互共享，实现分布式服务，有效减轻了服务器的负载，使大规模的 流媒体应用成为可能。网络编码是通信网络中信息处理和传输理论研究上的重大突破，其 核心思想是允许网络中间节点对流入的信息进行一定的编码处理后再转发出去，从而达到 多播网络理论上的最大容量，最大限度地利用网络资源。 本文首先对目前p 2 p 流媒体技术取得的成果进行详细研究后，确定了p 2 p 流媒体技术 最关键的两个问题：覆盖网的拓扑结构和数据的接收策略。然后通过研究网络编码技术的 基本原理，分析其在p 2 p 流媒体系统中应用的实际可行性，并解决其应用于p 2 p 流媒体系 统中的关键技术问题，成功地将网络编码技术应用到p 2 p 流媒体系统中。仿真实验表明网 络编码技术可以提高p 2 p 流媒体系统中节点的数据接收速率，从而改善节点的播放质量。 同时，仿真实验也显示了在实际应用中，网络编码并不能总是达到其理论上证明的高 概率线性无关性。本文通过实验，分析了引起网络编码线性相关产生数据冗余的原因，并 研究p 2 p 覆盖网拓扑结构与网络编码线性相关之间的关系，最后引入小世界理论来解决拓 扑结构引起的网络编码线性相关问题，仿真实验表明小世界拓扑可以减少网络编码线性相 关的发生，减少数据冗余度，提高基于网络编码的p 2 p 流媒体系统的性能。 关键词：对等网络流媒体网络编码小世界 南京邮电大学硕士研究生学位论文 a b s t r a c t t h ei n c r e a s i n gp o p u l a r i t yo f i n t e m o t , a sw e l la sr a p i d l yd e v e l o p m e n to fc o m m u n i c a t i o n t e c h n o l o g y , m a k e st h ev i d e o - b a s e ds t r e a m i n gm e d i ab u s i n e s sb o o o m et h ef a s t e s tg r o w t ho f i n t e m e ta p p l i c a t i o n s h o w e v e r , i te n c o u n t e r sg r e a tc h a l l e n g et os o l v et h ep r o b l e m so fh i l g h b a n d w i d t hd e m a n d , l o n g - p l a y i n gs e r v i c e ，s t r i c tr e a l - t i m ed e m a n dc 锄| s e db yt h eh u g ev i d e od a t a w i t hi t sc h a r a c t e r i s t i c so fd e - c e n t r a l i z a t i o n , p 2 pt e c h n o l o g yf u l l ye x p l o i t sa n du t i l i z e s c a p a b i l i t yo fe a c hn e t w o r kn o d e ，l e tt h eo r d i n a r yc o m p u t e rt os h a r es o m eo ft h e i r 托踟悯c e 争t o e n a b l et h ed e c e n t r a l i z a t i o no fs e r v i c e s ，t h u se f f e c t i v e l yr e d u c e st h e i v e r1 0 a d ，w h i c hm a k e st h e l a r g e - s c a l es t r e a m i n gm e d i aa p p l i c a t i o n sp o s s i b l e n e t w o r kc o d i n g , k n o w na so n eo ft h e i m p o r t a n tb r e a k t h r o u g h so nt h et h e o r yo fi n f o r m a t i o np r o c e s s i n ga n dt r a n s m i s s i o n , i sb a s e do n t h ec o r ec o n c e p tt h a te n c o d i n ga n dd e c o d i n go p e r a f i o mc a l lb ea p p l i e do nt h e i n c o m i n g m e s s a g e so fa l li n t e r - m e d i a t en o d et op r o d u c ec o d e do u t g o i n go n e sb e f o r ef o r w a r d i n g n e t w o r k c o d i n gc a na c h i e v et h et h e o r e t i c a lm a x i l n u l ni n f o r m a t i o nt h r o u g h p u ti na m u l t i c a s tn e t w o r k f i r s t l y , a r e rd o i n gd e t a i lr e s e a r c ho nm o s ta c h i e v e m e n t so fr e c e n tp 2 ps t r e a m i n gm e d i a t e c h n o l o g y , t h i sp a p e rd e t e r m i n e st h et w om o s tk e yp r o b l e m so nt h i sf i e l d ：o v e r l a yt o p o l o g ya n d d a t ad e l i v e r ys t r a t e g y s e c o n d l y , t h i sp a p e rb r i e f l ys t u d i e st h ef u n d a m e n t a lp r i n c i p l e so fn e t w o r k c o d i n g , a n a l y z e si t s 删c a lf e a s i b i l i t yo fb e i n ga p p l i e di np 2 ps t r e a m i n gm e d i as y s t e m t h i s p a p e ra d d r e s s e st h ek e yt e c h n i c a li s s u e sf o rt h eu s a g eo ft h en e t w o r kc o d i n g 枷q u e sa n d s u c c e s s f u l l yp u t si ti n t op r a c t i c e s i m u l a t i o nr e s u l t ss h o wt h a tu t i l i z i l l gn e t w o r kc o d i n gc a n i n c r e a s et h ep e e r s d a t ar e c e i v i n gr a t e ，c o n s e q u e n t l yt h ep l a y b a c kq u a l i t yo fp e e r sa r ei m p r o v e d m e a n w h i l e ，s i m u l a t i o nr e s u l t sa l s os h o wt h a ti np 】删c a la p p l i c a t i o n sn e t w o r kc o d i n gd o e s n o ta l w a y sm a t c ht h eh i g hp r o b a b i l i t yo fl i n e a ri n d e p e n d e n c ep r o v e db yt h e o r y u s i n ge x a m p l e s c e n a r i o s ，t h i sp a p e ra n a l y z e st h es o u r c e so fr e d u n d a n td a t ab l o c k sc a u s e db yl i n e a rd e p e n d c “n c e ， a n dt h e ni ts t u d i e st h er e l a t i o n s h i pb e t w e e nt h et o p o l o g yo ft h ep 2 po v e r l a yn e t w o r ka n dt h e l i n e a rd e p e n d e n c eo f n e t w o r kc o d i n g f i n a l l y , t h es m a l lw o r l dt h e o r yi si n t r o d u c e dt os o l v es u c hr e d u n d a n c yo fn e t w o r kc o d i n g , s i m u l a t i o nr e s u l t ss h o wt h a ts m a l lw o r l dt o p o l o g y 啪r e d u c et h er e d u n d a n c yo fl i n e a rd e p e n d e n t a n de ”n h a n c et h ep e r f o r m a n c eo fp 2 p s t r e a m i n gm e d i as y s t e mb a s e do nn e t w o r kc o d i n g k e yw o r d s ：p e e r - t o - p e e rs t r e a m i n gm e d i a n e t w o r kc o d i n gs m a l lw o r l d 南京邮电大学硕士研究生学位论文 缩略词表 a l m cd _ n d m l c m l n c l i 谭 m d c n c n d p 2 p 舯 q o s r n c r ：r p l l ：r i 四 r t s p v c r v 0 d 缩略词表 a p p l i c a t i o n - l a y e rm u l t i c a s t c o n t e n td i s t r i b u t i o nn e t w o r k d i s t r i b u t e dh a s ht a b l e l i n e a rc o d em u l t i c a s t l i n e a rn e t w o r kc o d i n g l o c a lr a r e s tf i r s t m u l t i p l ed e s c r i p t i o nc o d i n g n e t w o r kc o d i n g n e t w o r kd e c o d i n g p e e r - t o - p e e r p r o g r e s s i v en e t w o r kd e c o d i n g q u a l i t yo f s e r v i c e r a n d o mn e t w o r kc o d i n g r e a l - t i m et r a n s p o r tp r o t o c o l r e a l - t i m et r a n s p o r tc o n t r o lp r o t o c o l r e a l - t i m es t r e a m i n gp r o t o c o l v i d e oc a s s e t t er e c o r d e r v i d e oo nd e m a n d 6 6 应用层组播 内容分发网络 分布式哈希表 线性编码多播 线性网络编码 局部最少优先 多描述编码 网络编码 网络解码 对等技术 渐进网络解码 服务质量 随机网络编码 实时传输协议 实时传输控制协议 实时流协议 盒式磁带录象机 视频点播 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：豆! 虱缒日期：垒竺罩型至 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名：亟叠婴一导师签名： 日期：婴：生! 于 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 课题背景 第一章绪论 i n t e m e t 的日益普及和通信传输技术的迅速发展，使得宽带通信网络正在逐步走向普通 家庭，i n t e m e t 上传播的内容已逐渐由简单的文本数据发展为包含文本、语音、音视频在内 的富媒体数据。文本、音频和视频三位一体化的信息和娱乐服务正在取代网页浏览成为 i n t e m e t 服务的主流。这不仅使网络用户可以获得更为丰富多样、更具个性化的信息，同时 也标志着网络多媒体时代的来临。统计显示2 0 0 4 年6 月视频流量首次超过音频流量，以 视频为主的流媒体业务凭借边接收边观看、启动延时小、实时性好的特点，在视频点播 ( v i d e oo nd e m a n d ：v 0 d ) 、视频会议、远程教学、广告营销、娱乐、培训与交流等应用 中得到越来越广泛的应用，正在成为目前i n t e m e t 应用的最快增长点。但是流媒体服务不 仅数据量大，需要巨大的存储空间，而且传输持续时间长因而对网络传输的实时性提出很 高要求，并且对延迟、抖动、丢包率、带宽等服务质量( q u a l i t yo f s e r v i c e ：q o s ) 指标要 求非常严格，对服务器端网络的带宽和服务器性能要求都很高，因此如何在i n t e m e t 上构 建大规模的高性价比的流媒体系统是一项具有挑战性的工作。i n t e r n e t 上的传统分布式多媒 体系统主要使用客户服务器( c l i e n t s e r v e r ：c s ) 模式，服务器或若干服务器组成的集群 和分布在各地的各个客户端以单播的方式建立连接。由于流媒体服务具有带宽高、持续时 间长等特点，随着客户数量的快速增加，服务器的资源如带宽很快就会被消耗完，成为系 统瓶颈所在。例如，一个比特率为5 0 0 k b p s 的视频节目，假如不考虑服务器处理能力的限 制，单从网络带宽方面来分析，服务器提供1 0 0 m 的带宽，那么最多也只能服务2 0 个客户， 所以即使是使用高性能服务器，其系统容量也不过几百客户，系统可扩展性极差，根本就 不具经济规模性。另一方面，基于“尽力而为 的i n t e m e t 无法保证q o s ，如果客户端距 服务器较远，则流媒体传输过程中的延迟、抖动、丢包率等指标也将更加不确定，服务器 为每一个客户都要单独发送一次流媒体内容，无法满足大范围实时流媒体应用的性能要求， 因此，解决服务器端流量带宽瓶颈成为促进流媒体大规模应用发展的首要问题，要彻底改 善流媒体视频业务的性能，需要提出一种有别于c s 的系统结构，许多研究提出了相应的 解决方法，比如p 组播技术【1 1 、内容分发网络 2 1 ( c o n t e n td e l i v e r yn e t w o r k ：c d n 2 ) 技 术等。 p 组播技术通过使网络上传输的视频流数据在经过的每一条链路上只有一份拷贝，实 南京邮电大学硕士研究生学位论文第一章绪论 现了i n t e r n e t 上高效的一对多通信，减轻了服务器和网络的负载。然而口组播是靠建立组 播树来实现的，而组播树的建立是一个n p 问题。通常采用的方法是先用最大流最小割( m a x f l o w - m i nc u t ) 算法找到信源与某个信宿间的最大流及实现路径，然后再依次寻找其他信 宿与信源之间的最大流路径，在寻找信源与第二个信宿之间的路径时，往往就是在原通信 网络中去掉信源与第一个信宿之间已经用过的链路的容量。这样处理是因为传统路由认为 网络中传输的信息是不能叠加的，只能进行存储转发。这样的组播树建立方式会导致信源 与第二个及其后面所有信宿之间的路径都不是以它们之间的最大流进行传输的，最终使得 p 组播可以实现的传输容量远远小于最大流最小割确定的容量上限。 c d n 【2 的全称是c o n t e n td e l i v e r yn e t w o r k ，即内容分发网络。其目的是通过在现有的 i n t e r n e t 中增加一层新的网络架构，通过智能化策略，将中心媒体源服务器的内容“推一向 最接近用户、服务能力最好的的网络“边缘 节点，使用户可以就近取得所需的内容，解 决i n t e m e t 网络拥塞状况，提高用户访问响应速度，从而提高服务质量和用户体验，同时 也减轻了媒体源服务器的压力和对骨干网络的带宽消耗。尽管c d n 将服务能力和服务内 容在网络上进行分布，从而在一定程度上加速了流媒体内容的分发，提高服务质量。但其 核心仍然是基于c s 架构，其服务的扩展能力取决于分布节点的不断部署，由此造成了 c d n 服务能力扩展的成本非常高，需要不断的投资。同时，用户访问是具有随意性，突发 性等特点的，而传统c d n 系统不具备弹性动态扩展的能力，难以从根本上提升c d n 系统 的效率，在一定程度上限制了其应用和推广。 对等网络闭( p e e r - t o p e e r ：p 2 p ) 技术是目前非常热门的应用，自1 9 9 9 年以来，p 2 p 技术 无论是在学术界还是业界都得到了极大的关注，一直是国内外知名学府( 如美国麻省理工 学院、加州大学伯克利分校、北京大学等) 以及知名企业的研究机构( 如微软，诺基亚的 研究院) 关注的重点。它甚至被美国财富杂志称为改变i n t e m e t 发展的四大新技术之 一，被认为是代表宽带互联网未来发展的关键技术。在对等网络中，各个节点进行对等计 算，每个对等实体( 称为p e e r ) 既是服务的提供者，又是服务的享用者。采用p 2 p 架构可 以有效地挖掘利用大量普通计算设备的计算资源和带宽资源，将计算任务或存储数据分布 到所有节点上，达到高性能计算、高i o 吞吐能力、高带宽和海量存储的目的。同时，由 于p 2 p 的特性，系统在大规模并发服务时凸显优势，整体系统具备动态扩展能力，整体系 统的部署成本低，系统效率高，同时具有系统级的服务可靠性。随着n a p 洲、b i t t o r r e n t l 5 、 e m u l e 等软件得到日益广泛的应用，p 2 p 技术在文件分发、共享上已经取得了巨大成功。 将p 2 p 引入到流媒体中，突破了传统的c s 模式限制，使服务分散化，使网络上的众多用 户可以直接进行息、数据交换，从而减轻了服务器负载和网络带宽的占用率，使系统支持 2 南京邮电大学硕士研究生学位论文 第一覃绪论 大规模流媒体服务。 p 2 p 技术有效使用了各个网络节点的能力，为大规模高并发性的实时流媒体系统的设 计提供了一个好的研究方向，国内外学术界和业界对基于p 2 p 技术的流媒体系统进行了大 量研究，并且取得了积极有效的成果。 r a h l s w e d e 6 q 等人提出的网络编码( n e t w o r kc o d i n g ：n c ) 技术是通信网络中信息处 理和传输理论研究上的重大突破，其核心思想是允许网络节点对流入信息进行编码处理后 再转发，从而达到多播网络理论上的最大容量，最大限度地利用网络资源，解决了p 组播 不能达到网络最大容量的问题。网络编码技术与p 2 p 流媒体相结合的研究，正得到越来越 多的关注。 1 2 研究现状 与口组播相比较，在p 2 p 流媒体系统中，一般采用应用层组播技术( a p p l i c a t i o n - l a y e r m u l t i c a s t ：a l m ) 。所谓应用层组播，是指p e e r 之间的逻辑连接构建在物理连接的基础上， 所有的p e e r 节点在下层的坤物理网络层之上自组织成逻辑上的覆盖网( o v e r l a y n e t w o r k ) ， 媒体流数据在覆盖网上的端系统上进行复制传输，即应用层组播。与p 组播相比较，应用 层组播的优势在于一方面因为不需要底层路由器的支持，基于现行的i n t e r n e t 架构，应用 层组播就能平滑地部署运行：另一方面应用层组播比口组播更加灵活，它可以适应上层不 同应用的不同分发策略要求。 1 2 1 国外研究现状 由于p 2 p 流媒体系统的优越性，近年来，基于p 2 p 的流媒体传输方法得到极大关注。 国外高校和企业研究机构在p 2 p 流媒体系统和算法上的研究取得了很多研究成果，提出了 多种多样的p 2 p 流媒体模型【7 1 ，国内高校和研究机构在这一上面也取得了良好的研究进展。 下面对国外的一些p 2 p 流媒体系统进行分类和描述。 p 2 p 流媒体系统按照其源节点提供数据的方式分为两种：单源p 2 p 流媒体系统和多源 p 2 p 流媒体系统；按照覆盖网的网络拓扑分为单树、多树、网状拓扑，其中单源p 2 p 流媒 体系统覆盖网拓扑结构为单树，而多源p 2 p 流媒体系统覆盖网拓扑结构则包括多树、网状 结构。单源p 2 p 流媒体系统中，每棵组播树上的节点共享来自树顶点源服务器的数据，每 个节点只参与到一个节目的组播树中。其典型代表模型有p e e r c a s t e 蚋。在p e e r c a s t 中，节 点组织成一单组播树，父节点只为与它直接相连的子节点提供服务。p e e r c a s t 中节点的加 3 南京邮电大学硕士研究生学位论文第一犟绪论 入退出策略非常简单，当新节点n 加入时，首先向根节点即媒体源服务器s 请求服务，从 s 开始搜索到一个服务还未饱和的节点作为n 的父节点为其提供服务。缺点是因为各个节 点只维护与其直接相连的父节点和子节点的信息，p e e r c a s t 中构建的组播树很容易是非平 衡的，一旦父节点失效，子节点需要从根节点开始重新请求加入过程，从而导致服务中断 的时间过长。 多源的p 2 p 流媒体系统则是由多个发送者同时以单播方式服务于一个接收者，对节点 性能要求较低。在这种方式下，每个节点从多个父节点处获得数据，同时向多个子节点发 送数据。多个提供不同带宽的发送者向一个接收节点发送数据，保证服务延迟小以及服务 的连续性、稳定性。其典型代表模型s p l i t s t r e a m 9 1 ，是建立在p 却【1 q 与s c r i b e 之上的一 种应用层组播，p a s t r y 为p 2 p 资源查找方法的一种，用来搜索到所需要的资源，在这里即 为可以为其服务的p e 盯节点。s p l i t s t m a m 把视频流划分成多个不同的s t r i p e s ，分别发送给 不同的节点，由这些节点形成新的不同的组播树，在不同的应用层组播中，使得在树中的 每个叶子节点在其他组播树中充当转发的角色，可以减少有瓶颈的情形发生，同时也提高 了对于节点失效的适应性，当一个节点发生故障或退出时，只会影响到小部分的节点。 s c r i b e 协议的主要作用是把p 2 p 网络中的邻近节点连接在一起，减少了应用层组播的时延。 但是在s p l i t s t m a m 策略中，空闲的节点可能需要为其他节点转发自己不感兴趣的视频流。 除此之外，n i c e 1 1 】协议根据层次簇的思想提出了一种分布自适应的多播树构建协议。 其优点在于节点的维护负载较轻，并且节点的退出只影响局部节点，不影响根节点。缺点 是层次越高节点负载越重，当系统规模很大时可能成为系统的瓶颈。 鉴于n i c e 协议的不足，于是一种新的基于层次簇思想的多播树构建z i g z a g 1 2 1 协议 被提出。它将p e e r 组织成层次式的集群，按照一定的规则建立组播树，实现了大规模的组 播应用。z i g z a g 为组播树树的深度和宽度均衡提供了一个较好的解决方法，但是这种模 型的叶子节点没有参与数据分发，资源的利用率不高。 g n u s t r e a m l l 3 1 是建立在g n u t e l l a 协议上的接收者驱动的p 2 p 流媒体系统。它采用多发 送者来汇聚带宽，自适应缓冲控制，节点失效探测，感知p 2 p 网络的动态性和异构性，对 单个p e e r 节点的服务质量进行分级以取得好的流媒体质量。 c o o l s t r e a m i n g d o n c t ! 1 4 】被认为是第一个实际可行的p 2 p 流媒体软件，第一次真正将高 可扩展和高可靠性的网状多播协议应用在p 2 p 流直播系统当中，通过引入简单的数据驱动 传输策略，节点总是转发数据给那些请求得到该数据的节点，而不考虑鲥子、圻节点 的角色关系，换句话说，即由数据的可用性来决定流的传输路径，这种策略非常适合节点 高动态性变化的网络。 4 南京邮电大学硕士研究生学位论文 第一苹绪论 p 2 v o d x s 最早引入了“代 的概念，到达时间在一定范围内的节点为一“代 ，上一 代为下一代提供服务。代不仅仅是时间相近的节点的集合，还要满足缓冲区的起始内容是 一致的，这就造成不同到达时间的节点的缓冲区大小不一样。当同代中有节点失效时，能 够在同一代中快速找到替代的节点。 此外，也有一些研究机构将不同的视频编码策略结合运用于p 2 p 流媒体系统中。如美 国奥利根大学研究的p a l s 白适应分层媒体流框架，利用了媒体流的分层编码技术，各个 p e e r 发送不同层的编码流，由接收者根据其能力接收若干层的编码。 1 2 2 国内研究现状 目前，国内基于流媒体系统的研究尤其是应用发展非常迅速，据2 0 0 6 一份报掣1 6 】预 测到0 6 年底将有超过2 5 0 0 万的i n t e m e t 用户使用p 2 p 流媒体业务或f 2 p 流媒体软件。面 对如此庞大的市场，国内出现了一批具有领先水平的应用成果，比如a n y s e e 1 7 1 堋、p p l i v c 【1 9 1 、 p p s 臼鼢m 口川、u u s 、q q l i v e 等。 a n y s e e 是华中科技大学设计研发的视频直播系统，它采用了一对多的服务模式，支持 部分n a t 和防火墙的穿越，提高了视频直播系统的可扩展性，同时它利用近播原则、分域 高度的方法，克服了一对多模式系统连接接图的构造和维护带来的负载影响。p p l i v e 是一 款用于互联网上大规模视频直播的共享软件，使用网状模型，有效解决了当前网络视频点 播服务的负载有限问题，目前该软件已支持部分点播功能。p p s t r e a m 是一套完整的基于p 2 p 技术的流媒体超大规模应用解决方案，包括流媒体编码、发布、广播、播放和超大规模用 户直播，能够为宽带用户提供稳定和流畅的视频直播、点播服务。g r i d m e d i a 2 1 】是国内首个 基于网格技术的流媒体系统，系统采用d r m 框架，能够保证媒体内容的版权以及用户的 权益。 1 3 问题分析与研究内容 与传统的文件共享应用相比，流媒体本身带宽资源占用高、服务持续时间长、对数据 的播放有较为严格的时限和时序要求，使得p 2 p 流媒体所面临的挑战更为严峻圈，对上述 国内外的已有p 2 p 流媒体研究成果分析表明，p 2 p 流媒体研究的关键问题有两个： ( 1 ) p 2 p 覆盖网拓扑结构 p 2 p 流媒体系统的性能在很大程度上依赖于p 2 p 覆盖网的拓扑，低连通性的拓扑会导 致网络性能下降，也会引起公平问题( 如果只有几个节点占用了服务器资源) 。什么样的 s 南京邮电大学硕士研究生学位论文第一苹绪论 拓扑结构能够很好地开发利用各个节点的计算资源和带宽资源，并对节点加入离开或失效 的动态变化具有较好的稳定性。此外，节点需要较连续而不是随机地接收数据块，如果节 点及其邻居间组成的小群体没有可用新数据，要尽快从网络中别处获取新数据，需要重新 寻找服务源，覆盖网拓扑结构对于这些新数据的定位和获取也有很大影响。 ( 2 ) 数据接收策略 在p 2 p 流媒体中由于请求节点一般从其他多处节点处获取流数据，以保证节点能及时 获取对时间有严格要求的流媒体数据，否则会影响终端的播放质量。目前的p 2 p 流媒体系 统一般采用数据驱动的“拉 策略，某块数据通常只从一个节点处( 该节点失效时才重新 寻找别的节点) 获取，以使数据冗余度尽量减少，但这样做使得节点上的数据调度算法复 杂，通信开销量大，同时在多个发送者之间需要比较严格的进行同步。 针对以上两个突出的问题，确定本文研究的主要内容如下： ( 1 ) 基于网络编码技术的数据接收策略 网络编码技术可以提高对网络资源的利用率，研究如何将网络编码技术应用于p 2 p 流 媒体系统中，其对现有p 2 p 流媒体的系统的改变及相应的解决办法，研究如何利用网络编 码简化节点问数据调度接收策略，提高节点数据接收速率，改善播放质量。 ( 2 ) 基于小世界拓扑的p 2 p 覆盖网拓扑研究 研究p 2 p 覆盖网拓扑结构特性，什么样的拓扑结构能够充分开发各个节点的计算资源 和带宽资源，如何利用小世界拓扑高群聚性、低平均网络路径长度的特点来提高p 2 p 流媒 体系统性能，同时研究如何利用小世界拓扑来减少实际应用中网络编码的线性相关冗余度， 提高网络编码对p 2 p 流媒体的作用。 1 4 本文工作及论文组织 本文对目前p 2 p 流媒体系统研究取得的成果进行详细分析，提出p 2 p 流媒体系统中需 要解决的两个关键问题并研究相关解决办法。首先通过对网络编码的详细研究，解决网络 编码实际应用到p 2 p 流媒体系统中的主要问题，将其引入到p 2 p 流媒体系统中。然后，在 对结合网络编码技术的p 2 p 流媒体系统的仿真实验与性能分析后，发现网络编码可提高节 点数据接收速率，但网络编码块之间也存在一定的线性相关冗余度，对其原因及p 2 p 覆盖 网拓扑结构特性的分析，引入小世界拓扑来解决改善这些问题。最后对上述本文理论研究 内容进行了仿真验证和性能指标上的分析，得出本文研究成果和结论。 本文共分六章，内容组织如下： 南京邮电大学硕士研究生学位论文 第一苹绪论 第一章绪论介绍课题研究方向p 2 p 流媒体的背景、国内外相关研究现状，分析当前p 2 p 流媒体系统的挑战，指出研究工作的实际意义，并确定论文研究问题和解决问题的方向， 最后给出了论文结构。 第二章介绍了课题研究方向p 2 p 流媒体系统涉及到的相关技术，包括流媒体技术和 p 2 p 技术，在对目前研究取得的结合p 2 p 技术的流媒体系统成果进行详尽的研究后，确定 f 2 p 流媒体面临的主要问题，即本文的研究方向。 第三章研究网络编码技术，包括其基本原理、研究现状、分类及应用、优点。最后着 重介绍随机网络编码在p 2 p 流媒体中的应用实现，并具体仿真分析了其效率，证明其在p 2 p 流媒体系统中应用的可行性。 第四章首先分析结合网络编码技术的p 2 p 流媒体系统相关研究现状，接着研究网络编 码在p 2 p 流媒体的具体实现需要解决的技术问题，包括网络编码与网络解码的实现、数据 缓存调度策略。最后分析引起网络编码线性相关冗余的原因，研究发现p 2 p 覆盖网结构对 网络编码块之间发生线性相关有很大的影响。通过对p 2 p 覆盖网特性的研究，引入小世界 网络来有效地改善网络编码块冗余的问题，从而完成了论文的全部研究内容。 第五章对本文研究内容进行仿真测试，对测试结果进行详细分析，验证本文研究内容。 第六章对论文工作进行总结，并介绍下一步研究的方向。 南京邮电大学硕士研究生学位论文 第二章p 2 p 流媒体技术研究 第二章p 2 p 流媒体技术研究 这一章介绍论文研究内容背景技术：流媒体技术和p 2 p 技术。流媒体技术涉及到媒体 数据的采集、编码、流传输和回放，p 2 p 技术则涉及到p 2 p 资源搜索和定位，覆盖网拓扑 结构，数据传输策略等。作为本论文后续章节的基础，本章将简要介绍流媒体和p 2 p 技术 相关基础理论。 2 1 流媒体技术 早期的i n t e m e t 网络因为带宽有限，只是用来传输文字、图片等静态信息，图像、声 音、视频等多媒体信息应用较少。随着人们学习、娱乐和工作的需要，人们对如何在网络 上传输海量视频、音频等多媒体信息有了进一步的要求。在网络上传输音，视频等多媒体信 息时，由于音视频文件一般都比较大，所以需要的存储容量也较大；同时由于网络传输速 率的限制，常常要花数分钟甚至数小时才能将媒体文件全部接收到本地后进行播放，延迟 很大。在这种背景下，流媒体技术应运而生，而宽带通信技术的进一步发展，也推动了大 规模流媒体系统的发展。 2 1 1 流媒体概述 所谓流媒体技术( s t r e a m i n gm e d i at e c h n o l o g y ) 是指在i n t e m e t 中使用流式传输技术传 输时间连续的媒体数据，如音频、视频或多媒体文件。流式媒体在播放前并不接收整个文 件，只将开始的部分内容存入终端设备上内存，然后边播放边传输，不占用用户的硬盘空 间，只是在开始时需要一定的启动延迟。“流媒体 的概念包括以下两个层面：第一，流 媒体是计算机通信网络上需要实时传输的多媒体文件，比如语音、声音、视频文件。在传 输前需要压缩处理成多个压缩包，并附加上与其传输有关的信息( 比如，控制用户端播放 器正确播放的必要的辅助信息) ，形成实时数据流。数据流最大的特点是允许播放器及时 反应而不用等待整个文件的接收。第二，流媒体是对多媒体信息进行“流化”处理，可以 称之为流技术。这种流技术把连续的影像和声音信息经过压缩处理后利用网络服务器，让 用户一边接收数据一边观看、收听，而不需要等整个压缩文件全部接收到自己的机器后才 可以观看。流媒体技术疾先在使用者的电脑上创造一个缓冲区，在播放前预先接收一段资 料作为缓冲，在网络实际连接速率小于播放所耗用资料的速度时，播放程序就会取用这一 8 南京邮电大学硕士研究生学位论文 第二章p 2 p 流媒体技术研究 小段缓冲区内的资料，从而避免播放的中断，使得播放过程得以维持。 实现流式传输有两种方法：实时流式传输( r e a l - t i m es t r e a m i n g ) 和顺序流式传输 ( p r o g r e s s i v es t r e a m i n g ) 。一般说来，媒体为实时广播并使用r t s p ( r e a l - t i m es t r e a m i n g p r o t o c o l ：r t s p ) 实时流协议或者使用了流式传输媒体服务器，即为实时流式传输。而使 用h t i p 服务器，文件通过顺序流发送，即为顺序流式传输。 顺序流式传输相当于顺序接收，在接收文件的同时用户可观看在线媒体，在给定时刻， 用户只能观看已接收的那部分，而不能跳到还未接收的那部分，顺序流式传输不像实时流 式传输在传输期间根据用户连接的速度做调整。由于标准的h t t p 服务器可发送这种形式 的文件，也不需要其他特殊协议，它经常被称作h t i p 流式传输。顺序流式传输比较适合 高质量的短片段，如片头、片尾和广告，由于该文件在播放前观看的部分是无损接收的， 这种方法保证电影播放的最终质量。这意味着用户在观看前，必须经历延迟，对较慢的连 接尤其如此。顺序流式传输不适合长片段和有随机访问要求的视频，如讲座、演说与演示。 顺序流式传输也不支持现场广播。 实时流式传输技术保证媒体信号带宽与网络连接速率相匹配，使媒体可被实时观看到。 实时流与h t t p 流式传输不同，需要专用的流媒体服务器与传输协议。实时流式传输支持 实时传送，也支持随机访问，用户可快进或后退以观看前面或后面的内容。实时流式传输 需要特定服务器，如q u i c k t t m es t r e a m i n gs e r v e r ，r e a ls e r v e r 与w m d o w sm e d i a s e r v e r 。 2 1 2 流媒体传输协议 流媒体在i n t e r n e t 上传输涉及到的网络传输协议包括i n t e r a c t 本身的多媒体传输协议， 还需要一些合适的实时流式传输控制协议等。由于t c p 需要较多的开销，故不太适合传输 实时数据。在实时流式传输的实现方案中，一般采用r t s p t c p 来传输控制信息，而用 r t p u d p 来传输实时媒体数据。 实时传输协议( r t p ：r e a l - t i m et r a n s p o r tp r o t o c 0 1 ) 为交互式音频、视频等具有实时特 征的数据提供端到端的传送服务。如果底层网络支持多播，r t p 还可使用多播同时向多个 目的端点发送数据。r t p 协议包含两个密切相关的部分，即负责传送具有实时特征的多媒 体数据的r t p 和负责反馈控制、监测q o s 和传递相关信息的实时传输控制协议( r t c p ： r e a l - t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 。在r t p 数据包的头部中包含了一些重要的字段使接 收端能够对收到的数据包恢复发送时的定时关系和进行正确的排序以及统计包丢失率等。 r t c p 是r t p 的控制协议，它周期性地与所有会话的参与者进行通信，并采用和传送数据 南京邮电大学硕士研究生学位论文第二章p 2 p 流媒体技术研究 包相同的机制来发送控制包。 值得注意的是，r t p 协议本身并不提供任何q o s ，必须由下层网络来保证。但是通过 r t c p 控制包可以为应用程序动态提供网络的当前信息，据此可对r t p 的数据收发作相应 调整使之最大限度地利用网络资源。 实时流控制协议( r t s p ：r e a l - t i m es t r e a m i n gp r o t o c 0 1 ) 负责建立和操作一个会话中的 视频、音频数据流，它由i e t f 组织的r f c 2 3 2 6 协议规定。它的主要功能是提供v c r ( d c a s s e t t er e c o r d e r ：v c i r ) 操作，如停止、暂停、继续、拖拉等。在服务器和客户端之间建 立和控制流媒体的传输。r t s p 协议是应用层协议，它既可以采用t c p 协议传输也可以采 用u d p 协议传输，但为了保证控制的可靠性，一般将r t s p 协议构建于t c p 协议之上。 2 1 3 媒体压缩技术 原始的视频数据存在着很大的冗余，包括时间冗余，空间冗余和主观视觉冗余。为了 更有效的存贮和传输，需要对原始数据进行压缩处理。压缩技术可以分为两种：普通编码 技术和可扩展性编码技术，广泛地运用于p 2 p 流媒体系统中。 目前工业应用的主流标准，如m p e g 系列及h 2 6 x 系列标准，大都采用基于分块运动 补偿及离散余弦变换的压缩算法。异构性是p 2 p 网络的一个很重要的特点，不同的p e e r 终端的网络状况可能有很大的区别。普通的编码技术只能生成一种质量的码流。对于高带 宽的用户，希望获得高码率高质量的码流；对于低带宽的用户，希望获得较低码率的码流， 以牺牲质量来换取流畅地播放。如果针对不同用户的需要，服务器同时传输不同码率的多 个码流，则降低了带宽利用率，因为不同码率的码流存在着很大的冗余数据。为解决这个 问题，提出了分层编码技术( l a y e rc o d i n g ：l c ) 和多描述编码技术( m u l t i p l ed e s c r i p t i o n c o d i n g ：如c ) 。 传统的不可扩展性编码产生单一的压缩码流，而可扩展性的分层编码将把原始的视频 流压缩成多个视频流，一个基本流和多个增强流，基本流可以被单独解码，提供最基本的 视频质量，增强层解码后叠加在基本流上，可以提供更好的视频回放质量。 m d c 的基本思想是把一个码流编码成m 个流，每个流称为一个描述，并且不同的描 述之间存在着相关性，其中任何一个描述都可以被用户接收并