（计算机应用技术专业论文）超节点p2p覆盖网中可分级视频流传输算法研究.pdf

中山大学硕士论文超节点p 2 p 覆盖网中可分级视频流传输算法研究 论文题目： 专业： 硕士生： 指导老师： 超节点p 2 p 覆盖网中可分级视频流传输算法研究 计算机应用技术 郭凤燕 高成英副教授 摘要 对等网络( p 2 p ) 技术在网络性能以及系统扩展性的优势适合视频传输。另 一方面，由于各类网络终端在c p u 处理能力、存储能力、可接入带宽等方面存 在很大的差异，视频质量分级要求逐渐被用户提出。可分级编码( s v c ) 技术就 是为了提供这种可分级的媒体服务而被提出的编解码技术。而本文研究通过构建 基于超节点的p 2 p 覆盖网以有效传输s v c 视频流。 p 2 p 的关键技术之一是在物理网络之上构建一层覆盖网络，通过对比分析了 p 2 p 的几种覆盖网拓扑结构，本文提出了基于超节点( s u p e r p e e r ，s p ) 覆盖网结构 能有效应对节点异构性带来的媒体的分级服务，并详细分析了超节点p 2 p 覆盖 网结构的原理，优点。 针对现在用户对视频质量的分级要求以及超节点结构中存在的问题，本文充 分考虑了节点的异构性、在线时间，节点之间数据交互、距离等因素，提出一种 节点性能评估机制，并根据该机制提出基于视频质量可分级要求的超节点选择算 法s d a s v ( s u p e r p e e rd i s c o v e r ya 1 9 0 r i t h mo ns c a l a b l e d e 0 ) ，采用把视频质量加 入到节点评价值s 中的方法，并通过s 值选择超节点和备份节点，同时在此算 法中加入了舶e r i d i n g 节点的处理提高了查询率、并降低查询延时。 同时，本文通过物理距离映射到网络延时形成自治簇，提高了网络的搜索和 传输效率。在超节点选择算法的基础上，提出在超节点p 2 p 覆盖网结构中如何 进行可分级视频内容分发与传输控制的方法，实现不同服务质量的视频传输。实 验验证算法有较低延时、较低网络负载的优点。 关键词：超节点、可分级视频编码、p 2 p 覆盖网、服务质量 中山大学硕士论文超节点p 2 p 覆盖网中可分级视频流传输算法研究 t i t l e ：r e s e a r c ho ns v cv i d e od e l i v e r ya l g o r i t h mo v e rs u p e r p e e r b a s e d m a j o r ： n a m e ： p e e r t o p e e r0 v e r l a yn e t w o r k c o m p u t e ra p p lic a t io nt e c h n 0 1o g y f e n g y a ng u o s u p e r v i s o r ：a s s o c i a t ep r o f c h e n g y i n gg a o a b s t r a c t n o w a d a y s ，p e e r - t 0 - p e e rn 印0 r k sa r eu s e dm u c h i i lm e d i ad e l i v e 巧b e c a u s eo fi t s e x c e l l e n tn e 时o r ks c a l a b i l i 哆b u tm e r ea r ed i v e r s i 巧o ft 锄i n a l st l l a th a y ev c 巧 d i 侬棚l tc p up r o c 懿s i n ga b i l i t i 髂，m 锄。巧a 1 1 dn 咖o r kb 锄d w i d t hi nn e 呐o r k t o d a y s ou s e r sb e 百nt or e q u i r cs c a l a b l ev i d e 0s e r v i c e s c a l a b l e d c 0c o d i n g ( s v c ) p r o p o s c dt om e e tt h j sn e e d s om i sp a p e rd i s c 吣s 韶h o wt ob u i l dap 2 p o v 甜a yn e 研o r kb 邪e do ng u p * p e e r s 仃u c n l r et 0 劬n s l i l i ts c a l a b l e 们d e 0 b u i l d i n g 觚o v 甜a yn e 铆o r ki s0 n eo f l em o s tp o p u l a rt e c l l i l o l o 西铬i np 2 p s y s t e m f i 刚y “sp a p e ra n a l y s e ss e v e r a lp 2 ps y s t 锄s 锄ds u p 叩e 盯- b 舔e do v e d a y c 锄d e a lw i 廿lm es c a l a b l es e r y i c eb r o u 曲tb yt e n r l i n a l s d i v e r s i 够t h e 埘n c i p l e a d v a n t a g ea n dp r o b l e m so fm es u p e 叩e e r - b a s c dp 2 po v 盯l a ya r ed i s c u s s e di nd e t a i li i l l e p a p e r a c c 0 r d i n gt 0u s e r s s c a l a b l eq u a l 时o f 们d e 0s e i c er e q u i r 锄e n t 锄dp r o b l 锄s e x i s t e di i ls u p e 叩e 铮b a s e dp 2 po v 硎a y ，l i sp a p e r 觚a l y s e sm 觚yf a c t o r s 跚c h 勰 n o d e s d i v e r s i 咄n o d c s o n l i n et i m e ，i n f o 咖a t i o ne x c h 锄g e 觚dd i s t 锄c eb e 觚e 钮p e c r s e t c a i l dp r 0 v i d e sas u p * p e e rd i s c o v e 秽a 1 9 0 栅no ns c a l a b l e 们d e 0 ( s d a s i i l “s a l g o 打t h mq u a l i t yo fm e d i as e i c ei si n c l u d e di n 觚sv a l u eu s e di nc h o o s i n g s u p e 叩e e ra i l d t 、oc a i l d i d a t e s a tt h es 锄et i m e ，厅e e r i d i n gn o d e sa r ee a e c t i v e l y d e l 酏e di n 仳sa l g o 订t h mt h a ti m p r o v e s 廿1 es e a r c he 衔c i e i l c ya l l dr e d u c e sd e l a y s h o w e di ne x p 甜m e n t w bi n f o n na u t o n o m o u sc l u s t e r ( a c ) b yt l l et h e o 巧t l l a tp h y s i c a ld i s t a n c ec 锄b e 仃锄s l a t e di n t oe i l d t o e 1 1 dd e la y a sar c s u l t ，i ti m p r 0 v e se 衔c i e l l c yo fs e a r c h i n g 锄d 仃a l l s m i t i n gd a t a b a s e do ns d a s va 1 9 0 r i t h m ，w ep r o v i d ea i la l g o r i t h mn 啪e d t s v i i 中山大学硕士论文 超节点p 2 p 覆盖网中可分级视频流传输算法研究 t 0 饥删t 觚dc 0 i 炯ls c a l a b l e 访d o v 盯唧e 叩r - b 嬲e dp 2 p 嘶i a y s i m l a t i o 璐 r e s u l t ss h o wt l l a tta ：i ( i n ga d v a n t a g eo fo u ra l 鲥m mi sa b l et oa c h i e v em u c h1 0 w c rl i i l k s 仃伪s 觚de n d 一珏dd e l a y k e yw r o r d s ：s u p 盯p e 盯，p 2 es c a l d b l e d c o d i i l g ，o a v 甜a yn 咖o d 【，d e 00 n d 锄a n d 玎i 论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文 的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：j 鞋盥l 日期： 坦军单恩坐旦 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版，有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆、院系资料室被查阅，有权将学位论文的内容编入 有关数据库进行检索，可以采用复印、缩印或其他方法保存学位论文。 学位论文作者签名：奔阽是 日期：砷年j 月砂日 导师签名：再瓣 日期：力俨r 月多日 中山大学硕上论文 超节点p 2 p 覆盖网中可分级视频流传输算法研究 1 1 研究背景及意义 第1 章绪论 近年，中国宽带互联网络发展迅速，流媒体应用得到了相当大地推广，目前 中国三亿网络用户近八成是网络音乐与网络电视的用户。流媒体应用已经成为现 如今网络应用中的主流应用，它主要有网络带宽、q o s 质量要求高，使用时间长 等特点，所以基于客户机和服务器架构模式( c 1 i e “s e r v e r 模式) 已经远远不能 满足大量用户的急速增加，造成服务器负荷重载与网络的拥塞。 目前有两种方案应对c s 模式中心服务器的“瓶颈”问题，一是通过口组 播技术【i 】。但是由于现有的1 1 1 t 锄e t 缺乏对i p 层组播技术中所需要的网络层路由 器的广泛支持，要想实现组播，必须对现有的设备进行改造，建设成本较高， 使得口组播技术在产业界并没有得到有效的实现，限制了其大规模的部署。另 外一种方案是内容分发系统c d n ( c o n t 饥td e l i v e qn 咖o d 【) 【2 1 。它的主要原理 是充分利用边缘的各种c a c h e 服务器，通过全局复制策略使中心服务器的流媒体 内容分发到离用户较近的边缘c a c h e 服务器，使用户能够就近从边缘c a c h e 服务 器获取服务，从而大量节约主干网络，一定程度上实现了负载分散，降低了流媒 体观看的延时，提高了q o s 要求。但是c d n 系统对于大量用户同时增加变的力 不从心，可扩展性差，部署响应慢，阻碍了对流媒体的进一步应用。 对等( p e * t o p e e r 即p 2 p ) 网络是一种全分布式的网络【3 1 ，网络中的节点主 机既扮演服务器，又扮演客户端的角色，使对带宽、处理能力的需求分配到整个 网络，对等节点之间不需要经过中间媒介而直接访问，因此，参加的节点越多， 所能利用到的资源与服务也越多，所以天然具有规模可扩展性。同时，p 2 p 是对 等计算模式，充分利用每个p e c r 的计算能力，大大提高了共享资源的利用率。 基于这些特性，p 2 p 网络可以应对大规模的用户加入或退出所引起的波动，尤其 是流媒体这种大容量服务对系统高可靠性、高可扩展性方面所提出的挑战。所以 p 2 p 流媒体【4 j 已经得到许多研究者的关注。 中山大学硕士论文 超节点p 2 p 覆盖网中可分级视频流传输算法研究 应用层 堕一 二二至曼二二 终端层 二亟豆亟互至 图1 1 流媒体应用垂直层次结构 同时，移动终端，p c 机，电视机等终端设备类型越来越广泛，这些设备之 间在性能指标、显示面积、存储能力、处理能力和接入带宽等方面相差很大【5 】。 同时这些设备处于不同传输特性的异构网络中，以及不同用户的消费水平和理念 不同，所以流媒体系统应该可以根据用户需求的变化提供能根据用户不同的设备 状况和消费水平自由选择不同q o s 质量的视频来使用户享受到不同的视频服务。 目前基于对等网络( p 2 p ) 的流媒体系统，如p p l i v e ，p p s 骶锄等都只能提供一 种码率的视频流，于是如何提供一个新型的流媒体系统使得能够具有更好的伸缩 性以满足各种终端在处理速度，显示屏幕上的限制及按质量收费模式的需求是迫 不及待的。 目前的可分级编码技术是一个有效的途径。将视频编码压缩成几种不同质量 的码流，每一种码流有其对应的q o s 。这几个码流有其叠加性：每一级码流可以 和其对应的低一级的码流组成更高一级的视频；有很强的灵活性：根据网络的带 宽状态随时将分级视频组合成适应网络带宽的码流。视频的分级可以有三种分级 编码方式：空间分级、时间分级、s n r 分级【6 】。空间分级是将视频分成几种分辨 率的差分视频分别进行编码，形成几种码流；时间分级比较简单，直接在码流中 略过视频帧就能完成；s n r 分级是将视频按宏块d c t 采用几种不同的量化参数 对差分结果进行量化编码，得到几种码流进行传输。 然而，在传统的p 2 p 对等技术中，每个网络主机都扮演着这一个同等重要的 角色，这与要提供不同码率视频流的网络结构有一定差异性。因此，可分级视频 流编码如何应用于对等网络中提供可扩展性好，可靠性高的视频流传输是个有待 2 中山大学硕上论文超节点p 2 p 覆盖网中可分级视频流传输算法研究 解决的问题。即将提出的p 2 p 算法应该能配合节点异构以及用户不同需求的特 性，现有系统的可分级码率的视频服务功能的实现。基于此，本论文旨在对p 2 p 网络结构进行改进来提供可分级视频流，提高用户体验。 1 2p 2 p 覆盖网及s v c 技术国内外研究现状 本小节首先给出p 2 p 覆盖网的相关研究其中包括简单介绍p 2 p 概念及特点、 对比分析p 2 p 集中式、分布式和混合式网络体系结构以及他们的优缺点，并对 可分级视频流编码技术的研究现状进行介绍分析，最后详细介绍目前p 2 p 技术 与可分级编码技术结合研究的国内外现状。 1 2 1p 2 p 覆盖网相关研究 本小节主要从两个方面介绍p 2 p 覆盖网的相关研究：p 2 p 的概念及特点、p 2 p 的网络体系结构。其中在p 2 p 网络结构中主要详细介绍非结构化网络结构，比 较分析了集中式、分布式、混合式p 2 p 拓扑结构的不同及优缺点。 1 p 2 p 概念及特点 p 2 p 即p e * t 0 p e c r ，也称为对等网络或点对点技术。现在p 2 p 被更广泛的理 解为p o i n t e r t 0 p o i n t e r 或p c t o - p c 等。不同于目前互联网的主要c s ( c 1 i e l l s e r v e r ) 及b s ( b r o w s 引s e r v 哪的“中心化 网络模式，p 2 p 网络弱化了服务器与客户端 的概念，甚至取消了服务器，让任意p e e r 既是服务器也是客户端，从而实现p e 盯 与p e e r 之间避免中间服务器的介入，跨越服务器的中转，真正达到p e 盯与p e 盯 之间的直接互联。 其实p 2 p 并非新概念，早在1 9 6 9 年，i n t e m e t 的前身a r p a n e t 刚出现的时 候，网络的应用模式就是p 2 p ，而t c p i p 协议之初也并无服务器客户端之分， 可以说p 2 p 是互联网架构的基础。但由于八十年代以后p c 机出现，1 9 9 5 年后 p c 广泛的使用并接入i n t 锄e t ，计算资源从集中走向分布时弱化才使c s 网络模 式得到广泛应用，本质上互联网本身就是分布的、自治的，节点是对等的。现今 p 2 p 技术发展迅猛，业界对p 2 p 这一概念至今还没有形成统一的共识。 i b m 公司对于p 2 p 的定义是【7 】：p 2 p 系统由若干互联协作的计算机组成，且 至少具有如下特征之一： ( 1 ) 系统依存于边缘化( 非中央式服务器) 设备的主动协作，每个成员直接从 3 中山大学硕士论文超节点p 2 p 覆盖网中可分级视频流传输算法研究 其他成员而不是从服务器的参与中受益。 ( 2 ) 系统中成员同时扮演服务器及客户端的角色。 ( 3 ) 系统应用的用户能够意识到彼此的存在，构成一个虚拟或者实际的群 体。 p e e r 的范围很广包括：传感器、移动电话、p d a 、个人计算机及各种服务器 等。每个p e 盯都有一个唯一的d ，他们是独立的、同步的。s u n 是第一家试图 为p 2 p 提供标准的公司，m i c r o s o r 和h l t e l 在他们的研究实验室中也都有自己的 一套标准。所以，目前p 2 p 还是个开放而没有标准的领域。2 0 0 0 年p 2 p 工作组 成立，成员包括i n t e l 、i b m 等企业，目标集中在p 2 p 技术的标准、安全性及可 靠性等方面。 2 p 2 p 网络体系结构 p 2 p 系统中的p e e r 是不稳定的，一般都具有内在的动态性，p e 盯可以动态地 加入和离开网络，p 2 p 系统的运作依赖于p e e r 之间的直接连接。各个p e e r 和系 统中其它p e e r 在网络体系结构的应用层中建立虚拟连接，从而整个系统中的所 有p e e r 互连组成了一个逻辑上的虚拟网络。这一网络运行于i n t 锄e t 底层物理网 络之上的逻辑网络，依赖于底层物理网络的支持，但有别于h l t e n l e t 底层网络节 点的路由连通关系的逻辑临域关系来形成自己的网络拓扑，所以我们把它称作覆 盖网网络( 0 v 甜a y n 咖。出) 【8 ，们。节点存有自身信息，邻接点信息，自身拥有 资源信息，邻接点拥有的资源信息。因为覆盖网是建立在网络层与传输层之上的， 所以又称为应用层网络( a p p l i c a t i o nl 吖dn e t o 、o r k ，a l n ) 。 根据覆盖网的拓扑结构，我们可以把p 2 p 系统划分为结构化( s 仃u e t u i 司) 和非 结构化( u i l s 仃u 咖e d ) 两种【1 0 ，1 1 1 。非结构化p 2 p 网络结构模式的变化经历了三个阶 段：集中式、分布式和混合式。 ( 1 ) 集中式p 2 p 网络 集中式p 2 p 模式有一个中心服务器负责记录共享信息以及响应其他节点的 查询信息。每一个对等实体对它将要共享的信息以及进行的通信负责，根据需要 下载它所需要的其它对等实体上的信息。这种形式具有中心化的特点，但是它不 同于传统意义上的c l i 铋t s e r v 盯模式：传统意义上的c l i t s e e r 模式采用的是 一种垄断的手段，所有资料都存放在服务器上，客户机只能被动地从服务器上读 4 中山人学硕士论文 超节点p 2 p 覆盖网中可分级视频流传输算法研究 取信息，并且客户机之间不具有交互能力：而集中式p 2 p 模式则是所有网上提 供的资料都分别存放在提供该资料的客户机上，服务器上只保留索引信息，此外 服务器与对等实体以及对等实体之间都具有交互能力。 集中式p 2 p 模式最大的优点是维护简单、发现效率高。由于资源的发现依赖 中心化的目录系统，发现算法灵活高效并能够实现复杂查询。最大的问题与传统 客户机服务器结构类似，容易造成单点故障，可靠性和安全性较低。 第一代p 2 p 最典型的系统是n a p s t 一1 2 】。它通过一群高性能中央服务器保存 所有n 印s t e r 用户上传的音乐文件索引和存放位置的信息。当用户需要某个音乐 文件时，系统工作原理如下： a 、首先连接到n 印s t c r 服务器，对中央服务器发出文件查询请求， b 、再由服务器根据用户请求进行相关文件检索，并返回存有该文件的用户信 息； c 、文件请求者接收到中央服务器返回信息后，根据网络流量和延迟等条件选 择合适的p e e r 建立直接连接并进行文件传输。 图l - 2 集中式p 2 p 模型 文件 ( 2 ) 分布式p 2 p 网络 分布式p 2 p 也被称作广播式的p 2 p 模型，它没有集中的中央目录服务节点随 机接入网络，并与自己相邻的一组邻居节点通过端到端连接构成一个逻辑覆盖的 网络。内容查询和内容共享都是通过系统内洪泛搜索，每个节点同时记录搜索轨 迹，以防止搜索环路的产生。 第二代p 2 p 结构的典型系统是g r l u t e l l a 【13 1 。其工作原理如下： 中山大学硕士论文 超节点p 2 p 覆盖网中可分级视频流传输算法研究 a 、节点需要查询某文件时，首先向其相邻节点以洪泛的方式发送查询信息。 b 、相邻节点收到查询包后，检查自身的文件是否符合要求，有则返回个响 应包，无则继续以洪泛的方式发送查询包。 c 、其他节点若收到查询包或响应包时，都通过洪泛的方式把响应包传出以 此类推，直至查询包中的t t l ( 1 r i m et 0l i v e ) = o 。 g i l u t e l l a 是一种文件共享协议，g i l u t e l l a 采取了典型的全分布式非结构化拓 扑，如图1 3 所示。g i l u t e l l a 中没有目录服务器，每个节点都是平等的，没有服 务器和客户端之分。新节点加入时，获知已在g 肌t e l f a 系统中的几个节点并通过 它们得到系统中更多节点的列表，从中选择某几个作为邻居。各个节点上的资源 保存在本地，并不告知其它节点。g i l u t e l l a 采用受限t t l ( t i m et 0l i v e ) 的泛洪 ( f 1 0 0 d i n g ) 技术来进行文件搜索，每个节点将其他节点发来的搜索请求广播给所 有的邻接节点，t t l 值减l ，如果没有搜到，继续搜索直到t t l 的值为o 。如 果某节点发现本地有满足查询消息的资源，该节点会沿着搜索路径反向传播 q u e r y - h i t 消息到发起查询的节点，之后两个节点通过h t r p 协议直接传输文件。 g 】t e l l a 系统的维护起来比较简单；同时采用全分布式结构，具有良好的容错性； 能够支持灵活的搜索条件，并且查询成功率比较高。但g n u t e l l a 的泛洪式搜索在 网络中产生的消息数多，对网络带宽的消耗很大，并由此限制了其扩展性。 图1 - 3 分布式p 2 p 模型 ( 3 ) 混合式p 2 p 网络 集中式p 2 p 拓扑结构有利于节点资源快速准确地搜索，以及只要服务器能力 足够强大就可以无限扩展，但是其中心化的模式容易遭到直接的攻击；分布式 6 中山大学硕士论文超节点p 2 p 覆盖网中町分级视频流传输算法研究 p 2 p 结构解决了抗攻击问题，但是又缺乏快速搜索和可扩展性。混合式p 2 p 结构 吸取了中心化结构和分布式拓扑结构的优点，选择性能较高( 处理、存储、带宽 等方面性能) 的节点作为超级节点。在各个超级节点上存储了系统中其他部分节 点的信息，搜索仅在超级节点之间进行，超级节点再将查询请求转发给适当的普 通节点。混合式结构也是一个层次式结构。超节点之间构成一个高速转发层，超 节点和所负责的普通节点构成若干层次。本论文便使用混合式p 2 p 网络才实现 可分级视频流的传输。混合式p 2 p 的典型系统为：f 嬲t t r a c k 系统。 图l - 4 混合式p 2 p 模型 1 2 2 可分级视频流编码技术相关研究 在1 1 1 t 锄e t 上传输视频已成为多媒体业务发展的一个方向。视频与一般数据 不同，它对带宽、时延和丢包等因素非常敏感，但由于用户节点物理性能异构性 和网络状况“飘忽不定的特点，h t e n l e t 无法对用户提出的视频不同质量的要 求保证服务质量( q o s ) 。因此，i n t c m e t 视频传输面临着诸多挑战，如网络带宽 存在较大的波动，因阻塞造成的丢包现象不可避免等。为此，人们提出了多种基 于应用层的视频传输方案。目前，解决网络带宽波动的合适方法是可分级视频编 码。 可分级视频编码方法通常产生两个视频流：基层码流和增强层码流。基层码 流是必须传输的，并且码率般比较低，增强层码流可以根据实际带宽进行任意 7 中山大学硕士论文超节点p 2 p 覆盖网中可分级视频流传输算法研究 截断。由于该方法产生的视频流可以在一个很大的码率范围内自适应调整，因而 能够适应复杂的网络带宽波动。 一视频输入 视频 r ，- l 边解码器lo r 重建视频l 述1 氓竺f - 降而而一鳃视黔 述2 叹信道2 ) 一 。踢露狲第”崞刁稍 l 吲边解码器2o 重建视频2 图1 5 可分级视频编码系统框图 可分级视频编码适合运用在支持优先级传输机制的网络或提供不等错误保 护的场合，因为生成的码流是按重要性编排的，基层数据比增强层数据重要，增 强层中的高比特平面数据比较低比特平面数据重要。所以说，可分级码流的解码 过程是顺序级联的，如果基层信息在传输中由于丢包的错误而造成不可恢复，即 使正确接收后续增强层数据，只能丢弃而不能被解码。 s v c 技术【1 4 】便是适应这种视频质量可分级要求提出的，解码器可根据实际比 特流要求状况产生不同质量的视频图像。其中有三种形式的视频可分级：时间可 分级、空间可分级、和信噪比可分级【6 1 。作为h 2 6 4 a v c 视频编码标准扩展的 s v c 技术，是由v c e g ( j o i n t d t c 锄o f i t u - t d e 0c 0 d i n ge x p e n sc u p ) 与m p e g ( m e i s o i e cm o 咖gp i c t i 盯ee x p e n s ( 衲u p ) 两个组织共同提出的【”l 。 对s v c 视频流的研究正在国内外中兴起，特别是在s v c 成为h 2 c 视 频编码标准的一个扩展之后，这方面的研究工作得到更多研究人员的关注。利用 s v c 视频编码技术可将视频分成多个层次的数据码流：包括一个基础层数据码 流和一个或多个增强层数据码流【1 4 1 ，通过基础层与不同数量的增强层的组合， 形成不同质量、不同分辨率的视频图像。文献【i6 】则提出一个实时系统用来把可 分级视频整合到传统的媒体服务平台中，并且为了保证可分级视频的传送提出一 8 中山大学硕士论文超节点p 2 p 覆盖网中可分级视频流传输算法研究 种不等的可擦除保护( u n e q u a le 鲫r ep r o t e c t i o n ) 策略，但是没有涉及过多的可 分级视频的传输与控制策略。文献【1 7 】就s v c 技术不为人关注的错误隐藏展开探 讨，提出种复杂度低的策略，但仅对空间可分级进行考虑。文献1 9 采用h 2 6 4 中的可变的宏块序列，提出一种s v c 编码方式，该方式可以支持多兴趣区域。 1 2 3 可分级视频技术与p 2 p 覆盖网相关研究 近年来，在p 2 p 网络中传输与控制可分级视频流的研究，在国内外已逐渐成 为研究热点。文献【l8 】在假定口t v 网络中，重点比较了不同比特率下联编技术 ( s i m u l c a s t ) 和可分级视频在传输视频方面的不同。同时提出了通过计算两种不 同的订阅模型来评估系统能力的方法。该方法给了我们一个判定可分级视频的可 用性的标准，在探讨了影响可分级视频传输的用户节点的数量、可分级码率负载、 频道数目和频道的流行度等因素的基础上，提出一种计算可分级视频的极限负载 算法，该算法规定了一个阈值，超过该值，则联编技术比可分级视频的性能差。 这。而文献【1 9 】提出在无线a dh o c 网络利用一种前向纠错( f e c ) 的不等包丢失 保护( u n e q u a lp a c k e tl o 鼹p r o t e c t i o n ) 策略，通过可分级编码技术来增加视频传 输的鲁棒性。但是该研究主要针对无线a dh o c 网络，并不适于普遍网络应用。 文献【2 0 】针对无线网格网络中出现多播视频时如何分配码率的问题，提出用可分 级编码技术的分布式码率分配策略来使整个网络中节点的视频失真最小化。该策 略需要应用层和物理层之间进行的信息交换，在满足父节点的分配码率大于其分 配码率的条件下，利用可分级编码技术在多播树上传播视频流时实现质量上最 优，负载缩减的效果。该方法适于在无线网格网络下进行视频多播服务的实现， 但是该文献并没有深入探讨如何控制不同层次的媒体流的问题。文献【2 l 】则通过 在一个p 2 p 多播协议( m p p m 协议：s t a n f o r dp e 昏t 0 p e e rm u l t i c 邪t ) 上应用可分 级编码技术减小网络拥塞。通过实验证明利用多播树集来传输可分级视频可以解 决网络拥塞，但由于各层视频流在不同覆盖树中传输，很容易带来各层视频流不 同步的问题。文献【冽对可分级和p 2 p 网络的优缺点进行了平衡，为了保证一个 可接收的服务质量q o s 进行内容平滑地分发，提出一个有效的可调整视频流策 略。当要对数据包进行调度时，将所有的码流数据发送节点按照服务质量q o s 排序，并将基础层的码流分配给q o s 最好的节点，随之按照顺序分配给其他层 次的节点。此外在也有不少研究单纯考虑p 2 p 和可分级视频的特性来进行结合。 9 中山大学硕士论文超节点p 2 p 覆盖网中可分级视频流传输算法研究 文献【2 3 】通过将p 2 p 网络中节点加入到不同单元中来进行对等网络中分级视频流 的管理。文献【2 4 】贝0 提出了一种网络编码( n 咖o r kc o d 懿) ，使p 2 p 在多点到一点传 输过程中，尽可能首先收到可分级编码中基础层子码流，即使网络状况比较差也 能直接解码。y i n gc a i 通过将p 2 p 网络中节点加入到不同单元中来进行对等网络 中分级视频流的传输与控制【2 5 1 。x u g 咖l gl 缸等则结合s v c 和p 2 p ，提出了一 种基于s v c 可管理p 2 p 覆盖网络结构，利用分布式服务器，分布式节点，分布 式超级节点3 种类别的节点相互关联完成s v c 视频流的p 2 p 传输【2 6 1 。这种方式 依赖与中心的分布式服务器，扩展性并不强。但是这些研究不是仅针对单独的网 络就是仅考虑可分级视频编码的局部特性来与p 2 p 网络结合。 目前，p 2 p 网络传输可分级视频流的研究一般存在以下问题： l 、大多只是针对特定的网络开展，如a dh o c 或无线网络研究，对普遍的 因特网研究的不多。 2 、可分级视频流与现代网络技术如p 2 p 计算模式融合度不够。 3 、缺少对实际网络环境中节点异构性的考虑。 4 、缺少面向应用的可分级媒体传输与控制方式的研究。基于p 2 p 技术研究 大多是针对传统流媒体如直播与点播业务，缺乏对可分级视频质量需求 的考虑。因此对于直播与点播两种不同的媒体服务，对应在节点加入离 开方式、可分级视频流的传输控制、节点调度与存储等方面均应有较大 差异。 1 3 论文研究内容 覆盖网是基于物理网络之上又依赖与基础物理网络的逻辑网络，它的构建是 以逻辑上的节点而非一个个物理计算机。覆盖网结构的建立将决定着传输s v c 视频流网络的性能。因此本文首先深入分析探讨目前p 2 p 覆盖网的拓扑结构以 及存在的问题，同时在前人研究的基础上，重点深入研究适合s v c 视频流传输 的基于超节点p 2 p 覆盖拓扑结构，并分析其存在的问题。针对这些问题以及结 合对用户节点对可分级视频的质量要求提出一种可以应对上述问题同时又适合 s v c 视频流传输的拓扑结构，包括自治簇的划分与基于视频质量可分级要求的 超节点选择机制。 l o 中山人学硕士论文超节点p 2 p 覆盖网中可分级视频流传输算法研究 改进的p 2 p 覆盖网拓扑结构满足用户对视频质量要求，因此本文在基于此 拓扑结构上重点对传输s v c 视频流进行研究提出在平均网络延时以及平均网络 负载都较低的传输算法，通过适合s v c 视频流传输的网络结构传输评估策略、 借助模拟试验进一步验证提出的此传输算法有更优的性能。 本文的研究点主要包括两点： 1 、对基于超节点p 2 p 网络拓扑结构进行研究并改进以适合s v c 视频流传 输。 认真研究当前的应用于流媒体传输的p 2 p 网络结构并加以改进主要包括： 研究如何形成自治簇以避免目前超节点p 2 p 结构出现的覆盖网与实际物理网络 拓扑结构不匹配问题。并认真研究分析影响节点性能的各个因素，提出超节点选 择算法其中包括探讨丘- r i d i n g 节点的处理与单点失效问题的解决。 2 、基于超节点p 2 p 网络结构中s v c 视频流传输算法研究。 基于以上所述的研究背景以及分析，同时在提出的基于超节点p 2 p 覆盖网 拓扑结构适合传输s v c 视频流的基础上，对在其拓扑结构中对可分级视频流传 输算法进行研究，实现传输不同服务质量的视频，给用户以不同体验选择。 基于以上两点，将提出一个基于超节点的p 2 p 覆盖网中可分级视频流的传 输算法，同时比以往的类似算法有更低的平均网络延时，同时降低了整个网络的 平均链路负载。 1 4 论文结构安排 本论文共5 章。第l 章为绪论，主要介绍研究背景及意义、对p 2 p 覆盖技术、 s v c 技术以及两者结合的国内外研究现状分析、给出本文的研究内容以及章节 安排。第2 章为p 2 p 覆盖网拓扑结构进行研究，重点分析基于超节点p 2 p 覆盖 网拓扑结构，并提出目前所存在的问题。第3 章针对目前基于超节点p 2 p 覆盖 网结构存在的问题以及结合用户节点视频质量的分级要求提出一种适合s v c 视 频流传输的p 2 p 覆盖网中超节点选择算法。第4 章重点介绍如何在本文提出的 超节点p 2 p 覆盖网结构中传输s v c 视频流。第5 章给出本文的工作总结以及一 些研究展望。 中山大学硕士论文 超节点p 2 p 覆盖网中可分级视频流传输算法研究 第2 章基于超节点结构的p 2 p 覆盖网分析 p 2 p 计算模式是全新的计算模型，目前的研究大多基于一个普遍的假设：每 个节点都愿意贡献自己的资源包括c p u 能力、存储能力、网络带宽、文件等， 同时每个节点参与贡献的能力大抵相当。可实际网络环境中，每个节点并非都愿 意贡献自己的资源；每个节点在线时间即加入与离开的随时性、动态性在管理上 比较困难。所以就存在很多个节点只是在无谓地消耗网络，大肆索取其他节点的 资源而不真正扮演好自己的角色为其他节点服务，这便出现了一种搭便车现象， 此节点也称丘e e r i d i n g 节点。同时每个节点的性能很难达到一致，此异构性使参 与能力也不尽相同，于是采用完全分布式与集中式p 2 p 结构都不利于每个节点 能力的发挥，浪费了大量的闲置资源针对以上存在的问题，很多研究提出一种基 于混合式超节点p 2 p 覆盖网结构【2 7 1 如l 汜a a 【2 8 2 9 1 、f a s t l r a c k 【3 0 ，3 1 1 系统。超节点 ( s u p e r p e 盯) 是物理性能比较高的节点管理着一些性能较低的节点，一定程度 上避免了节点异构性的缺点。同时超节点之间是直接相连的，可接入带宽性能的 整体提高也降低了网络延时，提高传输效率，本章将对目前的基于超节点覆盖网 结构进行重点分析介绍。 2 1 超节点p 2 p 覆盖网结构原理 基于超节点p 2 p 网络结构将网络中的节点分为s p ( s u p c rp e e r ) 与o p ( o r d i n a r yp e 盯) ，它综合了集中式网络与全分布式网络的特点。将所有的节点 分成多个自治簇a c ( a u t o n o m o u sc l u s t e r ) 每个自治簇由一个超级节点与其管理 的一个或多个普通节点组成。自治簇中类似中心式网络结构方式连接，自治簇之 间通过超节点类似全分布式网络结构方式连接，如图2 1 所示，有三个自治簇， 每个自治簇中都有一个超节点管辖着簇中所有普通节点。 中山大学硕士论文超节点p 2 p 覆盖网中可分级视频流传输算法研究 图2 - l 基于超节点p 2 p 网络结构 超节点的选择机制可根据应用不尽相同，普遍采用具有较高可接入带宽、较 强的c p u 处理能力、较大的存储空间等特点作为超级节点，反之为普通节点。 超级节点内存有管辖自治簇中所有普通节点资源的一个列表，其中包括共享资源 关键字、口地址、每个普通节点性能等等来响应普通节点的查询，超级节点在 自治簇中类似集中式网络目录服务器的角色，管理着普通节点的加入与离开，查 询与响应，但与集中式网络目录服务器不同的是，超级节点与普通节点一样也是 随时加入与离开的，要通过某种选择机制在自治簇中重新选出超级节点。普通节 点的各种信息汇报给新的超级节点，超级节点建立与更新自己的目录列表。当普 通节点要离开时，将目录列表中的普通节点的所有记录删除，当某个普通节点要 更新自己的信息，超级节点也要随之更新自己的目录列表保存普通节点更新的信 息。 当某个普通节点要向超级节点发起查询时，要将查询信息q 发送给超级节 点，超级节点查询其目录列表查看自治簇中各普通节点所存储的共享资源是否有 发起查询的普通节点所需求的。如果有，超级节点向此普通节点发送有此请求的 普通节点i p 地址来响应；如果自治簇中没有能满足普通节点的查询q ，则超级 节点向邻居超级节点发送查询请求q ，各超级节点再依次查询自己管辖的自治簇 中普通节点的共享资源即查看自己的目录列表。 超级节点之间的查询是通过全分布式网络的泛洪方式( f 1 0 0 d i n g ) 进行即当 s p 在a c 内处理查询请求没有需要的资源时，则把请求发送给邻接超级节点， 屏蔽了自治簇中普通节点的查询，就像超级节点自身发起请求一样，提高了查询 1 4 中山大学硕士论文超节点p 2 p 覆盖网中可分级视频流传输算法研究 效率。同时一个超级节点维护一些普通节点，所有的超级节点管理整个网络的资 源分散了集中式网络结构中心服务器的负载。当某个超级节点离开时，通过某种 选择机制选出新的超级节点一定程度上解决了集中式网络结构单点失效的问题。 基于超节点p 2 p 网络的查询机制如图2 2 所示，0 尸j 向超级节点印j 发送查 询请求q 。艘j 查询自己的目录列表也就是本自治簇中的共享资源，如果满足q 则回复信息r ，其中包括普通节点的m 地址，资源等。发现没有所需的资源时 铲则向自己的邻居册发送q ，册在自治簇中查询，不能满足的话，继续向 删发送请求q 。册在自治簇中发现d 刀满足请求，则册向册发送r ， s p 3 向删发送r ，即j 向0 垆j 发送r 通知d 刀可满足。之后例叼向d 川发 送所需要的数据。 图2 - 2 超节点p 2 p 网络查询机制 k a z 弧系统是超节点p 2 p 结构的典型代表。它在分布式p 2 p 网络结构中引 入超节点的概念。据c a 公司统计，全球k a z a a 系统下载量达2 5 亿次。k a z n 系统之所以如此成功，它综合了集中式p 2 p 网络结构中查询的快速准确与全分 布式p 2 p 有效解决单点失效问题的共同优点。k a z a a 系统将网络结构分为两层 一层是超节点，它们类似全分布式g n u t e l l a 系统节点连接方式，保持长期的t c p 连接，形成o v e r l a yn 咖o r k ，有利于系统很好的扩展；一层是由每个超节点管 理的普通节点组成，使搜索效率更高。 中山大学硕士论文 超节点p 2 p 覆盖网中可分级视频流传输算法研究 2 2 超节点p 2 p 覆盖网结构的优点 基于超节点p 2 p 覆盖网结构综合了集中式p 2 p 网络与分布式p 2 p 网络的特 点，网络中的超节点可看成普通节点的目录服务器，查询先在自治簇内进行，而 后在超节点中间进行。所有超节点分散了整个网络的负载，没有一个单独的超节 点承担很大的负载，避免了某个节点成为整个系统的瓶颈，也就解决了单点失效 的问题。 基于超节点结构p 2 p 覆盖网的优点如下： l 、一定程度上改善了全分布式p 2 p 结构中网络拥塞、搜索延迟的问题。 由于普通节点首先在本自治簇内向其超节点发起查询，当自治簇内无满足的 查询时，再通过超节点之间通过泛洪方式进行搜索，极为有效地消除了在分布式 结构用全泛洪方式( f 1 0 0 d i n g ) 进行搜索引起的网络带宽的大量消耗。搜索速度 也大大提高。 2 、增加整个系统的安全性和可管理性。 每个自治簇中，普通节点的加入、离开以及之间的数据传输都受到超节点的 监控、管理。因此管理局部特性也避免了一些恶意行为的攻击。 3 、提高整个网络的负载平衡。 在集中式p 2 p 网络结构中与分布式网络结构中，除了中心目录服务器外，每 个节点承担的责任都是相同的，根本没有考虑每个节点在c p u 处理能力、可接 入带宽、存储能力等的异构性，而基于超节点的网络结构根据节点性能的异构性 则把所有节点分成两层，不同节点根据能力不同而担当不同的角色，履行不同的 责任与义务，这种存在超节点的方式一定