（计算机应用技术专业论文）基于可用带宽检测的质量保证视频传输技术研究.pdf

论文摘要 论文摘要 随着i n t e m e t 的飞速发展，i p 网络视频数据的实时传输已经成为一个非常普遍的应用。但是， 由于i p 网络只能提供一种“尽力而为”的服务，使得视频数据在i p 网络中传输的时候不能得到必 须的质量保证，严重影响了接收端的解码画面质量。本文从端到端可用带宽检测技术的研究出发， 提出一种基于队列区域分类的可用带宽检测方法。并使之与前向纠错编码技术相结合，提出了一套 视频数据传输保护的解决方案。 文中提出的该可用带宽检测方法和很多基于探测速率的方法不同，它依靠的是对路由器队列中 数据包的队列时间区域的分类算法。这种方法已经被证明在突发性的背景流之下比依赖单路延时的 增长趋势的方法更加鲁棒。另外，这种方法使用了一个概率模型去估计在非连续队列区域中的背景 流的流量，而这在其他的很多带宽检测方法中都被忽略了。本文随后把该方法与前向纠错编码技术 结合，一方面使用带宽检测技术来控制发送端的发送速率，另一方面使用前向纠错编码技术保护进 行带宽检测时候的视频数据。 仿真实验表明，在多跳的网络环境下，该种方法可以持续保持对当前可用带宽的精确估计。并 且在检测阶段，探测流的速率能基本保持在当前可用带宽速率之下。再加上前向纠错编码技术的应 用，接收端的画面质量有了很大的提高。 关键字：视频传输，数据保护，前向纠错编码，可用带宽，队列时间，背景流，探测速率 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e t t h er e a l t i m ev i d e ot r a n s m i s s i o no v e ri pn e t w o r kh a sb e c o m e av e r yp o p u l a ra p p l i c a t i o n d u et ot h e “b e s te f f o r t ”t r a n s m i s s i o nm a n n e ro fi pn e t w o r k q o sg u a r a n t e es t i l l c o u l dn o tb e e na c q u i r e dw h i c hd i r e c t l yd e c r e a s e st h ed e c o d e dp i c t u r eq u a l i t yo nt h er e c e i v e rs i d e s t a r t i n g w i t hr e s e a r c ho ne n d t o e n da v a i l a b l eb a n d w i d t he s t i m a t i o n 。w ep r o p o s eaq u e u i n gr e g i o nb a s e da v a i l a b l e b a n d w i d t he s t i m a t i o nm e t h o dn a m e dj q r e s t c o m b i n e dw i t hf o r w a r de r r o rc o r r e c t i o nt e c h n o l o g y , w e f i n a l l yp r o p o s eas o l u t i o nf o rp r o t e c t e dv i d e ot r a n s m i s s i o no v e ri pn e t w o r k d i f f e r e n t 疔o mm a n yr a t e - m o d e lb a s e dt e c h n i q u e s j q r e s tr e l i e so nq u e u i n gr e g i o nd e t e r m i n a t i o n i t h a sb e e np r o v e dt ob em o r er o b u s tt oh a n d l et h eb u r s t i n e s so fc o m p e t i n gt r a 伍ct h a nt h eo n ew a yd e l a y i n c r e a s i n gt r e n d 。w h i c hh a sb e e ns h o w e di n c a p a b l eo fi n d i c a t i n gt h er e l a t i o nb e t w e e np r o b i n gr a t ea n d c u r r e n ta v a i l a b l eb a n d w i d t h b e s i d e s ，j q r e s ta p p l i e sap r o b a b i l i t ym o d e lt oe s t i m a t et h ea m o u n to f c o m p e t i n gt r a f f i c i nd i s j o i n tq u e u i n gr e g i o n sw h i c hi si g n o r e db ym a n yo t h e ra v a i l a b l eb a n d w i d t h e s t i m a t i o nt o o l s t a k i n gt h ea d v a n t a g eo ft h ea c c u r a c yo fj q r e s t w ec o u l dc a l c u l a t ea no p t i m i z e ds e n d i n g r a t eo fv i d e od a t a b e s i d e st h i s ，v i d e od a t ac a nb ef u r t h e rp r o t e c t e db yf o r w a r de r r o rc o r r e c t i o ni np r o b i n g p h a s e s i m u l a t i o ne x p e r i m e n t ss h o w e dt h a tj q r e s tc o u l dc o n s i s t e n t l yo b t a i na na c c u r a t ee s t i m a t i o no f c u r r e n ta v a i l a b l eb a n d w i d t hu n d e rm u l t i p l e h o pn e t w o r km o d e l ，w h i l et h ep r o b i n gr a t ei sm o s t l yk e p tu n d e r t h ea v a i l a b l eb a n d w i d t h a tt h es a m et i m e ，t h ep i c t u r eq u a l i t yo nt h er e c e i v e rs i d ew a sg r e a t l yi m p r o v e d k e y w o r d s ：v i d e ot r a n s m i s s i o n ，d a t ap r o t e c t i o n ，f o r w a r de r r o rc o r r e c t i o n ，a v a i l a b l eb a n d w i d t he s t i m a t i o n , q u e u i n gr e g i o n ，c o m p e t i n gt r a f f i c ，p r o b i n gr a t e 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 日期：上沁六f ，。7 ) 第一章绪论 1 1 引言 第一章绪论 随着i n t e r a c t 技术不断的发展和人们对于多媒体业务的迫切需要，使得基于i n t e m e t 的视频通信 成为可能并已经有了众多的应用。传输图片或者视频数据都需要足够大的带宽保证，即使现在的 视频压缩算法已经效率很高，网络流量还是很容易就被视频数据流所占据。视频数据流具有突发 性，当许多节点都在其峰值进行视频数据传输的时候，往往会超过当前的可用带宽。从而使网络 路由器或者交换机端的缓冲区溢出，导致视频数据包的丢失。所以，视频数据包的丢失也具有突 发性。虽然，在一些视频流传输应用中，丢失一些重要性不高的可视信息对用户来说还是可以接 受的。但是由于当前的信源编码技术以及动态补偿的应用，那些丢失的视频数据信息带来的误码， 往往会进行扩散，使得图像质量的不断下降。虽然借助于网络设备的不断更新换代，现在的网络 带宽已经能满足大部分的网络应用，但是随着应用的发展，鲁棒地在i n t e m e t 上传输带有一定服 务质量保证( q o s ) 的压缩多媒体数据，已经成为当今多媒体应用的一个迫切需求。 1 2 视频编码和传输的现状和挑战 1 2 1 视频编码 视频编码技术经过十几年的发展日趋成熟，相关的编码标准在学术界和工业界的共同推动下也 得到了迅速的发展，获得了前所未有的成功。随之涌现了如d v d 和数字电视这样基于视频编码标 准的重要应用。视频编码由于不同应用环境，有基于图像压缩技术的，也有针对网络带宽波动所 提出的视频分级编码和多描述编码技术。总的来说，视频编码主要是为了减少视频信息在时间、 空间，视觉上的冗余度。 1 2 2 图像压缩标准 自上世纪8 0 年代末起，主要有两大组织致力于视频压缩标准的研究国际电信联盟远程通 信标准化组( t h et e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o ro ft h ei n t e r n a t i o n a lt e l e c o m m u n i c a t i o n s u n i o n ，i t u t ) 和国际标准化组织( t h ei n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ，i s o ) 。i t u t 和i s o 分别制定了不同的标准。早期的视频编码标准包括i t u t 在1 9 9 0 年制订，并于1 9 9 3 年修 订的h 2 6 1 和i s o i e c 于1 9 9 3 年制订的m p e g 1 。而i s o i e c 制订的m p e g 2 则是目前为止在商 业上最成功的视频编码标准。 i t u t 的标准包括h 2 6 1 、h 2 6 3 、h 2 6 l 、h 2 6 4 ，主要应用于实时视频通信领域，如可视电 话、会议电视等；i s o 制定了m p e g 系列标准，主要应用于视频存储、广播电视、i n t e r n e t 或无线 网上流媒体的传输等。虽然视频压缩的标准种类繁多，但是他们的核心算法都是“运动估计帧 间预测补偿+ d c t + 量化+ 变长编码”，虽然这种压缩算法大大减少了视频信息的数据量，同时也能 保证一定的视频质量，但是却使得视频流之间产生了很大的相关性。 1 2 2 1 h 2 6 x 系列标准 h 2 6 1 1 1 6 标准于1 9 8 6 年开始制定，最初是针对在综合业务数字网( i n t e g r a t e ds e r v i c e sd i g i t a l n e t w o r k ，i s d n ) 上实现可视电话和视频会议而设计的，码率为6 4 k b p s 的整数倍，是第一个实用 的低码率视频压缩标准。 1 9 9 6 年i t u tq 1 5 s g l 6 专门委员会推出一个新的低码率压缩标准h 2 6 3 n ”，该标准是为低 于6 4 k b p s 的窄带通信信道而设计的。h 2 6 3 在h 2 6 l 的基础上做了一些改进，引入了半象素精度 运动估计和多矢量编码等先进编码技术，提高性能和纠错能力。2 6 3 标准在低码率下能够提供比 h 2 6 1 更好的图像效果。随后又出现了h 2 6 3 + 1 8 1 及h 2 6 3 + + b 9 】，他们分别在h 2 6 3 的基础上做了 不少改进，提高了视频压缩编码的性能。 h 2 6 4 2 0 l 是由i s o i e c 与i t u t 组成的联合视频组( j o i n tv i d e ot e a m ，t ) 制定的新一代视 频压缩编码标准。h 2 6 4 的最重要优点是在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和 m p e g 4 ( s i m p l ep r o f i l e ) 减小5 0 码率。但是，它的算法复杂度是现有编码压缩标准的4 倍以上。 随着集成电路技术的快速发展，h 2 6 4 的应用将成为现实。 东南大学硕士学位论文 1 2 2 2 。m p e g 系列标准 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p o r t sg r o u p ) 的缩写，于1 9 8 8 年成立，是为数字视 立频制定压缩标准的专家组，目前已拥有3 0 0 多名成员，包括i b m 、s u n 、b b c 、n e c 、i n t e l 、 a t & t 等世界知名公司。m p e g 组织最初得到的授权是制定用于“活动图像”编码的各种标准，随 后扩充为“及其伴随的音频”及其组合编码。后来针对不同的应用需求，解除了“用于数字存储媒体” 的限制，成为现在制定“活动图像和音频编码”标准的组织。m p e g 组织制定的各个标准都有不同 的目标和应用，目前已提出m p e g 1 、m p e g 一2 、m _ p e g 4 、m p e g 7 和m p e g 2 1 标准。 m p e g 一1 是最早的一个m p e g 标准，于1 9 9 3 年8 月公布，用于传输码率在1 5 m b p s 以下的数 字媒体的运动图像和伴音的编码标准。m p e g 1 标准详细说明了电视图像和声音的压缩办法，以 及播放m p e g 一1 压缩码流时图像与声音的同步机制。采用m p e g 1 标准可以将数字电视图像信号 压缩到o 5 - 1 比特象素，可将码率约7 0 m b p s 的原始数据压缩到1 2 m b p s ，经过解码后的图像质量 与上世纪8 0 年代末9 0 年代初常见的家庭录影带的播放质量相当。m p e g 1 为光盘、视频存储等 用途而定制，还是v c d 的编码标准，支持随机存储、快速搜索、逆向播放、快进后退等功能。 m p e g 2 标准于1 9 9 4 年推出，是针对标准数字电视和高清晰度电视定制的码率在1 5 m b p s 至 6 0 m b p s 之间的运动图像及其伴音的通用编码( g e n e r i cc o d i n go f m o v i n gp i c t u r ea s s o c i a t e da u d i o i n f o r m a t i o n ) 。标准的正式规范在i s o i e c l 3 8 1 8 中。m p e g 一2 不是m p e g 1 的简单升级，m p e g 2 在系统和传送方面作了更加详细的规定和进一步的完善。m p e g 2 特别适用于广播级的数字电视 的编码和传送，被认定为s d t v 和h d t v 的编码标准。 m p e g 2 利用了视频信息中的空间相关性和时间相关性。这两种相关性使得图像中存在大量 的冗余信息。如果我们能将这些冗余信息去除，只保留少量非相关信息进行传输，就可以大大节 省传输频带。而接收机利用这些非相关信息，按照一定的解码算法，可以在保证一定的图像质量 的前提下恢复原始图像。一个好的压缩编码方案就是能够最大限度地去除图像中的冗余信息。 m p e g 一2 编码方案中采用余弦离散变换( d c t ) 减少空间相关性、采用可变长编码去除符号 冗余性，而对于时间冗余是用到了基于块的运动补偿的方法，引入了三种主要的图像帧类型：i 帧、p 帧和b 帧。 i 帧即内部编码帧，采用帧内编码方式，只利用了单帧图像内的空间相关性，而没有利用时间 相关性，其编码不需要参考别的帧，这种帧类型为编码图像序列提供了随机访问点，使解码可由 此点开始，但这种类型的帧图仅采用了最普通的压缩方法。 p 帧即预测编码帧，采用前向时间预测，通过过去的预测帧去除时间冗余度，进一步提高了 编码的效率。p 帧图像中可以包含帧内编码的部分，即p 帧中的每一个宏块可以是前向预测，也 可以是帧内编码。 b 帧即双向预测编码帧，采用双向时间预测，通过过去和为未来的参考帧进行运动补偿，实 现了最大程度的压缩。 m p e g 2 采用层次化的码流结构，整个压缩码流分为六层，自上到下分别是：图像序列层、 图像组( g o p ) 、图像、宏块条、宏块、块。 m p e g 一2 标准主要应用于音视频资料的保存、数字卫星视频广播( d v 8 一s ) 、视频会议和广播电 视等场合。 m p e g 4 标准于1 9 9 9 年正式公布，称为视听对象的编码( c o d i n go fa u d i o v i d e oo b j e c t s ) 。 m p e g 4 与m p e g 1 2 有着很大的不同，最显著的差别在于它建立了基于对象的全新的编码方法， 即在编码时将一幅景物分成若干在时间和空间上相互联系的音视频对象，分别编码后，再经过复 用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这样既方便 我们对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并且这样 也可以方便的实现对于各种对象的操作及编辑。它更注重多媒体系统的交互性和灵活性，其主要 目标有两个：一是低比特率下的多媒体通信；二是不同行业的多媒体通信的综合。m p e g - 4 适用 于5 k b p s 1 0 0 m b p s 很宽范围的应用，致力于实现广泛的可访问性、易错环境中的鲁棒性、以及高 交互性、对自然数据和合成数据编码的高压缩率。其中5 - 6 4 k b p s 用于p s t n ，6 4 1 9 2 0 k b p s 用于视 频会议和监控，2 1 0 m b p s 用于数字电视电影，1 0 1 0 0 m b p s 及以上用于高清晰度电视及演播室节 目制作。它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒体( w w w 、资料撷 取与分散) 等整合及压缩技术的需求而制定的国际标准。m p e g 4 标准将众多的多媒体应用集成 于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能 被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。 m p e g 4 主要应用于i n t e r a c t 音视频广播、无线通信、静止图像压缩、电视电话等。 2 第一章绪论 m p e g 7 标准被称为“多媒体内容描述接口”，为各类多媒体信息提供一种标准化的描述，这 种描述将与内容本身有关，允许快速和有效的查询用户感兴趣的资料。它将扩展现有内容识别专 用解决方案的有限的能力，特别是它还包括了更多的数据类型。换而言之，m p e g 一7 规定一个用 于描述各种不同类型多媒体信息的描述符的标准集合。该标准于1 9 9 8 年1 0 月提出。 1 2 2 3 视频分级编码和多描述编码 视频分级编码技术和多描述编码技术都是针对带宽波动所提出的。两者的基本思想都差不多。 视频分级编码是将视频压缩成一个基本层和多个增强层：基本层可以进行独立解码，提供较低的 码率，和较低的画面质量，以应付比较恶劣的带宽情况：而增强层需要依赖于基本层进行解码， 能提供比较高的视频质量，但是同时对带宽的要求相对较高。多描述编码的基本思想是将视频压 缩成多个描述，每个描述可以独立解码，并分别在独立的信道上传输，接受端接收到的描述越多， 恢复得到的视频质量就越高，与分级编码所不同的地方是，多描述编码各个描述可以独立解码， 没有基本层和增强层的概念。 1 2 3 视频网络传输的主要问题及解决方法 1 2 3 1视频数据网络传输的主要问题 本文中讨论的是i p 网络。i p 网络最初是为数据应用而设计的，实现简单的文本传输等功能， 实现相对简单，只能提供一种尽力而为( b e s te f f o r t ) 的传输服务。 i p 网络是一个基于公平竞争原则的包交换网络，不同的数据流在同一线路上公平竞争可用的 带宽资源，数据包并没有优先级之分，在丢包上体现出一种随机性；i p 网络同时也是一个尽力而 为的传输系统，在网络发生拥塞的时候，会通过丢弃些数据包来缓解拥塞状况，因此无法保证 端到端传输的可靠性，由此会导致传输数据包的延时和延时抖动。在i n t e r n e t 中一个重要的网络设 备就是路由器，它负责为到达的数据包选择合适的路由，当有大量的数据包到达该路由器时，这 些数据包就会在路由器的缓存里排队等候传输，这是导致传输延时的主要原因；当不同数据包的 排队延时和路由路径不同时，各个数据包之间的传输延时也会发生很大的不同，从而造成网络传 输的延时抖动。 i p 网络中数据包的丢失具有突发性，为了避免网络拥塞，i n t e r n e t 上通常都运行着一些拥塞控 制协议和路由队列管理策略，在这些因素的影响下，网络丢包除了呈现随机性以外，还呈现一定 的突发性，往往会发生连续的数据包丢失，这对音视频传输的影响很大。 i p 网络的这种简单设计可以使其独立于上层的应用，适用于不同的网络应用，但是也正是由 于这种简单的机制，使得i p 网络无法提供端到端的可靠传输，当数据流量超过其处理能力时，它 会随机的丢弃一些数据包，从而无法保证端到端传输的可靠性，在没有延时要求的情况下，如文 本数据的传输，可以通过数据重传来达到可靠的传输，但是对于实时的视频业务，由于其严格的 延时限制，导致数据重传无法适用于该种应用，所以我们只能寻求新的途径来解决网络丢包的问 题。 随着基于i p 网络的多媒体业务的不断发展，在i p 网络上传输音视频数据已成为一种大趋势， 由于音视频数据的特点，它对传输的传输方法提出了很大的挑战。视频压缩后虽然很大程度上减 少了数据量，但是给传输也提出了新的挑战，使压缩视频对传输错误变得更为敏感。 实时的多媒体数据相比传统的数据传输有着很大的差别，对实时性、时延和抖动等都有严格的 要求，正是实时多媒体应用的这种特点，对i p 网络提出了以下几方面的要求： 1 带宽的要求：为了获得可接受的解码图像质量，实时视频通信一般都有一个最小带宽要 求，然而现在的i p 网络一般不提供这样的带宽保证。同时视频信息的数据量比其它类型的数 据要大，一般需要较高的带宽。 2 时效性的要求：同没有严格的时延限制的数据传输相比，实时视频通信是对时延敏感的， 但是i p 网络的拥塞往往造成不可预测的网络时延。 3 。 可靠性的要求：数据包的丢失将造成解码图像质量的严重的下降，因此视频通信中也同 样对网络的可靠性提出了要求。可是作为提供尽力而为服务的网络，i p 网络的数据包丢失在 实时视频应用中往往是不可避免的。 4 除了以上要求外，组播应用还使印网络面临着额外的具有挑战性的问题： 5 。异构性问题：i p 网络应用的异构性问题主要包括网络环境的异构性和接收端的异构性两 方面。网络环境的异构性是指子网中资源分布的不均匀性，这些资源包括处理能力、带宽、 3 东南大学硕士学位论文 存储和控制策略等方面。接收端的异构性是指不同的接收端对应用的所提出的要求( 如反应 时间、视觉质量) 和接收端本身处理能力的不同。 6 可扩展性问题：某些控制算法在端到端的应用中具有很好的效果，但是当大量的终端加 入应用时，拥塞就会发生，这就是网络应用的可扩展性问题。可扩展性问题对于组播应用来 说是非常关键的。 1 2 3 2现今的解决方法 在最近几年，围绕着怎样鲁棒地传输压缩的多媒体数据，已经做了很多的工作。而这些工作， 都是在信源和信道两边进行的。在信源方面，很多人致力于减小传输视频数据时对编码算法的影 响以及带宽的利用率。而这些工作主要包括：容错编码，可扩展编码【2 ，多描述编码 2 2 , 2 3 , 2 4 和错 误隐藏。在信道那一端，很多的工作都集中在怎样使传输层的错误控制技术和视频传输架构进行 互相协作这一方面。传输层的错误控制技术主要包括自动重传请求，混合a r q 和前向纠错编码 ( f e c ) 。 自动重传请求之类的方法有很大的缺点。因为它会带来额外的往返间隔延时，以及在多播的情 况下，它会带来巨大的复杂性。相反的，基于前向纠错的编码主要关注于对错误的检测和矫正以 及对丢失信息的恢复。在一个基于包交换的网络里，错误的检测和纠正在以数据包为单位的时候 进行，可以对数据包进行保护。当以视频数据的帧为单位时，就可以对整个帧进行保护。也可以 对于数据包或者视频数据帧的不同的重要性而加以不同的优先级来进行不同冗余程度的前向纠错 编码。 现在基于前向纠错编码对m p e g 视频压缩数据进行处理的方法一般是以一个图像组( g o p ) 为单位进行处理的。m p e g 视频数据流是有层次的有序比特流。最顶层的称为序列( s e q u e n c e ) 。 而这些序列分隔，封装了一小段的电影。它们总是以序列头作为开始，序列头包含了很多有用信 息：图像大小，图像速率和比特率。最终它们也会以一段3 2 比特长的序列结束码作为结束。紧跟 在序列头后面的就是很多的图像组。我们可以对图像组进行随机访问，因为图像组是在某些环境 下可以单独解码的最小编码单元。在一个图像组里面包含了这样的l 帧、p 帧和b 帧，针对各种 帧的重要性的不同，我们可以对它们进行冗余度不同的保护。在1 9 9 6 年，j a l b a n e s e ，j e d m o n d s ， m l u d y 和m s u d a n 提出了p e t i dj ( p r i o r i t ye n c o d i n gt r a n s m i s s i o n ) ，该方法的提出，主要针对的 是在易错信道中传输消息。需要传输的数据，首先得切分成消息，消息是p e t 进行编码的基本单 位。然后再把消息进行分段( s e g m e n 0 ，在分段的基础上，再分成- - 4 , 个- - 4 , 个块( b l o c k ) 。属于 同一个段的块都拥有一样的优先级。块的长度越小就代表着该块所属的段的优先级越高，同时也 代表了从接收到的数据恢复出原始数据需要的数据包越少。c l e i c h e r 把p e t 算法以g o p 为单位 应用在了m p e g 压缩视频数据的传输上1 42 i 。虽然这种方法能按照帧的重要性不同对在易错信道中 传输的帧进行相应的保护，但是由于只能在整个消息或整个g o p 都被缓存之后才能使用p e t 算 法对其进行编码，所以会产生一定的延时。文献 4 2 】中是以一个g o p 作为编码基本单位的，所以 在进行编码的时候会产生一个g o p 的延时。这在某些实时性要求高的应用中是不允许的。而且在 文献【2 5 j 中也没有提供明确的规范或者算法来说明怎样使保护的效果达到最佳。 h 甜a n t o 【2 6 l 随后提出了一种前向纠错码的分配方法，但是他只是经验的把i 帧和p 帧赋于固定 比例的前向纠错码。这样的话，一个g o p 内p 帧的时间依赖性就被丢弃了。f e a m s t e re ta 1 则建立 了一个分析模型【27 l 用来分析在i ，p ，b 帧中丢失数据包产生的影响。同时他还基于这个模型提出 了一个不平等重传的协议。 文献 2 8 ，2 9 】中，提出了一种前向纠错编码的分配方法。该方法是针对于渐变数据或者渐变图像 而提出的。所以，并不适用于现在基于动态补偿压缩的视频。但是它的基本思想在文献 3 0 被采用， 提出了另一个不平等丢失保护的方法。由于认识到p 帧在时间序列里重要性的不同，作者找到了 一个接近最优的前向纠错编码的分配算法。该方法会在设定的一个范围内搜索，最后得出一个最 佳的分配方法。作者同时还建立了一个期望错误传播长度模型来公式化数据包丢失对视频质量的 影响。但是，由于这种方法使用类似穷举的搜索方法，计算复杂度比较大，在某些计算能力比较 弱的设备上( 比如无线视频传感网络的节点) 还是不太适合的。 1 2 3 3本文的解决方法 由于用于视频数据传输的i p 网络提供的是一种尽力而为( b e s te f f o r t ) 的传输服务。所以，当 我们进行端到端( e n d t o e n d ) 的视频数据传输的时候，发送端对于实际的传输速率的控制是完全 4 第一章绪论 交给传输层来完成的。 1 ) u d p ： 因为u d p 没有拥塞控制协议，所以当通过u d p 传送视频数据时，如果当前端到 端的可用带宽下于发送速率的话，网络就会发生拥塞，一些视频数据包就会被丢弃，导 致接收端图像解码质量的下降，而且发送端对当前网络的拥塞情况完全未知，所以不可 能对发送速率进行降低，以适应当前的网络现状。 2 ) t c p ：t c p 协议中采用了拥塞控制机制，可以避免和缓解网络拥塞，但是实时的多媒体 应用由于其对延时的敏感性，通常都是采用没有拥塞控制机制的u d p 协议进行传输，所 以i n t e r n e t 上的多媒体流量往往会在很人程度上恶化网络的拥塞情况，从而产生大量的 丢包问题，严重影响多媒体应用的服务质量。即使采用t c p 协议，t c p 协议中的慢启动、 拥塞避免机制，只能部分感知当前网络的拥塞状况，而且波动比较大，会造成接收端码 率的不平稳。 综上所述，当对视频数据进行实时传送时，发送端对于当前网络状况的感知变得尤其重 要，特别是对于当前端到端的可用带宽的感知。本文的解决方法正是从此处着手展开的。 设想一下，如果传输的两端都能获知当前端到段的可用带宽的大小，则发送端可以选择 最合适的发送速率，以达到当前网络状况下，接收端解码图像质量的最优化。而且在这种情 况下，网络永远不会发生拥塞，所以f e c 在这时候也没有存在的意义。 当前在对端到端可用带宽测量方面的研究也随着互联网的发展变得越来越热。当前有两 种不同的方法来获取到端到端的可用带宽。一种是通过让终端定时去询问网络上的路由器。 这种方法能非常精确得获取当前端到端得可用带宽值，但是同时也有两个非常大的缺点： 1 )这种方法需要路由器的额外支持，并不是所有的路由器都支持此种特性。 2 )这种方法需要终端用户直接去访问网络上的路由器，现实情况下，一般的终端用户 是没有权限去直接访问的。 正是由于这两个原因，端到端可用带宽的研究一般都集中在下面一种方法： 此方法需要两端中的发送端向网络中注入特定大小特定间隔的包序列，然后通过在接受 端进行一定算法的分析来估测出当前两端的可用带宽大小。这方面的代表工具有很多，比如： p a t h l o a d ，s p r u c e ，p a t h c h r i p ，m o s e a b 。但是，这些代表方法的原理都是在简单的拓扑结构下得 到的，并没有考虑i n t e r n e t 上流量的多跳性，突发性，抖动性，数据包大小的多样性等，所以 这些方法的实际测量结果的误差都比较大。而文本第二章将会针对这样的环境，提出一个新 的真正适用于i n t e m e t 的端到端可用带宽测量方法。由于这种通过向网络中注入数据包的方法 会干扰当前两端数据的传输，所以在本文的多媒体传输的环境下，采用f e c 的方法来保护正 在传输过程中多媒体数据。 1 3 本文的主要内容 本文的主要内容安排如下： 第一章为绪论，主要介绍本文的研究背景，视频压缩编码技术的发展历程，压缩视频传输中面 临的挑战，以及当前的解决方法。 第二章主要介绍当前端到端可用带宽测量领域的研究情况，并针对端到端可用带宽测量领域的 队列时间( q u e u i n gr e g i o n ) 的分类以及非连续队列时间区域的背景流流量模型等若干问题进行研 究。 第三章针对压缩视频在i n t e r n e t 上可靠传输的困难提出了一种新的端到端可用带宽测量方法一 j q r e s t 。 第四章结合j q r e s t 和f e c 提出一整套压缩视频端到端可靠传输的解决方案。 5 第二章对端到端可用带宽测量领域的若干问题研究 第二章对端到端可用带宽测量领域的若干问题研究 2 1 背景和介绍 随着越来越多的基于i n t e m e t 的应用的出现，对可用带宽的精确检测变得越来越关键。它可以帮 助流媒体应用获得最优的服务质量。并对重叠网络的服务器选择和路由选择具有重要意义。然而， 获知当前的可用带宽值需要我们直接去访问i n t e m e t 上的路由器，这对终端用户是不现实的。所以， 从网络边缘结点发起的端到端可用带宽检测的方法变得十分必要。相应地，人们也提出了许多这样 的带宽检测方法。这些方法大致可以分为这两类：基于探测间隔的方法和基于探测速率的方法。 基于探测间隔方法的最基本思想是如果2 个相同大小的探测数据包以间隔小于瓶颈带宽b 的间 隔i 。发送向另一端，他们一定会在路由器的队列上进行等待，而且如果有背景流的存在的话，这 2 个数据包之间的间隔肯定会被扩张。因为它们对网络流是液状流动的假设，基于数据包间隔的方 法往往不能应付背景流的突发性。s p r u c e l 2 j 是基于探测间隔的一个代表方法。i g i 【l 】同样也属于这 一类。在文献 1 0 中已经被指出：基于探测间隔的方法在多跳的网络环境下会低估当前的可用带宽。 所以，要获得一个可靠精确的结果，往往会采用基于探测速率的方法。 基于探测速率的方法以数据包队的形式对网络路径进行探测。它们会不断调整当前的探测速率， 直到找到一个转向点或者区域。这个转向点或区域往往就代表了当前带宽和探测速率之间的关系。 但是，这种方法都忽视了背景流的突发性。文献 3 已经展示了在突发背景流下，当前可用带宽和探 测速率或者单路延时的增长趋势之间的关系，会被大大的弱化。p a t h l o a d 扣j 【，p a t h c h i r pt s l , p t 耐l j 都 属于这一种类的方法。 本章主要对队列时间问题进行了研究，并且基于这些研究提出了一种新的队列时间区域的分类 方法，并开发出了一个非连续队列区域的背景流流量概率模型。 2 2 队列时问区域的分类算法 在单跳的网络环境中，我们假设路由器都采用先进先服务( f i f o ) 作为排队策略。当数据包在 队列进行等待，且队列长度一直在增长的时候，这表示当前注入的流量已经超过了路由器所能处理 的能力。所以，这些被到来的数据包都需要先在队列中等待。如果在所有数据包被完全处理完之前， 队列一直处于非空的状态，则这段队列时间区域被称为连续队列时间区域。相反的，如果一个数据 包被处理的时候没有任何的等待，而且处理完之后，队列依旧是空的，则这个数据包处于一个非连 续的队列时间区域。 2 2 1 队列时间区域的分类 连续和非连续的队列时间区域是在文献 1 】中被首先提出的，但是作者没有指出如何去对这两种 队列时间队列区域进行区分。作者只是分析了这两种队列时间区域对他提出两个方法( i g i 和p t r ) 带来的影响。而且做了一个这样的假设：当转变点被达到的时候，这些数据包一定处于连续的队列 时间区域中。作者认为增大的数据包间隔捕获到了背景流而减小的数据包间隔没有，所以他只是集 中在对数据包队上的增长的数据包间隔分析上。i g i 公式就是基于这样的想法而提出的。实际上，不 是所有增大的数据包间隔中被充满了背景流，同样，也不是所有的减小或者维持不变的数据包间隔 中的背景流流量可以被忽视。正是由于上面两种情况，i g i 的检测结果变得不是非常可靠。 文献【5 针对此问题提出了一种对队列区域进行分类的方法，但是其中的一些用来分类的规则只 能获取一个大致的分类结果，在某些情况下的分类是错误的。在图2 1 的( a ) ，( b ) ，( c ) 三图中，如果按 照文献【5 】中的规则来进行分类，根据规则，4 ( 8 ) ，4 ( 3 ) ，则p 3 和p 2 之间的间隔将被错误的确定为一个连 续队列区域。而在本文下面所要提到的算法中，这些情况都会被正确地处理。文献 5 中的规则最多 只考虑了3 个连续的输出间隔之间的关系，而本文的算法却利用了一整个探测队列输出间隔之间的 关系来对队列区域进行分类。 6 东南大学硕士学位论文 ! 卜一i n 固田 p r o b i n gp a c k e t c o m p e t i n gt r a f f i c f 一。n _ t 团团团 露翟 f 一，f ! 田固 豳圈固詈圈日 爿l 二：二：二j 叫 厂 【一 囡 一a 1 n t j4 d q r + ! 固匪丑j 圈 。一a o i l 广一 r a 。r _ 臣叠臣口圈田 i；h | 0 一a r 一 图2 1 原来的算法会在以上三种情况下产生误判现象 2 2 2 队列时间区域的优势 单路延时的增长趋势已经被大量的基于探测速率的方法【6 】【7 1 1 9 1 用来判断是否当前的探测速率和当 前的可用带宽速率相等。然而，在文献 5 】的图1 中我们可以看到这种增长趋势，即使探测速率小于 当前的可用带宽。这会使基于探测速率的方法获得不正确的检测结果。基于探测间隔的方法同样也 会出现这种错误检测的现象。从本质上讲：这个问题是来自对当前网络流液状流动的假设。而使用 队列时问区域能放宽这条假设，这样，这种错误估计的问题就可被避免。文献【5 的作者用仿真实验 结果验证了这个结论。 2 2 3 本文的分类算法 本文算法的目标是对连续的队列时间区域进行严格的区分：如果一个间隔被分类成处于连续的 队列时间区域，则该间隔就一定处于连续的队列时间区域。也就是说，实际上处于非连续的队列时 间区域的间隔被错误的分类成处于连续队列时间区域的现象肯定不会出现在我们的算法结果中。 7 日 罔 日 日 第二章对端到端可用带宽测量领域的若干问题研究 队列时间区域分类算法 g a p _ i n = i n p u t g a p ； p a c k e ，以“聊= p ac k e t n s e a r c h r o u n d _ b e g i n = f a l s e , j q r _ g a p s = o ： j q r s t a r t = j q r _ e n d = o ； f o r ( i n t 卢研i g a p _ i n ) s e a r c h _ r o u n d _ b e g i n = t r u e ； j q r _ g a p s = g a p _ o u t i i j q r _ s t a r t = i ： j q r e n d = i + ( j q r _ g a p s g a p _ i n ) g a p _ i n ) ； 夕 e l s e i f ( i a b 、i f q r f 5 0 r p r o b a b w ：i f q r f 女一p l p = h h 吣 f1 = p 东南大学硕士学位论文 最终得到： ri 一1 s ( f ) ：丢。“”“) + “”“p ” ，b1 ( 2 - 4 ) 【o ，f = 1 这个就是描述落入非连续队列时间区域之内的背景流数据包行为的概率模型。我们可以用它来 计算背景流流量的总和。 使用动态规划法，可以把计算s ( i ) 的时间复杂度从0 ( 2 “) 降到( n 2 ) 。而且，如果这个非连续队 列时间区域被切分的越细，则估计结果会越精确。 第三章j q r e s t - 一种基于t g a y i j 时间分类的可用带宽柃测方法 第三章j q r e s t 一种基于队列时间分类的可用带宽检测方法 3 1 j q r e s t 我们的目标是提出一种可靠、鲁棒，对其他传输流友好的可用带宽检测方法。其中，带宽的检 测是和可用带宽的检测分开的。在检测可用带宽之前，需要知道瓶颈带宽c b 的大小。如果是未知 的话，我们可以使用带宽检测先估计出一个值来。同时假设，在对可用带宽进行检测期间，路径上 的瓶颈带宽不会发生改变。 在进一步讨论本文的方法j q r e s t 之前，我们需要先对其中的四个参数值进行设定。 1 ) 探测数据包的大小 根据当前此领域的研究成果，过小的探测数据包会对测量过程中的错误非常敏感，这 会直接导致测量结果低估了当前实际的可用带宽值；而一旦数据包过大，则探测数据流会 对当前正在传输的数据流表现出很大的侵略性，会导致对带宽值的过高估计。考虑到这个 情况，并且结合实验