（信号与信息处理专业论文）网络通信中的视频编码与传输技术研究.pdf

塑垩一 一一 摘要 随着 a t e r n e t 的飞速发展及人们对网络多媒体业务需求的不断增加，视频流的网 络通信技术正受到学术界和科学界越来越多的关注。针对视频流业务具有连续性传输、 数据量大、对实时性和可靠性要求高等特点，以及网络信道的异质特性和时变特性，本 文从信源编码和信道传输过程中的多个角度出发，对网络通信中的视频编码与传输技术 进行了深入细致的研究。 本文的主要工作及取得的研究成果如下： 1 在改善信源编码效率方面，本文提出了三种算法：( 1 ) 基于运动矢量统计特性分析 的快速自适应全局运动估计算法。通过引入一个可预先设置的参数以计算当前帧与 参考帧之间的基本平移矢量，该算法可以检测视频内容的运动特征并自适应地采取 混合全局运动、局部运动估计韵算法处理不同特征的数据；( 2 ) 采用基于内容的码 率分配方案的感兴趣区视频编码算法。该算法同时参考感兴趣度、图象复杂度两个 因素来自适应分配码率资源，在较大程度上减小了误差扩散的范围，提高了编码效 率和码率分配灵活性：( 3 ) 基于率失真优化的扩展自适应块大小运动估计算法，并 给出了该算法的s o c 并行结构设计。通过增加更多更灵活的块匹配结构，该算法有 效改善了整体编码效率，其并行结构在牺牲少量硬件资源的基础上，大幅度缩短了 硬件编码延时，减小了算法复杂性。 2 在可分级视频编码方面，本文提出了两种算法：( 1 ) 基于位置重排和v l c 重组的 分层编码算法。为了使视频流数据能适应更宽范围的网络带宽起伏和具有更强的传 输控制灵活性，该算法通过对o c t 系数量化残差做比特平面编码产生增强层码流， 而基本层数据则由更多的子基本层组成。每个子基本层都通过宏块级d c t 系数重排 和v l c 重组生成；( 2 ) 基于自适应参考帧插入的多描述分层视频编码算法。通过结 合多描述和分层编码的优点，该算法更进一步提高了视频流的抗误码性。 3 在网络应用层的传输控制方面，本文针对不同的传输信道和码流结构，分别提出了 三种算法：( 1 ) 基于收发交互的不等重出错保护算法。依据信道反馈参数，该算法 通过实时自适应调整待传输码率和r c p c 编码速率实现：( 2 ) 基于网络状态估计 的视频流传输控制算法。通过构造并分析i p 网络数学模型，该算法给出了一种新颖 的判断网络当前状态、估算信道可利用带宽资源的方法，并设计了一种自适应不等 重丢包保护策略，可以依据信道条件实时调整待发送的可分级码流层数和对不同层 数据的保护力度；( 3 ) 基于a dh o c 网络的多径传输控制算法。针对多描述分层码 流，该算法可依据不同路径的当前状态自适应选择待传输的数据分组内容。 4 在网络传输层方面，本文提出了一种视频流分组网络实时传输协议，并分别从数据 打包结构、q o s 状态参数统计、包失序及滑动大小的缓冲区控制等几个方面详细讨。 网络通信中的视频编码与传输技术研究 论了该协议的工作原理和流程。 针对提出的所有算法，论文都通过大量的软件仿真、测试及与传统算法的比较来验 证其有效性和先进性。 关键词：视频网络通信可分级编码多描述分层编码不等重保护实时传输协议 西安电子科技大学博士学位论它 a b s t r a c t d u et ot h ee x p l o s i v eg r o w t ho ft h ei n t e r n e ta n di n c r e a s i n gd e m a n df o r m u l t i m e d i a i n f o r m a t i o no nt h ew e b ，s t r e a m i n gv i d e oo v e rt h ei n t e r n e th a sr e c e i v e dt r e m e n d o u sa t t e n t i o n f r o ma c a d e m i aa n di n d u s t r y s i n c et r a n s m i s s i o no f r e a l t i m ev i d e oo v e rn e t w o r kt y p i c a l l yh a s b a n d w i d t h ，d e l a y ，c o n t i n u i t y ，a n dl o s sr e q u i r e m e n t s ，f u r t h e r m o r e t h ec h a n n e li st i m e v a r ya n d h e t e r o g e n e i t y ，t h i st h e s i si n v e s t i g a t e ss e v e r a lk e ya r e a s o fs t r e a m i n gv i d e od u r i n gs o u r c e c o d i n ga n d c h a n n e lc o m m u n i c a t i o n s p e c i a l l y ，w ef o c u so nv i d e oc o m p r e s s i o n ，s c a l a b l e e n c o d i n g ，a p p l i c a t i o n l a y e rt r a n s m i s s i o na n dc o n t r o l l i n gs t r a t e g y ，n e t w o r kp r o t o c o l sf o rr e a l t i m es t r e a m i n gv i d e o t h em a i nc o n t r i b u t i o n sa n di n n o v a t i o np o i n t so f t h et h e s i sa r ea sf o l l o w s ： i i no r d e rt oi m p r o v ee n c o d i n ge f f i c i e n c y ，t h r e ea l g o r i t h m sa r ep r o p o s e da sf o l l o w i n g ：1 t h ef a s ta d a p t i v eg l o b a lm o t i o ne s t i m a t i o nb a s e do na n a l y z i n gt os t a t i s t i c a lc h a r a c t e r i s t i c o fm o t i o nv e c t o r sa n dc a l c u l a t i n gb a s i cm o t i o nv e c t o r so fv i d e of r a m ei si n t r o d u c e d 2 t h en e wr e g i o no fi n t e r e s tv i d e oc o d i n gs c h e m ei s p r e s e n t e da n di si n t e g r a t e dw i t ht h e n o v e lb i ta l l o c a t i o na l g o r i t h mw h i c hi sb a s e d0 1 1s o u r c ec o n t e n ta n di n t e r e s t e de x t e n t 3 t h e i m p r o v e da d a p t i v e b l o c ks i z em o t i o ne s t i m a t i o nb a s e do nr a t e d i s t o r t i o n o p t i m i z a t i o ni sp r o p o s e d ，a n di t sp a r a l l e lh a r d w a r e a r c h i t e c t u r ei sd e s i g n e d ，w h i c ha i m st o r e d u c ep r o c e s s i n gc o m p l e x i t ya n dd e l a y i i t h ei m p r o v e ds c a l a b l ee n c o d i n gs c h e m ei s d e v e l o p e dt om a k ep r o g r e s s i v es t r e a m i n g v i d e om o r ea d a p t i v ef o rl o n gt e r mb a n d w i d t hf l u c t u a t i o n sa n dm o r ef l e x i b l et ot r a n s m i t a n dc o n t r 0 1 i tg e n e r a t e st h eb a s el a y e ri n c l u d i n gs o m es u b b a s el a y e r sb yc o e f f i c i e n t s r e o r d e r i n ga n dv l cr e s h u f f l i n g ，t h e nt h er e s i d u e sb e t w e e nt h eo r i g i n a lc o e f f i c i e n t sa n d r e c o n s t r u c t e dc o e f f i c i e n t so f t h eb a s el a y e ra r ee n c o d e dt ot h e e n h a n c e m e n tl a y e rw i t hb i t p l a n ec o d i n gt e c h n o l o g y f u r t h e r m o r e ，t h em u l t id e s c r i p t i o n l a y e r e dc o d i n g ( m d l c ) a l g o r i t h mb a s e do na d a p t i v er e f e r e n c ef r a m ei n s e r t i o ni sp r o p o s e d ，w h i c hc o m b i n eb o t h t h e a d v a n t a g e so fm u l t id e s c r i p t i o n c o d i n g a n ds c a l a b l e c o d i n g ，a n di m p r o v ed a t a r o b u s t n e s s i i i a c c o r d i n g t od i f f e r e n te r r o r p r o n ec h a n n e la n dd a t as t r e a ms y n t a x ，t h r e ea d v a n c e d a p p l i c a t i o n l a y e rt r a n s m i s s i o na n dc o n t r o l l i n gs t r a t e g i e sa r ep r o p o s e di nt h i sw o r k t h e y a r es h o w na s f o l l o w i n g ：1 t h ep r o p o s e di n t e r a c t i v eu n e q u a lp r o t e c t i o na l g o r i t h mc a n i n v e s t i g a t et h ec h a n n e lf e e d b a c kp a r a m e t e ra n da d j u s ts e n d i n gr a t e sa n dr c p c c o d i n g r a t e si nr e a l - t i m e 2 ，t h ep r o p o s e da d a p t i v eu n e q u a lp a c k e tl o s s p r o t e c t i o ns t r a t e g yc a n d e t e r m i n ec u r r e n ti pn e t w o r ks t a t u sa n de s t i m a t e a v a i l a b l eb a n d w i d t hr e s o u r e e s b y c a l c u l a t i n ga r i t h m e t i ce q u a t i o n ，t h e na d j u s tt h en u m b e ro fs e n d i n g l a y e r sa n df o r w a r d e r r o rc o r r e c t i o ns c h e m e so ft h o s ew h i c ha r ed i f f e r e n t i m p o r t a n t 3 t h ee f f i c i e n tm u l t i 塑丝望建盟塑堡堕璺兰堡塑垫查竺茎一一 p a t ht r a n s m i s s i o ns t r a t e g yi sp r o p o s e df o r m d l cd a t as t r e a mo v e ra dh o cn e t w o r k ，a n di t c a nc h o o s es e n d i n gc o n t e n t sa d a p t i v e l ya c c o r d i n gt o t h ec u r r e n ts t a t u s e so fd i f f e r e n t p a t h s i v t h en e t w o r kp r o t o c o li sp r e s e n t e dt ob eu s e dt ot r a n s m i tv i d e od a t ao v e rp a c k e tb a s e d n e t w o r ki nr e a lt i m e i t sf l o wi sd i s c u s s e d i nd e t a i lo i l p a y l o a df o r m a t ，s t a t i s t i c a l p a r a m e t e r s o fq o ss t a t u s ，w r o n go r d e r so fr e c e i v e dp a c k e t s a n d a d j u s t a b l e b u f f e r c o n t r o l l i n g a l lo f t h ep r o p o s e da l g o r i t h m si nt h i st h e s i sa r es i m u l a t e da n de x a m i n e d ，t h e nc o m p a r e d w i t hc o n v e n t i o n a ls c h e m e si no r d e rt op r o v et h e i rv a l i d i t i e sa n d a d v a n t a g e s k e y w o r d ：v i d e on e t w o r kc o m m u n i c a t i o n ，s c a l a b l ec o d i n g ，m u l t id e s c r i p t i o nl a y e r e dc o d i n g ， u n e q u a lp r o t e c t i o n ，r e a lt i m et r a n s m i s s i o np r o t o c o l 独创性( 或创新性) 声明 x 6 9 5 2 0 3 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已 经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或其它教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做 了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名 弓谚盲 日期望生! ：! ! - 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文韵规定，即：研究生在校 攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校后，发 表论文或使用论文工作成果时署名单位仍然为话安电子科技大学。学校有权保留送交论 文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采 用影印、缩印或其它复制手段保存论文。( 保密的论文在解密后遵守此规定) 本人签名 导师签名 弓钐亏 日期堡垒! ：坠 日期垃生。! ：p 第一章绪论 1 一一 第一章绪论 1 1 引言 随着科学技术的发展和社会生活的进步，人类对信息的需求量越来越大，人们希望 无论何时何地都能够方便、快捷、灵活地通过语音、数据、图像与视频等多种方式进行 通信。这其中，对视觉信息的需求占据了大约6 0 以上，它能给人们以直观、生动的形 象反映，也正因此，图像视频的传输更受到人们越来越广泛的关注。 近几年来，光纤网、移动通信网和下一代网络( n e x t g e n e r a t i o n n e t w o r k ，n g n ) 的 不断飞速发展，大大改善和提高了不同网络业务的可利用带宽资源，这也促使了网络业 务类型的多样性发展。视频流传输( v i d e os t r e a m i n g ) 就是其中一项正在迅速发展的技 术，它可以广泛应用于视频点播、网上购物、电视会议、远程教育、远程医疗、安防监 控以及实况转播等领域” 1 2 1 i 【3 】【4 】吼所谓网络视频流传输，站在服务器的角度来看是一个 动态的概念。即连续发送视频数据经过网络信道到达用户端，这一连续的随时间变化的 码流数据被称为流( s t r e a m i n g ) ；从客户端的角度来看，并不需要下载或者接收全部码 流就可以开始解码播放，而且后续码流的到达是连续的、无间隔的。网络视频流传输业 务具有连续性传输、数据量大、对实时性和可靠性要求高等特点，同时其传输信道也具 有如下不利于该业务的特征，首先基于无链接传输的i n t e m e t 网络不是为连续媒体数据 的传输而设计的，它是一个与时间变化和空间变化都有很强相关性的共享通信信道，这 决定了i n t e m e t 网络“尽力而为”( b e s t - e f f o r t ) 的服务特色，其本身并不确保数据传输 的可靠性；其次，网络通信中同一群组的各个用户不仅可能在机器类型、操作系统、外 设性能( 如显示分辨率和颜色) 、c p u 处理能力等方面存在巨大差异，而且网络接入类 型及连接各用户的不同网络段也会在物理通道、带宽资源、传输延时和信道丢包率等方 面有所不同，此即所谓的网络异质特性( h e t e r o g e n e i t y ) 1 6 ，如图1 1 所示。 因此，如何在现有网络结构上改善、提高视频流多播( m u l t i c a s t ) 、单播( u n i c a s t ) 业务质量以适应q o s ( q u a l i t yo fs e r v i c e ) 的要求，就成了一项非常具有挑战性和实用 价值的研究课题。针对上述问题，世界各国的研究人员已经提出了很多行之有效的算法 和解决方案，这些主要是从如下两个角度来考虑的： ( 1 ) 从信源编码端信号处理的角度来考虑，通过采用各种新的压缩算法提高视频 编码的效率，尽量在相同压缩比时提供更好的视频重建质量，或者通过更低 的码率提供相同的视频编码质量。同时，针对i n t e m e t 的网络异质特性，在 !堕垒望笪! 堕望塑塑苎兰堡塑垫查型! 垄 图i 1i n t e r a c t 网络的异质特性 信源端采用可分级( s c a l a b l e ) 视频编码算法或在网络传输节点上采用转换 编码器( t r a n s c o d e r ) 等； ( 2 ) 从传输信道的网络层角度来考虑，在原有网络结构的基础上进行改进，比如 增加网络带宽资源、采用多播服务类型、增强路由器和服务器功能以及使用 数据缓存( d a t ac a c h i n g ) 和边缘服务器( e d g es e r v e r ) 等等。同时，在此基 础上通过改进现有的网络传输与控制协议或者提出新的算法，尽量避免、缓 解网络拥塞，降低数据报文丢包率，缩短传输的环回延时( r o u n dt r i pt i m e r t t ) 。 本章将分别从上述两个角度出发，在综述、总结当前国内外研究现状的基础上，分 析提出本文的研究内容、主要贡献和成果以及论文的结构安排。 1 2 国内外研究现状与技术背景 1 2 1 信源端的视频信号处理方法 研究视频数据可以发现其中存在大量的冗余，减少图像的冗余度就可以极大地减少 图像的数据量。这些冗余主要表现在空间冗余度、时间冗余度两个方面，其它还包括信 息熵冗余、视觉冗余、结构冗余、知识冗余、纹理统计冗余等等。s h a n n o n 的编码定理 告诉我们：个具有率失真函数月( d ) 的信源，若有平均失真d 并有两个任意小的正 西安电子科技大学博士学位论文 第一章绪论 3 数占与占，则必定存在一种信源编译码方法使其信息比特率r 8 ( d ) + 占，而平均失真 d d + j ，也就是说码率在某个界限内的压缩编码是有可能的。这为视频压缩及信道 编码奠定了理论基础【7 ) 。 图像视频压缩编码已经有五十多年的发展历史了。1 9 4 8 年，s h a n n o n 和他的两个学 生o l i v e r 与p i e r c e 联合发袤了对电视信号进行脉冲编码调制( p c m ) 的论文，标志着 数字视频压缩编码技术的开端【8 1 01 9 6 6 年，n e a l 对比分析了d p c m 和p c m 并提出了用于 电视的实验数据。1 9 6 9 年在美国举行的首届“图像编码会议( p i c t u r ec o d i n g s y m p o s i u m ) ”表明图像视频编码以独立的学科跻身于学术界。半个世纪以来，视频压 缩编码技术早已走出实验室，广泛应用于现代社会的各个领域。视频编码方法种类繁多， 从信息保持的角度可以分为无损压缩和有损压缩两大类。无损压缩利用数据的统计冗余 ( 数据之间的相关性、可预测性) 进行压缩，以预测编码和熵编码为基础，可完全恢复 原始数据而不引入任何失真，但其压缩率受到数据统计冗余度的理论限制，一般为2 ：l 到5 ：1 ，此类方法广泛用于文本数据、程序和特殊应用场合的图像数据( 如指纹图像、 医学图像等) 压缩。鉴于压缩比的限制，仅使用无损压缩方法不可能解决图像和数字视 频在存储和传输应用中的问题。因此，视频有损压缩方法也得到了长足地进步和发展， 它除了利用统计冗余进行压缩编码外，还利用了视频数据的视觉冗余特性，即利用人类 视觉系统( h v s ) 对视频信息中某些频率成分不敏感的特性，允许压缩过程中损失一定 的信息，这虽然不能在解码端完全恢复原始数据，但所损失的部分信息对理解原始图像 的影响相对较小( 即视觉无明显失真) ，同时却换来了相当大的压缩率。有损压缩以变 换编码、矢量量化、模型基编码、分形编码和熵编码为基础。1 9 8 5 年瑞士学者k u n t 提出了第一代、第二代编码的概念【9 】，他把早期的以去除冗余为基础的编码方法称为第 一代编码，如i 空闯域的p 铡、d p c m 、m 、亚抽样编码方法，变换域的d f t 、3 c t 、w a l s h - - h a d a m a r d 变换编码等方法以及以此为基础的混和编码方法：第二代编码方法则是指 8 0 年代以后提出的新方法，如金字塔编码i 、矢量量化【l l 】、分形编码i 3 】【1 4 】、基于神 经网络的编码、小波交换和子带编码【”1 以及模型基编码【1 7 】等。 国际标准化协会( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ，i s o ) 、国际电子学委 员会( i n t e r n a t i o n a le l e c t r o n i c sc o m m i t t e e , i e c ) 、国际电信协会( i n t c m a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，f l u ) 等组织于二十世纪九十年代领导制订了三个有关视频图 像压缩编码的系列化的国际标准：j p e g 标准、h 2 6 x 标准和m p e g - x 标准，这些标准 采用的i 图像编码算法融合了各种性能优良的图像编码方法，代表了当前图像编码的发展 水平。图1 2 ；r h l 表1 1 总结了视频编码标准的发展历史及各自的设计目标、应用场合， 除此之外还有些过渡性的、没有形成很大影响的非主流视频压缩算法，比如i t u t 的 h 2 6 2 ，m i c r o s o f t 公司的w m 系列，o s 2 公司的v p 系列，r e a l n e t w o r k s 公司的i l m 系 4 网丝望笪! 塑望塑塑丝兰堡塑垫查翌! 塞 一 图1 2 视频图像压缩编码国际标准的发展历史 表1 1 嗣际标准化组织制定的一系列视频图像压缩编码标准 标准标题 制订者目标应用场合 v i d e oc o d e cf o ra u d i ov i s u a l 综合业务数字网i s d n 中 h 2 6 1 2 0 l i t u t s e r v i c e sa tp x6 4k b i t s s 的视频会议 j b i g 2 1 】 p r o g r e s s i v eb i l e v e li m a g e = j p e g 传真、打印等 c o m p r e s s i o n d i g i t a lc o m p r e s s i o na n d 数字照相、图像视频编 j p e g r 2 2 】c o d i n go fc o n ti n u o u s t o n e j p e g 辑等 s t i l li m a g e c o d i n go fm o v i n gp i c t u r e s a n da s s o c i a t e da u d i of o r 光盘存储、家用视频摄 m p e 6 一i p 3 1 m p e g d i g i t a ls t o r a g em e d i au pt o 像、视频监控等 1 5 m b i t s g e n e r i cc o d i n go fm o v i n g数字电视、d v d 、高清晰 m p e g - 2 t 2 4 1p i e t u r e sa n da s s o c i a t e d m p e g度电视、有线电视及卫星 a u d i o电视、视频点播等 h 2 6 3 1 2 5 jv i d e oc o d i n gf o rl o wb i t i t u t 桌面可视电话、移动视频 h 2 6 3 + 口6 】 r a t ec o 咖u n i c a ti o n 通信等 c o d i n go fa u d i o v i s u a l i p 网络视频会议、交互式 m p e g - 4 口7 m p e g 视频通信、便携式视频通 o b j e c t s 信终端、专业视频等 h 2 6 3 + + 社8 1 v i d e oc o d i n gf o rl o wb i t i t u - t 桌面可视电话、移动视频 r a t ec o 口n u n i c a t i o n通信等 传真、电子商务、卫星通 j p e g 2 0 0 0 p j p e g 2 0 0 0i m a g ec o d i n g j p e g信、遥感图像编码、i p 网 s y s t e m 图像监控等 j o i n tv i d e os p e c i f i c a t i o n j v to f 有线电视、无线视频通 h 2 6 4 a v c p o l( i t u - tr e c h 2 6 4i s o i e c 肝e g 信、包基网络的视频流传 a n d 输、i p 视频会议系统、光 1 4 4 9 6 - 1 0a v c ) 盘存储、高质量视频编解 i t u t 码系统、多媒体邮件等 西安电子科技大学博士学位论文 第一章绪埝 5 列等等，这里就没有一一列举了。 一系列标准的制定并不意昧着视频压缩算法研究的终止。随着新的应用领域和新的 业务类型的不断出现，原有的标准会表现出一定程度的不适应和缺陷。同时，国际标准 的制订组织为了兼顾绝大多数图像，视频处理领域的需求，并没有提出或者强制规定某些 功能模块的具体算法，因此就为从信源端信号处理方法的角度研究更有效、更高编码效 率的视频压缩算法提供了可能性和发展空间。 例如，基于全局运动估汁和场景分离的视频压缩算法f 3 1 1 3 2 j 就是在相关标准的基础 上，依据统计知识和图像内容识别算法将序列图像分割成基本保持静止的背景图像和运 动物体两部分，通过减少对背景的编码来改善整体编码效率，提高压缩比，从而降低传 输同等质量视频信号时对网络带宽的需求。 即便是对于一个高效压缩编码后的视频流数据，当多个用户试图通过不同的通信链 路( 具有不同的可利用带宽资源) 同时接入相同的视频时，仍会出现相当的困难。例如， 某个用户可以在通过高速链路( 例如a d s l 调制解调器) 连接到服务器的终端上实时下 载以1 s m b p s 编码的m p e g 1 视频并重放，但仅有5 6 k b p s 调制解调嚣连接的用户将不 能实时接收足够的比特进行重放。这样，视频码流的可分级性概念就应运而生了，它是 指通过仅解码一部分压缩的比特流就可物理地恢复有意义的图像或视频信息的能力。如 上面所说的网络传输视频流业务，如果数据是可分级的，那么具有高带宽接入的用户可 以下载或接收整个比特流以观看高质量的视频，而具有5 6 k b p s 低带宽接入的用户则可 以只下载或接收视频数据流的一部分，观看一个低质量的演播。 上面的例子仅说明了视频编码可分级性的一个方面：比特率可分级性。可分级视频 流还可以提供对变化的信道误码特征的适应性以及对接收终端计算能力的适应性。对于 无线通信，可分级性允许调整信源编码速率，并采用不等重出错保护技术以适应不同的 信道误码环境。对于i n t e m e t 网络信道，视频流的可分级性使得同时为具有不同接入速 率、信道带宽和终端设备能力的用户提供不同质量的视频通信服务成为可能，因为服务 器可以根据不同用户的可利用带宽资源，有选择的丢弃一部分相对不重要的数据，从而 保证其他重要数据的传输质量和可靠性。 由于分层视频编码提出了一个由网络或者接收端来控制其所接收的码流数据量的 概念，从而使视频流发送端可同时面向各种结构的网络和更多的用户，并为在具有异质 特性的网络上向大量用户提供视频流业务定义了有效的码流结构，因此也受到世界各国 研究人员越来越多的关注。目前最具有代表意义的可分层视频编码算法莫过于m p e g - 4 标准中的精细可分层编码技术 3 3 1 ( f i n eg r a n u l a rs c a l a b l e ，f g s ) ，它的最大特点就是增强 层码流能够被任意截取，参与解码的增强层码流的多少决定了重建图像质量的高低。最 初的f g s 有三种算法，一种是基于d c t 的比特平面编码 3 4 1 ，一种是小波变换编码【3 5 】， ” !壁垒望堕生竺塑塑堕塑兰堡塑垫查婴塞 还有一种是m a t c h i n g p u r s u i t 编码【3 6 】，后来出于算法简单易行的考虑，基于d c t 比特平 面编码的f g s 技术就成了m p e g 4a m d 4 一s t r e a m i n g v i d e op r o f i l e 的主要内容。此外， 多描述编码( m u i t i p i ed e s c r i p t i o nc o d i n g ，m d c ) 作为一种特殊的分层编码算法，也受 到研究人员非常多的关注。 虽然网络的发展可使有效带宽变得越来越宽，但实际上由于网络用户数量的增长速 度远比有效带宽的增长速度快，因此图像，视频信号的有效压缩始终是一个好的视频流传 输系统所必须解决的重要问题。 1 2 2 网络信道的结构及通信协议 视频流网络通信的传输媒介通常包括光纤、同轴电缆和双绞线、卫星通信、微波通 信等，由其中一种或者几种媒介共同构成的i p 网络包括无线i p 网络上的视频流传输业 务是人们关注、研究的热点唧j 。 考虑到视频流通信的实时性要求，在i p 网络中不能简单利用基于链接的t c p 协议 来传输视频数据的分组报文。有些研究人员提出采用非链接型的u d p 协议传输视频流， 一定程度上解决了实时性问题，但由于u d p 协议没有拥塞控制机制，其数据分组的发 送是盲目的，因此很容易导致或加重i p 网络的拥塞问题。同时当网络发生拥寒时， 由于t c p 流会自动将发送窗口缩小一半，减少待发送的数据；而u d p 流则仍会不加变 化的继续发送，从而后者会优先的抢占更多的带宽资源，再加上在现有的网络应用中， t c p 应用占据大量比重，因此如何保障基于u d p 协议的视频流通信业务对t c p 流的公 平性就成了一个函待解决的研究热点问题。 此外，采用资源预留协议( r e s o u r c er e s e r v e dp r o t o c o l ，r s v p ) 也是改善i p 网络视 频通信质量的有效方法，也就是说视频流发送端将资源预留信息传送给网络，网关节点 则在相关的传输路由上确定需要预约的传输带宽和缓存容量。 实时传输协议r t p 和实时传输控制执议r t c p 是一种能有效改善网络视频流传输的 质量、用予支持连续媒体通信的传输层协议，其核心思想是提供媒体数据再现时的时钟 同步信息，解码端依据这些信息对接收到的数据包加以缓冲、调整以保证解码重播的实 时性和连续性。其中r t p 协议应用于数据通信，r t c p 协议应用于包括时钟同步的控制 信息，并且r t p 和r t c p 协议支持多个用户参与的实时通信过程。实时传输协议应用到 网络多媒体业务中的效果相当明显，因此这也成为了l p 网络视频流通信的研究热点之 一o 目前的i p v 4 协议在制订之初并没有考虑实时业务的传送，尽管后续作了很多改进 和扩充，但其仍不适合实时多媒体视频通信，因此可以通过用户应用层传输控制策略对 西安电子科技大学博士学位论文 第一章绪论 7 其功能进行补充以满足各种新兴业务的需要。比如对音、视频数据进行分层编码，然后 在相应i p 包头的保留域中加上实时包标志和分层编码层次标志。当网关节点或路由器 接收到某个数据包时，首先判别实时包标志，并在资源分配时采用实时码流优先于非实 时码流的原则；其次，在同为实时数据包时，还要判别编码层次标志，重要性大的码流 ( 比如基本层) 优先于重要性相对较小的码流( 比如增强层) 发送，从而保证包含较大、 较重要信息量的数据包能更快、更可靠的传送。 站在用户的角度，服务质量q o s 反映了业务的质量要求：而从网络的角度出发，可 以认为q o s 体现了网络各方面的性能，主要包括吞吐量( t h r o u g h o u t ) 、延迟( d e l a y ) 、 延迟波动( d e l a yj i t t e r ) 、最大时滞、丢包率( p a c k e t l o s sr a t e ) 等。所有这些参数都会 在一定程度上影响网络通信的质量，因此对于视频数据的网络通信还必须考虑有效的传 输控制技术。这里的传输控制技术可分为三种1 3 8 】 3 9 】【4 0 【4 l f 4 2 】： ( 1 )基于发送方发起机制( s e n d e r - i n i t i a t e ds c h e m e s ) 。包括在编码端提高压缩 效率，采用实时性好、可靠性高的通信协议( 如r t p r t c p 、r s v p 等) 以及基于信道带宽估计的信源码率调整算法等。发送者发起机制的优点 是发送者无需同时发送多个视频流，其主要缺陷是不适合异构多播环境， 因为它把对视频质量的调节局限在一个统一的模式下，也就是说，只要 多播组中有一部分接收者遇到了较大的丢包率，则多播组中所有的接收 者都将被迫接受视频质量的降低。因此发送方发起的机制只能满足单一 的传输速率要求，不同刚络用户对带宽、接收质量的不同要求无法同时 满足。 ( 2 )基于主动网络机制( a c t i v en e t w o r k ss c h e m e s ) 。包括采用灵活的可分级 视频编码算法以改变码流数据结构，在网络中转节点上使用能有效适应 网络时变特性的传输控制策略，加入自适应不等重前向纠错编码( f o r w a r d e r r o rc o r r e c t i o n ，f e c ) 技术，采用出错重传( a u t o m a t i cr e p e a tr e q u e s t , a r q ) 等。比如发送方将分层视频流所有层的码流全部打包封装发给同 一个视频服务器，其中每个分组都不会包含多于一层的数据，并且都有 标识其内部包含的视频码流所在层次的标识信息。视频服务器则通过对 网络环境的实时监测来控制数据的传输和控制。当有拥塞发生，服务器 依据队列长度来丢弃低优先级的报文，同时考虑不同业务流间的公平性， 并识别异常流量且将其隔离。主动网络机制的优点在于它很好的解决了 发送方发起机制和接收方发起机制所存在的问题，不仅可以满足不同接 收者个性化的视频质量要求。又无需在组成员间共享信息，因此很容易 进行扩展，并且可以快速自适应动态定制、配置新的服务，实验新的网 8网络通信中的视频编码与传输技术研究 _ _ _ - _ _ _ 一一一 络体系结构、新的协议从而提高网络的性能，使视频通信系统更具灵 活性和可扩展性。 ( 3 )基于接受方发起机制( r e c e i v e r - i n i t i a t e ds c h e m e s ) 。主要是指在解码端利 用图像的空间或时间相关性来消除或减少传输误码对重建视频质量的影 响，也就是误差掩盖技术( e r r o rc o n c e a l m e n t ) 。此外，还有一种接收者 发起的自适应机制的简单实现，即编码发送端同时以不同的速率发送数 据给多个组播地址，各个数据流之间相互独立，并不需要合在一起解码， 不同的网络用户根据自己的终端能力、带宽资源、丢包率等情况加入其 中的某一个组。由于此时发送者发送的多个数据流其实是相同的视频以 不同速率发送，存在有大量重复数据，会造成对网络带宽的额外浪费， 因此这种也称为s i m u l c a s t 的方法并没有被广泛接收和应用。当然，也 可以将可分级视频流应用到s i m u l c a s t 方法中以减少重复的数据量，但 由于这种方法只能用于组播协议，不利用安全加密及同一网络上多个视 频节目的同时发送，因此同样没有被大范围的应用。 随着相关技术的发展、研究的深入及应用领域的扩展，研究人员已经着手研究如何 将上述三种机制有效的结合起来使用。以图最大程度提高视频网络通信的质量。 1 3 研究内容及主要贡献 学位论文的选题来自于两个国家自然科学基金项目一“内容基视频编码中的运动补 偿”( 编号：6 0 0 0 2 0 0 7 ) 和“基于m p e g 4 的视频联合信源信道编码”( 编号：6 0 3 7 2 0 4 3 ) 。 作者近年来阅读了大量相关技术文献，以网络通信中的视频编码与传输技术为主要线 索，对视频压缩编码、噪声信道的视频通信和分组网络视频流传输中的若干关键技术进 行了深入研究并取得了以下研究成果： 1 、 在提高信源编码效率方面，本文提出了三种算法：( 1 ) 快速自适应全局运动 估计算法。该算法通过分析块匹配运动矢量统计特性并引入一个可预先设置 的参数，计算兰前帧与参考帧之间的基本平移矢量，从而自适应地采取混合 全局运动、局部运动估计的算法处理不同特征的源数据【4 3 】；( 2 ) 采用基于内 容的码率分配方案的感兴趣区视频编码算法。该算法同时参考感兴趣度、图 象复杂度两个因素来自适应分配码率资源，在较大程度上提高了r o i 的编码 效率、码率分配灵活性，减小了时间、空间方向上的误差扩散范围】：( 3 )