（通信与信息系统专业论文）基于h264的视频传输的鲁棒性研究.pdf

基于h 2 6 4 的视频传输的鲁棒性研究 通信与信息系统专业 研究生：邹鹏指导教师：徐家品 随着多媒体技术的广泛应用，视频图像的压缩编码技术取得了长足的发展。 出i t u 一7 fv c e g 和i s o i e cm p e g 联合组成的j v t 工作组制定的h 2 6 4 是最新一 代的视频征缩编码标准，也是目前躅像通信领域研究的热点。该标准在先前标 准的基础上，采用了一系列改进算法，在追求更高的编码效率和简洁的表达形 式的同时，也提供了非常好的视频质量。 实现高效可靠的视频通信，必须即时、有效地处理通信网络中的差错和损 失，对税频传输进行质量控制，其中主要包括误码控制和拥塞控制两方面。本 文正是基于视频传输的鲁棒性展开研究工作的。 文章中追述了视频压缩编码标准的背景和发展历程，在此基础上引入 h 2 6 4 标准，并对该标准的新技术作了详尽的分析。本文对视频传输中的误码 控制基本方法进行了深入地分析和归纳，重点研究了h 2 6 4 标准采用的网络抗 误码技术，并在此基础上提出了一种自适应的数据分割和宏块调整算法，同时 在h _ 2 6 4 测试模型j m 7 6 上加以应用。另外，对视频通信码率控制算法做了深 入地研究，着重分析了h 2 6 4 中采用的尉7 6 码率控制算法，指出了其存在的 不足之处，同时提出了一种针对该算法在宏块层的改进策略，即根据宏块的活 动剧烈程度自适应的选择调整量化参数或跳块。 本文对作者提出的自适应数据分割和宏块调整算法以及j m 7 6 码率控制改 进算法进行了仿真实验。结果表明：自适应的数据分割和宏块调整算法对误码 图像的恢复取褥了一定的效果，提高了接收视频的主客观质量；j m 7 6 码率控 制改进算法在保证更接近目标比特率的同时，进一步提高了图像的p s n r ，特别 对于大运动序列，这种改善效果更好一些。 本文的研究显示，判定宏块活动性的阈值t 的选取对视频传输的鲁棒性有着 明显的影响，有待进一步研究。 关键词：i 2 6 4 视频传输网络抗误码数据分割 码率控制率失真优化 t h er e s e a r c ho nt h er o b u s t n e s so fh 。2 6 4 b a s e d v i d e ot r a n s m i s s i o n 撇a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m g r a d u a t e ：z o up e 鹋 s u p e r v i s o r ：x uj i ap i n w i t ht h ee x t e n s i v ea p p l i c a t i o no fm u l t i m e d i at e c h n o l o g y , c o m p r e s s i o nc o d i n g t e c h n o l o g yf o rv i d e oi sd e e p l yd e v e l o p e d h 2 6 4i s an e wg e n e r a t i o nv i d e o c o m p r e s s i o nc o d i n gs t a n d a r da n di sah o t s p o ti nt h ec u r r e n ti m a g ec o m m u n i c a t i o n f i e l d ，w h i c hw a se s t a b l i s h e db yj o 戤v i d e ot e a m ( j v w ti sm a d eu po fl t u 矗 v i d e oc o d i n ge x p e r t sg m u p ( v c e g ) a n di s o i e cm o t i o np i c t u r e e x p e r t s g - r o u p ( m e p g ) h 2 6 4s t a n d a r dh a sa d o p t e das e r i e so fa l g o r i t h m sw h i c hw e r e i m p r o v e df r o mt h ep r e v i o u sv e r s i o n s i ta l m sa to f f e r i n gv e r yg o o dv i d e oq u a l i t ya n d r e a l i z i n gh i g h e rc o d i n ge f f i c i e n c ya n ds u c c i n c te x p r e s s i o nf o r m a st oh i g h _ e 壤c i e n tv i d e oc o m m u n i c a t i o n ，w em u s td e a lw i t ht h ee r r o ra n dl o s s o fd a t ai nt h ec o m m u n i c a t i o nn e t w o r ke f f i c i e n t l ya n dm a k eq u a l i t yc o n t r o lt ov i d e o t r a n s m i s s i o n ，m a i n l ym c l u d i n ge r r o rc o n t r o la n dc o n g e s t i o nc o n t r 0 1 b a s e do nt h e r o b u s m e s so f v i d e ot r a n s m i s s i o n , t h er e s e a r c hi sc a r r i e do ni nt h i sp a p e r a tt h eb e g i n n i n g ，t h eb a c k g r o u n da n dt h ed e v e l o p m e n tc o u r s eo fv i d e o c o m p r e s s i o nc o d i n gs t a n d a r da r er e v i e w e da n dh 2 6 4s l a n d a r di si n t r o d u c e dh e r e b y i nt h i sp a p e r m o r e o v e r , t h en e wt e c h n o l o g i e so ft h i ss t a n d a r dd i f f e r i n gf r o mt h e p r e v i o u s v e r s i o n sa r e a n a l y z e d i n d e t a i l ；s e c o n d l y , t h e b a s i c m e t h o d so f e r r o r c o n t r o l i nt h ev i d e ot r a n s m i s s i o na r es u m m e du p i nc o n t r a s tw i t ht h ep r e v i o u sv e r s i o n s ，t h e e r r o rr e s i l i e n c e 把c h n o l o # e sw i t ht h eo v e r a l ls y s t e ma n a l y s i si nt h eh 。2 6 4s t a n d 戤d a r ed i s c u s s e d ，a n dh e r e b ya na d a p t i v ed a t ap a r t i t i o na n dm a c r o b l o c ka d j u s t m e n t a l g o r i t h mi sp u tf o r w a r dw h i c hh a sb e e ni m p l e m e n t e do nh 2 6 4t e s tm o d a l - j m 7 6 ； i na d d i t i o n ，t h er a t ec o n t r o la l g o r i t h m sa r es t u d i e dd e e p l y e s p e c i a l l y , t h ej m 7 6r a t e c o n t r o la l g o r i t h m o fh 2 6 4i sa n a l y z e da n dt h ed i s a d v a n t a g eo ft h i sa l g o r i t h mi s p o i n t e do u t a tt h es a n l et i m ea ni m p r o v e ds t r a t e g yo nt h em a c r o b l o c kl a y e ri s p r o p o s e di nw h i c ht h ea d a p t i v e - q u a n t i z a t i o no rs k i p - m o d ei ss e l e c t e da c c o r d i n gt o t h em a c r o b l o c ka c t i v i t y t h ea d a p t i v ed a t ap a r t i t i o na n dm a c r o b l o c ka d j u s t m e n ta l g o r i t h ma n dt h e i m p r o v e dj m 7 6r a t ec o n t r o la l g o r i t h ma r es i m u l a t e di nt h i sp a p e r t h ee x p e r i m e n t a l r e s u l t ss h o wt h ef o r m e ra c h i e v e ss o m ep o s f f i v ee f f e c to nt h er e s i l i e n c eo f e r r o n e o u s i m a g e sa n di m p r o v e st h eq o a l i t yo f r e c e i v e dv i d e o ；t h el a t t e ri n c r e a s e st h ep s n ro f i m a g e sa n de n s u r e st h eo u t p u tb i ts t r e a mn l o l c l o s et ot h et a r g e tb i tr a t e e s p e c i a l l y f o r t h eh i 。g h - n t o t i o ns e q u e n c e ，t h ei m p r o v e m e n tr e s u l ti sb e t t e r t h i s p a p e ri n d i c a t e s t h ec h o i c eo ft h et h r e s h o l dw h i c hd e t e r m i n e st h e m a c r o b t o c ka c t i v i t yh a sa l lo b v i o u se f f e c to nt h er o b u s t n e s so fv i d e ot r a n s m i s s i o n ， s oi t sw o r t ht h ef l l , - t h e rs t u d y k e “z c o r d s ：h 2 6 4 v i d e ot r a n s m i s s i o ne r r o rr e s i l i e n c ed a t ap a r t i t i o n r a t ec o n t r o l r a t e d i s t o r t i o no p t i m i z a t i o n 四川大学硕士学位论文摹于h2 6 4 的视频传输的鲁棒性研究 l 绪论 1 1 引言 多媒体信息主要包括文字、声音、图像等内容，其中具有直观、形象、 准确、高效和应用广泛等特点的视频图像是最重要的组成部分。这是因为视 觉是人类获取信息最为重要的途径，外部世界丰富多采的信息大部分是通过 视觉感知的。据统计，人类通过视觉获取的信息占全部获取信息的6 0 1 1 i 。 但与文本、语音相比，未经压缩的数字视频因其庞大的数据量几乎无法通过 实际的通信网络进行远距离传输。表t 1 列出了几种常见的视频图像源未经压 缩的原始数据率 2 1 。由此可见，图像信息需要大的存储容量和宽的传输信道， 这对于现存的技术而言，无论存储和传输都不现实，因此首先需要对其进行 压缩。尤其是近年来无线多媒体通信进入了空前活跃的发展时期，但无线信 道带宽有限，更需要在保证图像质量的前提下进行低码速率的压缩。 表1 1 常见视频源未经压缩的原始数据率 视频源每秒帧率分辨率 未压缩数据率m b p s n t s c3 07 2 0 4 8 01 2 5 p a l2 5 7 2 0 5 7 61 2 5 v c r2 53 5 2 x 2 8 83 1 h d t v3 0 1 9 2 0 x1 0 8 01 0 0 0 可喜的是，随着多媒体技术的广泛应用，图像压缩编码技术越来越得到 了学术界和工业界的重视，获得了长足的发展。自1 9 8 0 年以来，国际标准化 组织( i s o ) 、国际电工委员会( m c ) 和国际电信联盟( u ) 下属的国际电 报电话咨询委员会( c c i t t ) 陆续完成了各种数据压缩与通信的标准和建议 3 1 ， 如以j p e g 和j p e g - 2 0 0 0 为代表的静止图像压缩标准嗍；以m p e g - i 、m p e g - 2 和m p e g - 4 为代表的中高码率数据编码标准1 5 1 1 6 1 ；以h 2 6 1 、h 2 6 3 、h 2 6 3 + 、 h 2 6 3 + + 为代表的低码率、甚低码率运动图像压缩标准1 7 】1 8 1 ；以及适用范围更 广的、最新完成的h 2 6 4 标准。 四川大学硕t 学位论文摹于h2 6 4 的砚频传输的鲁棒性研究 1 2 视频传输中的误码控制 视频除了在时域和空域上存在着大量冗余外，还存在信息熵冗余( 也称 编码冗余) 、结构冗余、知识冗余和视觉冗余等【l l 。视频编码的主要目的是保 证在一定重构质量的l ； 提下，以尽可能少的比特数来表征视频信息。整个处 理过程的核心思想是去相关，即降低视频信息的冗余度，实现对视频的压缩。 视频信号经压缩编码后大大节省了传输带宽，使传输成为可能。但是， 对于实际的数字视频信号，不仅要实现传输，而且还要实现可靠传输。虽然 数字信号比模拟信号有更高的抗干扰能力，但是由于信道特性不理想等原因， 使得接收到的数字信号不可避免地会发生错误，即误码。 误码对数字信号的影响比对模拟信号的影响更严重【9 】。一般视频通信业 务的传输载体为无线信道、i p 网络等，这些传输载体一般都具有时变、干扰 因素复杂、事先难以预计等特点，因此信道的误码率一般都比较高，一般在 1 0 1 以上。而网络中传输视频序列通常编码器都采用了空间上的帧内预测和 时日】上的帧间预测以及可交长编码等技术，经过高压缩后的视频码流对传输 时所产生的误码非常敏感，一旦发生误码，不仅影响该误码数据的恢复，还 会影响与之相关的其它数据的恢复，造成误码扩散( e r r o rp r o p a g a t i o n ) ，使恢 复出来的信号面目全非。因此提高视频应用对传输误码的抗干扰和恢复能力 一直是多媒体通信领域的研究热点。 一般传输信道上的误码主要可以分为以下三类【1 0 1 【1 1 1 ： ( 1 ) 不可靠的有线或无线信道将在传输比特流中引入随机误码； ( 2 ) 由于网络拥塞，网络中尽力而为的传输将引入包丢失； ( 3 ) 在无线信道或移动无线网中，多径传播会导致突发误码。 针对这三类误码，要采用不同的误码控制策略。视频抗误码可以在视频 编码、传输、解码恢复的不同环节采用相应的误码控制技术，以及多个环节 综合的误码控制技术。 为视频传输而设计的误码控制技术根据编解码在其中所扮演的角色分为 3 大类： ( 1 ) 前向误码控制技术。在这类技术中，编码器扮演了主要角色，通过在 信源或信道编码器码中添加一定的冗余信息，来提高视频流对信道误码的鲁 2 四川大学硕十学位论文基于h 2 6 4 的视频传输的鲁棒性研究 棒性，其设计目标是以最少的冗余信息产生最好的抗误码效果。然而信道误 码情况通常是时变的，目前还没有一个精确的数学模型来描述信道的变化。 因此，如果根据信道最差的情况加入冗余信息进行保护，则在大多数信道较 好的时间内浪费了信道资源，而如果根据信道最好的情况加入冗余信息，则 信道变差时会带来误码倍增效应。这类技术中最典型的是分层编码( l c ) 、 多描述编码( m d c ) 、前向纠错编码( f e c ) 、独立分段编码和可逆变长编码 ( r v l c ) 等。 ( 2 ) 后向错误隐藏技术。在这类技术中，主要由解码器完成错误隐藏任务， 解码器从先前接收到的无差错信息中提取有用信息，来颇为近似地恢复丢失 或出错数据，而不需要依赖于编码器的附加信息，因此也常称为零冗余错误 隐藏技术【1 2 1 。如果编码方法采用的是基于块的视频压缩编码，要恢复一个损 坏的块，则必须对3 种信息进行恢复：编码模式、运动信息( 主要是运动矢 量m v ) 和纹理信息( 主要是d c t 变换系数) 。而视频信号主要由低频分量 组成，具有平滑特性，也就是除了边缘在时间和空间上相邻像素值的变化是 平滑的，而且运动矢量的变化也是平滑的，利用这个特点，可以用插值的方 法对纹理信息和运动信息进行恢复。 ( 3 ) 交互错误隐藏技术。在这类技术中，需要编码器和解码器协调工作， 编码器根据解码器反馈回来的信息自适应地调整编码参数和编码模式等，从 而尽可能使传输误码的影响更小。这类技术中比较常用的包括有条件的自动 请求重发( a r q ) 、基于反馈信息的参考图像选择( r p s ) 和误码跟踪等l ”j 。 1 3 视频传输中的码率控制 就现在通用的视频编码算法来说，如果在压缩过程中编码参数保持不变， 不同帧之间消耗的比特数会显著不同，由于实际网络的带宽和存储介质的容量 限制，这种对码率无任何约束的码流对视频通信系统造成的影响是灾难性的， 无法保证系统运行。因此，视频传输中的码率控制技术一直受到人们的关注， 在这方面已做出了很大的努力，并取得了长足的进展码率控制算法的选择对 视频质量有很重要的影响，它是受到编码过程中多种因素制约的。 一般来说，码率控制主要是从编码各个阶段调控码率和从网络传输因素调 控码率。视频编码各阶段主要是从d c t 变换、量化阶段及缓冲区调整，另外还 婴型盔兰堡主兰垡堡塞苎王坚：! 竺竺望丝生塑堕苎堡堡翌塞 包括编码对象( 即编码分层，主要包括基本层和增强层) ；从网络传输因素上考 虑，主要是考虑网络状况，如网络带宽、拥塞等，反馈给编码阶段调整编码的 码率。 按信道的带宽是否恒定，编码器的码率控制算法可分为v b r ( v a r i a b l eb i t r a t e ) 码率控制算法和c b r ( c o n s t a n tb i tr a t e ) 码率控制算法。根据编码器与 用户网络接口( u n i ) 的关系，v b r 还进一步分为u - v b r ( u n c o n s t r a i n e d v b r ) 、 s - v b r ( s h a p e dv b r ) 、c - v b r ( c o m t r a i n e dv b r ) 和f - v b r ( f e e d b a c kv b r ) 。码 率控制足主要是通过调整量化参数q p ( q u a n t i z a t i o np a r a m e t e r ) 来实现的，从 调整量化参数的级别上看，相应有图像层级、g o b ( 或s l i c e ) 级和宏块级的码率 控制，控制的级别越低，相应码率控制的精度就越高。已经有很多文章研究码 率控制，比如采用多个量化参数q p 进行编码，然后从中选取合适的结果；也有 采用各种模型来计算量化参数q p 进行编码，如模糊逻辑、动态规划、二次曲线 和指数模型等。这些算法本身复杂度就很大，并且都采用图像( 或残差图像) 的 方差作为码率控制算法的控制参量，而计算方差的运算复杂度也是很大的。 在m p e g 一1 - 2 以及h 2 6 3 等协议的基本框架下，视频信号的码流结构大致分 为图像层、宏块层和块层，因此码率控制方案一般被分为图像层码率控制和宏 块层码率控制。所谓图像层码率控制，是指一帧图像被编码前，按照一定策略 确定该帧图像“应该”输出多少个比特：所谓宏块层码率控制则以图像层比特率 确定的输出比特率为目标，按照一定策略计算出各宏块要使用的量化步长。 m p e g - 4 中的码率控制算法基于二阶率失真模型，同时实现了帧级、对象级和 宏块级的码率控制，在低延时和缓冲区大小受限的条件下，能够获得精确的目 标比特数分配。后来，人们开始研究编码器的率失真优化，并根据可用比特数、 缓冲区占用情况来选择量化步长，取得了一定成效。h 2 6 4 码率控制算法在此基 础上引入了基本单元的概念，分为g o p 层、帧层和基本单元层，只进行了一次 率失真优化，复杂度较低，实际产生的比特数也较为稳定。 1 4 视频质量的评价 如何客观地度量视频编码失真，并且使客观度量结果和人的视觉感受一 致，是视频处理的一个重要问题。一般来说，视频质量评价方法分为主观评 价和客观评价两种。 4 婴型查兰堡兰垒堡苎兰王望：! 竺竺塑塑堡塑竺量堡丝堕壅 ( 1 ) 客观评价是用重建图像和原始图像的误差来衡量，常用的有均方误差 ( m s e ：m e a ns q u a r ee r r o r ) 和峰值信噪比( p s n r ：p e a l 【s i g n a lt on o i s er a t i o ) 。 m s e 定义为： 朋陋2 去善萎l 厂( “) 一( ，力】2 ( 1 1 ) 其中：m 、n 表示图像宽和高的像素点数；f ( i ，_ ，) 表示原始图像的像素值； f ( f ，_ ，) 表示重建图像的像素值。 p s n r 定义为： 气2 p s n r = 1 0 。l o g l 。靠 ( 1 2 ) 可见二者是一一对应的，实际应用中，p s n r 比m s e 更经常被使用。 ( 2 ) 主观评价方法是由评价者直接对一段视频进行观察，从感觉上去度量 其失真度，给出质量评价级别，对所有评价者给出的分数进行加权平均，所 得结果即为主观评价结果。这种评价结果必然符合人的视觉感受，但人的主 观感受不能用数学模型对其进行描述，无法直接用于视频压缩编码过程中的 质量评价与控制；另外，主观评价容易受到个体因素的影响，如年龄、性格、 教育程度、背景以及评价时的心情等。 1 5 本论文的研究意义和主要研究内容 1 5 1 论文的研究意义 压缩视频数据与传统数据相比有着显著的区别，其主要区别有以下几点 1 1 4 1 ： ( i ) 多媒体数据经过压缩后的数据量仍然远远大于传统媒体数据的数据 量，造成多媒体数据平均码率大而且传输时问长，因而要求有足够且稳定的 传输带宽。但是，由于目前的i n t e r a c t 和无线信道等传输环境都没有提供资源 预留的协议保障，而链路带宽( 比如m o d e m ，一般只有5 6 k b p s ) 和路由器( 如 无法应付繁忙网络) 都可能造成带宽瓶颈，从而使端到端的有效带宽远远不 能满足要求。 网川大学碗十学位论文摹于h2 6 4 的视频传输的鲁棒件研究 ( 2 ) 多媒体数据的播放有极其严格的实时性要求，需要在特定的时间间隔 内解码并播放特定数目的数据单元。一旦网络发生拥塞，就会产生明显的延 迟而使得视频接收质量变差，最终造成终端用户对视频接收质量不能忍受， 所以拥塞足致命的。 ( 3 ) 广泛采用的视频压缩标准造成压缩后的视频数据在传输时其码率随 时间不断变化；另外，多媒体数据的部分丢失虽然会导致降质但是不至于使 信息完全不可用。这造成了许多多媒体码流的码率变化具有自相似特性，这 一特性完全不同于传统的能使用马尔科夫模型所描述的数据流所具有的短相 关特性( 如白噪声) ，从而严重影响到相应的带宽资源调度和控制策略。 对于压缩视频传输中迫切需要解决的上述问题，人们提出了很多方案， 一般有两种解决思路：一种是以网络为中心( n e t w o r kc e n t d c ) ，要求路由器、 交换机为流媒体传输提供带宽、延迟、抖动、丢失率的q o s 保证，通过综合 服务模型或区分服务模型实现；另一种思路只涉及端到端系统( e n ds y s t e m b a s e d ) ，通过端到端的协议实现流媒体传输的q o s 保障功能，而不对网络提 出要求。显然第一种思路由于i n t e r a c t 普及性等原因，短期内难以达到效果； 而第二种思路不依赖现有网络，是一种更现实的方法，也是本文的研究点。 而作为新一代视频压缩标准的h 2 6 4 ，和m p e g - 2 m 等压缩技术相比， 在同等图像质量下，压缩效率更高，其压缩后的比特率比m p e g 2 减少6 4 ， 比m p e g - 4 减少3 9 【1 5 1 。同时，虽然它形式上将编解码和信道隔离，实际上 编码算法本身的鲁棒性除了体现为消除失真外，还更多的兼顾到信道的特点， 特别是针对无线环境的视频传输采取了许多有效的消除失真和差错控制技 术，其码流结构网络适应性强，能够很好的适应口和无线网络的应用，被看 作是当前视频传输系统的首选压缩编码标准。因此，基于h 2 6 4 的视频传输 的鲁棒性研究具有现实意义，更有助于增强视频数据在m 网络中的可靠传输。 1 5 2 论文的主要研究内容及结构安排 本文在对h 2 6 4 标准进行系统深入地分析，并总结出其区别于以往标准 新的主要技术的基础上，对网络中视频传输的质量控制做了比较深入地研 究，其中主要包括拥塞控制和误码控制等方面。在误码控制上，本文结合h 2 6 4 自身提供的包丢失和比特误码的恢复工具提出了一种基于i p 网络的自适应数 据分割和宏块调整算法，根据s l i c e 中运动矢量差m v d 较大的宏块数量对 6 婴型查兰堡：上兰垒丝苎苎生! 竺竺望塑堡垫竺苎壁丝里壅 数据分割后的宏块做自适应的调整优化，从不同角度增强了重要信息的传输 可靠性，提高了接收视频的主客观质量；对于视频流，拥塞控制的主要方法 就是码率控制，本文在j m 7 6 码率控制算法的基础上从宏块层考虑作了一定 的改进，在保证更接近目标比特率的情况下适当提高了传输视频的p s n r ，实 验结果表明，对大运动序列效果尤为明显。 本论文共分为5 章，其框架结构如下： 第一章综述了课题的研究背景、视频压缩的意义、目的，视频传输中的 误码控制、码率控制以及视频质量的评价标准。最后，提出了论文的研究意 义和主要研究内容。 第二章回顾了视频压缩编码标准的发展历程和背景，系统深入地分析了 h 2 6 4 标准的关键技术，并归纳总结出了h 2 6 4 标准中的抗误码技术以及经典 码率控制算法。 第三章对h 2 6 4 标准中采用的网络抗误码技术作了扼要的分析，并结合 该标准提供的数据分割抗误码技术提出了一种基于m 网络的自适应数据分割 和宏块调整算法。 第四章对视频传输中的经典码率控制策略作了分析比较，并着重研究了 h 2 6 4 标准采用的j m 7 6 码率控制算法，分析了其存在的不足之处，在此基础 上作了一定的优化改进。 第五章总结全文，并展望了进一步研究工作。 四川大学硕t 学位论丈 幕于h2 6 4 的视频传输的鲁棒件研究 2h 2 6 4 标准的相关理论及技术透析 二十世纪八十年代以来，图像和视频编码成为一个广泛研究的课题，已 经从纯学术研究转变为高度的商业行为。不断增长的商业需求进一步推动着 标准的形成，各种国际视频编码标准的推出，使不同来源的图像和视频可以 在不同的硬件平台上处理，在不同的存储设备上存储，在不同的通信网络上 传输。目静从事视频压缩标准制定的国际组织主要有删t 的视频编码专家 组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和i s o i e c 的运动图像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 。两个标准化组织基于不同的应用需求，采用 类似的压缩编码技术，分别制定了h 2 6 x 和m p e g x 系列视频压缩标准。其 中i t u t 针对可视会议等应用分别制定了h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 、 h 2 6 l 、h 2 6 4 a v c 等；i s 伽e c 相继制定了m p e g l 、m p e g - 2 、m p e g - 4 等。以上国际压缩标准尽管应用领域不同，但是均采用了预测编码结合变换 量化的混合编码模式。图2 1 给出了各个标准出现的时间及其关系。 圈日巨工卫 i i t u 爿，m p e i g 拍2 ，】枷喱g onz 6 l 1 9 8 4 1 9 8 61 9 8 81 9 9 01 9 9 l1 9 9 4 1 9 9 61 9 9 82 0 2 22 , 0 0 4 图2 1 视频压缩标准的关系 2 1 视频压缩编码标准发展概述 2 1 1m p e g - 1 m p e g 1 t ”1 【1 7 1 制定于1 9 9 2 年，是m p e g 第一阶段的成果。它规定视频信 息与伴音信息经压缩之后的数据速率上限为1 5 m b i t s s ，从而可以在 c d r o m 、可写光盘等介质上进行存储，也可以在局域网、i s d n 上进行视频 8 婴查兰堡堂皇堡壅 苎王坚! 垒! 箜堡塑堡丝竺苎堡堡竺塞 与伴音信息的传输。它不支持隔行扫描所得的视频源数据流，采用了帧内编 码与帧间编码相互结合的编码方法，支持i 、p 、b 、d c 四种帧类型。该标准 在典型的运动补偿预测编码框架的基础上，应用了半像素的双向预测技术， 可提供更好的编码质量和更高的压缩比。m p e g 的最高编码速率可达 4 - 5 m b i t s s ，但随着速率的提高，其解码后的图像质量有所降低。 2 1 2m p e l 卜z m p e g - 2 t 6 1 1 ”1 制定于1 9 9 4 年，是在m p e g - i 的基础上进一步发展成的音 视频编码标准，主要目标是针对广播级的高质量音视频以及更高的传输率。 与m p e g 1 相比，m p e g - 2 能很好的处理隔行扫描的数字视频源；支持多输 入视频序列的采样格式；支持几种可选择的运动预测模式，如按帧或场的运 动预测；按帧或场的d c t 和两种不同的扫描方式等。m p e g - 2 所能提供的传 输率为3 - 1 0 m b i t s s ，在n t s c 制式下的分辨率可达7 2 0 x 4 8 0 。m p e g - 2 的音 频编码可提供左右中和两个环绕声道，以及一个加重低音声道和多达七个伴 音声道。m p e g 2 的另一个特点是可提供一个较广范围的可变压缩比，以适 应不同的画面质量、存储容量以及带宽的要求。 2 1 _ 3m p e g - 4 为了适应多媒体通信的快速发展，i s o 于1 9 9 4 年开始制定m p e g - 4 标准。 m p e g 4 标准最初是为了满足视频会议等需要而制定的可以对视频、音频对 象进行高效压缩的算法和工具，仅限于极低比特率的应用，后来经过不断的 发展成为一个可以适应于各种多媒体应用，提供各种编码比特率的标准。整 个e g _ 4 标准主要分为m p e g - 4 系统、m p e g 4 音频、m p e g - 4 视频等基 本部分和扩充的部分1 1 “。 m p e g - 4 视频编码的主要目标在于提供一种通用的编码标准，以适应不 同的传输带宽、不同的图像尺寸和分辨率、不同的图像质量等，进而为用户 提供不同的服务。与传统的基于像素的视频压缩标准( 如m p e g 1 、m p e o - 2 、 h 2 6 1 、h 2 6 3 等) 不同，m p e g - 4 采用基于对象的视频编码方法，它不仅可 以实现对视频图像数据的高效压缩，还可以提供基于内容的交互功能。除此 以外，为了使压缩后的码流具有对于信道传输的鲁棒性，m p e g - 4 还提供了 用于误码检测和误码恢复的一系列工具，这样采用m p e g - 4 标准压缩后的视 9 p q 川大学硕 学位论文基于h 2 6 4 的视频传输的鲁棒性研究 频数据可以用于带宽受限、易发生误码的网络环境中。 2 1 4 h 2 6 1 h 2 6 1 是1 1 u t 为h 3 2 0 窄带电视会议系统于1 9 9 2 年制定的视频编解码 建议【1 9 i t 2 们，常称为p x 6 4 k 标准，其中p 是取值1 到3 0 的可变参数：p = i 或 2 时支持四分之一中间格式( q c i f ：q u a r t e r c o m m o n i n t e r m e d i a f o r m a t ) 的 帧率较低的视频电话传输；p = 6 时支持通用中间格式( c ：c o m m o n i n t e r m e d i a f o r m a t ) 的帧率较高的电视会议数据传输。p x 6 4 k 视频压缩算法也 是一种混合编码方案，即基于d c t 的变换编码和带有运动预测差分脉冲编码 调制( d p c m ) 的预测编码方法的混合。在低传输速率时( p = - i 或2 ) ，除q c i f 外还可使用亚帧( s u b - f r a m e ) 技术，即每间隔一帧( 或数帧) 处理一帧，压缩 比可高达5 0 ：l 左右。该标准是采用现代编码算法的通用视频标准，对后续 标准产生了很大影响。 2 1 5h 2 6 3 h 2 6 3 是i t u t 提出的作为h 3 2 4 终端使用的视频编解码建议【6 l 【1 7 】，制定 于1 9 9 6 年。h 2 6 3 标准是在h 2 6 1 标准的基础上发展而来的1 3 1 1 6 1 。它是基于运 动补偿的d p c m 的混合编码，在运动搜索的基础上进行运动补偿，然后运用 d c t 变换和“z ，字形扫描游程编码，从而得到输出码流。h 2 6 3 在h 2 6 1 建议 的基础上，将运动矢量的搜索增加了半像素点搜索；同时又增加了无限制运 动矢量、基于语法的算术编码、高级预测技术和p b 帧编码等四个高级选项， 从而达到进一步降低码速率和提高编码质量的目的。 数字图像应用的主要媒质公用有线、无线通信网，对传输速率制约 因素很多。h 2 6 3 标准克服了h 2 6 1 标准无法获得所需的压缩性能和对信道误 码的鲁棒性的缺点，基本满足了现有信道所需要的压缩性能，并提供了对信 道误码的一定鲁棒性。 上述各种编码标准的主要技术和应用目标如表2 1 所示【1 8 1 1 0 四川大学顼十学位论文基于h2 6 4 的视频传输的鲁棒性研究 表2 1 各种编码标准的主要技术和应用目标 编码标准制定组织目标码率主要压缩技术主要应用目标 j p e gi s o ，i e c2 3 0 倍d c t 、主观鼍化、熵编码、 i n t e m e t 图像服务、数字 z i g z a g 扫描 照相、图像和视频编辑 j p e gi s o ，i e c2 5 0 倍 小波变换、e b c o t 、r o ii n t e r n e t 图像服务、数字 2 0 0 0编码、空间可分级码流、质照相、图像和视频编辑、 量可分级码流、容错编码、医学图像、彩色传真、 改进算术编码卫星图像传输等 衅e g 1i s o i e c 1 s m b p s d c t 、主观景化、自适应量c d - r o m 视盘、消费视 化、熵编码、z i g - z a g 扫描、 频、视频记录 运动预测补偿、双向运动补 偿、半像素运动估计 m p b g - 2i s o ，i e c 1 s m b p s m p e g 1 所有技术、基于帧数字t v 、h d t v 、d v d 、 3 5 m b p s ，场运动补偿，空间、时间、高质量视频传播存储， 质量可分级码流、容错编码卫星t v 等 m p e g - 4i s o ，i e c 8 k b p s - - m p e g - 2 所有技术、小波变i n t e r n e t 、交互视频、可 3 5 m b p s 换、零树扫描、高级运动补视编辑、消费视频、专 偿等业级视频等 h 2 6 1i t u - tp x6 4 k b p sd c t 、自适应量化、熵编码、i s d n 视频会议 p ：l 一3 1 z i gz a g 扫描、运动预测补 偿，整像素运动估计、差错 控制编码 h 2 6 3i t u t 8 k b p s h 2 6 1 全部技术、双向运动桌面可视电话、移动可 1 5 m b p s 补偿、半像素运动估计、高视电话、桌面电视会议、 级运动补偿、可选算术编 网络视频 码、无限制运动预测 h 2 6 3 + i t u t 8 k b p s 增加了1 2 个选项 同h 2 6 3 1 5 m b p s 增加了4 个选项h 2 6 3 h 四川大学硕十学位论文摹于h2 6 4 的视频传输的鲁棒件研究 2 2h 2 6 4 标准关键技术分析 h 2 6 4 标准足由n u tv c e g 和i s o i e cm p e g 联合组成的t 工作组 于2 0 0 3 年制定的h 2 6 4 m p e g1 4 4 9 6 - 1 0 a v c 的最新一代视频压缩标准，是 目前图像通信领域研究的热点。该编解码框架与以前提出的标准，如h 2 6 1 、 h 2 6 3 及m p e g - 1 - 2 - 4 并无显著变化，也是基于混合编码的方案。但它采用“回 归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 更好的压缩性能；加 强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码 和丢包的处理；应用范围较宽，可以满足不同速率、不同解析度以及不同传 输( 存储) 场合的需求。 2 2 1 标准框架 h 2 6 4 标准分为三个框架，分别为基本框架( b a s e l i n ep r o f i l e ) 、主要框架 ( m a i np r o f i l e ) 和扩展框架( e x t e n d e dp r o f i l e ) ，不同的框架应用的范围不同 2 1 1 ： ( 1 ) 基本框架主要包括低复杂度、低延时的技术特征，支持is l i c e 、ps l i c e ， 不支持加权预测方式，选用c a v l c ( c o n t e x t - b a s e d a d a p t i v ev a r i a b l el e n g t h c o d i n g ) 对变换量化后的残差数据进行熵编码，适用于视频电话、视频会议 等实时交互性要求高的应用； ( 2 ) 主要框架不支持f m o ( f l e x i b l e m a c r o b l o c ko r d e r i n g ) 、s l i c eg r o u p 、 r s 、数据分割等用于对付网络丢包的措施，熵编码采用c a b a c ( c o n t e x t - b a s e d a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) ，适用于d v d 、h d t v 等不通过包交换网 络传输的高编码效率应用； ( 3 ) 扩展框架除了不支持c a b a c 外，其支持的范围最为广泛，所有容错 技术、对比特流的灵活访问及切换技术都包括其中，主要针对实时性要求相 对宽松的网络流媒体的应用。 2 2 2h 2 6 4 标准的新技术 虽然h 2 6 4 标准的编解码框架与以前提出的标准并无显著变化，但h 2 6 4 出现了许多在以往标准中不曾使用过的新的技术特性。主要有以下几点： 2 2 2 1 分层编码结构 四川丈学硕士学位论文 基于h 2 6 4 的视频传输的鲁棒性研究 h 2 “标准整个系统由视频编码层v c l ( d e 0c o d i n gl a y e r ) 和网络抽 象层n a l ( n e t w o r k a b s t r a c tl a y e r ) 两部分组成1 2 2 1 1 2 3 1 ，其示意图如2 2 所示 v c l 主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵 编码等压缩单元，对编码视频信息进行有效的描述；n a l 层则把该编码视频 信息打包封装成若干网络抽象单元并通过指定网络进行传输。对于解码端， 可以认为这些网络抽象单元或者正确无误、或者在网络中丢失、或者存在位 错误。