（信号与信息处理专业论文）基于h264的无线视频差错掩盖算法研究.pdf

中文摘要摘要随着数字压缩技术及网络通信技术，尤其是无线通信技术的高速发展，基于视频的业务已渗透到了许多领域中，而视频信息在无线网络中的处理与传输也成为目前的研究热点之一。众所周知，通信系统固有的问题是其物理信道并非无差错信道，而与有线信道相比，无线信道存在误码率高、传输环境不稳定等缺陷，因而在无线信道上进行视频传输难免出现数据差错、丢失等情况。另外，由于现有的视频压缩标准广泛采用了预测编码技术，在提高压缩率的同时降低了数据的相关性，使得视频码流对错误更加敏感，一旦有传输差错发生，错误极易扩散，导致解码图像质量急剧下降。因此，为了在解码端获得人眼可以接受的恢复图像，必须采取相应的视频差错控制技术。本文首先研究了视频压缩技术的基本原理，并对新一代视频压缩编码标准h 2 6 4 的特性作了简要介绍。随后综述了视频通信差错控制技术以及h 2 6 4 中的差错控制技术，在此基础上重点研究了视频解码端的差错掩盖技术及其现有的部分算法，并分别针对视频序列的时间域与空间域差错掩盖技术两个方面进行了改进：基于h 2 6 4 的宏块分割特点提出了一种时域差错掩盖算法，在官方编解码器j m 中实现了该算法，并在无线网络信道模型中进行了视频码流丢包实验，实验结果表明在相同的网络丢包率下该算法能获得更好的重建图像质量。提出了基于差错块分类策略的空域差错掩盖算法，该算法根据差错块周围邻块像素的灰度与梯度特征，自适应地将差错块分为平滑块、纹理块与边缘块分别进行差错掩盖处理。实验结果显示该算法较其他算法具有更好的性能，并指出了其适用的环境。关键词：无线视频通信，差错掩盖，h 2 6 4英文摘要a b s t r a c tw i t ht h er a p i dd e v e l o p m e n to fd i g i t a lc o m p r e s s i o na n dn e t w o r kc o m m u n i c a t i o nt e c h n o l o g y , e s p e c i a l l yt h ew i r e l e s sc o m m u n i c a t i o nt e c h n o l o g y , t h ev i d e os e r v i c eh a si n f i l t r a t e di n t om a n ya r e a s 1 1 1 ev i d e oi n f o r m a t i o np r o c e s s i n ga n dt r a n s m i s s i o ni nt h ew i r e l e s sn e t w o r kh a sa l s ob e c o m eo n eo ft h er e s e a r c hh o t s p o t a sw ek n o w , t h ei n h e r e n tp r o b l e mi nc o m m u n i c a t i o ns y s t e mi st h a tp h y s i c a lc h a r m e li sn o te r r o r - f r e ec h a n n e l a n dc o m p a r e dw i t ht h ec a b l ec h a n n e l ，t h ee x i s t e n c eo fs o m ed e f e c t si nw i r e l e s sc h a n n e l ，s u c h 弱h i 幽b i te ! r r o rr a t ea n di n s t a b i l i t yt r a n s m i s s i o ne n v i r o n m e n t , w h i c hw i l li n e v i t a b l yl e a dt od a t ae r r o r sa n dl o s t , e t c i na d d i t i o n , t h ec o m p r e s s i o nr a t i oh a sb e e ni m p r o v e db e c a u s eo ft h ep r e d i c t i v ec o d i n gt e c h n i q u ew h i c hi sw i d e l yu s e di nt h ee x i s t i n gv i d e oc o m p r e s s i o ns t a n d a r d b u ta tt h es a m et i m e ，t h er e l e v a n c eo ft h ed a t ah a sb e e nr e d u c e d , s ot h a tv i d e os t r e a m sa r em o r es e n s i t i v et ot h ee r r o r s o n c et h e r ei st r a n s m i s s i o ne r r o r so c c u r , t h es p r e a do fe r r o r sw i l ll e a dt h er e c o n s t r u c ti m a g et oas h a r pd e c l i n e t h e r e f o r e ，i no r d e rt 0g e ti m a g ew h i c hc a nb ea c c e p t e db yt h eh u m a nv i s u a l ，t h ev i d e oe r r o rc o n t r o lt e c h n o l o g yh a st ob et a k e ni nt h ed e c o d e r i nt h i sa r t i c l e ，i tf i r s ts u m m a r i z et h ep r i n c i p l eo fv i d e oc o m p r e s s i o n , a n di n t r o d u c et h ef e a t u r e so fn e x t - g e n e r a t i o nv i d e oc o m p r e s s i o nc o d i n gs t a n d a r d m h 2 6 4 t h e n , t a k ea no v e r v i e wo fv i d e oc o m m u n i c a t i o nt e c h n o l o g ya n de r r o rc o n t r o lt e c h n o l o g yi nh 2 6 4 a f t e rt h a t , f o c u so nt h ee r r o rc o n c e a l m e n tt e c h n o l o g yi nd e c o d e ra n ds o m ee x i s t i n ga l g o r i t h m s a tl a s t , i m p r o v et h ee r r o rc o n c e a l m e n ta l g o r i t h mi nt i m e d o m a i na n ds p a t i a l - d o m a i n ：i tp r e s e n t e da ne f f i c i e n tt e m p o r a le r r o rc o n c e a l m e n ta l g o r i t h mw h i c hb a s e do ni m p r o v e df l e x i b l em a c r o b l o c km o d eo fh 2 6 4 a n dr e a l i z et h ea l g o r i t h mi nt h e0 伍c i a jc o d e c - 删t h e nt a k et h ee x p e r i m e n ti nw i r e l e s sc h a n n e lm o d e l s i m u l a t i o nr e s u l t su n d e r3 g p p 3 g p p 2w i r e l e s sc h a n n e ls h o wt h ep r o p o s e dm e t h o dp e r f o r m sb e t t e rq u a l i t yt h a no t h e ra p p r o a c h e sw i t ht h es a m er t pp a c k e tl o s sr a t e i tp r e s e n t e das p a t i a le l r o rc o n c e a l m e n ta l g o r i t h mw h i c hb a s e do nt h ec l a s s i f i c a t i o ns t r a t e g yo fe r r o rb l o c k 1 f 1 1 ea l g o r i t h mc 0 1 1a d a p t i v e l yc l a s s i f yt h ee r r o rb l o c ki n t os m o o t h ，t e x t u r ea n de d g eb l o c kb yt h eg r a ya n dg r a d i e n tc h a r a c t e r i s t i c so fp i x e l sa r o u n dt h ee r r o rb l o c k t h ee x p e r i m e n t a lr e s u l t ss h o w e dt h a tt h ea l g o r i t h mh a sb e t t e rp e r f o r m a n c et h a no t h e ra l g o r i t h m s ，a n dp o i n to u ti t sa p p l i c a t i o ne n v i r o n m e n t k e y w o r d s ：w i r e l e s sv i d e oc o m m u n i c a t i o n , e r r o rc o n c e a l m e n t , h 2 6 4学位论文独创性声明本人声明所呈交的屋盈士学位论文墼盟：丝鱼垂毖塑蕉暨益锺溯我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他入己经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：0 i j 刽杂签字日期：撕哆多，弓7导师签名：i 红槽学位论文使用授权书本人完全了解重庆大学有关保留、使用学位论文的规定。本人完全同意中国博士学位论文全文数据库、中国优秀硕士学位论文全文数据库出版章程( 以下简称“章程，) ，愿意将本人的至炎士学位论文蜘：丛生蚴筮趁滏篷墼叁魂殃交中国学术期刊( 光盘版) 电子杂志社( c n ) 在中国博士学位论文全文数据库、中国优秀硕士学位论文全文数据库以及重庆大学博硕学位论文全文数据库中全文发表。中国博士学位论文全文数据库、中国优秀硕士学位论文全文数据库可以以电子、网络及其他数字媒体形式公开出版，并同意编入c m d中国知识资源总库，在中国博硕士学位论文评价数据库中使用和在互联网上传播，同意按“章程”规定享受相关权益和承担相应义务。本人授权重庆大学可以采用影印、缩印或其他复制手段保存论文，可以公开论文的全部或部分内容。作者签名：到剑鸯3导师签名：巡v 一7 年乡月弓f 日备注：审核通过的涉密论文不得签署“授权书，须填写以下内容：该论文属于涉密论文，其密级是，涉密期限至年一月一日。说明；本声明及授权书! 鲤装订在提交的学位论文最后一页。1 绪论1 绪论1 1 引言近2 0 年来，随着数字信息化与互联网的应用与发展，多媒体技术在视频、图像、计算机视觉、以及计算机网络之间的界限逐渐模糊，成为了一个多学科交叉的研究领域【l j ，而多媒体已俨然成为当前信息传递至关重要的载体。多媒体技术主要对多媒体信息进行处理，而多媒体信息中主要包括文字，声音，图像，视频等内容。其中视频又是多媒体信息中最重要的部分，其广泛应用于可视电话，视频会议系统，视频监控系统，远程教育，视频点播系统等一系列与人们工作、学习、生活息息相关的多媒体业务中。随着视频业务的不断拓展，视频信息处理已成为学术界的研究热点1 2 1 。众所周知，视觉是人类获取外部信息最为重要的途径。俗话说：“百闻不如一见”，视觉信息能够给人以直观、生动的形象。相比其他多媒体信息而言，视频信息具有以下优点：直观性t 与音频信息相比，视频信息直观明了，给人印象具体、深刻，容易理解。确定性：由于视频信息中包含了大量辅助信息，能够重现原始的信源场景，不易与其他信息混淆，具有其他信息不可替代的优势。高效性：利用人眼视觉，人们可以并行地观察一幅图像的各个像素，获得视频信息的效率比音频信息要高得多。广泛性：据统计，人们每天通过视觉获取的信息约占外界信息总量7 0 左右，即人们每天获得的大部分信息都是视频信息。但是，相对其他信息，由于视频信息所包含的信息量相当大，往往在网络传输中需要占据大量的信道带宽。因此，要使视频技术得到有效的应用，就必须解决视频压缩编码的问题。为此，人们付出了辛勤的劳动，如今不仅在理论上取得了重大进步，而且在实际应用中也获得了极大的成果：1 9 8 4 年c c i t t 第1 5 研究组发布了数字基群电视会议编码标准h 1 2 0 ；1 9 8 8 年c c i t t 发布视频标准h 2 6 1 ，目的是规范i s d n 上的电视会议和可视电话应用中的视频编码技术，它被称为是视频压缩编码的一个里程碑，之后国际标准化组织( i s o ) 、国际电信联盟( i t u t )等公布的一系列视频编码标准都是基于h 2 6 1 的混合编码方法。1 9 8 8 年i s o i e c信息技术联合委员会成立活动图像专家组( m p e g ，m o v i n gp i c t u r ee x p e r tg r o u p ) ，其制定的m p e g x 系列标准主要应用于视频信息的存储，数字视频广播、数字高清电视及视频流媒体应用等方面。而i t u t 的视频编码专家组( v c e g ；v i d e oc o d e重庆大学硕士学位论文e x p e r tg r o u p ) 贝j j 于1 9 9 5 年颁布了h 2 6 3 标准，包括其随后公布的h 2 6 3 + ，h 2 6 3 抖等一系列标准主要应用于视频通话，视频会议等实时视频通信领域。随着市场对视频传输业务需求的不断增加，上述标准已经难以适应不同信道的传输特性以及不同的应用环境【3 j 。为此，i s o 与i t u t 两大国际标准化组织于2 0 0 1 年成立联合视频小组( t ，j o 缸v i d e ot e a m ) 共同制定新的视频压缩标准，并于2 0 0 3 年颁布该标准的正式版本卅2 6 4 1 4 1 岭】。在原有标准的基础上，h 2 6 4 采用了多项改进技术，不仅显著提高了压缩比( 比h 2 6 3 标准提高近一倍) ，而且具有良好的网络亲和性，加强了对p 网、移动通信网的误码和丢包情况的处理。它面向从高质量到低码率，从有线到无线通信的各种应用，在追求更高编码效率的同时也提供了更好的视觉质量，是当前最高效的视频编码标准。正是由于视频压缩编码的应用，使得人们能够更有效地传输和存储资源。然而，我们知道任何通信系统的物理信道都不是无差错信道，尤其对于无线通信系统而言，由于其信道带宽较小，传输环境的不稳定性，对误码率的影响更为突出，因而在无线信道上进行传输或者通信难免出现数据差错、丢失或者延时等情况嘲。倘若将视频码流通过这样的差错信道，解码图像的质量很可能因为数据错误或者丢失而大打折扣，甚至出现无法解码的情况。因此，为了保证视频传输的健壮性，如何对传输误码进行差错控制，改善人眼主观质量成为近年来视频通信领域的研究热点之一。1 2 视频通信中的差错控制技术简介近年来，随着通信技术尤其是第三代移动通信( 3 g ) 的高速发展，视频通信将逐步成为通信的主要业务之一。可以预见的是，移动通信的下一步发展必定是大容量、高速率以及更多丰富功能的网络，用户可以在移动网络环境中使用到目前只能在有线网络上的服务，如高清晰度视像、视频游戏、电视会议、远程教学等等。随之而来的是，移动网络在误码率方面的弊端也对视频传输中的差错控制技术 r l t g l 9 l 带来新的挑战。1 2 1 视频通信系统图1 1 给出了视频通信系统【l o 】的基本结构。可以看到，输入信号为数字视频格式，然后由信源编码器对视频信号进行压缩编码以降低码率。在基于分组交换的网络中，压缩码流随后会被分割为固定长度或者可变长度的数据包。这些数据包需要经过信道编码器，对其进行有冗余的编码( 例如使用纠错编码) ，以进行误码保护。信道编码器、调制器、复用以及传输控制等一系列设备构成传输编码器，其主要作用是将信源编码器输出的码流转换成适合特定信道传输的数据格式。而在接收端，则将接收到的数据包进行解调、信道解码等处理，再通过视频解码器2l 绪论进行解码，即得到重建视频。图1 1 视频通信系统一般框图f i g 1 1v i d e oc o m m u n i c a t i o ns y s t e mb l o c kd i a g r a m视频通信具有如下重要特点：需要较宽的传输带宽。即便经过压缩的视频数据，依然要占用很大的带宽；低传输时延。时延对保持视频的实时性来说是一个严重的问题，一般要求视频以帧率2 5 f p s 或3 0 f p s 进行传输，否则会对观看效果有影响；较低的误码率。压缩后的视频码流对传输误码非常敏感，即使是较少的错误也会因为不断传递引起重建视频质量的急剧下降。因此，为了能够在无线通信网络中更加有效可靠地进行视频相关业务，一些关键技术迫切需要我们去解决：快速高效的压缩算法。随着无线网络的不断建设以及通信新技术的应用，无线网络的传输带宽也大大提高，但是面对视频技术的发展以及其迅速增长的信息量，网络带宽依然显得非常有限。因此，提高视频的压缩效率仍然是非常有必要的。有效的差错控制技术。为了获得高压缩率，目前的视频编码标准无一例外采用了预测编码技术来去掉视频序列空间和时间域的相关性。这样虽然减小了对传输带宽的需求，但同时也使编码后的数据对传输过程中的差错变得更为敏感，造成重建视频的质量下降。因此需要对视频数据进行无失真的数据恢复或有失真的差错掩盖，以达到人眼所能接受的视觉质量。码率控制技术【1 1 】。在一定误码率条件下，网络能够达到的最高比特率是一定的，视频信源编码的输出码率必须和信道的传输特性相符合，以提高传输效率，这就要求对码率进行控制。3重庆大学硕士学位论文符合人眼视觉特性的视频质量客观评价。任何传输网络都有一定的性能指标，例如频带宽度、误码率、丢包率、传输时延等，这些指标可概括为服务质量( q o s ) 。对于以人眼为最终信宿的视频信息来说，如何客观评价视频的质量，使客观评价的结果能和人眼的主观感受相一致也是视频通信研究的关键技术之一。1 2 2 传输差错的类型及影响因为无线信道的特点，在无线信道中传输视频数据，不可避免会出现随机性或突发性的错误。这种误码主要由两种情况造成：一种是随机比特出现错误，例如比特跳转、比特插入以及比特丢失等，这些主要是由于物理信道的缺陷而随机产生的。另一类是突发、集中或者连续地突发性错误，这种错误通常会造成连续的数据包丢失，因此它比随机比特错误带来的影响更加严重i l 引。根据错误在视频码流产生的位置，可以分为以下几类：视频信息文件头中出现错误。在对视频文件编码的过程中，基本上现有的编码标准都会加入文件头信息，该文件头信息存放着解码所需的重要信息，如果此部分任何一个比特位或者数据包出现错误，都不能解码视频。预测编码中出现错误。预测编码是使用之前已经编码的数据来近似预测未编码的数据，然后将预测残差进行编码。因此如果用于预测的一帧参考图像或一个宏块数据出现错误，都有可能将错误传递到后续的图像帧中去。码字与数据包丢失同步出现错误。在视频编码系统中，如果采用定长码字的熵编码方式，那么造成的比特错误若只影响一个或几个码字，导致的视频差错尚可以接受。目前的视频标准基本都采用了变长码字的熵编码，例如h u f f m a n 编码和算术编码。在h u f f m a n 编码中，任何一个码字出现错误都将会导致后续信息无法解码，直到下一个同步位的到来。而对于算术编码来说，虽然他能提供比h u f f i n a n 编码更优秀的性能，但由于其自身很少进行重同步，可能会导致解码效果更糟糕。由于相邻宏块间的相关性，导致传输差错具有一定的扩散特性。如果当前视频帧采用帧内编码，那么d c t 变换后的d c 系数可以采用预测编码的方式来估计，如果一个宏块的d c 系数错误或丢失将会导致以它为作为相邻块进行预测的后续块的d c 系数不能正确恢复，而这样的错误预测将会扩散到该码片结束。对于帧间编码来说，由于多参考帧参考图像的使用，前一帧或几帧的图像都可以作为当前帧的预测参考图像。如果参考图像出现错误，由它预测的p 帧或者是b帧也可能出现错误。从运动估计方面来看，由于当前宏块的运动矢量是由其相邻块运动矢量的预测值再加上残差数据得来的，因此一旦邻块的运动矢量出现错误，当前块的运动矢量也会出错，错误传递将会一直延续到下一个帧内编码帧才会终止。由此可见，若对出现差错的块不采取任何措施，则其影响范围会逐渐扩大，41 绪论造成接收端视频质量的急剧下降。1 2 3 差错控制技术针对压缩视频码流在差错信道上传输的情况，为了使接收端视频质量尽可能达到人眼可接受的范围，必须采用一些有效的机制使得在传输错误发生时对其进行控制或者恢复，将影响降到最低，这些机制称为视频差错控制技术。视频差错控制技术可以大体分为以下两类：一类是通过加强码流对传输的鲁棒性，以提高其抗误码的能力，即编码端的差错控制技术1 1 3 j ；第二类主要是利用图像空间与时间域上的相关性来近似恢复视频图像，也即解码端的差错掩盖技术【1 4 】。对于第一类中的“加强鲁棒性的方法”，它包括的范围很广，凡是能够提高解码端视频质量的措施都可以称之为鲁棒性的提高。例如能够更容易的定位与检测错误，更好的解决视频同步、延时的问题，阻止的错误后向传播等等。这类技术主要在编码端实现，通常也需要解码端的配合。其一般都需在视频编码器或者是信道编码过程中嵌入一定的冗余信息。虽然这类方法的效果比较好，但是常常会因为冗余的加入而造成传输码率下降，网络带宽开销增加。而对于第二类方法，其主要原理是充分利用图像的局部平滑特性、时域的连续性或者是几何特征，以及已经正确接收到的图像信息来推断丢失部分的内容。这样即使一个图像采样或者是一个宏块在传输中由于错误而丢失解码信息，视频解码器依然能够根据其前后帧或周围邻块的信息来掩盖错误的部分。这类方法的优点是仅仅需要解码端的支持而无需增加额外的开销，通用性强，具备广泛的网络适应性与平台移植性，适用于任何类型的信道，尤其是对于无线信道这种传输环境相对恶劣的信道而言。基于以上特性，差错掩盖技术成为本文研究的重点。1 3 国内外研究现状自网络技术发展而来，差错控制技术就成为视频传输的一个不可或缺的重要部分。近年来，随着视频压缩技术的发展，国内外学者针对不同的视频编码标准进了大量的研究工作，提出了一系列的差错控制方法。根据上文提到的差错控制方法，可分为以下研究方向：编码端差错控制技术。发展至今已包括了分层编码【1 5 】【1 6 1 ，多描述编码【1 7 1 8 1 、信源信道联合编码【1 9 1 、鲁棒性编码 2 0 l 、前向纠错编码【2 1 1 、数据嵌入法 2 2 1 等研究方向。解码端差错掩盖技术。差错掩盖技术根据视频帧的类型可以分为空间域差错掩盖和时间域差错掩盖。空域差错掩盖主要是利用视频图像在空间上存在极大的相关性，冗余度来估计丢失块的像素值，该类差错掩盖方法主要有：直接对像素插值的方法 2 3 1 1 2 4 1 、方向性插值2 5 1 1 2 6 1 2 7 1 、最优平滑恢剑2 羽、基于块相似性的方法5重庆大学硕士学位论文 2 9 1 、凸集投影法 3 0 l 、频域系数恢复口1 1 等方法。时域的差错掩盖技术主要处理帧间图像发生错误的情况，充分利用视频图像相邻帧之间的冗余度。在目前的编码标准中帧间编码都是对残差图像和运动矢量进行编码传输。可以看出，对丢失块的恢复，其主要的研究方向也就集中在如何对其运动矢量进行恢复。对于运动强度较弱的视频通常采用零运动矢量的方法1 3 2 。，也即认为该块位置未发生变化。而对于运动强度较大的视频序列来说，常见的估计运动矢量的方法包括边界匹配的方法【3 3 1 、运动场内插 3 4 1 等方法。随着h 2 6 4 标准的颁布，又出现了多种基于h 2 6 4 的时域差错掩盖算法，如文献 3 5 1 提出了适合h 2 6 l 的边界匹配法。文献【3 6 】提出了利用拉格朗日内插的时域差错掩盖算法，文献【3 7 】提出了改进的双域拉格朗日插值算法。相比之下，解码端差错掩盖技术优点显著，通用性极强，是视频差错控制技术发展的一大趋势。虽然学者们努力发展和完善视频差错控制技术，但该技术离完善尚有很大的距离。1 4 本文主要研究内容及章节安排本课题的目的旨在改善视频码流通过有干扰的无线传输信道而造成的视频质量下降的问题。在对视频通信中差错控制技术，h 2 6 4 视频编码标准以及其使用的相关差错控制技术进行研究的基础上，对视频时间域和空间域的差错掩盖技术分别进行了研究，提出了基于宏块预测的时域差错掩盖算法以及基于差错块分类策略的空域差错掩盖算法，并针对h 2 6 4 标准将此算法在其官方编解码模型j m 中进行了实现与仿真。本文的章节内容安排如下：第一章绪论部分介绍了视频技术的发展以及视频差错控制技术产生的背景、国内外研究现状，并对视频差错控制技术进行了简介。第二章将简要介绍视频压缩编码基本原理，以及新一代视频标准h 2 6 4 的几项关键技术。第三章将分别对视频通信中信源编码端与解码端的差错控制技术，以及h 2 6 4所采用的相关差错控制技术进行详细阐述。第四章提出基于宏块预测的时域差错掩盖算法。在对边界匹配函数改进的基础上，根据h 2 6 4 视频标准具有灵活宏块分割模式的特点，利用受损宏块与其周围宏块的相关性来预测分块模式，并根据不同的分块模式进行运动矢量估计。实验结果表明，相同的r t p 包丢失率情况下，该算法较之其他算法能够恢复出更高质量的图像。第五章提出了基于差错块分类策略的空域差错掩盖算法，算法根据差错块周围61 绪论邻块像素的灰度与梯度特征，自适应地将差错块分为平滑块、纹理块与边缘块分别进行差错掩盖处理。通过实验分析表明，该算法较其他算法具有更好的性能，并指出了其适用的环境。第六章对全文的工作进行总结，并指出不足之处与今后的研究方向。72 视频压缩原理与h 2 6 4 标准2 视频压缩原理与h 2 6 4 标准2 1 视频压缩概述视频图像的数字压缩编码技术，最早可以追溯到1 9 4 8 年o l i v e r 针对电视信号提出的p c m 编码，开创了图像技术的数字时代。但是由模拟信号经量化得到的数字图像数据量非常大，不适合实际应用。视频压缩编码技术正是解决这一问题的有效手段。2 1 1 视频压缩的理论依据通过研究视频图像数据可以发现，由于视频图像具有很强的时间和空间相关性，其中存在着大量的冗余信息，减少视频图像的冗余度可以极大地减少其数据量。视频数据的冗余主要存在于以下几个方面：空间冗余度。一帧图像中的同一个对象的相邻像素之间往往存在着空间的连续性，可以通过改变像素存储的方式来减少数据量。时间冗余度。对于一个视频序列，如果未发生场景的转换，其相邻帧往往包含相同背景或是移动的对象，仅仅是位置或形状有所改变，因此利用这种时间上的连续性也可以达到减少数据量的目的。除此之外，视频序列中还存在视觉冗余、结构冗余、信息熵冗余等等。正是由于视频图像冗余度的存在，使得视频压缩成为可能。视频压缩编码的核心思想即是去掉相关性、降低冗余度，从而达到用尽可能少的比特来表示视频内容，并且视频质量符合人眼视觉特性。经典的图像编码理论依据是以s h a n n o n 的信息论【3 8 】为基础的，利用图像信号的统计相关性，消除冗余度。按照图像的有无失真可以分为信息保持编码和信息率失真编码。对于信息保持编码，s h a n n o n 在1 9 4 8 年证明了对于一个信息熵值为日( 工)的信源，总是可以找到种编码方法，使其编码的平均长度l 与信源熵值任意接近。而对于率失真的信源编码则定义了个失真函数r ( d ) ，它是平均失真d 小于某一失真限度下的最小平均互信息量。s h a n n o n 的编码定理告诉我们：一个具有率失真函数j j c ( d ) 的信源，若有平均失真d ，并有两个任意小的正数和6 ，则必定存在一种信源编译码方法使其信息码率r r ( d ) + 占，而平均失真d d + 8 。这说明码率在某个确定的界限内编码才是可能的。因此，可以这样说，在信源编码情况下，r ( d ) 代表一种待求的编码方案，目的是寻求不超过规定失真限度情况下，输出信息码率最小的编码方案。率失真理论为数据压缩奠定了理论基础。9重庆大学硕士学位论文2 1 2 视频压缩的基本技术信源编码的方法依照压缩数据能否被准确无误地恢复划分为两类：无损编码和有损编码。在视频压缩领域通常是采用无损编码和有损编码相结合的方式，目前的h 2 6 3 、m p e g - 4 等主流视频编码标准中采用的主要技术包括预测编码、变换编码和熵编码【2 j 。预测编码预测编码是最简单和使用最广泛的视频压缩方法，经过压缩编码后传输的并不是像素本身的采样值，而是该采样值与实际值的差值。以一帧内邻近像素为例( 图2 1 ) ，当前像素为z 显然与x 最相近的像素，如彳、b 与x 的相关性较强，越远相关性越弱。图2 1 邻近像素间的相关性f i g 2 1t h er e l e v a n to fa d j a c e n tp i x e l s图2 2 给出预测编码的基本原理框图：图2 2 预测编码原理图f i g 2 2p r e d i c t i o ne n c o d i n gd i a g r a m由图可见，输入信号x 倒是取样后的图像信号的样值，虚线方框为预测器，其中凸为延时单元，a ，为加权系数。预测器根据前几个相邻样值推出当前样值的估1 02 视频压缩原理与h 2 6 4 标准计值童( 刀) 。q 为量化器，( 刀) 为预测、量化后重建的z 例。因此发端只对预测的误差信号( 即实际值x 例与估计值舅( 刀) 之差) p 例进行量化编码和传输，故可达到压缩的目的。在视频编码中，根据预测像素选取的位置不同，可以分为帧内预测编码与帧间预测编码。其中帧内预测主要利用图像数据的空间相关性进行压缩编码，由于其压缩效率并不高，消除空间的冗余性也没有变换编码优越，在先前的h 2 6 x 和m p e g x 等标准中运用很少。而帧问预测编码具有更高的效率，自8 0 年代对运动补偿预测进行研究以来，具有更高压缩率的基于运动补偿的帧间预测编码方法广泛运用到了一系列的视频压缩标准中。常用的运动估计算法有块匹配法、像素递归法、相位相关法等，其中块匹配法是最常用的运动估计方法，在目前流行的视频压缩标准中均被采用。变换编码变换编码的基本思想是将通常在欧几里德空间( 图像空间域) 描述的图像信号，变换到另外的正交向量空间( 变换域) 进行描述，如果所选的正交向量空间的基向量和图像本身的特征向量很接近，那么同一信号在这种空间中描述起来就会变得简单很多。空间域的一个图像块经过正变换后，在变换域为同样大小的变换系数矩阵。变换前后的差别是，空间域图像块中存在很强的相关性，能量分布均匀；而在变换域中，变换系数之间的相关性变得很小，近似统计独立，并且能量主要集中在直流和少数交流系数上。因此，这样一个解除相关的过程也是冗余度压缩的过程。设x = ( x a ，x 2 一j ) r 是由n 个信号样本构成的列向量，a =a 1 1a ua 2 1a 2 2a ma 1 v 2是一个n x n 的正交矩阵，则y = a x 为一个正交变换。由于a 为正交矩阵，因此有以r = a r a = i ，即有彳r = 么，即保证了正交矩阵a 必定存在逆矩阵，同时也保证x 与】，相对应，那么通过反变换能够得到唯一的复原信号：x = 彳r 】，= 彳r 4 x = r( 2 1 )自快速傅立叶变换( f f t ) 应用于图像编码以来，出现了多种正交变换编码方法，例如k l 变换、离散余弦变换( d c a 3 、沃尔什哈达马变换( w h t ) 等等。其中k - l 变换具有最佳编码性能，但是其基向量随信号而改变，必须事先知道信源的协方差矩阵并求出其特征值，这需要较大的计算量，因此在工程中未能得到广泛应用。而当信号的统计特性符合阶平稳马尔可夫过程，且相关系数接近于lw；重庆大学硕士学位论文时，d c t 变换可以非常接近k - l 变换，且具有快速算法。因此，d c t 变换在视频压缩领域得到了广泛的应用。熵编码预测编码和变换编码后，此时各样值间的相关性已经减弱了。而对于一个无记忆的信源，如果各事件出现概率不相等，则依然有冗余存在，还有进一步压缩的可能性，这便是熵编码所面对的问题。常用的熵编码方法包括霍夫曼编码( h u f f m a nc o d i n g ) 、游程编码( r u n - l e n g t hc o d i n g ) 和算术编码( a r i t h m e t i cc o d i n g ) 。1 ) 霍夫曼编码霍夫曼编码的基本思想是：它将信源符号依照概率大小排序，通过二叉树算法，每次将两个概率最小的节点合并，直至根节点。然后对出现概率大的符号分配较短码长，对出现概率小的符号分配较长码长，因此它是一种变长编码。但是霍夫曼编码依赖信源的统计特性，编码前须有信源概率分布的先验信息，在实际应用中无法达到最佳性能。2 ) 游程编码游程编码是将具有相同数值( 如像素的灰度值) 、连续出现的信源符号串用其数值和串的长度来表示，这样可以用更紧密的序列代替原有的相同值符号串。在图像编码中，例如沿图像的水平扫描方向有一串k 个像素具有相同的像素值g ，则对其进行游程编码后，只需传送数据( g ，k ) 即可。游程编码常常与其它编码方式相结合使用。在视频编码中，对图像块进行d c t变换编码和量化后，常常会出现大量的连“o ”系数，经过z i g z a g 扫描将“o ”系数组织成“o ”的游程，进行游程编码，可以有效地降低表示0 码的比特数。3 ) 算术编码算术编码是采用一个浮点数值来表示一个信源符号。算术编码将被编码的信源符号表示成实数 0 ，1 】区间中的一个间隔。这个数值间隔随着码流中信源符号的增加逐步减小，每次减小的程度取决于当前加入的信源符号的先验概率。码流越长，则表示所在区间间隔越小，编码所需的小数位数越多。因此，从算术编码过程产生的是一个小于1 大于等于0 的数值，此数值能够被唯一解码，从而恢复出原始信源符号。理论上，算术编码和霍夫曼编码的平均压缩性能比较接近。但在信源概率分布未知的情况下，算术编码的性能要优于霍夫曼编码。2 2 新一代视频压缩标准h 2 6 4为了形成一个在性能方面与h 2 6 3 及m p e g - 4 等标准相比有较大提升的高压缩率视频编码标准，i t u t 的v c e g 小组初步制定了h 2 6 l 标准草案。2 0 0 1 年，i s o i e c 的m p e g 小组与i t u t 的v c e g 小组合作组建了联合视频专家组t ，1 22 视频压缩原理与h 2 6 4 标准其目的就是在h 2 6 l 技术体系的基础上进一步研究，共同推动新一代视频编码国际标准的发展。2 0 0 3 年，该草案正式公布，被命名为h 2 6 4 a v c 或者m p e g - 4p a r t1 0 。h 2 6 4 标准承袭了之前的h 2 6 1 、h 2 6 3 、m p e g - 2 、m p e g - 4 等标准的基本编码框架，采用了运动补偿预测编码、变换编码及熵编码结合的方案，并在许多环节上进行了改进。例如其采用了“回归基本”的简洁设计，获得比h - 2 6 3 + + 更好的性能；采用了“网络友好”的结构和语法，增强了适应各种信道的能力，更加利于对误码和丢包的处理；更宽广的应用范围，能够满足不同速率、不同视频质量及传输场合的要求。下面将对针对这些改进介绍1 3 9 1 。2 2 1h 2 6 4 标准的基本结构h 2 6 4 标准的句法元素结构视频编码输出的码流中，每个比特都隶属于某个句法元素。在h 2 6 4 定义的码流中，句法元素被组织成有层次的结构，分别描述各个层次的信息。一个完整的h 2 6 4 的码流结构如图2 3 所示：仨一黝蒯 删嘲叫ii d rl田陌习i 一j困围曰曰图2 3h 2 6 4 的码流分层结构f 塘2 3h 2 6 4b i t s t r e a mh i e r a r c h ys t r u c t u r e与以往的视频编码标准相比，h 2 6 4 的分层结构有较大的改进，这些改进主要针对传输中的误码问题，以提高图像的重建质量。在以往的标准中，每一层均有头文件，然后每层的数据部分包含该层的数据，这样每层的头部和数据部分形成依赖关系，一旦头文件丢失，数据部分将不能解码。在h 2 6 4 中，分层的码流结构最大的不同之处是取消了序列层与图像层，将原本属于序列和图像层的大部分元素分离出来形成序列参数集和图像参数集，其余部分为片层( s l i c e ) 。参数集是独重庆大学硕士学位论文立的数据单位，只有在片层码流解码需要的时候才被引用。在这种机制下，因为参数集是独立的，所以它可以被重复传送或者加以特殊的差错控制技术进行保护。h 2 6 4 建议参数集与片层数据可以分开传输，因此可以用更低误码率但成本较高的信道传送参数集，而使用低成本信道传送片层数据，只需保证片层中某个码流元素需要引用的参数集已经到达解码端即可。片层为h 2 6 4 中最大的语法单元，包括i 片、p 片、b 片以及s i 和s p 片。片层数据由宏块数据组成，片头中包括起始宏块号、片类型、参数集标识等信息。根据传输需要，片会通过灵活宏块排序等方式构成片组以提高抗误码能力。宏块层根据不同的采样比例由亮度块和色度块构成。其中数据包括宏块类型、编码模式、预测模式、运动矢量、残差数据等。h 2 6 4 的编解码器结构h 2 6 4 并没有明确规定编解码器如何实现，而是规定了视频码流的句法以及解码方式。其编码器功能模块如图2 4 所示：图2 4h 2 6 4 编码器f 谵2 4h 2 6 4e n e o d e r从上图可见，与之前的标准相比h 2 6 4 的编码功能模块并没有多大区别，主要不同在于各功能模块的实现细节。其编码过程主要包括两个路径：前向编码与重建过程。输入的帧或者场e 以宏块为基本单位进行帧内或帧间模式预测编码，其中尸表示当前块的预测值，e 一，表示参考帧。预测值p 与当前块的差值为残差信号见，对见进行变换编码、量化产生一组量化后的变换系数兄z 与解码所需的信息( 如预测模式、运动矢量、量化参数等) 一起进行熵编码，形成的压缩码流通过网络层n a l 进行传输。在重建路径中，对残差图像数据进行反量化和反变换得到n ，与预测值p 相加，再通过环路滤波器去除噪声，以提高重建图像的质量。重建后的图像可再作1 42 视频压缩原理与h 2 6 4 标准为后续帧的参考帧。解码器与编码器的重建路径基本一致，从而保证了编解码端数据的一致性，如图2 5 所示。压缩后的h 2 6 4 码流经过熵解码得到量化后的变换系数z 再经过反量化、反变换得到的残差值与预测值尸相加，得到的数据再经过去块效应滤波器即得到解码图像。图2 5 h 2 6 4 解码器f i g 2 5h 2 6 4d e c o d e r2 2 2h 2 6 4 标准的关键技术h 2 6 4 在以往标准的基础上进行了改进，编码性能得到很大的提升。在相同视觉感知质量上，h 2 6 4 的编码效率比h 2 6 3 和m p e g - 4 提高了近5 0 。下面对其关键技术进行简介m l 。h 2 6 4 视频系统的分层结构在h 2 6 4 标准设计初期，就将视频压缩对网络传输的适应性作为一个重要设计指标。因此采用了编解码系统分层的设计思想，将其分为两层：视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 以及网络抽取层( n e t w o r k a b s t r a c tl a y e r ，n a l ) 。其分层结构如图2 6 所示。控，i视频编码层c v c l ，制数、r据j数据分割、7 l舣珀川卉qi、r网络抽取层州a l )h 3 2 0h 3 2 0 l ph 3 2 4h 3 2 4 m其他图2 6h 2 6 4 编码器系统分层结构f i g 2 6h 2 6 4e n c o d e rh i e r a r c h ys t r u c t u r e重庆大学硕士学位论文其中视频编码层v c l 负责对视频内容进行高效的压缩编码，该层包含了关于基于块的视频压缩编码的所有核心技术。网络抽取层n a l 针对不同的网络及其传输协议( 如i n t e r n e t 传输) ，对视频编码层的压缩码流进行分割与封装。n a l 以n a l u 单元作为基本数据格式，它不仅包含所有视频信息，同时其头文件中也包括传输层或存储媒体的相关信息。因此n a l u 单元的格式适合基于包传输的网络( i 玎p u d p i p 等) 或者基于比特流传输的系统( m p e g - 2 、m p e g - 4 等) 。可以说v c l 与n a l 这种相对独立的结构，实现了h 2 6 4 高效率压缩编码和网络友好性的透明性与有机的结合。帧内预测编码与以往标准不同的是，h 2 6 4 标准中在正交变换和熵编码之前引入了帧内预测方式，利用当前块左方或是上方的相邻已编码块像素来