（通信与信息系统专业论文）基于h264avc视频标准的抗误码研究.pdf

上海大学硕上学位论文摘要 基于h 2 6 4 a v c 视频标准的抗误码研究 摘要 随着网络技术和无线通信技术的发展，通过i n t e r n e t 网和无线信道实时的传输图 像已经成为目前视频通信领域中研究的热点问题，各种网络环境对视频流的压缩和 传输也提出了更高的要求。为适应不断发展的视频通信需要，j v t ( 1 t u t & m p e g ) 组织制定的新一代视频压缩标准h 2 6 4 ，基于更简洁和灵活的系统结构，致力于提高 视频压缩效率、显示清晰度、抗误码和网络友好等性能，具有十分广阔的应用前景。 视频预测编码系统会导致误码在空间和时间轴上的扩散现象。h 2 6 4 采用了多种 更先进的预测算法，如先进帧内预测算法和基于多参考帧的高精度帧间预测，从而， 抗误码的研究也面临了新的挑战：预测的多种匹配模式和不同的预测方式使宏块的 错误隐藏变得更加困难；多参考帧的编码模式导致帧间的误码扩散更加难于判断和 分析。本课题对h 2 6 4 视频压缩标准进行深入研究，旨在寻求行之有效的抗误码策 略。 如何提高面向视频流传输的鲁棒性，尽量减少解码端的误码扩散现象，是抗误 码算法研究的重点。本文在介绍h 2 6 4 视频压缩算法、分析h 2 6 4 抗误码措施的基础 上，实现了基于灵活宏块排序( f m o ) 功能的编解码器系统，为h 2 6 4 误码扩散问 题提供了较好的解决方案。 同时，在解码端采取一定的错误隐藏策略也是十分必要的。为此，本文总结了 现有的错误隐藏算法，在分析h 2 6 4 现有的错误隐藏技术基础上，结合h 2 6 4 的特点 提出了基于加权边缘匹配思想的错误隐藏算法，进一步提高了h 2 6 4 解码器的纠错 性能。 关键词：错误恢复，灵活宏块排序，错误隐藏，h 2 6 4 ，加权边缘匹配 上海大学硕士学位论文 a b s t r a c t e r r o rr e s i l i e n c es t u d yo fh 2 6 4 a v c a b s t r a c t w i t ht h ed e v e l o p m e n to ft h en e t w o r ka n dw i r e l e s sc o m m u n i c a t i o n ，t h e t r a n s m i s s i o no fr e a l - t i m ei m a g e sb yi n t e m e ta n dw i r e l e s sc h a n n e l sh a sb e e n t h ec u r r e n tr e s e a r c hh o t s p o ti nt h ef i e l do fi m a g ec o m m u n i c a t i o n ，v a r i o u s a p p l i c a t i o n c o n d i t i o n so ft h ev i d e o s t r e a m i n gr e q u i r e m o r ea d v a n c e d t e c h n i q u e s f o rt h e c o m p r e s s i o n a n dt r a n s m i s s i o no ft h e i m a g e s h 2 6 4 e m e r g e d a st h et i m e sr e q u i r e a san e wk i n do fv i d e oc o m p r e s s i o n a l g o r i t h m ， h 2 6 4 p r o p o s e db yj v t ( i t u t & m p e g ) a b s o r b e dt h ea d v a n t a g e so ft h e f o r m e rc o d i n gm e t h o d s ，a n dh a sm a d eag r e a tp r o g r e s si nm a n y a s p e c t s ，s u c h a st h ee f f i c i e n c yo fv i d e oc o m p r e s s i o n ，t h ed i s p l a y i n gc l a r i t y , e r r o rr e s i l i e n c e a n dn e t w o r kf r i e n d l i n e s s t h ei n h e r e n tn a t u r eo fv i d e o p r e d i c t i o nc o d i n gs y s t e m m a k e s e r r o r p r o p a g a t i o np r o b a b l y o c c u ri nt h es p a t i a la n dt e m p o r a ld o m a i n w h i l ea 1 0 to fa d v a n c e dp r e d i c t i o nm e t h o d sa r e a d o p t e d i nh 2 6 4 s u c ha st h e a d v a n c e dp r e d i c t i o nm e t h o d sw i t hh i g hp r e c i s i o nu s i n gm u l t i p l er e f e r e n c e f r a m e s a tt h es a m et i m e ，t h er e s e a r c hi nt h ef i e l do fe r r o rr e s i s t a n c ei sf a c e d w i t hn e wc h a l l e n g e sl i s t e da sf o l l o w s ：t h e m u l t i p l em a t c h i n g m o d e si n p r e d i c t i o n a n dv a r i o u s p r e d i c t i o n m e t h o d sa d dt h e d i f f i c u l t y i ne r r o r c o n c e a l m e n to f m a c r o b l o c k s ；t h ec o d i n g m o d eb a s e do nt h e m u l t i p l e r e f e r e n c ef r a m e sm a k ei td i f f i c u l tt oe s t i m a t ea n da n a l y z ee r r o r p r o p a g a t i o n 上海大学硕上学位论文a b s t r a c t i no r d e rt of i n do u ta ne f f e c t i v es t r a t e g yf o re r r o rr e s i l i e n c e t h ep a p e rh a s m a d ead e e pr e s e a r c hf o rt h ee n c o d e ra n dd e c o d e ri nh 2 6 4 t h er e s e a r c he m p h a s i sf o re r r o r p r o p a g a t i o na l g o r i t h mi sh o wt oi n c r e a s e t h er o b s t n e s so fv i d e o s t r e a m i n gt r a n s m i s s i o n ， a n dr e d u c et h e e r r o r p r o p a g a t i o n a tt h e d e c o d e r g r o u n d i n g o nt h ea c r o s s t h e a b o a r d i n t r o d u c t i o no ft h ev i d e o c o m p r e s s i o na l g o r i t h m i nh 2 6 4 ，t h i sp a p e r a n a l y z e d t h ep r e s e n tr e s e a r c hs t a t ei ne r r o rr e s i l i e n c ea n di m p r o v e dt h ee n c o d e ra n d d e c o d e rb a s e do nf m o ( f l e x i b l em a c r o b l o c ko r d e r ) i nt h ee n d ，t h eo p t i m a l s o l u t i o ni sp r o v i d e df o rt h e p r o b l e m o f e r r o r - p r o p a g a t i o ni nh 2 6 4 b e s i d e s ，i ti sn e c e s s a r yt oa d o p ts o m ee r r o rc o n c e a l m e n tm e t h o d si nt h e d e c o d e r t h e r e f o r e ，t h i sp a p e rs u m m a r i z e dt h ee x i s t i n g e r r o rc o n c e a l m e n t m e t h o d sa n dt h et e c h n i q u ei nh 2 6 4 ，a n dp r o p o s e dt h ew e i g h t e db o u n d a r y m a t c h i n ga l g o r i t h mw i t ha ni n i t i a lm v ( m o t i o nv e c t o r s ) t h ec a p a b i l i t yo f e r r o r c o r r e c t i o ni nh 2 6 4d e c o d e ri si m p r o v e d k e y w o r d s ：e r r o rr e s i l i e n c e ，f m o ，e r r o rc o n c e a l m e n t ，h 2 6 4 ，w e i g h t e d b o u n d a r ym a t c h i n ga l g o r i t h m 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：日期 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名垃日期： k 海大学硕上学位论文 绪论 第一章绪论弟一旱珀1 ：匕 随着i n t e m e t 技术和计算机技术的迅猛发展，现代视频通信、语音通信以及实时 数据通信已经成为目前通信和网络发展的大趋势。其中，视频通信是以人类视觉为基 础的一种通信方式，应用前景十分广阔。实时视频通信技术己出现在皿电话、i n t e m e t t v 、视频会议和手机视频通信等网络应用中，同时也成为第三代宽带移动通信系统 的显著标志。 目前，视频通信还不像语音通信那样普及，其原因是多方面的，主要是因为技术 上的进步还没有达到用户所能接受的程度。比如说：尚未研制成方便而又廉价的视频 终端设备、带宽的限制、图像质量比较低等。因此，要使实时视频通信技术得到广泛 的应用，需要对视频压缩技术进行更多的探索和研究。 1 1 视频压缩技术概述 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 0 0 4 图1 1i t u t 和i s o i e c 制定的标准发展过程 f i g1 1p r o g r e s so f i t u yr e c o n w n e n d a t i o n sa n dm p e gs t a n d a r d s 标准化是产业化活动成功的前提，基于不同的应用阶段和应用环境，一些国际组 织建立了一系列的国际标准，例如j p e g l l 2 1 、m p e g x 3 ，4 5 1 、h 2 6 x 6 ，7 ，8 ，9 1 等。国际电 信联盟( i t u t ) 制定的标准称为h 2 6 x 系列，包括h 2 6 1 、h ，2 6 3 系列和h 2 6 4 、大多 数i t u t 标准为了实时视频通信应用而设计，如视频会议和视频电话。国际标准化组 上海大学硕士学位论文绪论 织( i s o i e c ) 制定的标准称为m p e g 系列，包括m p e g i 、m p e g 2 、m p e g 4 ：和m p e g 7 等，m p e g 标准为视频存储( d v d ) 、数字电视和流媒体( 女t h n t e m e t 网、d s l 、无线网 络上的视频传输) 的应用而设计。除了h 2 6 2 f m p e g 2 是由两个组织合作制定外，i t u t 和m p e g 组织一直独立地制定各自不同的标准，直到最近i t u tv c e g 和i s o i e c j t c l 鉴于相同的发展方向，决定联合制定新一代的视频压缩标准h 2 6 4 ，以i t u t 制 定的h 1 2 6 l 1 0 标准为基础，发展成m p e g 一4 p a r t1 0 ，作为s i m p l e m a i n p r o f i l e 的核 心部分。图1 1 总结了i t u t 和i s o 】e c 制定的标准发展过程。 下表列出了主要的编码标准及其应用。 表1 1 视频编码标准及其应用 标准码率应用 m p e g t 视频 o 8 k b p s - - 1 , 5 m b p s v c d ，c d - r o m ，i m e m e t 3 m b p s - - 1 0 m b p sm p m l 数字广播 m p e g 一2 1 6 m b p s - - 5 0 m b p sm p m l d v d d v h s 视频 5 0 m b p s - - l o o m b p s 专业视频处理 4 2 2 p m l h l m p e g 1 0 k b p s - - 3 8 4 k b p s c e l l a r , i n t e m e t 标准 s p l 1 i 2 3 m p e g 4 1 0 k b p s - - 2 m b p sc p l 1 2 2 m b p s - - 3 8 m b p s 视频交互式电视 m p l 2 , l 3 l 4 5 0 m b p s - - 1 2 0 0 m b p s 视频剪辑 s t u d i o l i 2 3 4 h 2 6 1 6 4 k b p s - - 1 5 m b p s 视频电话( i s d n ) i t u th 2 6 2 与m p e g 2 视频相同 标准 h 2 6 3 1 0 k b p s - - 3 8 4 k b p s 视频电话( p s t n ，i n t e m e t ) h 2 6 4 6 0 k b p s 1 0 0 0 k b p s视频通信和视频存储 1 2 抗误码研究的意义 网络视频通信和无线视频通信正在逐步成为数字通信网络的主要业务，视频图像 的压缩编码是关键技术。视频图像的压缩编码可以有效的减少图像的数据量，从而降 低对网络带宽的要求，但压缩过的图像数据对于误码是相当敏感的，并且误码可能会 在空间域和时间域上扩散，这将引起图像质量的急剧下降。 统计资料 12 】表明：对于不压缩的视频数据，用户可以接受的误码率约为1 0 ；而 对于压缩编码视频通信，用户可以接受的误码率仅为1 0 ，且压缩倍数越高，对误码 率的要求越高。同时，码流速率越高，错误平均时间间隔越短。因为视频编码技术尽 上海大学硕士学位论文 绪论 可能地去除视频信号中的时间相关性、空间相关性和视觉冗余，虽然这样能获得很高 的编码效率，但码流更容易受误码的影响。例如，为了去除视频信号的时间冗余，视 频编码器通常采用帧间预测编码，如果某帧发生差错，后续帧将得不到参考值，因而 不能正确重建，造成了误码帧间扩散现象；其次，编码器常用可变长编码( v a r i a b l e l e n g t hc o d i n g ，v l c ) ，但当某个码字发生差错时，后续码字会因为失去同步而无法 正确解出，从而导致数据丢失和误码的空间扩散h 1 。 有些网络，即使没有相应的抗误码方案，也能够提供满意的视频质量。而有些网 络，如无线网络，其信道误码率一般在1 0 4 以上，有时可高达1 0 ，例如无线a t m 信元丢弃引起的误码率可达1 0 。同样，由于拥塞，超时延迟引起包的丢弃，i n t e r a c t 网络无重传的包丢弃率可高达1 0 。2 ，在这样的信道传送视频信号，如果没有有效的容 错措施，恢复的视频图像质量是无法接受的，如图1 2 所示。 图1 2 传输错误下的压缩视频显示 左上：无错误；3 3 ：- ：3 丢包率；左下：5 丢包率；右下：1 0 丢包率 f i g 1 2e f f e c to f t r a n s m i s s i o ne r r o ”t oac o m p r e s s e dv i d e os t r e a mf o ras e l e c t e df r a m e u p p e rl e f t ：n ot r a n s m i s s i o ne r r o r su p p e rr i g h t ：3 p a c k e tl o s s l o w e rl e f t ：5 p a c k e tl o s s l o w e rr i g h t ：l o p a c k e tl o s s 比特误码现象 比特误码通常出现在面向比特传输的网络中( 例如无线传输网) 。虽然这种网络 传输能够提供传输层或应用层上的误码检测手段，但由于常规视频解码器的机理和 上海大学硕士学位论文 绪论 v l c 码流的特点，即使单个的比特误码，视频解码器也不能确定它的具体发生位置， 所以通常情况下比特误码将导致大量有用信息的丢失，从而使得解码帧在局部出现严 重的扭曲现象，图像视觉效果下降比较明显。 丢包误码现象 丢包误码现象则常产生于a t m 或者i n t e m e t 等以包交换为基础的传输网络上。 这种情况下，包的大小和在当前视频序列中的具体位置以及包内数据所采用的编码算 法都会严重影响误码的最终效果m 1 6 】。根据具体情况的不同，当前数据包的丢失有的 可能只影响到当前解码帧的部分空间信息，但更多情况则可能导致连续视频帧信息的 丢失。若丢失的数据包比较小，丢包的影响可以局限在当前有限区域内，使用空间或 空间时间混合的误码掩盖方法可以达到较好的恢复效果；若丢失的数据包很大，或者 信道有连续的突发丢包现象，则解码端只能选择当前显示帧的冻结功能，或者使用可 能的帧间内插算法来保持原有的帧率。 视频预测编码系统的本质导致了误码在空间和时间轴上的扩散现象( 1 7 ，1 8 lo 宏块出 错不仅影响到它本身，更重要是直接影响到基于它作运动估计的宏块。如果反馈信道 存在，视频编码器能够根据解码端提供的误码扩散估计信息，采取相应措施避免误码 进一步扩散；如果编码器不能得到解码端的有关信息，则编解码器很难对随机或者时 变误码现象采取有效的措施，即便接收到的数据本身是没有错误，误码也将继续扩散 下去。所以，如何提高面向视频流传输的鲁棒性，尽量减少解码端的误码扩散现象， 是抗误码算法的重点。同时，为改善受损图像的视觉感受，在解码端采取一定的错误 隐藏算法也是十分必要的。本课题对h 2 6 4 编解码器进行深入研究，旨在寻求行之有 效的容镨技术策略。 1 3 视频流典型的抗误码应用环境 1 3 1 i n t e r n e t 实时多媒体传输系统 基于i n t e m e t 的多媒体通信系统是现在最受关注的一个抗误码应用领域，它的带 宽范围很广，通常从l o 到3 0 0 0 k b i t s 左右，适合多科t 不同标准的视频流传输。这种 系统通常遵循两个标准：( i ) 面向i n t e m e t 信道的传输标准r t p u d p i p 旧】；( 2 ) 面 向包交换信道的多媒体系统标准h 3 2 3 2 0 1 。 上海大学硕上学位论文绪论 面向i n t e r n e t 信道的传输标准r t p u d p i p 1 网络层协议：网络层协议提供一些最基本的网络服务，如寻址等。p 协议是 一个应用最广泛的网络协议，各种局域网，互联网，甚至很多无线网络都基于p 协 议。 2 传输层协议：传输层协议为流媒体应用提供端到端的传输控制，包括 u d p t c p ，r t p 以及r t c p 等。u d p 和t c p 是同一级协议，它们一般建立于p 协 议之上，为更高层协议服务。r t p ( 实时传输协议) 和r t c p ( 实时传输控制协议) 是建立在u d p t c p 之上为流媒体应用提供实时的管理和控制。 u d p 和t c p 协议提供流的复用，错误控制和流的控制等功能。u d p t c p 能够 将运行在同一机器上不同应用的具有同一个i p 地址的流复用成一个流。同时，它能 够用检查校验和的办法来检测比特错误。当u d p 发现某个数据报出现错误，它放弃 这个包，导致上层( 如r t p ) 将不会收到这个损坏的包。在网络质量令人不十分满意 的环境下，u d p 协议数据包丢失会比较严重，但是由于u d p 的特性：它不属于连接 型协议，因而具有资源消耗小，处理速度快的优点。而对于t c p ，它会要求发送端重 传该数据报以恢复数据，因此t c p 提供一个可靠的传输，但却引入了较大的延时。 因为流媒体需要实时通信，允许偶尔丢失一两个数据包，所以一般都采用了u d p ， 而将所有的错误控制放在了更高层，如r t p 或者应用层。 实时传输协议r t p ( r e a l t i m e t r a n s p o r tp r o t o c 0 1 ) 协议是专为实时应用而设计的 端到端的传输级协议。r 1 p 被定义为在一对一或一对多的传输情况下工作，其目的是 提供时间信息和实现流同步。r t p 通常使用u d p 来传输数据，但r t p 也可以在t c p 或a t m 等其他协议之上工作。但应用程序开始的一个r t p 会话时间将使用两个端口： 一个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传输数据包提供可靠的传送机 制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务。通常r t p 算法并 不作为一个独立的网络层来实现，而是作为应用程序代码的一部分。它提供媒体流的 时戳信息以使不同流可能获得同步( 当然也需要应用层来实现) ，同时r t p 数据报插 入了包的序列号，在接受端才能根据包的序列号来重新生成连续的码流。另外，r t p 包头里有负载类型信息，接受端可以根据负载类型信息做相应处理，如负载类型为 h 2 6 4 ，就将负载数据交给h 2 6 4 解码器处理。 实时传输控制协议r t c p ( r e a l - t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 和r t p 一起提 上海大学硕士学位论文 供流量控制和拥塞控制服务。在一个r t p 会晤里，会晤参与者经常周期性的发送r t c p 报告包以提供一些信道信息，r t c p 一个主要的功能就是提供q o s 反馈，r t c p 给数 据发送方提供关于数据分发质量的信息，发送方可以根据这个信息来动态调整发送数 据的比特率，这些信息通常包括丢包率，以及丢包总数，数据报的抖动等等。r t p 和r t c p 配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特 别适合传送网上的实时数据。 多媒体系统标准h 3 2 3 h 3 2 3 为现有的分组网络p b n ( 如p 网络) 提供了多媒体通信标准。和其它的 口技术如资源预留协议r s v p 相结合，实现口网络的多媒体通信。同时h ，3 2 3 可提 供p b n 与别的网络之间进行多媒体通信的互连互通标准。 h 3 2 3 协议规定，音频和视频分组必须被封装在实时协议r t p 中，并通过发送端 和接收端的一个u d p 的s o c k e t 对来进行承载。而实时控制协议r t c p 用来评估会话 和连接质量，以及在通信方之间提供反馈信息。相应的数据及其支持性的分组可以通 过t c p 或u d p 进行操作。 这几个标准的规范下，可将传输环境表述为：传输媒介基于数据包结构；每个数 据包的大小为1 5 0 0 字节左右，其中包括几十个字节的包头；信道对于数据包内部无 误码，在数据包层上根据网络的拥挤情况可能有o 一3 左右的丢包现象；同时利用 r t c p 的信息反馈机制，发送端能够在几秒内获得信道丢包率统计；接收端，包丢失 量能够简单地根据当前r t p 头的序列来获得。 1 3 2 基于h 3 2 4 1 - 1 2 2 3 的无线网络多媒体传输系统2 1 , 2 2 】 面向无线信道的多媒体是当前抗误码研究的又一热点。在1 0 3 0 0 k b i f f s 的典型传 输带宽上，几乎所有的无线信道由于受天线信道传输和衰落的影响，都表现出较为严 重的比特误码现象。相关研究表明，无线信道通常的突发误码长度在1 6 比特上下， 平均比特误码率在l o 3 到1 0 巧之间。因此，无线多媒体通常必须采用较为复杂的抗 误码算法来有效降低比特误码的影响。 通常无线多媒体系统采用面向比特误码信道的h 2 2 3 协议( 无线信道扩充) 作为传 输复用的标准。在h 2 2 3 防议下，编码端可以利用复用层的抗误码保护能力在相应 的码流冗余度上提供合适的传输质量。但h2 2 3 并没有提供增强传输流质量的能力， 6 i 海大学硕上学位论文绪论 因而视频编解码器本身必须要有能力对付信道中的比特误码现象。而且在信道出现误 码的情况下，若比特误码导致h ，2 2 3 复用层出错，当前的数据包将整体丢失，基于 i - ，2 2 3 无线信道传输的视频流将面对丢包错误。当然可以选择合适的i - t 2 2 3 抗误码层， 使这种复用层错误几乎不可见，同时h 2 2 3 采用的c r c 检错技术也使得视频编解码 器有能力获得当前数据包比特误码的相关检测信息【2 4 】。 1 4 课题研究的内容 视频压缩编码是多媒体和通信技术发展的必然产物，实际应用过程中又产生新的 要求，从而引起更深入研究。本文从应用的角度出发，对基于h 2 6 4 标准的抗误码技 术进行研究、分析和改进。 本文主要内容与章节安排： 第一章总结现有视频编码标准，分析视频流抗误码的必要性和各种误码的具体特 征，并介绍了典型的抗误码应用环境。 第二章介绍和总结了h 2 6 4 视频压缩标准采用的各种先进算法；并通过对比试验， 验证了算法的先进性。 第三章分析h 2 6 4 网络层和编码层抗误码研究的现状；测试和评估了h 2 6 4 的抗误 码性能。在此基础上，实现了基于灵活宏块排序( f m o ) 功能的编解码器 系统；并通过仿真实验证明灵活宏块排序为h 2 6 4 误码扩散问题提供了较好 的解决方案，增强了系统的抗错性。 第四章总结了现有的错误隐藏算法，在分析h 2 6 4 现有的错误隐藏技术基础上，结 合h 2 6 4 的特点提出基于加权边缘匹配的错误隐藏算法，进一步提高了 h2 6 4 解码器的纠错性能。 第五章总结本文的工作，指出进一步的研究方向。 上海大学硕十学位论文低码率视频堆缩标准h2 6 4 综述 第二章低码率视频压缩标准h 2 6 4 综述 近些年来，随着网络技术和无线通讯技术的发展，通过i n t e m e t 网和在无线信道 中实时的传输图像已经成为目前图像通讯领域中的研究热点问题，各种不同的视频流 应用环境对图像的压缩和传输也提出了更高的要求；而一些成熟视频压缩算法，如 l 2 6 1 h 2 6 3 和m p e g 一1 m p e g 2 ，尽管提出了各种不同的改进方法和专门选项，但由 于受核心压缩技术和基本语法的约束，在新型应用环境下日益暴露出语法结构复杂和 压缩编码效率低下的缺点。 针对此问题，从19 9 9 年起，i t u t 组织就开始研究一种新的视频编码方案 h 2 6 l t 2 5 1 。u - t 的目标是要在实现更简洁、灵活的语法结构和算法的基础上，保证 相同的视频质量的条件下，压缩效率能比m p e g 一4 提高5 0 左右，并且能面向不同应 用环境提供灵活的网络接口。经过近三年的发展，h 2 6 l 无论是在低码率视频压缩效 率、显示清晰度、抗误码性和网络接入等性能上都有巨大的提高。2 0 0 2 年，负责该 项目研究的v i d e oc o d i n ge x p e l sg r o u p ( v c e g ) 宣布， l 2 6 l 在2 0 0 2 年成为新一代的 视频压缩标准，并和i s o 组织一起把这一种新的视频技术发展成m p e g 4p a r t1 0 ， 作为s i m p l e m a i np r o f i l e 的核心部分，称为h 2 6 4 a v c 。 作为新一代的视频压缩算法， l 2 6 4 吸收了以往各种编码方案如m p e g 4 和 h 2 6 3 + + 的优点，并在语法结构、编码预测算法和数据变换输出方式等方面进行了很 大改进，主要包括帧内空间预测、基于多参考帧的高精度帧间运动预测以及独特的变 换编码和比特输出模式等。 2 1 帧内宏块空间预测 h 2 6 4 标准第一次采用了基于空间像素预测技术的帧内编码技术。在标准中对i 帧 进行编码h 、j ，考虑单个视频图像中的规则物体和规则背景的表面物理特性之间的相关 性( 即存在空间冗余度) ，提出了“帧内变换编码+ 帧内预测编码”的模式，把动态 图像预测编码与静态图像预测编码有机地结合起来，进一步提高帧内编码的压缩效 率。h 2 6 4 中的帧内预测编码原理的框图如下。 上海大学硕士学位论文低码率视频压缩标准h2 6 4 综述 图2 1h 2 6 4 帧内预测编码结构图 f i g 2 1b l o c kd i a g r a mo f i n t r ap r e d i c t i o ni nh 2 6 4 h 2 6 4 标准对当前宏块内的像素亮度采用了基于4 x 4 像素分块预测和1 6 x 1 6 像素 分块预测算法：对像素色度采用了基于8 x 8 分块邻区域线性预测算法。h 2 6 4 中采用 的典型4 x 4 分块帧内空间预铡如图2 2 所示，图中a i 是已知的相邻像素分块值，a p 是当前4 x 4 分块待预测的像素值。为最大限度提高线性预测效果，h 2 6 4 为4 x 4 像素 分块提供了九种不同角度的帧内预测方式，其中方式0 为d c 系数预测( 即当前块内 a 一1 的值取a p 的均值) 。同时为利用宏块内各个4 x 4 分块的帧内预测信息有很高的相 关性，h 2 6 4 对相邻4 x 4 分块的帧内预测编码信息进行了块间的预测编码，进一步提 高了帧内编码部分的压缩效率。 6 e fgh 图22h2 6 4 的4 x 4 分块帧内预测模式 f i g 2 2t h e 4 x 4l u m ai n t r ab l o c k p r e d i c t i o no f i t2 6 4 帧内宏块4 x 4 分块像素预测方式非常适用于图像的物理细节丰富区域，但对于变 化平坦的背景区域而言，这种预测模式在较低码率下极易出现分块边缘突出的现象， 所以h 2 6 4 提出了面向1 6 x 1 6 像素分块的帧内预测方式，并根据预测算法的不同分为 上海火学硕士学位论文低码率视频压缩标准h2 6 4 综述 垂直( v ) 、水平( h ) 、d c 和平面预测四种。1 6 1 6 预测模式对平坦区域能起到很好 的帧内预测效果。 h 2 6 4 对色度信息帧内预测只有一种：对当前4 ：2 ：0 格式编码宏块的8 8 的色度 块，首先把它分割成了4 个4 x 4 的子块a 、b 、c 、d ，然后根据空问位置的不同，分 别利用相邻4 像素点s 。，s 。，s ：，s ，的色度和来做预测。如图2 4 所示。 图2 31 6 x 1 6 亮度块帧内预测模式 f i g 2 3t h e1 6 x 1 6 l u m i n a n c ei n t r ap r e d i c t i o n s os 1 s 2 ab s 3c d 图2 48 8 色度块帧内预测模式 f i g 24t h e8 x 8c h r o m ai n t r ap r e d i c t i o n 2 。2 基于多参考帧的高精度帧间运动预测 帧间预测编码作为一种非常有效的压缩方法，在每个视频压缩标准中都得到了广 泛的应用。h 2 6 4 为达到更佳的视频压缩效果，在运动预测上采用了更多的先进技术： 基于宏块单元的多参考帧运动预测、基于不同分块的最佳运动估计和基于l 4 像素的 高精度运动匹配。 abc 123 d4e5f abc 6d7e8 f g h ghi 图2 5 基于l 4 像素的高精度运动匹配 f i g25 1 4p i x e la c c u r a c ym o t i o ne s t i m a t i o n 三维运动矢量的概念最初由h 2 6 3 + + 在a n n e xu 增强参考帧选项上正式引入图像 压缩标准，h 2 6 4 继承了三维运动矢量预0 n , 4 的优点，使视频编码在运动预测时能将参 考范围追溯到更多的前面帧上的数据( 允许的最大参考帧数目为5 ) ，从而可能在三 维空间上为各编码宏块找到最佳参考帧。h 2 6 4 基于宏块单元的多参考帧能够在1 定 程度上提高视频流编码的效率，特别对于画面中物体运动有周期现象时，压缩效率能 上海大学硕上学位论文低码率视频压缩标准h2 6 4 综述 大大提高。 1 6 1 61 6 88 1 68 8 她洲”口目田田 8 8 一m o d e s 8 88 44 84 4 口目田田 图2 6h 2 6 4 的宏块模式 f i g 2 6m a c r o b l o e km o d e li nh 2 6 4 在h 2 6 3 和m p e g 一4 等压缩算法中，视频编码器只能提供1 6 x 1 6 和8 x 8 运动矢量 两种分块方案，空间分块划分方式的缺乏使得运动估计通常留下过多的残值系数。 h 2 6 4 在这方面作了改进，允许当前宏块按像素大小分为1 6 x 1 6 、8 x 1 6 、1 6 x 8 、8 x 8 、 4 x 8 、8 x 4 、4 x 4 七种不同的运动估计分块，如图2 6 所示( 这样宏块可能包括了1 、2 、 4 、8 、1 6 个运动矢量) ，并且通过一定的规则在这所有的划分匹配方案中选取最佳方 案和最佳匹配点，极大地避免了大分块运动矢量导致的大匹配残值，有效提高了预测 编码效率。 帧问运动匹配的精度极大地影响到视频序列的压缩效率和恢复质量，如h 2 6 3 的 半像素精度运动估计的匹配效果就要远好于h 2 6 1 整像素匹配。高精度的运动匹配极 大地提高了运动预测的效率，降低了运动预测残值，明显提高了图像的显示质量。和 h 2 6 3 中1 2 像素内插值仅基于邻域的4 像素值不同，h 2 6 4 充分考虑到了局部像素间 的空间相关性，使用6 级线性加权滤波器的1 2 像素内插。对1 4 像素位置则采用和 h ，2 6 3 相似的4 邻域像素线性内插。同时，为适应1 4 像素精度运动匹配的需要，h 2 6 4 提出了一种“螺旋”型的运动搜索路径，能够在步长不大的前提下，较快地找到最佳 匹配点。 2 3 基于整数d c t 和不对称量化反量化的变换 在h 2 6 3 和m p e g 一2 中，亮度d c t 变换是在8 8 分块上采用浮点运算的方式来 实现的，浮点d c t 变换不但计算量很大，而且由于计算机浮点运算的特殊结构，导 r 海大学硕上学位论文 低码率视频压缩标准h2 6 4 综述 致系数在d c t 和i d c t 变换后会出现细微的偏差( 即编码噪声) ，从而影响到解码端 图像的精确重建。 l 2 6 4 标准第一次采用了基于4 x 4 分块的整数d c t 变换。变换分 块的缩小为d c t 算法提供了更好的变换效果；而整数运算算法简单明了，易于实现， 显著简化了运算要求，同时避免了常规d c t 变换的编码噪声，减小了方块效应。同 时h 2 6 4 考虑到人眼对色度信息低频部分的高度敏感性。对1 6 x 1 6 宏块内的4 个8 x 8 分块的色度直流分量采用了二次正交对称变换【2 6 】。为进一步减少计算量，h 2 6 4 将 d c t 变换中需要进行的尺度转换结合到了量化过程中，采用了整数不对称量化反量 化的策略，从而杜绝了量化反量化过程中的误差噪声。同时h 2 6 4 参照h 2 6 3a n n e x t 对亮度系数和色度系数采用了不同的量化级别，从而进一步减小了色度失真【”1 。 在t 6 x 1 6 帧内模式下，对1 6 x 1 6 亮度块进行4 x 4 变换后，要将1 6 个d c 系数提取 出来再进行一次4 x 4 整数变换。如图2 7 所示。 ( 4 x 4 ) d ct r a n s f o m l 图2 7 亮度d c 系数附加4 4 变换 f i g 2 7a d d i t i o n a l ( 4 4 ) t r a n s f o r mf o rl u m i n a n c ed c c o e f f i c i e n t 对于色度块经过4 x 4 变换后得到的d c 系数，也再进行2 x 2 的整数变换。如图 2 8 所示。 ( 2 2 ) t r a n s f o n n m b 图28 色度d c 系数附加2 2 变换 f i g 2 8a d d i t i o n a l ( 2 2 ) t r a n s f o r mf o rc h r o m ad c c 0 8 髓c i e n t r 海大学硕士学位论文低码率视频压缩标准h2 6 4 综述 正由于采用了上面的这些变换和量化技术，h 2 6 4 编码和解码端能实现完全相同 的变换反变换步骤，从而完全避免了h 2 6 3 在编码和解码端的数据不匹配情况，明显 减少了运动边界的编码噪声。 2 4 面向最佳压缩的行程编码和可变长编码 1 面向最佳压缩的行程编码 m p e g 4 中对量化后的d c t 系数采用三维的行程编码( l a s t ，r u n ，l e v e l ) ， 使用专门的l a s t 标志来判断扫描是否结束。这种编码方式在非零系数较多的情况下 有它的优点，但当压缩比较高时码元分布将不符合实际的概率分布特点。所以h 2 6 4 在行程编码上采用了基于( r u n ，l e v e l ) 和e o b 结束标志的两维行程编码，实践 证明这种编码模式在分块较小时，能够更好的符合v l c 的分布特点【2 6 ，2 ”。特别是在 高压缩环境下，各个分块中的非零d c t 系数很少，这种两维行程编码比三维行程编 码模式更适合实际的码元分布。 2 u v l c 在m p e g 4 中，每个语法部分的参数都根据它的特定概率分布而使用独立的v l c 编解码码表；这样虽然优化了编码压缩效率，但编解码器实现复杂，误码恢复也变得 比较困难。而在h 2 6 4 中，所有编码信息最后都使用特定的通用v l c 码表( u v l c ) 。 由于整个比特输出都基于u v l c ，且这种v l c 编解码的具体操作都基于整数运算，所 以h 2 6 4 的比特输出模式较m p e g 4 中有明显的优势。为了实现这种简洁u v l c 比 特输出；h 2 6 4 根据编码的语法结构和参数分布，提出一个统一的v l c 码表索引，避 免了m p e g 一4 中复杂的多个v l c 码表编解码查询。 通用可变长码表如表2 1 所示，u v l c 码字k x 3 ，x 2 x o ( x 。= 0 或1 ) 中n 的值由码 长l 整除2 得到。如果码长l 和r l 值已知，那么规则的码表结构使得构造码字显得非常容 易，同样，在解码端读取码字也很容易，对于每个被编码的符号，它和码字之问存在 着一定的变换规则。 上海大学硕士学位论文 低码率视频压缩标准h2 6 4 综述 表2 1 通用可变长码袁 n码字 o o l 0 1 1 0 0 0 1 0 0 0 1 1 0 l