（通信与信息系统专业论文）无线环境中的h264avc差错控制研究.pdf

7 向人学蛳f 学位沱文 摘要 随着第三代移动通信的实现和i p 网络的迅速发展，视频通信正逐步成为通 信的的主要业务，因此对视频流的压缩和传输也提出了更高的要求。h2 6 4 a v c 是圈际电联i t u t 和i s o m p e g 的联合视频小组j v t 在先进视频编码基础j ? 建立 的最新国际标准，它具有高效的视频压缩效率、友好的网络接口、鲁棒的视频 传输和控制机制以及适合于不同网络的传输协议，可适应高图象质量和低码率 应用的需求，具有广阔的应用前景。 压缩的视频编码容易受到误码的影响，特别是采用高压缩率的预测编码， 会导致误码在时空上的累积。h 2 6 4 a v c 采用了多种匹配模式的帧内预测，基 于多参考帧的高精度帧间预测和统一的可变长编码，使得视频通信的抗误码研 究具有更大的挑战性本文在对h 2 6 4 a v c 视频压缩标准进行深入分析后，着 重研究无线移动环境下h 2 6 4 a v c 传输的差错控制方法，旨在从编码端，信道或 解码端寻求有效的联合抗误码算法。 无线信道或移动信道中，多径传播会导致突发误码。视频抗误码可以在视频 编码、传输、解码恢复的不通环节采用相应的抗误码措施，以及多个环节综合的 抗误码技术。本文在分析h 2 6 4 视频编码算法和抗误码措施的基础上，对不同重 要级别的语法元素的采用不均等信道编码保护，以提高无线环境下视频传输的鲁 棒性。 仅仅基于解码器的误码掩盖的方法不会增加传输的比特率，特别适合于低 码率实时无线视频通信，它是对已发生错误的一种弥补，是一类比较独立的、 对改进误码图像的观赏质量有很大作用的、简单易行的方法。本文在分析 h 2 6 4 a v c 现有的误码掩盖技术基础上，提出了基于均值的多参帧时域误码掩 盖方法，进一步提高了h2 6 4 a v c 解码器的纠错性能 本文受国家自然科学基金重点项目( 6 0 3 3 2 0 3 0 ) 的资助。 关键词：h 2 6 4 a v c ，错误恢复，不均等保护，误码掩盖 v 每人学i 学位论史 a b s t r a c t d u et ot h er a p i dg r o w t ho fw i r e l e s sc o m m u n i c a t i o na n di pn e t w o r k t h ev i d e o t r a n s m i s s i o nb e c o m e st h em a j o ra p p l i c a t i o ni nt h ef i e l do fc o m m u n i c a t i o n v i d e o t r a n s m i s s i o ni nw i r e l e s se n v i r o n m e n t si sa c h a l l e n g i n gt a s kc a l l i n g f o r h i g h c o m p r e s s i o ne f f i c i e n c ya sw e l la san e t w o r kf r i e n d l yd e s i g n h 2 6 4 a v ci st h em o s t a d v a n c e dv i d e oc o d i n gs t a n d a r dp r o p o s e db yj v t ( i t u t & m p e g ) i tg a i n st h e e x p e r i e n c e sf r o mt h ef o r m e rv i d e oc o d i n gs t a n d a r d sa n dh a sd e v e l o p e da1 0 to fn e w m e t h o d sa n ds t r a t e g i e ss u c ha st h eh i g hc o m p r e s s e dp e r f o r m a n c e ，r o b u s tt r a n s m i s s i o n a n dn e t w o r kf i l e n d l yi n t e r f a c e t h ei n h e r e n tn a t u r eo fv i d e op r e d i c t i o nc o d i n gs y s t e mm a k e se r r o r - p r o p a g a t i o n p r o b a b l yo c c u ri nt h es p a t i a la n dt e m p o r a ld o m a i n h 2 6 4 a v ch a sa d o p t e dal o to f a d v a n c e dp r e d i c t i o nm e t h o d sa n db r i n gn e wc h a l l e n g e sf o re r r o rc o n t r 0 1 b a s e do nt h e a n a l y s i so fh 2 6 4 a v cv i d e oc o d i n ga n dr o b u s t n e s s t h ep a p e rt r yt of i n do u ta n e f f e c t i v es t r a t e g yf o rr e s i l i e n c ei nt h ew i r e l e s se n v i r o n m e n t t h em o b i l ee n v i r o n m e n ti sc h a r a c t e r i z e db yh a r s ht r a n s m i s s i o nc o n d i t i o n sl n t e r m so f f a d i n g a n dm u l t i u s e ri n t e r f e r e n c e w h i c hr e s u l t s i nt i m e a n d l o c a t i o n v a r y i n gc h a n n e lc o n d i t i o n s t h er e s e a r c he m p h a s i sf o re r r o r - p r o p a g a t i o n a l g o r i t h mi sh o wt oi n c r e a s et h er o b u s t n e s so fv i d e os t r e a m i n gt r a n s m i s s i o n a n d r e d u c et h ee r r o r p r o p a g a t i o na tt h ed e c o d e r g r o u n d i n go nt h ea c r o s s t h e a b o a r d i n t r o d u c t i o no ft h ev i d e oc o m p r e s s i o na l g o r i t h ml - i 2 6 4 a v c ，t h i sp a p e ra n a l y z e dt h e p r e s e n t r e s e a r c hs t a t ej ne r r o rr e s i l i e n c ea n di m p r o v e dr o b u s t n e s so fv i d e o t r a n s m i s s i o nb a s e do nu e p f u n e q u a le r r o rp r o t e c t i o n ) m e t h o d b e s i d e s w ea n a l y z es o m ee r r o rc o n c e a l m e n tm e t h o d si nt h ed e c o d e ro f h 。2 6 4 斟ca n d p r o p o s e an e wm e t h o do fe r 】t o rc o n c e a l m e n tb a s e do nt h e m u l t i p l e r e f e r e n c e t h er e s u l ts h o w s t h a tc a p a b i l i t yo fe r r o r - c o r r e c t i o ni nl 2 6 4 a v c d e c o d e ri si m p r o v e d t h i sw o r ki ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o n ( 6 0 3 3 2 0 3 0 1 k e y w o r d s ：h 2 6 4 t a v c ，e r r o rr e s i l i e n c e , u e p , e r r o rc o n c e a l m e n t v 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：奄 本论文使用授权说明 日期丝竺墨 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留论文及送 交论文复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：莲l 导师签名：i 至互! 旦塑日期：2 竺墨三i 上 第一章绪论 i 1 引言 随着v l s i 、计算机和通信技术的迅猛发展，数字化技术越来越深刻地影响 着人们的日常生活。人们对信息的需求已不局限于传统的电报电话业务，甚至 连文件传输、电子邮件等数据业务也已不能满足人们多样化的需求，人们期望 的是更高品质的集视频、图像、声音、文字为一体的多媒多媒体体应用服务。 数字化多媒体信息，特别是图像数据和视频数据，在满足人们需求的同时， 对数据传输带宽、数据存储容量等提出了更高的要求。目前正蓬勃发展的第三 代( 3 g ) 无线通信系统以提供高速接入和多媒体服务为特征，高速的接入宽带 为无线网络多媒体服务提供了物理上的保护，使无线通信与多媒体通信的结合 成为可能。无线多媒体信息的传输正日益成为人们的需要。 然而，无线信道由于多径衰落和信道带宽限制等原因，视频压缩数据经过 信道传输后，图像恢复质量急剧下降。因此，如何在无线高误码环境下，有效 保证解码端恢复视频的质量，成为目前视频通信急需解决的关键技术之一。 1 2 视频压缩技术的现状 从2 0 世纪4 0 年代末开始，图像编码技术已经走过了半个多世纪的发展历 程。从5 0 6 0 年代基本方法的探讨，到7 0 年代早期可视电话的研究，使得这 一领域有了长足的进展，许多基本的思想和方法都相继提出。到8 0 年代前后， 顺应信息化的大趋势，面向各种应用的开发研究大力开展起来。进入9 0 年代以 后，一系列国际视频压缩编码标准的制定极大地促进了视频压缩编码技术和多 媒体通信技术的发展。视频压缩编码标准的制定工作主要是由国际标准化组织 ( i s o ) 和国际电信联盟( i t u ) 完成的。由i t u 组织制定的标准主要是针对实 时视频通信的运用，如视频会议和可视电话等，它们以h 2 6 x 1 l 2 1 3 1 4 1 命名， 包括h2 6 1 、h 2 6 3 和h 2 6 l ；而由i s o 和i e c ( 国际电工委员会) 的共同委员会 中的m p e g 组织制定的标准主要针对视频存储( 如d v d ) 、广播电视和视频流 的网络传输等运用，它们以m p e g x 1 5 1 【6 1 命名f 如m p e g - 1 、m p e g 2 、m p e g 4 和m p e g 7 等1 。 坷凡学顺f 。学位论义 最近，鉴于发展方向的一致性，即在尽可能低的码率( 或存储容量) 下获得 尽u j 能好的图像质量以及如何适应不同信道传输特性，i e o i e c 和i t ut 两大 国际标准化组织联手制定了视频新标准h 2 6 4 来解决这些问题。它以i t u t 的 h 2 6 l 标准为基础，吸收了近几年的最新研究成果，对今后网络视频编码传输 和数字电视领域将带来深远的影响。视频压缩编码标准的发展历程按其制定时 问可以用图1 1 进行描述。 i t u t h 2 6 1h 2 6 3h 2 6 3 +h 2 6 3 十+ s t a l l d a r d s j o i n t h 2 6 2 i t u t m p e g m p e g 2 h 2 6 4 s t a n d a r d s m p e g 聪雏戮 ；蠹。 i 艘e 强i 誉 h ，o e g - 4m p e g 7 s t a n d a r d s 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 u 0 4 图1 1 视频压缩鳊码国际标准发展过程 f i g 1 1p r o g r e s so f v i d e oc o m p r e s s i o nc o d i n gs t a n d a r d s i ，2 6 l 是最早出现的视频编码建议，目的是规范i s d n 网上的会议电视和可 视电话应用中的视频编码技术。它采用的算法结合了可减少时间冗余的帧间预测 和可减少空间冗余的d c t 变换的混合编码方法。年n i s d n 信道相匹配，其输出码 率是p x 6 4 k b i t s 。p 取值较小时，只能传清晰度不太高的图像，适合于面对面 的电视电话；p 取值较大时( 女l l p 6 ) ，可以传输清晰度较好的会议电视图像。 h 2 6 3 建议的是低码率图像压缩标准，在技术上是h 2 6 1 的改进和扩充，支持码 率小于6 4 k b i t s 的应用。但实质上h 2 6 3 以及后来的h 2 6 3 + 矛n h 2 6 3 + _ i v 已发展 成支持全码率应用的建议，支持s u b q c i f 、q c i f 、c i f 、4 c i f 甚至1 6 c i f 等格式。 m p e g 一1 标准的码率为1 2 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 x2 8 8 ) 质量 的图像，是为c d r o m 光盘的视频存储和播放所制定的。m p e g l 标准视频编码部 分的基本算法与h 2 6 l h 2 6 3 相似，也采用运动补偿的帧间预测、二维d c t 、v 【。c 游程编码等措施。此外还引入了帧内帧( i ) 、预测帧( p ) 、双向预测帧( b ) 海人学顺l 学位论文 和直流帧( d ) 等概念，进一步提高了编码效率。在m p e g - l 的基础上，m p e ( ；一2 标准在提高图像分辨率、兼容数字电视等方面做了一些改进，例如它的运动矢量 的精度为半像素；在编码运算中( 如运动估计年u d c t ) 区分“帧”和“场”；引 入了编码的可分级性技术，如空间可分级性、时间可分级性和信噪比可分级性等。 近年推出的m p e 6 4 标准引入了基于视听对象的编码，大大提高了视频通信的交 互能力和编码效率。m p e g 一4 中还采用了一些新的技术，如形状编码、自适应d c t 、 任意形状视频对象编码等。但是m p e g 一4 的基本视频编码器还是属于和h 2 6 3 相 似的一类混合编码器。 总之，h 2 6 1 建议是视频编码的经典之作，h2 6 3 是其发展，并将逐步在实 际上取而代之，主要应用于通信方面。m p e g 系列标准从针对存储媒体的应用发 展到适应传输媒体的应用，其核心视频编码的基本框架是和h 2 6 1 一致的，其中 引人注目的m p e g - 4 的“基于对象的编码”部分由于尚有技术障碍，目前还难以 普遍应用。在此基础上发展起来的新的视频编码建议h 2 6 4 克服了两者的弱点， 在混合编码的框架下引入了新的编码方式，提高了编码效率，面向实际应用。表 l l 给出了各种视频压缩编码标准的特征和运用领域。 1 3 视频传输的抗误码研究的意义 典型的视频通信系统包括5 个步骤【9 】，如图1 2 所示。视频编码器首先对视频 进行压缩以降低码率，压缩比特流随后被分割成固定长度的或可变长度的包，并 与他类型的数据复用。如果网络保证无比特差错差错传输，则可直接把包传送到 网络上。否则，这些数据包一般要经过信道编码，通常使用前向纠错( f e c ) 和交 织，以进行误码保护。在接受端，将接收到的包进行信道解码和解包，得到的比 特率随后输入到视频解码器以重建原始视频。实际上，许多应用系统把打包和信 道编码嵌入在信源编码器作为网络的一个适配层。 图1 2 视频编码传输系统结构框图 f i g 12 t h ef r a m e w o r ko f t y p i c a lw i r e l e s sv i d e oc o m m u n i c a t i o ns y s t e m 袁l l 视频压缩编码国际标准表 标准传输码率图像分辨率( 像素) 主要性能和运用领域 h2 6 1 o 6 4 k b i t s c i f ( 3 5 2 2 8 8 3 0 f f s 、 首次尝试通过数字压缩技术实现数 ( p = 1 - 3 0 ) 1 1 q c i f ( 1 7 6 1 4 4 3 0 f f s 、 字图像实时传输。在n - - i s d n 综合业 务服务网上实时传输多媒体信息 m p e g 11 5 m b i f f s s i f ( 3 6 0 2 8 8 2 5 f s ) v c d 、欧洲的数字声音广播系统 或3 6 0 x 2 4 0 3 0 f s ) ( d a b ) m p e g 一22 1 0 0m b w s 低( 3 5 2 2 8 8 ) 卫星一播系统( b b s ) ，高清晰度电视 中( 7 2 0 4 8 0 ) ( h d t v ) 、视频点播系统( v o d ) 、 次高( 1 4 4 0 1 0 8 0 )数字声音r 播( d a b ) 、d v d 、美国 高 ( 1 9 2 0 1 0 8 0 ) 的h d t v 地面广播，欧洲的d v b 和 d a b 系统和交互式电视 h 2 6 3 1 0 - - 3 8 4 k b v ss u b q c l f ( 1 2 8 9 6 、 主要采用混合编码技术，_ 】= f j 丁二甚低码 q c i f ( 1 7 6 x1 4 4 ) 率多媒体通信系统，包括p s t n 和 c i f 、4 c i f 、1 6 c i f g s t n ( 移动通信无线网络) m p e g 一4 1 0 一3 8 4 k b p s 包括h ，2 6 3 和m p e g 2 的采用基于对象的编码技术，已用于 所有分辨率i n t e r n e 和手机上传输实时图像。 m p e g 一7 任意任意多媒体内容描述接口，运用于任何一 种多媒体传输系统 h 2 6 4 6 0 k b p s 一1 0 0 0 k c i f 、q c i f进一步改善压缩性能，同时提供一网 b p s 络友好界面用于可视电话和多媒体 存储和广播系统等。 传输错误可粗略地分为两类：随机比特错误和删除错误。随机比特错误是由 于物理信道的不完善引起的，它导致比特翻转、插入和删除。随机比特错误的影 响取决于编码方法和受影响的信息内容，从可忽略到不可忍受。当采用固定长度 编码时，随机比特错误将只影响一个码字，引起的损害一般是可以接受的。但如 果采用可变长编码f v l c ，例如哈夫曼编码) ，随机比特错误可能使编码信息失去 同步，从而导致许多后续比特不可解码，直到下一个同步码字出现为止。另一方面， 删除错误可能由包交换网络( 如因特网) 中的包丢失、存储媒体中由于物理缺陷导 致的突发差错，或者短时间的系统故障所引起。v l c 编码流中的随机比特错误也 可引起删除错误，由于单个比特差错可导致许多后续比特不可解码，从而使之不 可用。由于连续的比特段丢失或破坏，删除错误( 包括那些由随机比特错误引起 的删除) 的影响比随机比特错误更具有破坏性。 视频通信中差错控制具有相当的挑战性： l 由于信源编码器使用时间和空间预测编码，压缩的视频流极容易受到传 输差错的破坏。由于使用时间预测，个错误的恢复的样点可能会导致同帧和 后续帧中后续样点发生错误，造成时例上误差的积累，同刚，由于基于运动补偿 的预测在空间上也会，。生误差积累。 2 由于使用v l c ，比特错误的影响等价于删除错误的影响，引起视频帧中 大面积的破坏。一般在基于块的混合编码器中，每一个块组是由重同步标志打头 的，他帮助解码器重新同步。如果在g o b ( 块组) 的中间检测出传输误码，即丢弃 整个g o b 再重新开始解码。图1 3 显示了个出现包丢失时重建帧的典型例子。 在本例中，损坏的g o b 用基于运动补偿的时间内插方法进行恢复。当丢包率不太 高时( 图中丢包率为3 希1 1 5 的情况) ，这种方法在某种程度上可由错误隐藏掩 盖，但当有太多的包丢失时，就会彻底破坏比特流。 图1 3 传输错误下的压缩视频显示 左上：无错误；右上：3 丢包率；左下：5 丢包率；右下：1 0 丢包率 f i g 1 3 e f f e c to f t r a n s m i s s i o ne i t o r st oac o m p r e s s e dv i d e os t r e a mf o ras e l e c t e df r a m e u p p e rl e f t ：n ot r a n s m i s s i o ne r m f su p p e rr i g h t ：3 p a c k e tl o s s l o w e rl e f t ：5 p a c k e tl o s sl o w e rr i g h t ：1 0 p a c k e tl o s s 1 4 论文内容及结构 由上面讨论可知，无线环境对视频编码和传输有特殊的要求。无线视频通 信是个综合系统，它囊括了信息编码理论、视频信号处理、无线通信等领域 的知识，并且随着相关领域技术的不断发展创新，正面临更大的挑战。因此，本 文针对最新一代视频标准h 2 6 4 a v c 视频编码标准在无线环境的运用，对传输 后续帻中后续样点发，_ 【三错误，造成时间上误差的积累，同时，由于基于运动补偿 的预测在空间上也会产生误差积累。 2 由于使用v l c ，比特错误的影响等价于删除错误的影响，引起视频帧中 大面积的破坏。一般在基于块的混合编码器中，每一个块组是由重同步标志打头 的，他帮助解码器重新同步。如果4 tg o b ( 块组) 的中间检测出传输误码，即丢弃 整个g o b 再重新开始解码。图1 - 3 显示了一个出现包丢失时重建帧的典型例子。 在本慨中，损坏的g o b 用基于运动褂偿的时间内插方法进行恢复。当丢包率不太 高时( 图中丢包率为3 和5 的情况) ，这神方法在某种程度上可由错误隐藏掩 盖，但当有太多的包丢失时，就会彻底破坏 b 特流。 图1 3 传输错误下的压缩视频显示 左上无错误；右上：3 丢包率；左下：s 壬包率：右下：1 0 0 丢包率 f i gl3 e f f e c to f t r a n s l m s s i o ne r o r st oac o m p r e s s e dv i d e os t r e a mf o ras e l e c t e df r a m e u p p e rl e f t ：n ot r a n s m i s s i o ne l t o l _ su p p e rr i g h t ：3 p a c k e tl o s s l e w e rl e f t ：5 p a c k e ll o s sl o w e rr i g h t ：1 0 p a c k e tl o s s 14 论文内容及结构 由上面讨论可知，无线环境对视频编码和传输有特殊的要求。无线视频通 信是个综合系统，它囊括了信息编码理论、视频信号处理、无线通信等领域 的知识，并且随着相关领域技术的不断发展刨新，正面临更大的挑战。因此本 文钊对最新一代视频标准h 2 6 4 a v c 视频编码标准在无续环境的运用，对传输 文制财最新一代视频标准h 2 6 4 a v c 视频编码标准在无线环境的运用，对传输 雉j 、学俩l 学世沦文 过程中涉及的误码问题进行了分析和研究，具体内容与章节安排如f ： 第一章介绍当日u 视频编码标准的发展和适合无线通信的视频标准，概括地描 述了无线通信系统的架构和急需解决的问题，并阐述了视频流抗误 码的必要性，为本文的后续研究指明了方向。 第二章分析和总结了h 2 6 4 视频压缩标准的各种先进编码方法，并通过对比 试验，验证了算法的先进性。 第三章总结了误码环境中的差错控制策略和方法。针对h 2 6 4 a v c 视频标 准，在分析了网络层和编码层抗误码的研究现状的基础上，实现了基 于不平等保护措施的编解码器系统。 第四章总结了解码端错误隐藏算法，在分析h 2 6 4 现有的错误隐藏技术基础 上，结合h 2 6 4 的特点提出基于均值的多参考帧误码掩盖技术，进一 步提高了h 2 6 4 解码器的抗误码能力。 第五章对本文的研究作了总结，给出了结论，并指出了进一步的研究方向。 6 第二章h 2 6 4 a v c 编码结构的研究 2 1 引言 h 。2 6 4 a v c 是目前由i t ut 的视频编码专家组( v c e g ) 及i s 0 i e c 的移动图 像专家组( i p e g ) 大力发展研究的适应于低码率传输的新一代视频压缩标准。它 的主要目标是发展一种简单直接的高压缩性能视频编码设计，并针对“会话”服 务( 可视电话) 和“非会话”服务( 视频的存储、广播及流媒体) 提供更加适于网 络传输的方案。1 9 9 5 年，在最后完成了针对视频电话的h 2 6 3 标准的初级版本工 作，困际电讯联合会( i t u t ) 的视频编码专家组( v c e g ) 将未来的工作划分为 长期和短期的两个目标：短期目标对现有的h 2 6 3 不断增加高级选项以扩充其功 能及应用范围：长期目标是针对低比特率的视频通信，发展新一代标准。长期目 标导致了“h 2 6 l ”标准草案的产生，相对于i t u t 的以前标准它取得了更显著 的视频压缩效果。至t 1 2 0 0 1 年，在意识到h 2 6 l 的发展前景后，国际标准化组织 ( i s o ) 的活动图像专家组( b i p e g ) 与i t u t 的v c e g 组成了联合视频专家组( j v t ) ， 共同开展对新标准的研究，最终将h 2 6 l 的草案模型发展成为正式的国际标准它 既是i t u - t 的h 2 6 4 ，又是i s o i e c 的卿e g 一4 的第l o 部分。 h 2 6 4 采用了先进的编码技术，而且对网络传输具有更好的支持功能。它引 入了面向i p 包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体 传输。h 2 6 4 具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中 的视频传输。h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的图像 质量。 本章将专注于无线环境中的h 2 6 4 a v c 编码结构的研究，分析了v c l 层先进 的编码技术，为本文后续的算法和策略的实施提供了良好的理论基础。 2 2h 2 6 4 a v c 视频编码技术分析 h2 6 4 a v c 属于混合视频编码，是种高效的压缩方法。它在发展过程中吸 收了以往各种编码方案的优点，同时也提出了很多先进的编码方法，如先进的帧 内预测技术，基于4 x4 块的整数变换、高精度、多模式的位移估计，更多种的帧 内预测，改进的去块效应滤波、统一的v l c 符号编码，分层的编码语法等。这些 措施使得h 2 6 4 算法具有很的高编码效率，在相同的重建图像质量卜，能够比 h 2 6 3 和船e g 4 节约5 0 左右的码率。h 2 6 4 a v c 的基本编码结构图如图2l 所示。 运动数据 臣2 1h 2 6 4 鳊码和解码结构图 f i g 2 1b a s i cc o d i n gs t r u c t u r ef o rh 2 6 4 a v c 2 2 1 多方向性的帧内预测技术 对i 帧的编码是通过利用空间相关性而非时间相关性实现的。以前的标准只 利用了一个宏块( m a c r o b l o c k ) 内部的相关性，丽忽视了宏块之间的相关性，所 以一般编码后的数据量较大。为了能进一步利用空间相关性，h 2 6 4 引入了帧内 预测编码以提高压缩效率。简单地说，帧内预测编码是用邻近块的像素( 当前块 的左边和上边) 做外推来实现对当前块的预测，预测块和实际块的残差被编码， 以消除空间冗余。尤其是在变化平坦的区域，利用帧内预测可以大大提高编码效 率。 h 2 6 4 标准采用帧内预测模式，对于亮度分量( 1 u m a ) ，块的大小可以在1 6 x 1 6 干d 4 x 4 之间选择，1 6 x 1 6 块有4 种预测模式，4 x 4 块有9 种预测模式，并通过率失真 函数来判决选择其中某种最佳的帧内预测模式【”1 ；其r 辛4 x 4 块预测模式对于图像 细= 声内容比较丰富的区域效果较好。典型4 x 4 分块帧内空间预测如图2 2 所示，图 中a 一0 是已知的相邻像素分块值，a - p 是当前4 4 分块待预测的像素值，其中模式 2 为i ) c 预测其他8 种模式的预测方向如图2 2 所示。 fg h 7 0 5 p o 图2 2h 2 6 4 帧内预测编码结构图 f i g 22b l o c kd i a g r a mo f i n t r ap r e d i c t i o ni nh 2 6 4 而1 6 1 6 块预测模式又分为垂直( v ) 、水平( h ) 、d c 和平面预测四种，如图 2 3 所示。这种预测模式对于图像变化平坦的区域如背景区域效果较好。 由于人眼睛对于色度信号( c h r o m a ) 的敏感度不如对亮度信号，因此j v t 在制定h 2 6 4 a v c 视频标准时，规定亮色采样格式为4 ：2 ：0 ，即对于亮度为 1 6 1 6 的块，相应的色度为8 x 8 块。h 2 6 4 对色度信息帧内预测只有一种：将 8 8 的色度块分割成4 个4 4 子块，然后根据空间位鼍的不同进行预测。图 2 4 给出了色度块的预测模式。一个8 x 8 的色度块由4 个4 又4 的块( a ，b ，c ，d ) 组成，s o 、s 1 、s 2 、s 3 为与被预测色度块相邻的4 个点的色度值的和。a ，b ，c ，d 由s o 、s i 、s 2 、s 3 预测得到。 s os 1 s 2 ab s 3cd 图2 31 6 x 1 6 亮度块帧内预测模式图2 48 x 8 色度块帧内预测模式 f i g 2 3t h e1 6 x1 6l u m i n a n c ei n t r ap r e d i c t i o nf i g2 4t h e8 x 8c 1 1 r o m ai n t r ap r e d i c t i o n 最后，h 2 6 4 a v c 根据差值的绝对值之和( s a d 值) 或最小率失真准则选择 最佳模式，在低运算复杂度下有效消除图像的空间冗余】。 2 2 ，2 精细的帧问运动预测 帧问预测编码利用连续帧中的时间冗余来进行运动估计和补偿。h 2 6 4 的 ，向k 学f j j ! i 学f l 沦t 运动补偿支持以往的视频编码标准中的大部分关键特性，还灵活地增加了许多 新的的功能：采用不刊大小的预测块进行最佳运动估计、采用1 4 ( 甚至1 8 ) 像素精度运动补偿算法和采用基于宏块单元的多参考帧运动预测；除了支持p 帧、b 帧外，h 2 6 4 还支持一种新的流间传送帧s p 帧。码流中包含s p 帧后， 能在有类似内容但有不同码率的码流之间快速切换，同时支持随机接入和快速 回放模式。 f 1 1 不同大小和形状的宏块分割 由于基于块的运动模型假设块内的所有像素都做了相同的平移，在运动比较 剧烈或者运动物体的边缘处这一假设会与实际出入较大，从而导致较大的预测 误差。为此，h ，2 6 4 一共采用了7 种方式对一个1 6 x 1 6 像素宏块进行分割，每 种方式下块的大小和形状都不相同，如图2 5 所示。这就使编码器可以根据图 像的内容搜索与即将编码的原始宏块单元最佳匹配的参考宏块，并根据率失真 理论选择最好的预测模式。这种多模式的灵活、细微的宏块划分，更切合图像 中的实际运动物体的形状；另外，小块模式的运动补偿为运动详细信息的处理 提高了性能，减少了方块效应，提高了图像的质量。与仅使用1 6 x 1 6 块进行预 测相比，使用不同大小和形状的块可以使码率节省1 5 以上。 1 6 1 6 1 6 88 1 68 8 m b - m o d e s 8 8 一m o d e s 口目田田 8 x 88 44 84 4 口目田田 图2 57 种宏块划分模式 f i g 25m a c r o b l o c km o d e li nh 2 6 4 ( 2 ) 高精度的亚像素运动估计算法 在h 2 6 3 中采用的是半像素精度的运动估计“，而在h 2 6 4 中可以采用1 4 或者l 8 像素精度的运动估值。在要求相同精度的情况下，h 2 6 4 使用1 4 或 者1 8 像素精度的运动估计后的残差要比h 2 6 3 采用半像素精度运动估计后的 海人删i 学位论立 残差来得小。这样在相同精度下，h 2 6 4 在帧问编码中所需的码率更小。相对 于整象素预测，运用1 4 象素精度的运动估计，可以节省2 0 的码率。 在i 2 6 4 中t 4 象素亮度插值算法采用了6 阶f i r 滤波器的内插获得t 2 像素位置的值。当1 2 像素值获得后，1 4 像素值可通过线性内插获得。具体算 法如下：图2 6 为1 4 为像素精度预测示意图，a 代表原始的整数位置像素点， 其他符号都是插值点其中b ，c 为i 2 像素位置，d 、e 、f 、g 、h 、i 为1 4 像 素位置，对1 2 像素位置b ，首先通过一个水平或垂直方向的二个整像素值产 生一个中阳j 值b t e m p 。然后除以3 2 舍入取整( 0 到2 5 5 之内) 作为该像素点的 值：对1 2 像素位置c ，首先根据与c 相邻的水平或垂直方向的六个中问值 b t e m p ，通过6 - t a p 过滤器( 1 ，一5 ，2 0 ，2 0 ，一5 ，1 ) ，得到c t e m p ，然后除以10 2 4 ， 舍入取整作为g 的像素点值：对于1 4 像素点( 符号为d ，g ，e ，f ) ，采用与之最近 的相邻的整像素点和1 2 像素点取均值得到，即d = ( a + b ) 2 ，g = ( b + c ) 2 ， e = ( a + b ) 2 ，f = ( b + c ) 2 。对于1 4 像素h ，通过与之相邻的斜线位置上的两t 2 像素点值平均得到；对于i ，采用与之临近的四个整像素点值计算得到， 即i = ( a 1 + a 2 + a 3 + a 4 + 2 ) 4 adbda ehfhe b g c g b ehfie adbda 图2 61 4 像精度内插示意图 f i g 2 61 4p i x e la c c u r a c ym o t i o ne s t i m a t i o n 理论上，如果将运动补偿的精度增加一倍( 例如从整像素精度提高到1 2 像素 精度) ，可有0 5 b it s a m p l e 的编码增益，但实际验证发现在运动矢量精度超 过1 8 像素后，系统基本上就没有明显增益了，因此，在h 2 6 4 中，只采用了 1 4 像素精度的运动矢量模式，而不是采用1 8 像素的精度。 ( 3 ) 多参考帧预测“3 “1 由于自然界物体经常作周期性的运动或平移运动，或在两个不同的场景之间来 吲变换摄像机的镜头，使得不同编码宏块的最佳参考宏块不一定处于同一参考 图像中。为了提高编码效率，很多文献提出了多参考帧的概念。1 t 2 6 4 支持多 参考帧预测，即以多于一个( 最多5 个) 的先前解码帧作为参考帧产1 三对当前 帧的预测。图2 7 给出了当前帧在编码过程中，参考帧搜索到前5 帧的情况。 采用这一技术，可以改善运动估计( t h e ) 的性能，大大提高了对图像传输的容 错性，抑制了错误在空间和时间上的蔓延，但同时也增加了缓存的容量以及编 解码器的复杂性。较之只使用一个参考帧，使用5 个参考帧可以节省码率5 - - 】0 ， f 5f 4f 一3f 一2f 】 参考帧 当前帧 图2 7 多参考帧运动预测 f i g 2 7 m u l t i f l a l n em o t i o np r e d i c t i o n 2 2 3 整数变换及量化过程 通过帧间编码后，视频流主要由残差变换系数和运动矢量组成。残差内仍 然含有空间冗余，为了消除这种冗余，通常采用变换编码，即变换量化一 一熵编码三步。变换并不压缩数据，它只是消除数据中的相关性，或者说将数 据中的冗余( 或相关性) 以一种便于随后进行熵编码的方式表现出来。压缩是 在量化和熵编码步骤中完成的。此外为了进一步减少数据量，编码器还对变换 后的系数进行量化，它的实质是减少数据的取值范围以减少每一个符号的熵。 它会造成信息的损失，是有损编码的一个重要步骤，它也是控制图像率失真 ( r - d ) 特性的一个主要手段。在h 2 6 4 中，变换与量化两个步骤紧密相连。 在i t 2 6 3 和m p e g 一2 中，钱差的编码是基于8 8 分块的浮点d c i 、变换，这 种变换不但计算量很大，而且由于计算机浮点运算的特殊结构，变换系数在d c t 和j d c t 变换后会出现舍入偏差( 即编码噪声) ，从而影响解码端图像的精确重 2 建。 f 2 6 4 与先d 口的标准相似，对残差采用基于块的变换编码，但变换是整数 操作而不是实数运算，即采用了基于4 4 分块的整数d c t 变换。这种方法的优 点在于：在编码器中和解码器中允许精度相同的变换和反变换，避免了常规d c i 变换的编码噪声；而接数运算算法简单明了，易于实现，同时可以根据处理器 的结构将变换过程中的乘法操作简化为移位操作，大大降低了运算复杂度”“； 由于用于变换块的尺寸缩小，运动物体的划分更精确，这样，不但变换计算量 比较小，而且在运动物体边缘处的衔接误差也大为减小，减小了方块效应。 为了使小尺寸块的变换方式对图像中较大面积的平滑区域不产生块之间的 灰度差异，同时为了更大程度地利用空间冗余，对于i n t r a1 6 1 6 帧内预测模 式，h 2 6 4 在对1 6 1 6 的亮度分量的1 6 个4 4 块进行d c t 变换后，将每个4 4 块的d c 系数( 还没有经过量化) 提取出来，组成一个4 x 4 的亮度d c 块，对其 再进行4 4 的哈达玛( h a d a m a r d ) 变换。如图2 8 所示；同样，对8 x 8 色度 分量的4 个4 4 块进行d c t 变换后，也将每个4 x 4 块的d c 系数提取出来，组 成一个2 2 的c h r o m ad c 块，对其进行2 2 的h a d a m a r d 变换，如图2 9 所示。 图28 亮度d c 系数附加4 4 变换 f i g 2 8a d d i t i o n a l ( 4 x 4 ) t r a n s f o r mf o r l u r n i n a n c ed cc o e f f i c i e n t mp ( 4 x 4 ) = t r a n 姗 一= = 7 田 l l j l u m ad ( 、t o e f f 图2 9 色度d c 系数附加2 2 变换 f i g 2 9a d d i t i o n a l ( 2 x 2 ) t r a n s f o r mf o rc h r o m ad c t o e m c i e n t h2 6 4 为了提高码率控制的能力，对变换残差系数的量化使用了5 2 级步长 的量化器，而h 2 6 3 标准只有3 l 级”1 ，量化步长以1 2 5 递增。量化步长范围的 扩大使得编码器能够更灵活、精确地进行控制，在比特率和图像质量之间达到折 中。变换系数幅度的归一化被放在反量化过程中处理以减少计算的复杂性。为了 强调彩色的逼真性，对色度系数采用了较小量化步长。 由于h 2 6 4 a v c 采用多种宏块编码模式，如果对每个分区的运动矢量进行编 码，就会产生大量的数据，尤其是在选择了较小的分块尺