（信号与信息处理专业论文）h264avc编码算法改进及其dsp设计和优化.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 h 2 6 4 a v c 是i t u 和i s o 最新的视频标准，与现有的视频标准相比， h 2 6 4 a v c 编码器能在保持相同图像质量的情况下节省大约5 0 的码率。由 于其良好的压缩效率和网络适应性，h 2 6 4 a v c 将在视频电话，数字电视广 播，视频流媒体服务，压缩视频存储等领域得到广泛的应用。相对之前的标 准，h 2 6 4 采用众多新技术，这些技术能有效地提高编码器的压缩性能，但 是也大大地增加了运算复杂度。因此，如何降低运算复杂度，提高编码速度 是实现实时编码器的关键。 数字媒体处理器是一种针对音视频的d s p ，专用于实现音视频等多媒体 数据处理，其处理器结构经过了特别的优化设计，且提供了丰富的多媒体处 理指令集。b l a c k f i n5 3 3 ( 简称b f 5 3 3 ) 是a d i 公司b l a c k f i n 系列中一款高 性能视频处理芯片，其主频最高能达6 0 0 z ，具有大量针对视频的专用指令， 可以并行处理多条指令，所以b l a c k f i n5 3 3 是目前实现视频应用系统的理想 平台之一。 本文对h 2 6 4 a v c 标准算法进行了研究，提出了一种帧间宏块编码模式的 快速选择算法，并在b l a c k f i n 5 3 3 平台上对p 帧进行了优化。主要工作包括： ( 1 ) 简单介绍了各种视频编码标准，u 2 6 4 a v c 的制定背景以及技术特 点。 ： ( 2 ) 从提高编码速度的角度出发，对h 2 6 4 a v c 编码器中耗时多的模式选 择算法进行改进，利用宏块编码类型在空间上的相关性，对当前编码宏块的 编码模式进行快速选择，在获得与算法改进前相当的图像质量，信噪比和比 特率的情况下，编码速度提高了2 0 9 6 3 0 。 ( 3 ) 设计了编码器的运行平台，并结合b l a c k f i n 5 3 3 的硬件特性，将h 2 6 4 编码器的参考模型m i c r oh 2 6 4 ( 见本文5 1 小节) 进行了移植，并针对p 帧图 像编码，从调整p 帧编码流程，c 语句调整，耗时模块代码汇编几个方面进行 了优化。 本文的研究成果在视频会议、可视电话、嵌入式视频监控等各种通信系 统中，具有一定的研究价值。 关键字：h 2 6 4 ，i ) s p ，优化，编码模式 西南交通大学硕士研究生学位论文 第1 i 页 a b s t r a c t h 2 6 4 a v ci sn e w e s tv i d e oc o d i n gs t a n d a r do ft h e 玎? uv i d e oc o d i n ge x p e r t s g r o u pa n d t h ei s 0 m o v i n gp i c t u r ee x p e r t sg r o u p h 2 6 脚c c a ns a v e a p p r o x i m a t e l ya 5 0 b i tr a t ef o re q u i v a l e n tp i c t u r eq u a l i t yr e l a t i v et ot h ee x i s t i n g s t a n d a r d s d u e t ot h ea d v a n c e d c o m p r e s s i o np e r f o r m a n c e a n dt h e “n e t w o r k - f r i e n d l y n a t u r e h 2 6 4 a v cw m b ea d o p t e do v e rt e l e p h o n e , b r o a d c a s t , s t r e a m i n gs e r v i c e s ，s t o r a g ea n ds oo n c o m p a r ew i t hp r i o rs t a n d a r d s ，h 2 6 4a d o p t s al o to fa d v a n c e dt e c h n i q u e s ，w h i c hc a ne f f i c i e n t l yi m p r o v ev i d e oc o m p r e s s i o n p e r f o r m a n c e b u tu n f o r t u n a t e l yt h e s et e c h n i q u e sa l s ow i l li n c r e a s ec o m p u t a t i o n a l e o m p l e x i t yc o n s i d e r a b l y t h e r e f o r e ，r e d u c i n gc o m p u t a t i o n a lc o m p l e x i t y a n d i m p r o v i n gc o d er a t eb e c a m ev e r yi m d o r t a n tf o rr e a l t i m ev i d ee n e o d e rd e s i g n d i 西t a lm e d i ap r o c e s s o ri sas p e c i a ld s pf o rv i d e oa n da u d e o ，i t sh a r d w a r ec o r e s t r u c t u r ei s 髓p c c i a l l yd e s i g n e df o rm u l t i m e d i ad a t ap r o c e s s i n g n o to n l yp l e n t i f u l m u l t i m c d i ad a t ap r o c e s s i n gi n s t r u c t i o n sa r ca v a i l a b l e ，b u ta l s oi ti sm o r ef l e x i b l e f o ri m p l e m e n t a t i o no fv i d e oe n c o d e r b l a c k f m5 3 3i sah j 曲p e r f o r m a n c ev i d e e p r o c e s s o r 。w h i c hi sr e p r e s e n t a t i v eo fa d l sb l a e h f i ns e r i e sd s p ，i st o6 0 0 m h 乙 i tc a np r o c e s sm u i t - i n s t r u c t i o n sc o l l a t e r a l l yw i t hp l e n t i f u lo fi n s t r u c t i o n sw h i c hi s e s p e c i a l l yf o rv i d e op r o c e s s i n g s o b l a c k f m 5 3 3i so l l co fi d e a lp l a t f o r m sf o r m u l t i m e d i aa p p l i c a t i o n s b a s e do nt h e a n a l y s i s o fh 2 6 4 1 a v c , t h ee n e o d e ri s i m p l e m e n t e d o n b l a c k f m 5 3 3w i t hp a r a l l e l i n ga r i t h m e t i ca n do p t i m i z a t i o n m o r es p e c i f i c a n y , t h i s d i s s e r t a t i o ni n e l u d e sf o l l o w i n gc o n t e n t s ： f i r s t l y ，s o m ev i d e oc o d i n gs t a n d a r d sa r cb r i e f l yd e s c r i b e d ，a n dt h eb a c k g r o u n d w h i c hh 2 6 1 ，p cm a d ea n dt h et e c h n i c a lt r a i to fh 2 6 4 a v ci si n t r o d u c e di nt h e p a p e r t h e ns o m ea r i t h m e t i co f v i d e oc o d i n ga r ca n a l y z e d s e c o n d l y ，i no r d e rt oa d v a n c et h ee n c o d i n gs p e e d ，t h em o s tt i m e - c o n s u m i n g m o d u l eo fm o d es e l e c t i o ni nh 2 6 4 a v ci so p t i m i z e d a c c o r d i n gs p a t i a ld o r a a i n c o r r e l a t i o n , i tc a na d a p t i v e l yp r e d i c tt h et y g 屺so fc u r r e n te n c o d e dm i c r o - b l o c l w i t hg e t t i n gt h ec o m p a r a t i v ep i c t u r eq u a l i t y , s n ra n db i t - r a t e , i ta d v a n c et h e e n c o d i n gs p e e d2 0 3 0 c o n s t m a e d l y t l l i r m v ，j i h ea p p l i c a t i o nt r a n s p l a n ta n do p t i m i z a t i o nf o rpf l a m ei nb l a c k f m 5 3 3 e m b e d d e d s y s t e m w a s m a i n l y b a s e d0 1 1t h e f o l l o w i n gs i d e s ：a p p l i c a t i o n a r c h i t e c t u r e 。f u n c t i o n , a s s e m b l yc o d e se t c t h cr e s e a r c hr e s u l t so ft h i sp a p e rc a nb eu s e di nt h ev i d e oo o l f f e r e a c e , v i d e o p h o n e ，e m b e d d e dv i d c oc o n t r o la n dv a r i o u sk i n d s o fc o m m u n i c a t i o n s y s t e m s i th a sg r e a t e rr e s c 缸c hv a l u e ， k e y w e r d s ：h 2 6 4 ，d s p 。o p t i m i z a t i 0 1 1 ，e n c o d e dm o d e ， 西南交通大学硕士研究生学位论文第1 页 第1 章引言 随着数字技术的迅猛发展，人类社会已经步入了数字时代，各神技术层 出不穷，极大地改变了人类的生活。多媒体技术就是其中一项重要技术，它 利用数字编码来描述和表达图像、声音等各种媒体信息，带给人们极大的方 便。 在各种媒体信息中，图像占据着尤其重要的位置。但是图像那庞大的数 据量，给图像的传输、存贮以及读出造成了难以克服的困难。因此，如何有 效地对图像进行压缩一直是研究的重点和热点，图像压缩编码日益成为一个 越来越活跃的研究领域。图像编码技术的发展和广泛应用也促进了许多有关 国际标准的制定。 在现有的视频压缩标准中，最新制定的h 2 6 4 能取得最高的编码效率， 但也带来了极大的运算复杂度。为了进行实时的运用，就必须对现有的h 2 6 4 编码器进行优化各种编码算法优化能在基本保持图像质量的基础上，显著 地降低运算复杂度，而d s p 以其处理能力强，软件编程简便而成为h 2 6 4 编 码器硬件平台的首选。 本章首先概述了视频压缩编码标准，然后简单介绍了视频压缩编码技术 以及数字信号处理器( d s p ) 在视频处理中的优势，最后提出了本文的主要工 作 1 1 视频压缩编码标准简介 随着数字视频处理技术的快速发展，各种数字视频应用已经广泛的深入 到我们的日常生活中，比如数字电视，视频电话，视频会议。而第三代移动 通信( 3g ) 更是把无线视频传输作为其一大卖点。快速发展的视频应用无疑推 动了数字视频编码标准的制定。事实上，从上个世纪8 0 年代开始，i s o i e c 和i t u _ t 这两大组织就已经不断的推出一系列针对不同应用领域的数字视频 编码标准，这其中包括i s o i e c 的m p e 6 系列和i t u - t 的h 2 6 x 系列，图卜l 是数字视频编码标准的发展过程： 、 西南交通大学硕士研究生学位论文第2 页 i。 i 5 a n d a r d l h j 2 日 p j e 3 p 2 0 f如妣 ii l u - fh p 拍 2 ( 跏p e g 2 丑2 斟， v c i 袋。“啪 1种e g 憎p o n 啉一 g i 孙n 甜凸 ，骝4 1 9 s 6 1 9 8 81 9 9 0 9 9 21 9 舛i 嘲1 9 9 82 0 卸0 22 0 0 , 4 图1 - 1 视频标准发展过程 从图中可以看出，1 1 1 j t 和i s o i e c 基本上是在相互独立的情况下开发 各自的系列标准，他们的应用领域是不同的。m p e g 系列主要应用于数字娱乐 ( 如d y d 数字电视) 或视频监控，而h 2 6 x 系列主要应用于实时的视频通信， 包括视频电话，视频会议等等。 i t u t 制定视频编码标准主要有：h 2 6 1 ，h 2 6 3 ，h 2 6 3 + h 2 6 3 + + ，h 2 6 4 。 h 2 6 1 是最早出现的视频编码标准，在1 9 8 8 - 1 9 9 3 年之间完成了协议的 制定和修订。它的输出码率范围在6 4 k b p s 一1 9 2 m b p s 之间。h 2 6 1 最初是针 对p a l 制或者n t s c 制电视信号提出的视频压缩标准，但是，后来，h 2 6 1 主 要应用在的会议电视和可视电话等应用领域。 相对而言，h 2 6 3 是为了支持低码率的通信而制定的标准，他仍然是以 运动估计( m c ) 和变换编码( d c t ) 作为编码的技术核心，但是，同h 2 6 1 相比， 傲了很多改进，降低了视频的码率，同时又保证了视频质量。 随后，i t u - t 又推出了h 2 6 3 的第二版，叫做h 2 6 3 + 。h 2 6 3 4 - 基于h 2 6 3 标准，提出了一些新的可选特性以扩展h 2 6 3 的应用领域并增强其编码效率。 这些特性包括灵活视频格式、分级编码、补充增强信息( s u p p l e m e n t a l i n f o r m a t i o n ) 、增强p b 帧编码及高级帧内编码方法等。其中分级编码包括空 域分级、时域分级、s n r 分级模式，这几种模式的选择，增强了压缩信号的 抗干扰能力，使得h 2 6 3 + 码流适合于网络的传输。 h 2 6 3 + + 是h 2 6 3 的第三版，它在h 2 6 3 + 的基础上，又增加了很多优化 的选项。这些优化选项被整合后，作为必需选项，构成了h 2 6 4 的前身h 2 6 l 。 其中，“l ”是长期( l o n gt e r m ) 的意思。 西南交通大学硕士研究生学位论文第3 页 h 2 6 4 是低码率、实时、低延时的压缩标准。虽然它的框架同h 2 6 1 ，h 2 6 3 一脉相承，但是，其采用的技术、算法都有了很大的变化，如整形d c t 变换， 多帧运动估计等。这些新的特性，将在第二章作详细讲解。 i s o i e c 制定视频编码标准主要有：m p e g - 1 ，m p e g 一2 ， m p e g 一4 。 m p e g 一1 是于1 9 9 1 年制定完成的。该标准主要是为了视频存储媒体( 如v c d ) 而制定的，支持压缩码率可达1 5 m b p s 。m p e g l 提供了视频序列的随机读取， 快进和快退，视频序列的反向播放和压缩码流的可编辑性等特点。 m p e g 一2 标准于1 9 9 4 年制定完成，其口标码率在2 l5 t b p s 。这种较宽 的码率范围使得m p e g 具有广泛的应用领域。可以应用于数字视盘( d v d ) 、高 清晰度电视( h d t v ) 和数字视频广播( d v b ) 等视频领域。m p e g - 2 为了同 n t s c p a l 制视频信号更好的兼容，提出了帧( f r a m e ) 、场( f i e l d ) 两种不同的 编码模式，另外，m p e g 一2 也提出了s n r 、时间、空间三种不同形式的分级编 码方式。 m p e g 一4 标准的制定是于1 9 9 3 年启动的，到1 9 9 9 年，第一款i p e g - 4 官 方版本正式出台。m p e g 一4 是第一个采用基于内容的压缩编码的视频标准。它 可以有效地进行基于视频内容的编码、存储和传输。m p e g - 4 级能够支持低于 6 4 k b i t s 的视频应用，也能够支持广播级的视频应用。 与其他压缩标准相比，m p e g - 4 标准在d c r 的基础上引入了图像模型的概 念，并引入了基于对象、内容的概念，在理论上具有更高的压缩效率。但是 由于其运算量太大，目前，针对内容的视频编码方法仍不完善，仍处于研究 试验阶段。 1 2 视频压缩编码技术 上小节简单概述了一下视频编码标准。虽然这些视频编码标准所采用的 具体技术细节不同，但是它们都是遵循于运动估计，运动补偿，变换编码， 墒编码这样的编码框架。之所以采用这样的模式，是为了最大限度的去除视 频序列中的冗余信息。 通常，视频序列中主要包括三种冗余信息：空间冗余，时间冗余，统计 冗余。 空间冗余是指视频信号中同一幅图像内相邻或相近像素之间具有的相关 性。变换编码的目的就是去除这种冗余度，般来说，所选择的变换应具有 西南交通大学硕士研究生学位论文第4 页 较好的能量集中特性，使得变换之后图像的能量集中在少数几个系数中。目 前大多数视频编码器中采用的是d c t 变换。d c t 变换的能量集中性稍逊，而 且计算简便，有快速算法，因此得到了广泛的应用。 时间冗余是指视频信号中不同图像的像素之间具有的相关性，特别是在 运动幅度比较小的序列中这种相关性更加明显。运动补偿用来消除这种时间 冗余度，只对当前信号与参考信号之间的差值进行编码。 统计冗余是指码流中各符号间的相关性。为了消除这种冗余，一般采用 熵编码的方式，最有名的熵编码方法是h u f f m a n 编码和算术编码，曾经被广 泛地应用在各种图像和视频的编码算法中。后来人们对熵编码的算法进行了 不断的完善，但基本的思想并未有很大的变化。 运动估计的目的就是为当前信号寻找最合适的参考信号。运动估计可以 采用多种方式，包括基于块匹配的方法、基于光流的方法等等。块匹配方法 具有较好的准确性并且运算量相对其他方法较低，因此在现代的视频编码器 中通常都采用这种方法。为了进行块匹配，一幅图像通常被分为若干个大小 相同的单元，称为宏块( 宏块的大小通常为1 6 1 6 ) ，运动估计过程对每个宏 块单独进行。 当然，视频编码技术除了上述几点外，通常还包含编码控制模块以及码 率控制模块，限于篇幅这里就不再详述了。 1 3d s p 在视频处理中的优势 数字信号处理器，是一种应用在实时数字信号处理中的微处理器，它可 以实时快速地实现各种数字信号处理算法。数字信号处理器技术的突飞猛进 是视频压缩技术获得飞速发展的重要条件，d s p 在多媒体数据处理中的优势 主要体现在： 第一，用户开发自由度更大，支持多种个性化开发，可以满足市场不断 提出的新的要求，在第一时间提升产品性能，增强产品的竞争能力。 第二，d s p 处理能力强，可以在一个d s p 上同时实现多路音视频信号的 压缩处理，还可提供很多视频专用功能，比如视频滤波、高分辨显示输出功 能等。 第三，外围接口丰富，开发周期短，可实现快速技术更新和产品换代。 第四，芯片功耗低，为提高产品的稳定性提供可靠保障。 西南交通大学硕士研究生学位论文第5 页 b l a c k f i n 处理器是新一代嵌入式多媒体处理器，它在一个芯片上融合了 d s p 信号处理，r i s c 的控制处理和视频处理的功能，具有高度的并行处理和 强大的d m a 能力，具有专用的视频指令和硬件支持，高效的程序效率，动态 的功耗管理和方便的开发工具和使用方法。b l a c k f i n 5 3 3 作为b l a c k f i n 系列 中的款，它是一种可以实现6 0 0 m h z 持续工作的1 6 位定点d s p ，包括2 个 1 6 位的乘法累加器 l a c ，2 个4 0 位算术逻辑单元a l u ，4 个8 位视频a l u 和1 个4 0 位单桶形移位器，在每一个周期内，每个m a c 能在4 个独立的数据操作 数上执行1 6 位乘1 6 位的乘法运算，该4 0 位a l u 能累加2 个4 0 位的数字或 者4 个1 6 位的数字。另外，b l a c k f i n 5 3 3 拥有丰富的视频处理接口，性价比 很高，是目前实现视频应用系统的理想平台之一。 1 4 论文的研究内容及主要工作安排 本文主要对h 2 6 4 视频编码标准的一些关键技术进行研究，并改进了运 动估计中的编码模式选择算法，设计出了基于b l a c k f i n 5 3 3d s p 的硬件平台， 在参考软件模型( 见本文5 1 小节) 的基础上，结合b l a c k f i n 5 3 3 硬件特性， 针对p 帧进行了优化。本文的章节安排如下： 第一章绪言。简单概述了视频编码标准及其使用的技术以及d s p 在视频 编码中的优势和本文的工作安排。 第二章，h 2 6 4 视频压缩编码的关键技术。本章主要研究了h 2 6 4 帧内 编码和帧间编码的采用到的新技术及其技术细节。 第三章编码算法的改进。通过对h 2 6 4 编码器运动估计部分的研究，提 出了运动估计时编码模式选择的快速算法。 第四章d s p 开发平台的硬件设计。本章介绍了b l a c k f i n 5 3 3 芯片的功能 特性，并设计了基于b l a c k f i n 5 3 3 芯片的硬件平台。 第五章编码器的移植及其部分功能优化。本章结合d s p 芯片的特点，将 h 2 6 4 编码器的参考模型m a c r o _ h 2 6 4 ( 见本文5 1 小节) 移植到b l a c k f i n 5 3 3 平台上，然后只针对p 帧，从编码流程，c 代码，部分代码汇编优化几个方 面进行了优化。 西南交通大学硕士研究生学位论文第6 页 第2 章h 。2 6 4 视频压缩编码的关键技术 h 2 6 4 是提供一种与现有视频编码标准相比具有更高编码质量的视频压 缩标准。但h 2 6 4 仍然采用运动估计、变换技术和熵编码作为其编码的主要 技术内容。在编码时，仍然将视频帧分为帧内( i n t r a ) 和帧间( i n t e r ) 两种编 码模式。 本文下述章节主要针对h 2 6 4 基本类( b a s e li n ep r o f il e ) 部分关键技 术进行介绍，其他部分的说明可阅读参考文献 2 。 2 1 帧内预测 帧内编码是混合编码框架的重要组成部分。如果一帧图像进行编码时没 有利用到其它任何图像的信息，对该图像的编码就称为帧内编码。一般视频 序列的初始帧都采用帧内编码。 在h 2 6 4 中，考虑到单个视频图像中存在的空间冗余度，当对i n t r a 帧 进行编码时，可采用帧内预测。帧内预测在变换编码之前进行。这种帧内预 测不是时间上的，而是空间域上进行预测编码算法，利用邻近块的像素( 当前 块的左边和上边) 做外推来实现对当前块的预测，预测块和实际块的残差被编 码，用以去除空间相关性，获得更为有效地压缩。 对i n t r a 进行帧内预测时，亮度块可以采用两种方式：4 4 亮度宏块帧 内预测和1 6 1 6 亮度宏块帧内预测。色度块只采用8 x 8 帧内预测。在编码 时，对于图像中较为平坦的部分，采用1 6 x1 6 亮度块模式预测，对于需要细 化的部分采用4 4 亮度块模式预测。预测之前，要对当前宏块相邻的左、上 重建块进行分类，根据不同的分类，用重建块作为参考，选择不同预测模式 进行预测。另外，由于人类视觉系统对色度变化的敏感性低于亮度，因此8 x 8 色度块的帧内预测所需要预测少于4 x 4 亮度块帧内预测，共有四种模式。 2 1 14 x 4 亮度预测 对于每个4 4 块( 除了边缘块特别处理以外) ，每个像素都可用最接近的 先前已编码的像素的不同加权和( 有的权值可为o ) 来预测，即此像素所在块 的左上角的1 3 个像素。显然，这种帧内预测不是在时间上，而是在空间域上 进行的预测编码算法，可以除去相邻块之间的空间冗余度，取得更为有效的 压缩。如图2 - 1 ( a ) 所示，4 4 块中a ，b ，、p 为1 6 个待预测的像素点，而 西南交通大学硕士研究生学位论文第7 页 a ，b ，m 为己编码的像素。为了针对性的有效提高帧内预测的效率，多种 预测模式被提出，其中4 x 4 亮度块共有9 类不同的预测模式，如图2 - i ( b ) 所示，其中模式2 为d c 预测，不包括在预测方向图中。 ma8c0 efgh 网 l ef 口 h i i j kl i l2 ：l ( a ) 彦 砀i7 ( b ) 图2 - 14 x 4 亮度块相邻象素值及其预测方向 如图2 2 中的箭头表明了每种模式的预测方向，对于模式3 8 ，预测象 素有a q 加权平均而得，例如模式4 中，p = r o u n d ( b 4 + c 2 + d 4 ) mabcde if g i i ! ： i j k l1 r r1r r m i ab t cd ；e l f i g _ 闻 i ； j 1 ； k i j r l i m i a i n cde f i g | 玎1 牛 l 诳爵 k m nil l ii 垂直预测模式( 模式o )水平预测模式( 模式1 ) p c 预测模式( 模式2 ) m i bcde if i g i h j l 譬 ， ， t j i r 了i ， ， k j l ， 一i v i i b ：cd ：e if j g 求 l 萋 j 专 k f 。、j 、 l h ma i bc i de l f i g i 司 ii ta；a ；j nj 选 娥娥i l 下对角线预测( 模式3 ) 右对角线预测( 模式4 )右垂直预测( 模式5 ) 西南交通大学硕士研究生学位论文第8 页 m人 b l cd i e i f丽 j 潜 型 _ 一 j k 淋 l mabc i d i ef 1 石可西 i 艄 j | k 1z l 一一yl 下水平预测( 模式6 )左垂直预测( 模式7 )上水平预测( 模式8 ) 图2 - 24 x 4 亮度块预测模式 2 1 21 6 x1 6 亮度预测 1 6 1 6 帧内预测模式根据与当前宏块邻近的3 3 个像素生成预测数据。 总共有4 种预测模式：垂直( v e r t i c a l ) 、水平( h o r i z o n t a l ) ，d c 和平面 ( p l a n e ) 。如图2 - 3 示。 v 0 ( 垂直) h _ ，、，1 y 1 ( 水平) h 图2 - 31 6 x 1 6 亮度块4 种预测模式 2 1 38 8 色度块预测 该预测针对的是当前宏块的两个8 x 8 的色度分量u 和v ，共有4 种预 测模式：模式0 ( d c ) 、模式1 ( 水平) 、模式2 ( 垂直) 和模式3 ( 平面) 。两个色度 分量采用相同的预澳4 模式，预钡4 对两个分量分别进行，预测的范围是整个8 8 的色度分量，参考像素是同一个色度分量的周围1 7 个像素。 与1 6 x1 6 亮度预测类似，也要首先对块的可用性进行判断由于1 6 x 1 6 亮度预测己经做了介绍，在此不做赘述，详细情况可参见文献【2 】。 2 2 帧间预测 h 2 6 4 a v c 帧间预测编码是利用己编码视频帧场和基于块的运动补偿 的预测模式。与以往视频标准的帧问预测的区别是：可变尺寸块的运动估计， 块尺寸范围从4 4 到1 6 x1 6 ，率失真优化( r d o ) 及多参考帧运用等。 西南交通大学硕士研究生学位论文第9 页 2 2 1 可变尺寸块的运动估计 2 2 1 1 宏块的分割 在运动估计中，合理的将图像分块是块匹配算法要解决的首要问题。过 大的块可以减少搜索次数，但是会降低估计精度：过小的块可以提高精度，但 是又增加了大量的计算量，影响速度。 h 2 6 4 a v c 提出了基于可变块尺寸运动估计的概念，根据图像具体情况， 选择最佳的块进行运动估计，在搜索速度和搜索精度上选择了折中。 h 2 6 4 a v c 视频编码标准进行帧间预测时，对每个宏块的亮度分量都可 以按照s k i p d i r e c t1 6 1 6 ，1 6 8 ，8 1 6 ，p 8 8 块模式进行选择。如果 选择p 8 x 8 的子宏块模式，又可以继续按照8 x 8 ，8 x 4 ，4 x 8 ，4 x 4 对子宏 块模式进行亚选择。每种宏块分别对应着一种帧间编码模式，依次 为：s k i p d i r e i 玎( m o d e o ) ，1 6 x 1 6 ( m o d e1 ) ，1 6 8 ( m o d e 2 ) 4 4 ( m o d e 7 ) ，还可以i n t r a 4 x 4 ，i n t r a1 6 x1 6 的帧内模式进行预测，其所对 应的模式为i n t r a4 x 4 ( m o d e 9 ) i n f r a1 6 x1 6 ( m o d e1 0 ) 。它通过率失 真优化模型r d o ( r a t ed i s t o r t i o no p t i m i z a t i o n ) 来选择不同的块尺寸。 宏块尺寸分割如图2 - 4 示。 铀a 0 日0 l ，【 甜p e 5 r 1 6 口日田田 姐日田田 图2 4 宏块及其子宏块的划分方式 2 2 1 2 运动向量 h 2 6 4 运动补偿算法中，每个块或子块都对应一个运动向量m v ，这个运 动向量被编码并传输。同时，分块方式也被压缩到码流中。当选用较大块时， 用于表示运动向量和分块方式的数据量减少，但运动补偿后预测值与原始值 西南交通大学硕士研究生学位论文第1 0 页 的残差会增大，需要的b i t 数会增多，因此多用于图像均匀分布的区域：当选 用较小块时，残差减少，预测更精确，但用于表示运动向量和分块方式的数 据量增大，适合表现图像细节丰富的区域。 帧间编码宏块的每个分割或子宏块都是对参考图像的某一相同尺寸区域 进行预测而得到的，并对亮度成分采用1 4 像素精度，色度l 8 像素精度。 亚像素位置的亮度和色度像素并不存在于参考图像中，需利用相邻己编码点 进行内插而得。如果州的垂直和水平分量为整数，参考块相应像素就已实际 存在。如果其中一个或两个为分数，预测像素则要通过参考帧中相应像素内 插得到。 2 2 1 3l v l v 的预测 每个分割的m v 编码需要相当数目的比特，特别是使用小尺寸分割时，需 要的比特数更多，为减少传输比特数，可利用相邻分割块的相关性，m v 可由 邻近已编码分割的i l v 预测而得脚。预测向鼍m v p 基于相邻已编码块的埘和 它们之间矢量差m v d 得到，m v p 则取决于运动分割尺寸和相邻块的埘的有无。 如图2 5 ( a ) 所示为当前编码宏块与相邻宏块具有相同尺寸时的预测宏 块选择，e 为当前编码宏块分，a ，b ，c 分别为e 的左、上、右上方的三个相邻 宏块。如图2 5 ( b ) 所示为当前编码宏块与相邻宏块具有不同尺寸时的预测块 选择。如果e 的左边不止一个分割，取其中最上的一个为 ：上方不止一个分 割时，取最左边一个为b 。 其中： ( 1 ) 传输分割不包括1 6 x 8 和8 1 6 时，m v d 为a ，b ，c 分割m v 的中值 ( 2 ) 对于1 6 x 8 分割，上面部分m v p 由b 预测，下面部分m v p 由a 预测 ( 3 ) 对于8 x 1 6 分割，左面部分m v p 由a 预测，右面部分m v p 由c 预测 ( 4 ) 跳跃宏块( s k i p p e d 岫) ，同( 1 ) 。 在译码端，m v p 以相同的方式形成并加到m v d 上。对于跳跃宏块而言， 由于不存在m v d ，其运动补偿宏块也由州直接生成。 西南交通大学硕士研究生学位论文第1 1 页 嚣 4 t 1 a ；e 。 ， ， b l c 1 6 x 8 l a s x 4e 1 6 1 6 ( a ) 相同尺寸( b ) 不同尺寸 图2 - 5 块及其子宏块的划分方式 对于色度块的划分方法和亮度块完全一致，只是分割尺寸减小为亮度块 的一半。 2 2 2 率失真优化( p , d o1 在h 2 6 4 a v c 参考软件模型j m 8 6 中，可以选择率失真优化( r d 0 ) 模型选 择块划分方式。根据率失真优化理论，各种编码模式的选择问题可以归结为 在给定码率r 条件下，使得失真d 最小的条件极值问题，其计算公式为： r a i n j - - r + 五d l 采用r d 0 算法虽然可以明显的改善s n r 和比特率，但是也会导致运算复 杂度的急剧上升，从而导致编码时间急剧增加。下面就p - s l i c e 中宏块编码 过程为例，说明选择过程： ( 1 ) 分别在7 种不同的宏块划分方法下获取运动向量。 ( 2 ) 遍历所有的模式计算码率和失真值。 ( 3 ) 选择其中率失真代价最小的模式作为实际编码模式。 2 2 3 多帧参考预测 在h 2 6 4 a v c 中，允许编码器使用多于一帧的先前帧用于运动估计，并 可以用在双向预测中。这在很多自然场景全部变换或镜头在两个场景中交替 变换等情况下尤为有效。 用于多帧参考时，编码器和解码器中参考帧的增减和排列要保持一致， 不同的宏块分割可以使用不同的参考帧。编码器的帧缓存中保留多个编码好 的参考帧，从中选择对每个目标宏块能给出更好效果的帧用于预侧，并保存 西南交通大学硕士研究生学位论文第1 2 页 每个宏块分割的参考帧标号。这样比只用一个p 帧或i 帧作为预测帧会获得 更高的预测精度。 在电影中，多帧参考的优势十分明显。电影中为了制造视觉效果，经常 出现镜头在几个场景之间来回切换，这样的视频用单帧参考压缩的效果很差。 因为前后两幅图像场景不同相差太大而很难预测，很多块甚至无法进行帧间 预测，不得不采用帧内预测。如果采用多参考帧，编码器可能从另外几幅图 像中找出相同场景并用于参考，从而得到较好的效果。 图2 - 6 多帧参考运动估计示意图 如图2 6 所示，当前帧中的3 个块分别由3 个不同的参考帧预测得到。 多帧参考机制给运动估计带来了极大的灵活性，也提高了估计精度，降低了 码率。但是同时也造成了存储空间和运算量相应的增大。 2 3 整数变换和量化 为了进一步节省图像传输码率，需要对图像信号进行压缩，一般方法为 去除图像信号种的相关性及减少图像编码的动态范围，通常采用变化编码及 量化技术，编码编码将图像时域信号变化成频域信号，在频域中，图像信号 的能力大部分集中在低频区域，相对于时域信号，码率有较大的下降， h 2 6 4 v c 对图像或预测残差采用了4 4 整数离散余弦变化技术，量化过程 根据图像动态范围的大小来确定量化参数，既保留了图像中必要的细节，又 可减少码流。 在图像编码中，变化编码的量化从原理上讲是两个独立的过程，但在 h 2 6 4 中，将这两个过程合二为一，并进一步采用了整数运算，减少了编解 码的运算量，提高了图像压缩的实时性。这些措旄对峰值信噪比的影响很小， 西南交通大学硕士研究生学位论文第1 3 页 一般低于0 。0 2 d b ，可忽略不计。h 2 6 4 中整数变换及量化的具体过程如图2 7 所示，其中，如果输入块是色度块或帧内1 6 x1 6 预测模式的亮度块，则将宏 块中各4 4 块的整数余弦变换的直流分量组合起来再进行h a d a m a r d 变换， 进一步压缩其码率。 输入4 * 4 的惨差块x 对x 块进 t 4 4 整数离散 余弦变换，得到w 块 对w 块进行比例缩放及量化 ，琶度块或帧内l 奋1 奋 否 弋的吵 7 是 i 再丽磊磊五翮 i a d m a a f d 变换，得到y 块l 对y 块进行比例缩 放及量化 输出 图2 7 编码器中变换编码及量化过程 2 3 14 4 的整数变换 m p e g 4 和n2 6 3 等压缩算法在计算d c t 变换时，针对变换系数为无理数 的情况，通常都是把系数扩大一定的倍数，然后取整进行计算。h 2 6 4 a v c 继承了o c t 算法的优越性，同时也加入了改进。它不再是把系数同时扩大一 定的倍数，而是对系数进行取整，然后再进行变换。这样虽然会损失一定的 能量集中性能，但是试验证明变换效率的损失只是很少的一部分。 u 2 6 4 a v c 对4 4 的图像块或残差块矩阵a 进行操作，其4 4 的d c t 变换由式( 2 - 1 ) 给出： 西南交通大学硕士研究生学位论文第1 4 页 a x a t = 口口 c c 一口一口 - bb 二 x 口 一c 口b 口c 口一c 口 一6 dc 一口一6 一口6 口一c ( 2 - 1 ) 其中 a l ，2盼瓶c o s ( x 8 ) c ：历c o s ( 3 飕) 我们对式( 2 - 1 ) 进行变形，得到矩阵形式( 2 - 2 ) ： y = ( c x c 、o e = ( j 三二耆二三 x 妥二i 二三 ) 。 d 2 口b 口2 口6 种h 2n b 矿 a 2 曲一曲 f l h 萨t i b , z ( 2 - 2 ) 其中e 为矩阵的缩放因子，o 符号表示两个矩阵对应元素相乘，d 由c b 计 算得到，d = c b ( 约等于0 4 1 4 ) ；为了简化运算，取d = o 5 ，为了保证矩阵变 换的正交性，参数b 也做要相应的调整，所以我们取a = l 2 ， b = 压万d = l 趁 把a ，b ，d 代入式( 2 2 ) 后会出现l 2 因子，也就相当于l 位右移。由于 输入系数为8 b i t ，容易产生截断误差。为了避免变换核部分c x c 。的精度损 失，我们把矩阵c 的第2 ，4 行和第2 ，4 列都乘上2 ，系数e 也要随之相 应的变化。经过数学变型处理，4 x 4 整数正变换的最终表达式( 2 - 3 ) 为： y c f x c j o e f 再2 a 2 n 2 曲 2 口占 2 庐 一 4 d 扫 2 矿 一 4 一 曲 2 一 口6 2 换中不存在乘法运算，而只有加减法运算，这样大大降低了运算量。 变换核可以获得和d c t 基本相同的压缩性能。 ( 2 - 3 ) l 的左移 a v c 变 而这个 拈一2萨一曲一：旷一4 o 、llfif，1， l 2 2 i 一 一 一一 2。一fii _。，。l，llilj x 。-1。_lt-_。-l10，j i 2 i 一 一 一一i 2一一 l 2 i l ，。l ，jil-lll、 l 由卜 西南交通大学硕士研究生学位论文第1 5 页 反变换的变换表达式定义如式( 2 4 ) ： y = f f i r o 蜀l ( i ll i 写 i ；i j i_ 三- il ll l 一： ( 2 - 4 ) 2 3 2 量化 针对变换系数的量化，h 2 6 4 a v c 采用可伸缩的量化策略。每一个宏块 根据量化参数q p ( q u a n t i z a t i o np a r a m e t e r ) 选择5 2 个量化器中的一个。量 化参数是量化步长的序号，量化参数q p 和量化步长q s t e p 关系如下表： 表2 一l ：q p 和q s t e p 的关系 由上表可以看出，q p 每增