（信号与信息处理专业论文）基于davinci处理器的h264编码关键模块的实现研究.pdf

南京邮电学院硕士研究生学位论文 摘要 摘要 h 2 6 4 m p e g 4 a v c ( h 2 6 4 ) 是由i t u t 和i s o i e c 的联合开发组共同开发的新一代国 际视频编码标准。采用h 2 6 4 标准，在同等图像质量下的压缩效率比以前的h 2 6 3 标准提高 了2 倍以上，因此，h 2 6 4 被普遍认为是最有影响力的行业标准。 和以往的视频标准相比，h 2 6 4 视频编码中采取了多项改进技术。其中的三项关键的技 术：帧内预测、变换编码、像素内插，它们对编码的实时实现和图像质量有着重要的影响。 本文的主要工作就是研究h 2 6 4 中的变换编码、1 4 像素内插、去方块滤波以及帧内预测， 并最终在t i 公司的d a v i n c id s p 芯片上实现、优化这些模块。 论文首先介绍了d a v i n c id s p 的结构及其开发环境，介绍了三种开源h 2 6 4 编码器，并 选择其中的x 2 6 4 编码程序作为视频编码器的原始代码；其次，对h 2 6 4 视频编码标准进行 分析和研究，熟悉并掌握帧内预测、变换编码、去方块滤波模块原理；再次，将h 2 6 4 编码 程序移植至l j d a v i n e id s p 上并对其进行分析和测试，针对变换编码、1 4 像素内插以及去方 块滤波在编码中的耗时比例，对算法进行优化，减少程序执行时间，提高编码速度；最后， 针对上述模块的特点，提出适合这些模块本身的优化方案，并予以实现。 实验结果表明，经我们优化后的h 2 6 4 视频编码器的变换编码、1 4 像素内插模块、s a d 计算模块以及去方块滤波模块的运算性能得到了很大的提高，为完整的h 2 6 4 编码器的实时 实现打下了良好的基础。 关键词：视频编码h 2 6 4 标准d a v i n c id s p 变换编码l 4 像素内插去方块滤波 南京邮电大学硕士研究生学位论文 a b s t r a c t 摘要 h 2 6 4 m p e g - 4a v c ( h 2 6 4 ) i st h el a t e s ti n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r dj o i n t l yd e v e l o p e d b yt h ei t u - ta n di s oc o a l i t i o n i ti sg e n e r a l l yc o n s i d e r e dt h em o s ti n f l u e n t i a ls t a n d a r df o rt h e i n d u s t r yb e c a u s eo ft h ef a c tt h a tt h ec o m p r e s s i o ne f f i c i e n c yo fi m a g e sb yh 2 6 4i st h r e et i m e s 硒 g o o d 觞t h a tb yh 2 6 3u n d e rt h e $ a l t l ec o n d i t i o n c o m p a r e dw i t hp r e v i o u sv i d e oc o d i n gs t a n d a r d s ，s e v e r a li m p r o v e m e n t sh a v eb e e nm a d ei n h 2 6 4 ，a m o n gw h i c ht h et h r e ek e yt e c h n i q u e so fh 2 6 4v i d e oc o d i n g ：i n t r ap r e d i c t i o n ，t r a n s f o r m c o d i n ga n dp i x e li n t e r p o l a t i o ne x e r tg r e a ti n f l u e n c eo nb o t ht h er e a l t i m ee n c o d i n ga n di m a g e q u a l i t y t h ep a p e rm a i n l yd e a l sw i t ht h er e s e a r c ho nt h et r a n s f o r m a t i o nc o d i n g ，1 4p i x e l i n t e r p o l a t i o n ，d e b l o c k i n gf i l t e ra n di n t r ap r e d i c t i o ni nh 2 6 4 ，a n dt h ef i n a lr e a l i z a t i o na n d o p t i m i z a t i o no ft h e s em o d u l e so nd a v i n c id s pc h i p so ft i f i r s t l y ，t h es t r u c t u r ea n dt h e d e v e l o p m e n te n v i r o n m e n to fd a v i n c id s pa r ei n t r o d u c e da sw e l l 硒t h et h r e eo p e n - s o u r c e e n c o d e r so fh 2 6 4w i t hx 2 6 4c o d i n gp r o g r a ma st h eo r i g i n a lc o d e s e c o n d l 5t h eh 2 6 4v i d e o c o d i n gs t a n d a r di sa n a l y z e df o ra ni n t i m a t ek n o w l e d g eo ft h ei n t r ap r e d i c t i o n ，t h et r a n s f o r m c o d i n g ，t h ed e b l o c k i n gf i l t e rm o d u l ep r i n c i p l e t h i r d l y ，h 2 6 4c o d i n gp r o g r a ma r et r a n s p l a n t e d o n t od a v i n c id s pa n dt h e na n a l y z e da n dt e s t e d a l g o r i t h mi so p t i m i z e dw i t ht h er e d u c t i o no f p r o g r a m m i n gt i m ea n dt h ei n c r e a s eo fc o d i n gs p e e da c c o r d i n gt ot h er e s p e c t i v et i m er a t i o so f t r a n s f o r mc o d i n g ，t h e1 4p i x e li n t e r p o l a t i o na n dt h ed e b l o c k i n gf i l t e ri nt h ee n c o d e r f i n a l l y ，a p r o p e rp l a nf o rt h eo p t i m i z a t i o no ft h e s em o d u l e si nv i e wo ft h e i rc h a r a c t e r i s t i c si sp r o p o s e da n d c a r d e do u t t h ee x p e r i m e n ts e e so b v i o u si m p r o v e m e n to ft h eo p t i m i z e dt r a n s f o r mc o d i n g ，t h e 1 4p i x e li n t e r p o l a t i o nm o d u l e ，s a df u c t i o nm o d u l ea n dt h ed e b l o c k i n gf i l t e rm o d u l ea tt h e a s p e c to fp e r f o r m a n c ea n dt h u sl a y st h ef o u n d a t i o nf o raf u l la n dr e a l t i m er e a l i z a t i o no fh 2 6 4 v i d e oe n c o d e r k e yw o r d s ： v i d e oc o d i n gh 2 6 4 ， i n t e r p o l a t i o n ，d e b l o c k i n g d a v i n c id s p ，t r a n s f o r mc o d i n g ， 1 4 p i x e l 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名： 牲吼芈哼 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 繇牲名：鲰 南京邮电大学硕士研究生学位论文 第一章视频编码及高速d s p 第一章视频编码及高速d s p 长期以来，人们所熟悉的通信方式是语音通信。随着i n t e m e t 和移动通信的迅猛发展， 视频信息和多媒体信息在i n t e m e t 和移动网络中的处理和传输技术成为了当前我国信息化 中的热点，消费者愈来愈迫切地需要多媒体通信服务。视频信息具有一系列优点，如直观 性、确切性、高效性、广泛性等等。由于受传输信道带宽和存储容量的限制，要使得视频 得到有效的应用，必须首先解决视频压缩编码的问题，其次解决压缩后视频质量保证的问 题。视频编码的任务就是既要有较大的压缩比，又要保证一定的视频质量。 视频压缩技术的实现方式比较多，有的基于p c 机，有的基于f p g a ，有的基于d s p 。 基于f p g a 的方式压缩算法用硬件实现，并行处理速度高，可实现高速处理，但由于压缩 算法比较复杂，开发难度大，费时费力。基于专用压缩芯片的方式实现简单、技术成熟可 靠、成本低，一般情况下速度也较d s p 方式快，但灵活性较差，无法满足用户灵活多样的 要求。采用高速可编程d s p 实现方式的优点是灵活性强，完全能满足对特殊视频格式和处 理的需要，具有很好的可扩展性、可升级性和易维护性，但其实现难度和工作量比较大。 可见，利用可编程d s p 芯片实现图像处理较之其它方式具有一定的优越性，而且d s p 芯 片的可编程性和强大的处理能力，使其可用于快速地实现各种数字信号处理算法，成为目 前视频压缩实现方式的最佳选择。 1 1 视频编码基本原理 视频通信的发展非常迅速，但是，视频的巨大数据量对现有的任何通信系统都是一个 严峻的挑战。对于d 1 格式的d v d 视频，如帧频为3 0 f p s ，采用y u v 4 2 2 格式，则视频数 据的码率为7 2 0 x 4 8 0 x 8 x 2 x 3 0 = 1 6 5 9 m b p s ，具有4 7 g 容量的d v d 也仅仅能够存储 4 7 x 8 1 6 5 9 = 2 2 6 4 秒长度的视频节目。如何压缩视频数据量成为视频通信发展的关键，成 功的数据压缩可以有效地降低传输和存储成本。 从信息论观点来看，通过减少冗余而进行数据压缩处理称为信源编码，而视频数据作 为一个信源，描述信源的数据中存在大量的数据冗余，只要有效地降低这些冗余，就可以 有效地降低数据量，达到压缩数据的目的。视频数据中主要有空间冗余、时间冗余、结构 冗余等，数据压缩实质上是减少这些冗余量，然而冗余量减少可以减少数据量而不减少信 源的信息量，其实质是减少其相关性。另外在一些情况下，允许图像有一定的失真，而并 南京邮电大学硕士研究生学位论文 第一章视频编码及高速d s p 不妨碍图像的实际应用，那么数据量压缩的可能性就更大了。故而图像之所以可以进行压 缩编码，通常是依赖两个基本的原理：一是利用图像信号的统计性质，即图像在相邻像素 间、相邻行间及相邻帧间均存在较强的相关性，因此可以依据信息论中信息编码的原理， 去除冗余度；二是利用人眼的视觉特性来实现图像压缩。人们对高频率的信号成分的视感 度低，故在一定程度上压缩高频成分并无太大影响。色度信号的视感度低于亮度信号，故 可对色度信号频带在行及帧方向进行压缩。因此我们可以从空间域、频率域、时间域三个 途径来减少图像信息的冗余度并获得满意的主观质量。 视频编码一个主要目的就是在保证一定重构质量的情况下，以尽量少的比特数来表征 视频信息。现有的视频编码标准，基本采用基于块的混合编码方式。其基本算法是通过帧 间预测和运动补偿消除时域冗余，经过变换编码消除频域冗余。它是以香农信息论为出发 点，用统计概率模型来描述信源。这种编码技术在以往的视频编码标准中获得了巨大的成 功。 这种编码技术主要包括预测编码、变换编码、熵编码以及运动补偿等关键技术。 1 ) 预测编码，又称d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) ，一般是用一组赋以不 同加权系数( 或称预测系数) 的历史值的线性组合来对当前值进行预测，只传输预测值和 当前值之间的残差信号。而自适应d p c m 则针对图像的不同特性采用不同的预测系数，使 残差更小。 2 ) 变换编码，是一种用于静止画面编码和视频编码的非常流行的压缩方法。变换编码 的目的在于去除帧内或帧间差值图像内容的相关性，对变换系数进行编码，而不是对画面 的原始像素进行编码。由于基于d c t 的变换具有较高的抗相关性能，并存在着快速算法， 在大多数图像和视频编码标准中加以使用。变换编码的主要目的是使尽量多的变换系数足 够小，那些最高有效位d c t 系数集中在左上角( d c t 低频系数) ，随着距离的增加，系数 的有效性就逐步下降。这意味着：与较低位的系数相比，较高位的d c t 系数在像素块重 建时的重要性就差一些。这一特性在视频编码方案中被加以应用，以去除数据中所包含的 主观冗余度，这一切是以人类视觉系统标准为基础的。 3 ) 熵编码，常用的熵编码有游程编码、哈夫曼编码和算术编码三类。当数据拥有相同 的字节序列时，可以采用更加紧密的序列来代替这些相同字节的序列，从而实现压缩，这 就是游程编码。最常见的一种情形是当采样量化后出现大量0 系数的情况，利用游程编码 来表示连续的o ，从而降低表示o 所需要的数据量。 哈夫曼编码是对已知数据给出最佳编码，即根据已知概率决定最小的位数。因而，编 码字符的长度是变化的。最短的编码赋予那些最频繁出现的字符，而出现概率较小的字符 2 南京邮电大学硕士研究生学位论文第一章视频编码及高速d s p 分配较长的码字，从而提高编码效率。但是哈夫曼编码必须知道信源的概率分布，这一般 是无法实现的，通常是采用对大量数据进行统计后得到的近似分布来代替。在实际使用中， 无法达到最佳性能，但该方法运算简单，而且易于硬件实现，因而在视频编码标准中得到 广泛的应用。 算术编码的基本原理是任何一个数据序列可以表示成0 到l 之间的一个间隔，该间隔 的位置和输入数据的概率分布有关。 在视频编码标准中，一般是以游程编码加哈夫曼编码或游程编码加算术编码的形式对 变换和量化后的图像系数实施进一步压缩。实际实验表明，算术编码的性能优于哈夫曼编 码，但是哈夫曼编码更容易实现，因而哈夫曼编码广泛用于视频编码标准，这也表明，视 频编码是一个性能和实现的平衡。 4 ) 运动估计在视频编码技术中是一项关键的技术。基于运动补偿的帧间预测编码具有 更高的压缩效率，它主要利用了视频序列相邻帧间的相关性，即图像数据的时间冗余来达 到压缩的目的，可以获得比帧内预测编码高得多的压缩比。其基本概念就是在前帧或者后 帧( 重建帧) 中找出一个区域，该区域和当前帧同样大小的区域非常相似，然后计算出当 前帧和参考帧中该区域的差分值，同时还可以计算出相应的x 方向和y 方向的平移，也就 是运动矢量，差分信号和运动矢量联合起来，可以表示参考区域和所预测区域之间的偏差。 事实上它己经是几个国际视频编码标准的关键部分。常用的运动估计方法有块匹配法、像 素递归法、相位相关法等。块匹配是最常用的运动估值算法，它假设块内各像素只作相等 的平移运动，它算法简单、易于硬件实现。但是运动估计算法对不同的图像序列预测性能 不同，特别是发生剧烈运动或者场景发生变化时预测效果较差，而且基于块的运动估计算 法会造成块边缘的不连续。 1 2 视频压缩的主要标准 数字视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、可视电 话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。i t u t 与i s o i e c 是制定视频编码标准的两大组织，i t u t 的标准包括h 2 6 1 、h 2 6 3 、h 2 6 4 ，主要应用于 实时视频通信领域，如会议电视；m p e g 系列标准是由i s o i e c 制定的，主要应用于视频 存储( d v d ) 、广播电视、因特网或无线网上的流媒体等。两个组织也共同制定了一些标 准，h 2 6 2 标准等同于m p e g 2 的视频编码标准，而新一代的h 2 6 4 标准则被纳入m p e g 4 的第1 0 部分。下面分别介绍各个组织的视频编码标准。 南京邮电大学硕士研究生学位论文 第一章视频编码及高速d s p 1 2 1 i t u t 视频编码标准 1 ) h 2 6 1 视频编码标准 h 2 6 1 是i t u t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电话、视频 会议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处 理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。 h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运动补 偿的帧间预测、d c t 变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部 分。 2 ) h 2 6 3 视频编码标准 h 2 6 3 是最早用于低码率视频编码的i t u t 标准，随后出现的第二版( h 2 6 3 + ) 及 h 2 6 3 + + 增加了许多选项，使其具有更广泛的适用性。 h 2 6 3 是i t u t 为低于6 4 k b s 的窄带通信信道制定的视频编码标准。它是在h 2 6 1 基 础上发展起来的，其标准输入图像格式可以是s - q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的 彩色4 ：2 ：0 亚取样图像。h 2 6 3 与h 2 6 1 相比采用了半像素的运动补偿，并增加了4 种有效 的压缩编码模式。 无限制的运动矢量模式允许运动矢量指向图像以外的区域。当某一运动矢量所指的参 考宏块位于编码图像之外时，就用其边缘的图像像素值来代替。当存在跨边界的运动时， 这种模式能取得很大的编码增益，特别是对小图像而言。另外，这种模式包括了运动矢量 范围的扩展，允许使用更大的运动矢量，这对摄像机运动特别有利。 基于句法的算术编码模式使用算术编码代替哈夫曼编码，可在信噪比和重建图像质量 相同的情况下降低码率。 先进的预测模式允许一个宏块中4 个8 8 亮度块各对应一个运动矢量，从而提高了预 测精度；两个色度块的运动矢量则取这4 个亮度块运动矢量的平均值。补偿时，使用重叠 的块运动补偿，8 x 8 亮度块的每个像素的补偿值由3 个预测值加权平均得到。使用该模式 可以产生显著的编码增益，特别是采用重叠的块运动补偿，会减少块效应，提高主观质量。 p b 帧模式规定一个p b 帧包含作为一个单元进行编码的两帧图像。p b 帧模式可在码 率增加不多的情况下，使帧率加倍。 3 ) h 2 6 3 视频压缩标准版本2 i t u t 在h 2 6 3 发布后又修订发布了h 2 6 3 标准的版本2 ，非正式地命名为h 2 6 3 + 标 准。它在保证原h 2 6 3 标准核心句法和语义不变的基础上，增加了若干选项以提高压缩效 4 南京邮电大学硕士研究生学位论文 第一章视频编码及高速d s p 率或改善某方面的功能。原h 2 6 3 标准限制了其应用的图像输入格式，仅允许5 种视频源 格式。h 。2 6 3 + 标准允许更大范围的图像输入格式，自定义图像的尺寸，从而拓宽了标准使 用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序列及宽屏图像。 为提高压缩效率，h 2 6 3 + 采用先进的帧内编码模式：增强的p b 帧模式改进了h 2 6 3 的不足，增强了帧间预测的效果；去方块效应滤波器不仅提高了压缩效率，而且提供重建 图像的主观质量。 为适应网络传输，h 2 6 3 + 增加了时间分级、信噪比和空间分级，对在噪声信道和存在 大量包丢失的网络中传送视频信号很有意义；另外，片结构模式、参考帧选择模式增强了 视频传输的抗误码能力。 4 ) h 2 6 3 + + 视频压缩标准 h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流在恶劣信道上的抗误码 性能，同时也为了提高增强编码效率。这3 个选项为： 选项i l 称为增强型参考帧选择，它能够提供增强的编码效率和信道错误再生能力 ( 特别是在包丢失的情形下) ，需要设计多缓冲区用于存储多参考帧图像。 选项v _ 一称为数据分片，它能够提供增强型的抗误码能力( 特别是在传输过程中本 地数据被破坏的情况下) ，通过分离视频码流中d c t 的系数头和运动矢量数据，采用可逆 编码方式保护运动矢量。 选项w 一在h 2 6 3 + 的码流中增j n 卒b 充信息，保证增强型的反向兼容性，附加信息包 括：指示采用的定点i d c t 、图像信息和信息类型、任意的二进制数据、文本、重复的图 像头、交替的场指示、稀疏的参考帧识别。 1 2 2 i s o i e c 视频编码标准 1 ) m p e g 1 标准 m p e g 1 制定于1 9 9 2 年，它是将视频数据压缩成1 2 m b s 的标准数据流。m p e g 1 对 运动不激烈的视频信号可获得较好的图像质量，但当运动激烈时，图像就会产生马赛克现 象。它没有定义用于额外数据流进行编码的格式，因此这种技术不能广泛推广。它主要用 于家用v c d ，它需要的存储空间比较大。 2 ) m p e g 2 标准 m p e g 2 制定于1 9 9 4 年，是为高级工业标准的图像质量以及更高的传输率而设计，为 了力争获得更高的分辨率( 7 2 0 4 8 6 ) ，提供广播级视频和c d 级音频，它是高质量视频音 s 南京邮电大学硕士研究生学位论文 第一章视频编码及高速d s p 频编码标准。在常规电视的数字化、高清晰电视h d t v 、视频点播v o d ，交互式电视等各 个领域中都是核心技术之一。m p e g 2 编码码率从每秒3 m b - - 一1 0 0 m b ，是广播级质量的图 像压缩标准，并具有c d 级的音质。m p e g 2 的音频编码可提供左、右、中及两个环绕声 道，以及一个加重低音声道，和多达7 个伴音声道。作为m p e g 1 的兼容性扩展，m p e g 2 支持隔行扫描视频格式和其它先进功能，可广泛应用在各种速率和各种分辨率的场合。但 是m p e g 2 标准数据量依然很大，不便存储和传输。 3 ) m p e g 4 标准 m p e g 4 是为交互式多媒体通信制定的压缩标准。m p e g 4 于1 9 9 8 年1 1 月公布，原 预计1 9 9 9 年1 月投入使用的国际标准m p e g 4 是针对一定比特率下的视频、音频编码， 它注重多媒体系统的交互性和灵活性。m p e g 4 标准主要应用于可视电话( v i d e op h o n e ) ， 视像电子邮件( v i d e oe m a i l ) 和电子新闻( e l e c t r o n i c n e w s ) 等，其传输速率要求较低， 在4 8 0 0 6 4 0 0 0 b i t s s e c 之间，分辨率为1 7 6 x1 4 4 。m p e g - - 4 利用很窄的带宽，通过帧重建技 术，压缩和传输数据，以最少的数据获得最佳的图像质量。 m p e g 4 支持对象形态编码及合成图像压缩、适用于高阶交互功能与特殊视频制作、 容错性编码技术及细微式可调性编码技术，可适用于频宽变化剧烈的网络，更适于交互a v 服务以及远程监控。 m p e g 4 的设计目标还有更广的适应性和可扩展性。m p e g 4 试图达到两个目标：1 ) 低比特率下的多媒体通信；2 ) 是多工业的多媒体通信的综合。据此目标，m p e g 4 引入 a v 对象( a u d i o v i s a u lo b j e c t s ) ，使得更多的交互操作成为可能。m p e g 4 标准是面向 对象的压缩方式，根据图像内容，将其中的对象( 物体、人物、背景) 分离出来分别进行 帧内、帧间编码压缩，并允许在不同的对象之间灵活分配码率，对重要的对象分配较多的 字节，对次要的对象分配较少的字节，从而大大提高了压缩比，使其在较低的码率下获得 较好的效果。 1 2 3 国内视频编码标准 a v s ( a u d i oa n dv i d e oc o d i n gs t a n d a r d ) 是中国自主制定的音视频编码技术标准。a v s 工作组成立于2 0 0 2 年6 月，当年8 月开始了第一次的工作会议。经过7 次a v s 正式工作 会议和3 次视频组附加会议，经历一年半的时间，审议了1 8 2 个提案，先后采纳了4 1 项 提案，2 0 0 3 年1 2 月1 9 日a v s 视频部分终于定稿。当前，a v s 视频主要面向高清晰度电 视、高密度光存储媒体等应用中的视频压缩。a v s 视频标准中具有特征性的核心技术包括： 6 一 南京邮电大学硕士研究生学位论文 第一章视频编码及高速d s p 8 8 整数变换、量化、帧内预测、l 4 精度像素插值、特殊的帧间预测运动补偿、二维熵编 码、去方块效应环内滤波等。 1 ) 变换量化 a v s 的8 x 8 变换与量化可以在1 6 位处理器上无失配地实现，从而克服了m p e g 4 a v c h 2 6 4 之前所有视频压缩编码国际标准中采用的8 8d c t 变换存在失配的固有问题。 而m p e g 4a v c h 2 6 4 所采用的4 4 整数变换在高分辨率的视频图像上的去相关性能不 及8 x 8 的变换有效。a v s 采用了6 4 级量化，可以完全适应不同的应用和业务对码率和质 量的要求。在解决了1 6 位实现的问题后，目前a v s 所采用的8 8 变换与量化方案，即适 合于1 6 位d s p 或其他软件方式的快速实现，也适合于a s i c ( a p p l i c a t i o ns p e c i f i ci n t e r g r a t e d c i r c u i t s ，专用集成电路) 的优化实现。 2 ) 帧内预测 a v s 的帧内预测技术沿袭了m p e g 4a v c h 2 6 4 帧内预测的思路，用相邻块的像素 预测当前块，采用代表空间域纹理方向的多种预测模式。但a v s 亮度和色度帧内预测都 是以8 x 8 块为单位的。亮度块采用5 种预测模式，色度块采用4 种预测模式，而这4 种模 式中又有3 种和亮度块的预测模式相同。在编码质量相当的前提下，a v s 采用较少的预测 模式，使方案更加简洁，实现的复杂度大为降低。 3 ) 帧间预测 帧间运动补偿编码是混合编码技术框架中最重要的部分之一。a v s 标准采用了1 6 1 6 ， 1 6 x 8 ，8 x 1 6 和8 x 8 的块模式进行运动补偿，而去除了m p e g 4a v c h 2 6 4 标准中的8 x 4 ， 4 x 8 ，4 x 4 的块模式，目的是能更好地刻画物体运动，提高运动搜索的准确性。实验表明， 对于高分辨率视频，a v s 选用的块模式已经能足够精细地表达物体的运动。较少的块模式， 能降低运动矢量和块模式传输的开销，从而提高压缩效率、降低编解码实现的复杂度。 a v s 和m p e g 一4a v c h 2 6 4 都采用了1 4 像素精度的运动补偿技术。m p e g 4a v c h 2 6 4 采用6 抽头滤波器进行半像素插值并采用双线性滤波器进行1 4 像素插值。而a v s 采用了不同的4 抽头滤波器进行半像素插值和1 4 像素插值，在不降低性能的情况下减少 插值所需要的参考像素点，减小了数据存取带宽需求，这在高分辨率视频压缩应用中是非 常有意义的。 在传统的视频编码标准( m p e g x 系列与h 2 6 x 系列) 中，双向预测帧b 帧都只有一 个前向参考帧与一个后向参考帧，而前向预测帧p 帧则只有一个前向参考帧。而新近的 m p e g 4a v c h 2 6 4 充分地利用图片之间的时域相关性，允许p 帧和b 帧有多个参考帧， 最多可以有3 1 个参考帧。多帧参考技术在提高压缩效率的同时也将极大地增加存储空间 7 南京邮电大学硕士研究生学位论文 第一章视频编码及高速d s p 与数据存取的开销。a v s 中p 帧可以利用至多2 帧的前向参考帧，而b 帧采用前后各一个 参考帧，p 帧与b 帧( 包括后向参考帧) 的参考帧数相同，其参考帧存储空间与数据存取 的开销并不比传统视频编码的标准大，而恰恰是充分利用了必须预留的资源。 a v s 的b 帧的双向预测使用了直接模式( d i r e c tm o d e ) 、对称模式( s y m m e t r i cm o d e ) 和跳过模式( s k i pm o d e ) 。使用对称模式时，码流只需要传送前向运动矢量，后向运动矢 量可由前向运动矢量导出，从而节省后向运动矢量的编码开销。对于直接模式，当前块的 前、后向运动矢量都是由后向参考图像相应位置块的运动矢量导出，无需传输运动矢量， 因此也可以节省运动矢量的编码开销。跳过模式的运动矢量的导出方法和直接模式的相 同，跳过模式编码的块其运动补偿的残差也均为零，即该模式下宏块只需要传输模式信号， 而不需要传输运动矢量、补偿残差等附加信息。 4 ) 熵编码 a v s 熵编码采用自适应变长编码技术。在a v s 熵编码过程中，所有的语法元素和残 差数据都是以指数哥伦布码的形式映射成二进制比特流。采用指数哥伦布码的优势在于： 一方面，它的硬件复杂度比较低，可以根据闭合公式解析码字，无需查表；另一方面，它 可以根据编码元素的概率分布灵活地确定以k 阶指数哥伦布码编码，如果k 选得恰当，则 编码效率可以逼近信息熵。 对预测残差的块变换系数，经扫描形成( 1 e v e l 、r u n ) 对串，l e v e l 、l u l l 不是独立事件， 而存在着很强的相关性，在a v s 中l e v e l 、r u n 采用二维联合编码，并根据当前l e v e l 、l u l l 的不同概率分布趋势，自适应改变指数哥伦布码的阶数。 1 3 h 2 6 4 建议与算法简介 j v t ( j o i n t v i d e ot e a m ，视频联合工作组) 于2 0 0 1 年1 2 月在泰国p a t t a y a 成立。它由 i t u t 和i s o 两个国际标准化组织的有关视频编码的专家联合组成。t 的工作目标是制 定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目 标。目前j v t 的工作已被i t u t 接纳，新的视频压缩编码标准称为h 2 6 4 标准，该标准也 被i s o 接纳，称为a v c ( a d v a n c e dv i d e oc o d i n g ) 标准，是m p e g 4 的第1 0 部分。下面 我们分别从编码器结构，档次以及关键技术三部分来介绍。 南京邮电大学硕士研究生学位论文第一章视频编码及高速d s p 1 3 1 h 2 6 4 编码器的结构 i 当前帧 。r、。li。厂一_ 7 l夕 7 变换 量化 熵编码 i jl 叫运动估计h 间 l i 1 1 i厂 l 参考帧i7 l 动补i厂、内 帧内预测卜 1 r 厂、 重建帧滤波器 l1 反变换 卜_ 反量化 卜一 1 3 2 h 2 6 4 编码器档次 图1 1h 2 6 4 编码器结构 h 2 6 4 规定了三种档次，每个档次支持一组特定的编码功能，并支持一类特定的应用。 1 ) 基本档次( b a s e l i n ep r o f i l e ) ：利用i 片和p 片支持帧内和帧间编码，支持利用基于上 下文的自适应的变长编码进行的熵编码( c a v l c ) 。主要用于可视电话、会议电视、无线 通信等实时视频通信。 2 ) 主要档次( m a i np r o f i l e ) ：支持隔行视频，采用b 片的帧间编码和采用加权预测的帧 内编码：支持利用基于上下文的自适应的算术编码( c a b a c ) 。主要用于数字广播电视与 数字视频存储。 3 ) 扩展档次( e x t e n dp r o f i l e ) ：支持码流之间有效的切换( s p 和s i 片) 、改进误码性能 ( 数据分割) ，但不支持隔行视频和c a b a c ，主要应用于流媒体。 1 3 3 h 2 6 4 编码器关键技术的介绍 h 2 6 4 视频标准与以往的视频编码标准相比，在很多地方使用了先进的算法，主要是 以下几个方面。 1 ) 分层设计 h 2 6 4 的算法在概念上可以分为两层：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 负责 9 南京邮电大学硕士研究生学位论文第一章视频编码及高速d s p 高效的视频内容表示，网络提取层( n a l ：n e t w o r k a b s t r a c t i o nl a y e r ) 负责以网络所要求 的恰当的方式对数据进行打包和传送。在v c l 和n a l 之间定义了一个基于分组方式的接 口，打包和相应的信令属于n a l 的一部分。这样，高编码效率和网络友好性的任务分别 由v c l 和n a l 来完成。v c l 层包括基于块的运动补偿和混合编码等一些新特性。与前面 的视频编码标准一样，h 2 6 4 没有把前处理和后处理等功能包括在草案中，这样可以增加 标准的灵活性。n a l 负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信 令、定时信息的利用或序列结束信号等。例如，n a l 支持视频在电路交换信道上的传输格 式，支持视频在i n t e r n e t 上利用r t p u d p i p 传输的格式。n a l 包括自己的头部信息、段 结构信息和实际载荷信息，即上层的v c l 数据。( 如果采用数据分割技术，数据可能由几 个部分组成) 。 2 ) 4 x 4 块的整数变换 h 2 6 4 与先前的标准相似，对残差采用基于块的变换编码，但变换是整数操作而不是 实数运算，其过程和d c t 基本相似。这种方法的优点在于：在编码器中和解码器中允许 精度相同的变换和反变换，便于使用简单的定点运算方式。也就是说，这里没有“反变换误 差”。变换的单位是4 x 4 块，而不是以往常用的8 x 8 块。由于用于变换块的尺寸缩小，运 动物体的划分更精确，这样，不但变换计算量比较小，而且在运动物体边缘处的衔接误差 也大为减小。为了使小尺寸块的变换方式对图像中较大面积的平滑区域不产生块之间的灰 度差异，可对帧内宏块亮度数据的1 6 个4 x 4 块的d c 系数( 每个小块一个，共1 6 个) 进行 第二次4 x 4 块的变换，对色度数据的4 个4 x 4 块的d c 系数( 每个小块一个，共4 个) 进 行2 x 2 块的变换。h 2 6 4 为了提高码率控制的能力，量化步长的变化的幅度控制在1 2 5 左右，而不是以不变的增幅变化。变换系数幅度的归一化被放在反量化过程中处理以减少 计算的复杂性。为了强调彩色的逼真性，对色度系数采用了较小量化步长。 3 ) 1 4 像素精度的运动估计技术 从h 2 6 1 到m p e g 4 ，运动矢量的精度也从整像素提高到1 4 像素。h 2 6 4 a v c 支持亮 度分量的1 4 像素和色度分量的1 8 像素的运动估计，并详细的定义了相应分数像素的插 值实现算法，利用6 抽头滤波器产生1 2 分数像素、线性插值产生1 4 分数像素、4 抽头滤 波器产生最高1 8 像素。这是通过利用整像素点的亮度值进行内插得到的。由于4 ：2 ：0 采样 的关系，色度的运动精度就达到八分之一像素，这也是通过线性滤波器插值得到的。 4 ) 统一的v l c h 2 6 4 中熵编码有两种方法，一种是对所有的待编码的符号采用统一的v l c ( u v l c ： u n i v e r s a l v l c ) ，另一种是采用内容自适应的二进制算术编码( c a b a c ：c o n t e x t a d a p t i v e 1 0 南京邮电大学硕士研究生学位论文第一章视频编码及高速d s p b i n a r ya r i t h m e t i cc o d i n g ) 。c a b a c 是可选项，其编码性能比u v l c 稍好，但计算复杂度 也高。u v l c 使用一个长度无限的码字集，设计结构非常有规则，用相同的码表可以对不 同的对象进行编码。这种方法很容易产生一个码字，而解码器也很容易地识别码字的前缀， u v l c 在发生比特错误时能快速获得重同步。 5 ) 帧内预测 在先前的h 2 6 x 系列和m p e g x 系列标准中，都是采用的帧间预测的方式。在h 2 6 4 中，当编码i n t r a 图像时可用帧内预测。对于每个4 x 4 块( 除了边缘块特别处置以外) ，每 个像素都可用1 7 个最接近的先前已编码的像素的不同加权和( 有的权值可为0 ) 来预测， 即此像素所在块的左上角的1 7 个像素。显然，这种帧内预测不是在时间上，而是在空间 域上进行的预测编码算法，可以除去相邻块之间的空间冗余度，取得更为有效的压缩。 6 ) 多参考帧预测 与原有标准中的单参考帧不同，h 2 6 4 支持多参考帧编码。即通过在多个参考帧中进 行运动搜索，寻找出当前编码块或宏块的最佳匹配。在一些特定的情况下，主要是快速的 周期运动、快速的场景相互切换、物体存在遮蔽现象等，多参考帧的使用会有非常好的效 果，使用了多参考图像，h 2 6 4 不仅能够提高编码效率，同时也能实现更好的码流误码恢 复，但需要增加额外的时延和存储容量。 7 ) 环路去方块效应滤波器 基于块的视频编码系统在低码率下会出现块效应。块效应降低了编码视频重建后的主 观视觉质量，在h 2 6 1 中第一次出现了去方块效应滤波器，有效地降低了重建图像中的块 效应，改善了主观视觉质量。在后续的h 2 6 3 的选项中也增加了该种滤波器。 h 2 6 4 在编码环路中引入去方块滤波器，使得h 2 6 4 在压缩比远高于h 2 6 3 的情况下， 仍然能够保持较好的主观视觉质量。去方块滤波器的使用，一方面可以平滑虚假的边界， 提高主观质量；另一方面，平滑后的参考帧用于运动估计时可以获得更好的效果。由于 h 2 6 4 中最小的运动搜索块大小为4 x 4 大小块，因而滤波系统也应该是4 x 4 大小块。去块 效应滤波器应用在反变换后，图像重构前。它根据宏块中每一个块的位置和量化参数不同， 对每一条块边界设置不同的滤波强度，自适应地调整滤波效果。 8 ) 面向i p 和无线环境 h 2 6 4 草案中包含了用于差错消除的工具，便于压缩视频在误码、丢包多发环境中传 输，如移动信道或i p 信道中传输的健壮性。为了抵御传输差错，h 2 6 4 视频流中的时间同 步可以通过采用帧内图像刷新来完成，空间同步由条结构编码( s l i c es t r u c t u r e dc o d i n g ) 来 支持。同时为了便于误码以后的再同步，在一幅图像的视频数据中还提供了一定的重同步 1 1 南京邮电大学硕士研究生学位论文 第一章视频编码及高速d s p 点。另外，帧内宏块刷新和多参考宏块允许编码器在决定宏块模式的时候不仅可以考虑编 码效率，还可以考虑传输信道的特性。除了利用量化步长的改变来适应信道码率外，在 h 2 6 4 中，还常利用数据分割的方法来应对信道码率的变化。从总体上说，数据分割的概 念就是在编码