（通信与信息系统专业论文）h264中cavlc编码器的vlsi结构设计.pdf

摘要 迅猛发展的数字技术，将人类生活带入了一个全新的数字化、信息化社会。 其中多媒体数码产品的普及正是得益于视频压缩编码技术的不断进步，尤其是对 新一代视频编码标准h 2 6 4 标准方向的研究进展。同时，遵循摩尔定律的半导体 和信息技术的飞速发展，也为复杂的编码算法的实时应用奠定了硬件基础。 作为h 2 6 4 标准中的关键技术，熵编码在随机过程的统计特性基础上，根据 数据的统计信息进行编码，减少了编码冗余，从而进一步提高了压缩效率。 本文主要研究应用于h 2 6 4 基本档次和扩展档次中的c a v l c 熵编码。相对于 c a b a c 熵编码，c a v l c 算法简单、实现复杂度低，主要应用于对编解码时间要 求苛刻、硬件有一定制约的情况下。但是采用软件实现c a v l c 算法难以满足高清 视频编码的实时性要求。为此，本文在对c a v l c 算法进行细致的研究和分析的基 础上，提出了一个高效的c a v l c 编码器硬件结构。 本文首先简要介绍了视频编码标准的发展历史，并对几种编码标准进行了比 较，然后着重论述了h 2 6 4 视频标准的编解码框架以及关键技术，对h 2 6 4 中的 c a v l c 算法进行了详细的研究和分析，然后从架构的角度提出了一个高效的 c a v l c 编码器硬件结构，接着对c a v l c 编码器中主要的功能模块的硬件结构设 计进行了详细的介绍。最后，提出了c a v l c 编码器的设计验证方法，并对仿真和 综合结果进行了分析，实验结果表明本文提出的c a v l c 编码器的硬件结构可以满 足1 0 8 0 p 高清( 1 9 2 0 x1 0 8 0 3 0 t ) 视频实时编码的要求。 关键词：h 2 6 4 熵编码c a v l cv l s i a b s t r a c t t h er a p i dd e v e l o p m e n to fd i g i t a lt e c h n o l o g yh a sb r o u g h th u m a ni n t oab r a n d - n e w d i 百t a la n di n f o r m a t i o ns o c i e t y t h ep o p u l a r i t yo fd i 西t a lm u l t i m e d i ap r o d u c t si s b e n e f i t e df r o mt h ep r o g r e s so fv i d e oc o m p r e s s i o nt e c h n o l o g y , e s p e c i a l l yt h en e w r e s e a r c hd e v e l o p m e n to ft h en e w e s tg e n e r a t i o nv i d e oc o d i n gs t a n d a r d h 2 6 4s t a n d a r d m e a n w h i l e ，a b i d i n gb ym o o r e sl a w , t h er a p i dd e v e l o p m e n to fs e m i c o n d u c t o r sa n d i n f o r m a t i o nt e c h n o l o g yl a i dt h eh a r d w a r eb a s i s f o rt h er e a l - t i m ea p p l i c a t i o n 谢也 c o m p l e xe n c o d i n ga l g o r i t h m s a st h e k e yt e c h n o l o g i e s i n h 2 6 4 ，e n t r o p yc o d i l l g b a s e do nt h es t a t i s t i c a l p r o p e r t i e so f s t o c h a s t i cp r o c e s s e s ，i sr e a l i z e db ys t a t i s t i ci n f o r m a t i o n , r e d u c i n gc o d i n g r e d u n d a n c y , f u r t h e ri m p r o v i n gt h ec o m p r e s s i o ne f f i c i e n c y t h i sp a p e rm a i n l yr e s e a r c h e so nc a v l ce n t r o p yc o d i n gi nh 2 6 4b a s e l i n ep r o f i l e a n de x t e n d e dp r o f i l e c o m p a r i n gw i t hc a b a c ，c a v l ca l g o r i t h mi ss i m p l et o u n d e r s t a n d , e a s yt oa c h i e v ei nt h ec a s eo f l o wc o m p l e x i t y , t i m e - c r i t i c a le n v i r o n m e n ta n d c e r t a i nh a r d w a r ec o n s t r a i n t s h o w e v e r , i ti sd i f f i c u l tt om e e tr e a l - t i m er e q u i r e m e n t so f h i g h - d e f i n i t i o nv i d e oe n c o d i n gi nc a v l c t h i sp a p e rp u t sf o r w a r dat h o r o u g hs t u d yi n c a v l ca l g o r i t h ma n dp r e s e n t sa ne f f i c i e n tc a v l ce n c o d e rb a s e do nh a r d w a r e a r c h i t e c t u r e t h i sp a p e r b r i e f l yd e s c r i b e st h eh i s t o r yd e v e l o p m e n to f v i d e oc o d i n gs t a n d a r da n d ac o m p a r i s o no fs e v e r a lc o d i n gs t a n d a r d s ，a n dt h e nf o c u s e so nt h ec e d e cf r a m e w o r ka n d k e yt e c h n o l o g i e so fh 2 6 4 t h e ni tm a k e sad e t a i l e ds t u d ya n da n a l y s i so fc a v l c a l g o r i t h m , a n dp r e s e n t sa ne f f i c i e n tc a v l ce n c o d e ri nh a r d w a r ea r c h i t e c t u r e ，f u r t h e ri t d e s c r i b e sm a i nm o d u l e so ft h ec a v l ce n c o d e ra r c h i t e c t u r ei nd e t a i l f i n a l l y , t h e i n t r o d u c t i o no ft h ec a v l ce n c o d e rd e s i g nv e r i f i c a t i o nm e t h o d si sg i v e n , a n d s i m u l a t i o na n ds y n t h e s i sp e r f o r m a n c es h o wt h a tt h ep r o p o s e dc a v l ce n c o d e r h a r d w a r ea r c h i t e c t u r ec a nm e e tt h eh d ( 19 2 0x10 8 0 3 0 0r e a l - t i m ev i d e oe n c o d i n g k e y w o r d ：h 2 6 4e n t r o p yc o d i n g c a v l cv l s i 第一章绪论 第一章绪论 1 1 引言 随着计算机技术、通信技术和v l s i 技术的不断发展，人们的生活和工作方式 发生了巨大变化。传统的一维音频信号已经难以满足人们日益增长的需要，二维 的视频等多媒体产品成为人们新的需求。多媒体信息提供给人们更多、更直观的 信息以及更丰富的感官享受。视频会议、实时监控和可视通信等领域的视频信号 承载的数据量大，给通信的带宽和存储带来更大的挑战，这就需要对视频进行压 缩编码。 多年来，国内外许多学者和研究机构在视频的压缩编码领域进行了大量的研 究，使得视频压缩编码技术取得了长足的进步。随着视频编码技术的进一步产业 化，国际标准化组织i s o m c 成立了运动图像压缩编码组织m p e g ，m p e g 专家 组主要致力于运动图像压缩编码标准的制定。经过专家组不懈的努力，一些视频 的压缩编码国际标准相继问世。国际电信联盟电信标准化部i t u t 的视频编码专 家组v c e g 先后制定了h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 4 视频编码标准，而由m p e g 专家组先后制定m p e g - l 、m p e g 2 、m p e g - 4 视频编码标准，其中h 2 6 2 m p e g 2 和h 2 6 4 m p e g - 4a v c 由i t u t 与m p e g 联合制定。特别是由i t u t 的视频编码 专家组v c e g 和运动图像专家组m p e g 联合推出的新一代视频编码标准h 2 6 4 ， 将视频编码技术推向了一个新的高度。这些视频压缩编码标准的推出极大的促进 了视频压缩编码技术的发展和应用。 另一方面，随着半导体技术以及集成电路技术的快速发展，使得硬件平台的 计算和处理速度不断的提高。特别是f p g a 和d s p 的出现，使得复杂的视频压缩 算法能够用于实时应用，才使得高清电视、视频会议以及视频通话等多媒体应用 得以实现，极大的丰富和方便了人们的工作和生活。 1 2 研究背景 众所周知，人类通过视觉获取的信息量约占总信息量的7 0 ，而且视频信息 具有生动直观性、可信性等优点。目前，视频编码技术有着广阔的应用范围，如 高清电视、视频会议、可视电话、视频监控等业务。但是由于视频信息的数据量 大，如果不经过压缩处理，很难进行传输和存储，这就需要对视频进行压缩编码。 2 h 2 6 4 中c a v l c 编码器的v l s i 结构设计 数据压缩编码技术的基石是是香农( s h a n n o n ) 于1 9 4 8 年创立的经典的信息 论，香农认为信源中都含有一定的冗余性，这些冗余来自于信源本身的相关性， 也来自于信源符号概率分布的不均衡性，因此采用编码的方式可以消除这种冗余。 香农第一定律( 率失真定律) 确定了如何在编码过程中不损失任何信息，即在无 损编码条件下数据压缩的理论极限是信息的熵，并指出了如何建立最优的数据压 缩编码方法。由于视频图像数据具有极强的相关性，也就是说有大量的冗余信息。 视频图像帧与帧之间存在相关性，即存在时间冗余信息；一幅图像内部也存在着 较强的相关性，即存在空间冗余信息。这样就为视频压缩编码提供了可能性。视 频压缩编码技术就是要将这些时间和空间的冗余信息去除，通过帧内预测编码和 变换编码消除视频图像的空间冗余信息，通过帧间预测编码消除视频图像的时间 冗余信息，再通过熵编码进一步去除统计的编码冗余信息。 为了在全世界范围内推进视频编码压缩技术和多媒体通信技术的发展和应 用，国际标准化组织i s o 和国际电信联盟i t u 制定了一系列视频压缩国际标准。 由i t u 组织制定的标准主要是针对实时视频通信的应用，如视频会议和可视电话 等，它们以h 2 6 x 命名( 如h 2 6 1 、h 2 6 2 、h 2 6 3 和h 2 6 4 ) ；而由i s o 的m p e g 组织制定的标准主要针对视频信息的存储( 如d v d ) ，广播电视和视频流的网络传 输等应用，它们以m p e g x 命名( m p e g - 1 、m p e g - 2 、m p e g - 4 等) 。2 0 0 3 年3 月，1 1 u t 和i s o 共同正式公布了h 2 6 4 视频编码标准，h 2 6 4 标准一方面吸收 了以前视频编码标准中的一些行之有效的算法，另一方面采纳了视频编码、图像 处理领域的最新研究成果，在提高压缩编码效率和增强网络适应能力等方面有了 质的飞跃，因此被人们称为新一代视频编码标准。与以往的视频编码标准相比， h 2 6 4 视频编码标准在同样的重建图像质量下码率可以降低5 0 左右。通常情况 下，与h 2 6 3 相比，在同样的图像质量下，h 2 6 4 能将码率降低一半左右；在同样 的码率的情况下，h 2 6 4 的信噪比明显提高。正是由于h 2 6 4 标准在编码效率、图 像质量、网络适应性等方面卓越的性能，使其在国际上成为研究的热点。 目前，h 2 6 4 视频压缩编码的实现方式有很多：由于d s p 平台在处理视频信 息的优越性能，基于d s p 平台的开发方式最多，如德州仪器1 r i 推出的d a v i n e i 系 列d s p 主要面向多媒体应用；基于成熟专用芯片a s i c 也是不错的选择，如富士 通公司的m b 8 6 h 5 1 芯片；还有基于现有的p 核可以在f p g a 上进行开发。 1 3 本文研究内容及意义 本文主要研究h 2 6 4 视频编码标准中的c a v l c 熵编码。熵编码作为h 2 6 4 标 准中的关键技术对提高整个编码系统的效率至关重要。h 2 6 4 中的熵编码主要由两 第一章绪论 3 部分组成，即基于上下文的自适应可变长编码c a v l c ( c o n t e x t - a d a p t i v e v a r i a b l e 1 饥g t l lc o d i n g ) 和基于上下文的自适应二进制算术编码c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。在h 2 6 4 标准中的b a s e l i n e p r o m e 只支持c a v l c ，而在m a i np r o f i l e 中同时支持c a v l c 和c a b a c 。这两种 编码方法都是利用自适应的上下文模型来提高编码的效率。与c a v l c 相比， c a b a c 可以使码率降低9 1 4 ，但是复杂度增加了2 5 3 0 。 本文首先从视频为什么需要编码，为什么可以编码入手，引出视频编码标准 的发展历史，简要分析各个阶段的视频编码标准的性能比较和关键技术。接着发 展并过渡到新一代视频编码标准h 2 6 4 ，阐述了h - 2 6 4 的关键技术和性能上的优越 性。然后着重论述了h 2 6 4 视频标准的编解码框架，从h 2 6 4 的编码流程上对编 码的各个阶段进行简要的说明。接着着重论述了熵编码算法，特别是对h 2 6 4 中 的c a v l c 算法进行了详细的研究和分析，然后从架构的角度提出了一个高效的 c a v l c 编码器硬件结构，接着对c a v l c 编码器中主要的功能模块的硬件结构设 计进行了详细的介绍。最后，介绍了c a v l c 编码器的设计验证方法，并对仿真、 验证和综合结果进行了分析。 本文具体章节安排如下： ， 第一章：绪论，首先介绍了视频压缩编码的发展及应用，接着介绍了h 2 6 4 视频编码技术的产生和研究背景，最后介绍了本文的研究内容以及章节安排。 第二章：首先论述了视频编码的必要性和可行性，接着介绍了视频编解码的 发展历程，比较了各个阶段的视频编码标准的性能比较和关键技术，并对h 2 6 4 编解码框架简要分析，然后阐述了h 2 6 4 中的熵编码基本原理，最后简要分析并 比较了两种熵编码。 第三章：首先从理论上研究了c a v l c 编码的流程，针对编码的每个步骤进行 分析，得到优化的编码方案，从而给出了本文编码器的实现方法，并使用本文的 c a v l c 编码器中的重要信号进行说明具体的实现流程。 第四章：首先从系统架构的角度提出了本文的c a v l c 编码器硬件结构，接着 对c a v l c 编码器中编码非零系数个数和拖尾系数个数模块、宏块上下文管理模 块、编码全部零个数模块、编码幅值模块、编码拖尾系数模块以及编码每个非零 系数前零游程模块等主要的功能模块的硬件结构设计进行了详细的介绍。然后介 绍了a s i c 和f p g a 的开发流程，然后对本文采用的设计验证方法进行了介绍，最 后对验证结果和综合结果进行了分析。 第五章：结束语，总结和全文，并对未来的研究和改进工作进行了展望。 第二章h 2 6 4 视频编码的研究 5 第二章h 2 6 4 视频编码的研究 h 2 6 4 a v c t l j 标准是由国际电信联盟i t u t 的视频编码专家组v c e g 和国际标 准化组织i s o 的运动图像专家组m p e g 联合提出的新一代视频编码标准。h 2 6 4 采用了一些新技术来提高编码效率，如四分之一像素运动估计、帧内预测、多参 考帧、去块效应滤波和熵编码。与之前的视频编码标准相比，h 2 6 4 在同样的重建 图像质量下码率可以降低5 0 左右。 熵编码作为h 2 6 4 标准中的关键技术，对提高整个编码系统的效率至关重要。 h 2 6 4 中的熵编码主要由两部分组成，即基于上下文的自适应可变长编码c a v l c ( c o n t e x t - a d a p t i v ev a r i a b l e 1 e n g t hc o d i n g ) 和基于上下文的自适应二进制算术编码 c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。在h - 2 6 4 标准中的 b a s e l i n ep r o f i l e 只支持c a v l c ，而在m a i np r o f i l e 中同时支持c a v l c 和c a b a c 。 这两种编码方法都是利用自适应的上下文模型来提高编码的效率。与c a v l c 相 比，c a b a c 可以使码率降低9 1 4 ，但是复杂度增加了2 5 3 0 。本文着重研究 在b a s e l i n ep r o f i l 中支持的c a v l c 算法。 本章首先简要视频编码的必要性和可行性，接着介绍了视频编码标准的发展 历程，对各个阶段的编码标准进行比较，详细介绍了h 2 6 4 标准的编解码框架和 关键技术，然后对h 2 6 4 标准中熵编码的算法进行了简要的分析。 2 1 视频编码的必要性和可行性 由于视频承载了海量信息，包含大量数据，对通信传输带宽和数据存储都提 出了更高的要求。以常见的c i f 格式为例，每幅c i f 由2 8 8 行组成，每行包括3 5 2 个像素点；如果对每个像素点的r 、g 、b 分量都采用8b i t 数据进行表示，当帧速 率为2 5 f p s 时，每秒c i f 图像占用的数据量为： 2 8 8 3 5 2 3x8x2 5 = 5 9 4 m b i t 对于符合p a l 制式的标准电视信号的y ，c r ，c b 分量所占比特数分别是 7 9 1 m b i t ，1 9 7 8 m b i t ，1 9 7 8 m b i t ，每秒p a l 制式的视频数据量为： ( 7 9 1 + 1 9 7 8 + 1 9 7 8 ) 2 = 2 3 7 3 2m b i t 而高清晰电视h d t v 的数据量达到了1 2 g b p s 以上。与此同时，传输网络的 带宽和存储媒质容量都非常有限，例如：公共交换电信网p s t n 的带宽是 3 3 6 - - 5 6 k b p s ，综合业务数字网i s d n 的带宽是( 2 b + d ) 1 4 4 k b p s ，非对称数字用 6 h 2 6 4 中c a v l c 编码器的v l s i 结构设计 户环路a d s l 的带宽是1 1 5 m b p s ，全球移动通信系统g s m 带宽为9 6 - - 1 4 4 k b p s ， 而存储介质中c d r o m 大小为7 5 0 m b ，d v d r o m 大小为4 7 g b 可以看出，如果在d v d r o m 上保存p a l 制式的视频数据，只能保存不到半 分钟的内容。视频数据这种海量性对存储器、通信信道和计算机的处理速度增加 了极大的压力。因此无论是存储、传输还是处理，数字视频必须经过有效的压缩 编码才能具有实际应用价值，而视频数据由于具有多种相关性，只要采用相应的 方法去除相关性造成的各种冗余就能对原始视频信号进行有效的压缩。一般而言， 数字视频信号的冗余可归为以下几类： 1 空间冗余：数字图像是视频基本组成元素，通过对模拟视频信号进行空间采样 得到的，所以构成数字图像的相邻像素间具有较大相关性，即这些像素之间的 像素值相差通常不会很大。各像素的值可以通过相邻像素的数值预测出来，每 个独立的像素所携带的信息很少，这种像素间的冗余就称为空间冗余。 2 时间冗余：由于视频信号本质上是一系列连续的图像，为了达到连续的视频效 果，帧与帧之间的采样间隔很小，对于2 5f p s 的视频信号，间隔时间为0 0 4s 。 因此相邻视频图像间也存在着很强的相关性。对于静止不动的场景，相邻两帧 的内容是完全相同的；对于场景中的运动目标，如果知道运动规律，这样就可 以很容易地从前一帧视频图像推算出它在当前帧中的大致位置。 3 心理视觉冗余：在大多数情况下，人类视觉系统是视频编码系统的最终接受者。 而人类的视觉系统具有非线性和非均匀的特点，人类感知的图像亮度不仅与该 点的反射光强有关，同时也受到相邻的区域光强影响。另外人类视觉系统并非 对所有视觉信息都具有相同的敏感度。视频中的部分信息在通常的感知过程中 与其他信息相比来说并不重要，所以就可以被视为心理视觉冗余，而且去除这 些信息不会明显降低人类感受到的图像的质量。 4 编码冗余：如果对图像的所有信息都采用相同长度的符号表示，需要使用较多 比特才能完全表示图像中的灰度和颜色信息。理想情况是按照像素信息的信息 熵大小为其分配相应的比特数。而在实际情况中，很难得到像素的具体信息熵。 在图像的采样和量化时一般方法是对所有像素分配相同比特数，此时编码采用 的码不能使平均比特数达到或接近熵值，在这种情况下一定存在熵编码冗余。 2 2 视频编码的发展与比较 1 9 4 8 年，o l i v e r 提出了第一个编码理论一脉冲编码调制：同年，s h a n n o n 提出 并建立了信息率失真函数概念，后来进一步确立了率失真理论，这些工作奠定了 第二章h 2 6 4 视频编码的研究 7 信息编码的理论基础。主要编码方法包括变换编码、预测编码和统计编码。这些 经典方法被成为“第一代 视频压缩编码方法。这些编码方法在中等压缩率的情 况下，提供了非常好的图像质量，但在低压缩率情况下，无法令人满意。这些技 术都没有利用图像的结构特点，只能以像素或块为编码的对象，设计时也没有考 虑人类视觉系统的特性、视频图像的具体特点，所以后来达到了顶峰。 为了克服“第一代刀视频压缩编码方法的局限性，k u n t 等人提出了“第二代 视频压缩编码方法，充分利用人的视觉心理、生理和图像信源的各种特性，实现 从“波形 编码到“模型一编码的转变，获得了更高的压缩比。“第二代视频压 缩编码方法结合计算机视觉、计算机图形学、人工智能与模式识别等多学科研究 成果，为视频编码开拓了广阔的前景。但是增加了分析的难度和实现的复杂性。 近些年来，出现了一类充分利用人类视觉特性的“多分辨率编码 的方法， 如子带编码和基于小波变换的编码方法。这类方法使用不同类型的一维或二维线 性数字滤波器对视频图像进行整体分解，然后根据人类视觉的特性对不同频段的 数据进行粗细不同的量化处理，以达到更好的压缩效果。这类方法原理上是“波 形 编码，仍属于线性处理，可归入经典编码方法，但它们又利用了人类视觉系 统的特性，因此可以被看作是“第一代 编码技术向“第二代编码技术的过渡。 为了推进视频编码压缩技术的发展和应用，国际标准化组织i s o 和国际电信 联盟i t u 制定了一系列视频压缩国际标准。m p e g 组织制定的各个标准都有不同 的目标和应用，目前已提出m p e g 1 、m p e g 2 、m p e g - 4 等标准。， 1 m p e g - 1 标准：1 9 9 3 年8 月公布，用于传输1 5 m b p s 数据传输率的数字媒体 运动图像及其伴音的编码。该标准包括五部分：第一部分说明了如何根据第 二部分视频内容以及第三部分音频内容的规定，对音频和视频进行复合编码。 第四部分说明了检验解码器或编码器的输出比特流是否符合前三部分规定的 过程。第五部分用完整的c 语言实现了编码和解码器。 该标准从颁布的那- n 起取得了成功，如v c d 和m p 3 的大量使用，w m d o w s 9 5 以后的版本都带有一个m p e g 1 软件解码器，可携式m p e g 1 摄像机等等。 2 m p e g 2 标准：1 9 9 4 年，m p e g 组织推出m p e g - 2 压缩标准，针对标准数字 电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率 从每秒3m b i t - - 一1 0 0m b i t 。m p e g - 2 不是m p e g 1 的简单升级，m p e g 2 在系 统和传送方面作了更加详细的规定和进一步的完善。m p e g 2 图像压缩原理是 利用了图像中的空间相关性和时间相关性，编码时去除冗余信息，只保留少量 非相关信息进行传输，节省传输频带。而接收机利用这些非相关信息，按照一 定的解码算法，可以在保证一定的图像质量的前提下恢复原始图像。 8 h 2 6 4 中c a v l c 编码器的v l s i 结构设计 m p e g - 2 标准主要应用在广播电视领域中的视音频资料的保存、电视节目的非 线性编辑系统及其网络、卫星传输、电视节目的播出等方面 3 m p e g - 4 标准：到1 9 9 9 年，m p e g - 4 标准出台，它提供了低码率、高质量的 音视频压缩、编码方案，推动了视频多媒体应用的进一步发展。m p e g - 4 的特 点是其更加注重多媒体系统的交互性和灵活性，是第一个具有交互性的动态图 像标准。它采用基于对象的编码理念，将一幅景物分成在时间和空间上相互联 系的若干视频音频对象，分别编码后，经过复用传输，接收端对不同的对象分 别解码，从而组合成所需要的视频和音频。这样我们可以对不同对象采用不同 的编码方法和表示方法，又有利于不同数据类型间的融合，并且可以方便的实 现对于各种对象的操作及编辑。 m p e g - 4 是针对数字电视、交互式绘图应用、交互式多媒体等整合及压缩技术 的需求而制定的国际标准，它将众多的多媒体应用集成在一个完整的框架内， 旨在为多媒体应用提供标准的算法及工具，从而建立起一种能被多媒体的存 储、传输、检索等应用领域普遍采用的统一数据格式。 作为新一代多媒体数据压缩编码的代表，m p e g - 4 第一次提出了基于内容、基 于对象的压缩编码思想，因而代表了现代数据压缩编码技术的发展方向，被广 泛应用于因特网视音频广播、无线通信、电视电话、动画、电子游戏等方面。 与此同时，国际电信联盟( i t u t ) 的视频编码专家组( v c e g ) 也推出了h 2 6 1 、 h 2 6 3 、h 2 6 3 + 等一系列视频压缩编码的国际标准，并且同m p e g 专家组一起推出 了h 2 6 4 压缩编码国际标准，下面简要分析比较几种主要的视频编码标准： 1 h 2 6 1 视频编码标准：作为最早的运动图像压缩国际标准，h 2 6 1 视频编码标 准是r r u t 为在综合业务数字网( i s d 上应用双向声像业务( 可视电话、视频 会议) 而制定的，速率为6 4 k b s 的整数倍。它制定了视频编码的各个部分，包 括帧间预测、d c t 变换、量化、熵编码以及速率控制等部分。h 2 6 1 只处理 c i f 和q c i f 两种图像格式，每帧图像分成图像层、宏块组( g o b ) 层、宏块层、 块( b l o c k ) 层来处理。 、 2 h 2 6 3 视频编码标准：在h 2 6 1 基础上发展起来的，是最早用于低码率视频 编码的i t u t 标准，是i t u t 为低于6 4 k b s 的窄带通信信道制定的视频编码 标准。与h 2 6 1 相比采用了半像素的运动补偿，并增加了4 种有效的压缩编码 模式。随后出现的第二版h 2 6 3 + 及h 2 6 3 + + 增加了许多选项，使其具有更广泛 的适用性。h 2 6 3 的标准输入图像的格式可以是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 彩色4 ：2 ：0 的亚取样图像。h 2 6 3 视频编码标准的关键技术包括 允许运动矢量指向图像以外的区域。当某一运动矢量所指的参考宏块位于图像 第二章h 2 6 4 视频编码的研究 9 之外时，就用其边缘的图像像素值来代替；使用算术编码来代替霍夫曼编码， 在信噪比和重建图像质量相同的情况下可以降低码率；允许一个宏块中的4 个 8 8 亮度块各自对应一个运动矢量，从而提高了预测精度；两个色度块的运 动矢量取这4 个亮度块运动矢量的平均值；补偿时，使用重叠的块运动补偿， 8 x8 亮度块的每个像素的补偿值由3 个预测值加权平均得到，使用该模式可 以产生显著的编码增益。 h 2 6 3 + 标准是h 2 6 3 标准的版本2 ，它在保证原h 2 6 3 标准的核心句法和语义 不变的基础上，增加了若干选项以提高压缩效率或改善某些功能。它允许更大 范围的图像输入格式，允许自定义图像的尺寸，从而拓宽了标准使用的范围。 h 2 6 3 + 采用先进的帧内编码模式和增强的p b 帧模式，改进了h 2 6 3 的不足， 增强了帧间预测的效果；采用去块效应滤波器提高了压缩编码效率。为适应网 络传输，h 2 6 3 + 增加了时间分级、空间分级和信噪比，这对噪声信道和大量包 丢失的网络中传送视频信息很有意义。 3 h 2 6 4 视频编码标准：制定h 2 6 3 标准后，i t u t 的视频编码专家组( v c e g ) 开始了两个方面的研究：一个在h 2 6 3 基础上增加选项，最终产生了h 2 6 3 + 与h 2 6 3 + h h 2 6 3 + + 在h 2 6 3 + 基础上增加了三个选项) ；另一个是长期研究计划， 制定一种支持低码率的视频通信的新标准，最终产生了h 2 6 l 标准草案，在压 缩效率方面与先期的视频压缩标准相比，具有明显的优越性。随后，i s o 与i t u 开始组建包括来自i s o 的m p e g 组织与i t u t 的v c e g 组织的联合视频组 ( j v t ) ，主要任务就是将h 2 6 l 草案发展为一个国际性标准。在i s o i e c 中该 标准命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g - 4 标准的第1 0 个选项； 在i t u t 中被正式命名为h 2 6 4 标准。 作为自m p e g - 2 视频压缩标准发布以后的最新视频压缩标准，h 2 6 4 在相同的 重建图像质量下，数据压缩比是m p e g 2 的2 倍以上，是m p e g - 4 的1 5 - - 2 倍；对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，又可 工作于无时延限制的场合；提高了网络适应性，采用“网络友好 的结构和语 法，加强了对误码和丢包的处理，提高解码的差错恢复能力；采用复杂度的可 分级设计，在图像质量和编码处理之间可分级，以适应不同等级的应用。正 是由于这些优点，h 2 6 4 视频压缩标准被普遍认为是最有影响力的行业标准。 为什么h 2 6 4 视频压缩标准有如此好的压缩性能? 相对于之前的几个视频压缩标 准，h 2 6 4 引入t i t 多先进的关键技术，大致如下： 1 4 x 4 整数变换：以前的编码标准，如h 2 6 3 或m p e g - 4 ，都是采用8 8 的 d c t 变换。h 2 6 l 标准建议的整数变换接近于4 x 4 的d c t 变换，降低了算法 1 0 h 2 6 4 中c a v l c 编码器的v l s i 结构设计 的复杂度，也避免了反变换的失配问题，4 x 4 的块也可以减小块效应。而h 2 6 4 的4 x 4 整数变换进一步降低了编码算法的复杂度，相比h 2 6 l 中建议的整数 变换，由以前3 2 b 的输入残差数据降为现在的1 6 b 运算，而且整个变换没有乘 法，只需加法和一些移位运算。新的变换对编码的性能几乎没有影响，而且实 际编码效果略好一些。 2 基于空域的帧内预测技术：视频编码是通过去除图像的时间与空间的相关性 来达到压缩的目的。空间相关性通过有效的变换来去除，如h 2 6 4 的整数变换； 时间相关性则通过帧间预测来去除。这里所说的变换去除空间相关性，仅局限 在所变换的块内，如8 8 块或者4 x 4 块，并没有块与块之间的处理。h - 2 6 4 在空域中利用当前块的相邻像素直接对每个系数做预测，提高了帧内编码的效 率。帧内预测时编码器根据当前块相邻的像素点计算预测值，再进行差分编码。 帧内编码宏块类型包括 n t r a1 6 x1 6 和i n t r a4 x 4 两种。根据图像平滑程 度决定选用类型，如平滑简单的区域采用i n t r a1 6 1 6 类型，而图像细节方 面需要准确预测时，采用i n t r a4 4 型。 3 运动估计：在帧间编码过程中，编码器可以根据编码的需要对宏块进行分割。 内容平滑的宏块不作分割，包含细节的宏块将根据情况分成2 个8 1 6 的块， 或者2 个1 6 8 的块，或者4 个8 8 的块，分割出的每个块都有自己的参考 帧标号；8 8 的块中如果还包含细节，可以被进一步分割成2 个4 8 的块， 或者2 个8 4 的块，或者4 个4 4 的块，这时分割出的块都使用相同的参考 帧，不过每个块都有自己的运动矢量。也就是说，一个宏块最多需要发送4 个 参考帧标号和1 6 个运动矢量。 h 2 6 4 的运动估计具有三个新特点：四分之一像素精度的运动估计：七种不同 大小的块进行匹配；前向和后向多参考帧。帧间编码时，一个宏块( 1 6 1 6 ) 可以被分为1 6 8 、8 1 6 、8 8 三种块，而8 8 的块被称为子宏块，又可以 分为8 4 、4 x 8 、4 x 4 三种块。与以往标准的p 帧、b 帧不同，h 2 6 4 采用 了前向与后向多个参考帧的预测。半像素精度的运动估计比整像素的运动估计 有效地提高了压缩比，而四分之一像素精度的运动估计可带来更好的压缩效 果。多参考帧预测方面，假设为5 个参考帧预测，相对于一个参考帧，可降低 5 - - 1 0 的码率。 4 熵编码：h 2 6 4 提供两种熵编码方法，一种是u v l c 结合基于上下文的自适 应可变长编码c a v l c ( c o n t e x t - a d a p t i v ev a r i a b l e l e n g t hc o d i n g ) 的变长编码， 另一种是基于上下文的自适应二进制算术编码c a b a c ( c o n t e x t - b a s e a a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。在h 2 “标准中的b a s e l i n ep r o f i l e 只支持 c a v l c ，而在m a i np r o f i l e 中同时支持c a v l c 和c a b a c 。这两种编码方法 都是利用自适应的上下文模型，即根据相邻块的情况来编码当前块，这样便提 第二章h 2 6 4 视频编码的研究 高了编码的效率。 5 d c t 变换和量化：h 2 6 4 中采用了基于4 4 像素块的整数d c t 变换。与浮点 运算相比，整数d c t 变换虽然会引起一些额外的误差，但整数d c t 变换具有 运算量小、复杂度低等优点。h 2 6 4 中采用标量量化技术，将每个像素编码映 射为较小的数值。在不降低视觉效果的前提下，量化过程尽量减少图像编码长 度，减少视觉恢复中不必要的信息。量化步长q p 决定量化器的压缩率及图像 精度。如果q p 较大，则量化值的动态范围较小，相应的编码长度较小，但反 量化时会损失较多的图像细节信息；如果q p 较小，则量化值的动态范围较大， 其相应的编码长度也较大，但图像细节信息损失的较少。编码器可以根据实际 动态范围自动改变q p 值，在编码长度和图像精度之间折中，达到最佳效果。 6 去块效应滤波器：方块效应也称为马赛克效应，是基于块的压缩编码时由于 边缘的数据在重建时比块内数据的精度低造成的。h 2 6 4 采用自适应的环内去 方块滤波器对块的边界进行去块滤波，滤除重建图像中的方块效应。一个边缘 两边的像素是否需要去块滤波，是由两边的像素亮度差的绝对值决定的，判定 的门限值与量化系数有关。当绝对值较大时，表明存在方块效应，需要去块滤 波，但是如果绝对值超出了当前量化系数所能引起的误差，说明是图像内容变 化引起的，此时不需要去块滤波。需要去块滤波的边缘部分，还要根据两边块 一 的预测方式和运动矢量等信息决定去块滤波的强度。 h 2 6 4 中经过去块滤波的图像方块效应明显减小，同时图像中的细节部分基本 无变化，避免了去块滤波引起的图像模糊，图像的主观质量明显提高。采用去 块滤波器后，在相同客观质量下编码器输出的比特率下降5 1 0 。 目前，h 2 6 1 与h 2 6 3 已被广泛应用，成熟的产品已经很多。h 2 6 3 与h 2 6 1 相比，增加了若干选项，提供了更灵活的编码方式，压缩效率提高。h 2 6 4 视频编 码标准的推出，是视频编码标准的一次重要进步，它与现有的m p e g 2 、m p e g - 4 及h 2 6 3 相比，具有明显的优越性，特别是在编码效率上的提高。尽管h 2 6 4 的 算法复杂度高，随着集成电路技术的快速发展，h 2 6 4 的应用已成为现实。 2 3h 2 6 4 视频编码标准概述 2 3 1h 2 6 4 视频编解码框架 h 2 6 4 编码器的结构框架如图2 1 所示。当前帧f n 以宏块为单位依次进入编码 器。编码器包括两个通路：前向编码通路和反向重建图像通路。 1 2 h 2 6 4 中c a v l c 编码器的v l s i 结构设计 图2 1h 2 6 4 编码器结构框图 在前向编码通路中，每个宏块的编码方式分为帧内和帧间两种编码模式。当 采用帧内编码模式时，由当前帧f n 已重建的宏块来预测宏块，得到当前宏块的预 测值；当采用帧间编码模式时，是由当前帧f n 的参考帧f n - 1 来对当前宏块进行 帧间预测( 运动估计) 得到当前宏块的预测值。然后由预测宏块和当前宏块相减 得到残差宏块，再对宏块的残差数据进行d c t 变换和量化操作，得到残差宏块的 变换系数，残差的变换系数以及预测信息再经过熵编码得到最终的码流。 为了和解码端保持一致，需要得到已编码宏块的重建宏块，所以在编码器中 建立个反向重建通路。在反向重建通路中，d c t 变换和量化后的残差的变换系 数经过反量化和反d c t 变换得到残差数据的宏块，残差数据的宏块与预测宏块相 加得到未经去块滤波的重建宏块，再经过去块效应滤波器得到重建图像。 h 2 6 4 的视频序列通常的编码过程如图2 2 所示， 卜一 栊猿亭列一 图2 2 视频序列编码过程 第二章h 2 6 4 视频编码的研究 1 3 所以一个视频序列的编码过程大致如下： 1 把一个视频序列先按照上图的结构划分为一帧帧连续的图像，再把每帧图像划 分为若干个片( s l i c e ) ，每个片划分为宏块，最终每个宏块划分为小块，每个 小块包含很多像素点，这样编码一个视频序列就变为编码一个个小块的过程。 2 通过对块的变换、量化和熵编码，消除图像中的空间冗余。 3 由于相邻帧图像存在很大的相似性( 即时间冗余) ，所以只需要将相邻帧图像间 的变化