（通信与信息系统专业论文）h264编码算法研究和基于fpga的设计.pdf

蚕j ! 三些奎耋堡圭篁塞堡茎 摘要 h 2 6 4 a v c 是由国际电信联盟( i t u ) 和国际标准化组织( i s o ) 共同制定的新一代 视频编码标准。论文首先简要介绍了h 2 6 4 a v c 的编码策略和提高编码效率的重 要技术特性，然后着重分析了其中的2 项关键技术：帧内预测和变换与量化。 h 2 6 4 a v c 标准中，如果个块采用帧内预测模式预测，对亮度分量，4 x 4 的 块有9 中预测模式，1 6 x1 6 的宏块有4 种预测模式；对色度分量，有4 种预测模 式，这些预测模式大大提高了帧内预测的预测精度，缩小了码流。与先前的图像 编码标准相同，h 。2 6 4 a v c 也是基于变换编码的视频标准，不同的是h 2 6 4 a v c 标 准中采用了一种基于4 x 4 块的整数变换，与其它视频编码标准中采用的基于8 8 块的d c t 变换相比，该变换只需使用1 6 位的加法和移位运算即可实现，不需使用 乘法运算，大大减小了运算复杂度，并避免了反变换过程中的误差。论文首先系 统的研究了帧内预测的各种预测模式算法和模式决策算法，并在j m 平台上测试比 较了各种预测模式对预测编码性能的影响；随后对h 2 6 4 a v c 所使用的整数变换 算法和相关的量化过程进行了系统的推导和论证。 在理论分析的基础上论文提出了一种基于f p g a 的全i 帧编码器设计方案，该 方案采用h 2 6 4 a v c 编码器中最基本的模块，主要包括帧内预测、变换量化和熵 编码等；论文首先分析了该方案的系统架构设计，然后对编码器中的帧内预测、 变换与量化等关键技术的设计分别进行了详细的讨论，最后在f p g a 平台上对该设 计方案进行了验证并分析了验证结果；验证结果表明该方案能够实现h 2 6 4 a v c b a s e l i n ep r o f i l e 的编码，占用的硬件资源较少，编码图像清晰度较高。该方案 的设计为h 2 6 4 a v c 编解码芯片的开发做了很好的研究和探讨工作，有很好的参 考价值。 关键词：h 2 6 4 a v c ，帧内预测，变换与量化，f p g a ，视频编码芯片 塑! ! ! ；些查兰堡老鎏圣竺! 三垒垒堡 a b s t r a c t t h eh 2 6 4 a v ci st h en e w e s tv i d e oc o d i n gs t a n d a r dd e v e l o p e d b yn u ta n di s o t h ep a p e rf i r s t l yi n t r o d u c e st h ec o d i n gs t r a t e g ya n dt h en e w t e c h n i q u e sw h i c hi m p r o v e t h ec o d i n ge f f i c i e n c yi nt h eh 2 6 4 a v c f u r t h e rm o r e ，i n t r ap r e d i c t i o na n di n t e g e r t r a n s f o r m & q u a n t i z a t i o na r ea n a l y z e de m p h a t i c a l l yw h i c ha r et h ec o r et e c h n i q u e si nt h e h 2 6 4 ，a v c i nt h eh 2 6 4 a v c ，i fab l o c ko rm a c r o b l o c ki se n c o d e di ni n t r am o d e ，f o rt h e l u m i n a n c e0 u m a ) s a m p l e s ，t h e r ea r eat o t a lo f9o p t i o n a lp r e d i c t i o nm o d e sf o re a c h4 x 4 l u m ab l o c k ，4o p t i o n a lm o d e sf o ra1 6 x 1 6l u m ab l o c k ；f o rt h ec h r o m i n a c e ( c h r o m 曲 s a m p l e s ，t h e r ea r eat o t a lo f4o p t i o n a lp r e d i c t i o nm o d e s t h e s ep r e d i c t i o nm o d e se n s u r e t h ep r e d i c t i o np r e c i s i o na n ds a v et h eb i t s t r e a mg r e a t l y a st h ef o r m e ri m a g ec o d i n g s t a n d a r d s 、t h eh 2 6 锄心ci sa l s ob a s e do nt r a n s f o r mc o d i n ga l g o r i t h m t h eh 。2 6 心c a d o p t s t h e4 x 4i n t e g e rt r a n s f o r m u n l i k et h ep o p u l a r8 x 8d c tu s e di n p r e v i o u s s t a n d a r d s ，t h e4 x 4i n t e g e rt r a n s f o r mc a nb ec o m p u t e dw i t h o u tm u l t i p l i c a t i o n s ，j u s t a d d i t i o n sa n ds h i f t si n1 6 - b i ta r i t h m e t i c ，t h u sm i n i m i z i n gc o m p u t a t i o n a lc o m p l e x i t ya n d a v o i di n v e r s et r a n s f o r mm i s m a t c h t h ep a p e rf i r s t l yd e s c r i b e st h ei n t r ap r e d i c t i o n s y s t e m a t i c l y , a n dt e s t st h ei n f l u e n c et oc o d i n ge f f i c i e n c yo fd i f f e r e n tp r e d i c t i o nm o d e s u s i n gj m f u r t h e rm o r e ，t h ei n t e g e rt r a n s f o r ma n dq u a n t i z a t i o na l g o r i t h mi nh 2 6 4 a v c w i l lb ed i s s c u s s e d b a s e do nt h ea n a l y z e dt ot h eh 2 6 4 a v ct h e o r y , t h ep r o j e c to fd e s i g naf u l li p i c t u r eh 2 6 4 a v cv i d e oc o d e cb a s e do nf p g a i sp r o p o s e d t h ec o d e ci s m a i n l y c o m p o s e do fi n t r ap r e d i c t i o n ，i n t e g e rt r a n s f o r ma n dq u a n t i z a t i o n ，c a v l c f i r s t l y , t h e p a p e ra n a l y z e st h es y s t e mf r a m ed e s i g nd e t a i l e d l y , a n dt h e nd i s c u s s e st h ek e ya l g o r i t h m ， s u c ha si n t r ap r e d i c t i o n ，i n t e g e rt r a n s f o r ma n dq u a n t i z a t i o n ，e t c f i n a l yt h es i m u l a t i o n b a s e do nf p g ai sd o n et ot e s tt h ed e s i g n e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sc o d e c p r o j e c tc a na c q u i r eh i g hc l e a rv i d e oa tt h ec o s to fas m a l lq u a n t i t yo fh a r d w a r er e s o u r c e t h o u g ht h eb i t s t r e a mi sal i t t l eb i g , t h ed e s i g no ft h i sc o d e cp r o j e c ti sag o o d i s h e x p e r i m e n ta n dr e s e a r c hf o rh 2 6 4c o d e cc h i p ，s ot h i sp a p e ri sag o o dr e f e r e n c ef o rt h e d e s i g no fh 2 6 4 a v cc o d e cc h i p k e y w o r d s ：h 2 6 4 a v c ，i n t r ap r e d i c t i o n ，i n t e g e rt r a n s f o r ma n dq u a n t i z a t i o n ，f p g a ， v i d e oc o d e cc h i p l i 西北r 丁韭大学硕士论文 第一章绪论 1 1 引言 第一章绪论 2 1 世纪的人类社会是信息化社会，随着多媒体与网络技术的飞速发展，以前 制约图像通信发展的各种因素正在逐步消失，视频、图像、计算机视觉、多媒体 数据库和计算机网络技术日益融台，己经渗入到国民经济和社会生活的各个方面。 然而，数字化的视频信息在满足人们需求的同时，对数据传输带宽、数据存 储容量提出了更高的要求。例如，一幅中等分辨率( n t s c 制式，2 4 b i t s p i x e l ) 的彩色数字视频，其传送速率约为2 2 1 1m b p s ；而高清晰度电视h d t v 的传输速率 则在1 2 g b p s 以上。庞大的视频数据给信息的存储和传输都造成了较大的困难， 成为阻碍人类有效的获取和使用信息的瓶颈问题之一“1 。 早在上个世纪四十年代末期，人们就已开始着手图像压缩编码技术的研究，以 期达到有效的数据压缩，至令已经走过了近半个世纪的发展历程。从五、六十年 代基本方法的探讨，到七十年代早期可视电话的研究，使得这一领域有了长足的 进展，许多基本的思想和方法都相继被提出。到八十年代前后，顺应信息化潮流， 面向各种应用的开发研究大力开展起来。进入九十年代以后国际上致力于标准 化的工作，先后制定了一系列视频图像编码标准，如用于视频存储和传输的 m p e g 一1 、m p e g 一2 、m p e g 一4 标准，用于视频会议和可视电话的h 2 6 1 、h 2 6 3 、h 2 6 4 a v c 等。这些视频压缩编码标准的制定，同时也极大地促进了视频压缩编码技术和多 媒体通信技术的发展。 1 2 课题背景及国内外研究动态 视频图像数据具有多种冗余特性，如空间冗余、时间冗余、心理视觉冗余和熵 编码冗余等。视频压缩编码就是针对视频数据的一种或几种冗余特性采用相应的 方法加以消除，只保留相互独立的信息分量，从而达到令人满意的数据压缩的目 的。 视频压缩发展到现在己有凡十年的历史。1 9 4 8 年，0 1 i v e r 提出了第一个编码 理论脉冲编码调制( p u l s ec o d i n gm o d u l a t i o n ，简称p c m ) ；同年，s h a n n o n 的经典论文“通信的数学原理”首次提出了信息率失真函数的概念；1 9 5 9 年， s h a n n o n 进一步确立了码率失真理论：而b e r g e r 在1 9 7 1 年所著的信息率失真理 论一书对率失真理论做了系统地论述和扩展：以上各项工作奠定了信息编码的 西北工业大学硕士论文 第一章绪论 理论基础。s h a n n o n 的信息论具有高度概括性和综合性，在实践中得到了广泛的应 用。可以说，整个压缩编码的历史就是以s h a n n o n 信息论为出发点，不断克服其 缺陷的过程”。 “第一代”视频压缩编码技术正是以s h a n n o n 信息论为基础，主要有预测编码、 变换编码和统计编码这三大经典编码方法。它们都是非常优秀的纹理编码方案， 能够在中等压缩率的情况下，提供非常好的图像质量。“第一代”编码技术在2 0 世纪8 0 年代己趋于成熟，这类技术去除客观和视觉冗余信息的能力已接近极限， 许多优秀成果己被吸收近年来所制定的图像视频压缩标准中。“第一代”编码技术 只是以信息论和数字信号处理技术为理论基础，其压缩比普遍不高，大约在1 0 ：1 左右。当需要进行低码率的图像数据压缩时，往往无法提供令人满意的质量。究 其原因是由于这些技术都没有利用图像的结构特点，因而也就只能以象素或块作 为编码的对象；另一方面，这些技术在设计编码器时也没有考虑人类视觉系统的 特性。 “第二代”图像压缩编码技术这一术语是在2 0 世纪8 0 年代中期正式出现的。 它突破了原有信息论的框架，充分利用了计算机图形学、计算机视觉、人工智能 与模式识别等相关学科的研究成果，如人的视觉生理、心理和图像信源的各种特 征，实现从“波形”编码到“模型”编码的转变，为视频图像压缩编码开拓出了 广阔的前景。“第二代”编码方法主要有：基于分形的编码、基于模型的编码、基于 区域分割的编码和基于神经网络的编码等，其压缩比多在3 0 ：1 至7 0 ：1 之间，有的 甚至高达1 0 0 ：1 。但是由于“第二代”编码方法大大增加了实现的复杂度，从当前 发展情况来看，“第二代”编码方法仍处于深入研究的阶段。例如。分形法由于图 像分割、迭代函数系统代码的获得是非常困难的，因而实现起来时间长，算法非 常复杂。模型法则仅限于人头、肩等基本的视频图像上，进一步的发展有赖于新 的数学方法和其它相关学科的发展。神经网络的工作机理至今仍不清楚，硬件研 制不成功，所以在视频压缩编码中的应用研究进展缓慢，目前多与其他方法结合 使用。但由于其巨大的潜力，人们都在致力于这些新方法的研究。 近年来，出现了类充分利用人类视觉特性的“多分辨率编码”方法，如子带 编码、塔形编码和基于小波变换的编码。这类方法使用不同类型的一维或二维线 性数字滤波器，对视频图像进行整体的分解，然后根据人类视觉特性对不同频段 的数据进行粗细不同的量化处理，以达到更好的压缩效果。这类方法原理上仍属 于线性处理，属于“波形”编码，可归入经典编码方法，但它们又充分利用了人 类视觉系统的特性，因此可以被看作是“第一代”编码技术向“第二代”编码技 术过渡的桥梁”“”1 。 标准化是产、世化活动的前提，项技术在能够广泛应用于工业生活之前必须 两北工业大学硕士论文第一章绪论 存在全球统一的工业标准。近年来，一系列国际视频编码标准的制定，极大地促 进了视频压缩编码技术和多媒体通信技术的发展。视频压缩编码标准的制定工作 主要是由国际标准化组织( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o ni s o ) 和国际电 信联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o ni t u ) 完成的。由r r u 组织制定的标准 主要是针对实时视频通讯的应用，如视频会议和可视电话等，它们以h 2 6 x 命名； 而由i s o 和i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ，国际电工委员会) 的共 同委员会中的m p e g 组织( m o v i n gp i c t u r ee x p e r tg r o u p ) 制定的标准主要针对视频 数据的存储( 如v c d 和d v d ) ，广播电视和视频流的网络传输等应用，它们以 m e p g x 命名。各种视频压缩编码标准都是根据人们在不同领域中对声像数据的要 求所制定的，并且随着人们的需求不断地发展。图1 1 按照制定的时间顺序表述了 视频编码标准的发展历程。 9 8 81 9 9 01 9 9 2 1 9 9 41 9 9 6l 9 9 82 0 0 02 0 0 22 0 0 4 图1 1 视频编码国际标准的发展 在u 和i s o ，c 所制定的这些标准中，并没有对视频编码的具体算法做硬性 规定，而仅仅是定义了相应的解码方法和比特流语法，使得对于符合某一标准的 压缩码流，所有的解码器都能够得到相同的输出结果，这也为标准的具体应用带 来了最大限度的自由度。下面我们就对几种典型的国际视频编码标准做简要介绍。 一、m p e g 系列标准 1 m p e o 1 m p e g 1 制订于1 9 9 3 年，是针对数据传输率1 5 m b p s 以下的数字存储介质图 像及其伴音编码的国际标准，共分为图像编码、声音编码和系统( 同步和复用) 三个 部分。该标准主要用于在各种数字存储介质( c d r o m ，d a t , w i n c h e s t e r 盘等) 上存 储同步和彩色运动视频信号，在1 2 m b p s 速率下的视频质量可与v h s ( 家用视频系 统) 所记录的模拟视频质量相媲美。m p e g 1 对色差分量采用4 ：1 ：1 的二次采样率， 可优化为中等分辨率，并在优化的模式下采用所谓的标准交换格式( s l f ) ，其视频 压缩率约为2 6 ：1 。m p e g 1 标准采用了运动估计运动补偿、变换编码等技术，并 规定了编码位流的表示语法和具体解码方法。由于m p e g 1 标准是针对数字存储 西北工业大学硕士论文 第一章绪论 的应用而制定的，因此它的编解码器是不对称的，其编码端的复杂度通常至匿莲 高于解码端。 2 m p e g 2 ( h 2 6 2 ) m p e g 一2 标准是由i s o 的m p e g 专家组和r r u t 的第1 5 研究组与1 9 9 4 年共 同制定的，全称为“运动图像及其伴音的编码”，在i t u t 的协议中也被称为h 2 6 2 建议( r e c o m m e n d a t i o nh 2 6 2 ) 。m p e g 一2 的传输速率为3 m b p s - 1 0 m b p s ，主要针对 数字电视和高清晰度电视( h d t v ) 所需要的视频及伴音信号，此外还兼顾了与a t m 信元的适配问题。 m p e g 一2 在m p e g - 1 的基础上做了相应的扩展，从多方面提高了编码参数的灵 活性以及编码性能。它综合采用了运动补偿的帧间预测、空间域离散余弦变换、 自适应量化和可变长编码的混合编码。m p e g 2 视频编码标准是一个分等级的系 列，按编码图像的分辨率分成4 个等级( l e v e l s ) ：按所使用的编码工具的集合分成 五个类另u ( p r o f i l e s ) 。“等级”与“类别”的若干组合构成m p e g 一2 视频编码标准在 某种特定应用下的子集，对某一输入格式的图像，采用特定集台的压缩编码工具， 产生规定速率范围内的编码流。目前m p e g 2 标准己经在d v d 存储和数字电视广 播方面得到了广泛应用。 3 m p e g 4 在m p e g 一1 和m p e g 一2 之后，i s o 的m p e g 工作组于1 9 9 9 年4 月出台了 m p e g 4 标准( i s 0 1 4 4 9 6 ) ，并在1 9 9 9 年1 2 月提出了第二版的i s o 最终草案 ( i s 0 1 4 4 9 6 2 f c d ) 。m p e g 4 提出了音视频对象( a u d i ov i d e oo b j e c t ，a v o ) 的概念， 并在此基础上实现了许多新的功能，为各种多媒体应用特别是基于i n t e r a c t 和移动 网络的应用提供了理想的工具，如基于内容的编码、错误掩盖和基于内容的可伸 缩性等。与m p e g 前两个图像压缩标准相比，m p e g 4 为多媒体数据压缩提供了 一个更为广阔的平台，更注重于定义一种格式和框架，而不是具体的算法，其出 发点就是希望建立起一个更自由的通信与研发环境，可以在系统中加入许多新的 算法，为使用计算机软件实现编码和解码提供更大的方便。它可以将各种各样的 多媒体技术充分应用于编码中，除包括压缩本身的一些工具、算法外，还包括图 像分析和合成、计算机视觉、计算机图形学、虚拟现实和语音合成技术。 4 m p e g 一7 和m p e g 一2 1 m p e g - 7 标准称为“多媒体内容描述接口”，( m u l t i m e d i ac o n t e n td e s c r i p t i o n i n t e r f a c e ) ，目的是制定一套描述符标准，用来描述各种类型的多媒体信息及它们之 间的关系，以便更快、更有效的检索信息。该标准的第4 版己于2 0 0 0 年l o 月发 布，它通过标准化一种用来定义描述方案的语言，即描述定义语言( d o l ) ，使带有 与之相关的m p e g 一7 数据的a v 素材，就可以被加上索引，并可进行检索。这些媒 体材料可包括静态图像、图形、3 d 模型、声音、话音、电视以及在多媒体演示中 西北工业大学硕士论文第一章绪论 它们之间的组合关系。 在m p e g - 7 的基础上，i s o 又于1 9 9 6 年开始着手m p e g 2 1 标准的制定工作。 m p e g 一2 1 是一个支持通过异构网络和设备使用户透明而广泛地使用多媒体资源的 标准，其目标是建立一个交互的多媒体框架，该框架能够使遍布全球的各种网络 和设备上的数字资源被透明和广泛的使用。 总体来说，m p e g - 4 和m p e g - 2 1 其应用范围业已超出了传统的传输和存储范 畴，而是转向多媒体检索、交互式多媒体操作和内容管理等领域，已经不是一种 单纯意义上的视频编码算法。 二、h 2 6 x 系列标准 1 h 2 6 l h 2 6 1 建议是最早出现的视频编码国际标准，由r r u t 第1 5 研究组为在窄带 综合业务数字网畔i s d n ) 上开展双向声像业务( 可视电话、电视会议) 而制定的。该 建议于1 9 9 0 年通过，其全称为“p x 6 4 k b i t s 视昕业务的视频编解码器”，其中 p = 1 3 0 ，用以根据传输线路的带宽调整图像质量。h 2 6 1 只对c i f 和q c i f 两种图 像格式进行处理，采用的算法结合了可减少时间冗余的帧问预测和可减少空间冗 余的d c t 变换的混合编码方法，主要由运动估计补偿、d c t 变换和h u f f m a n 编 码等部分组成。由于该建议主要针对实时业务，因而希望编解码的延时尽可能小， 所以只利用前一帧做参考帧进行前向预测，且编解码器的复杂程度基本对称。 2 h 2 6 3 h 2 6 3 建议是r r u _ t 提出的关于码率低于6 4 k b i t l s 的窄带电信信道视频编码的 基本算法，于1 9 9 6 年正式通过。它以h 2 6 1 为基础，同时吸收了m p e g 等其他一 些国际标准中有效合理的部分做出改进，如半像素精度的运动估计、不受限运动 矢量、高级预测模式、p b 帧等，使其性能优于h 2 6 1 。h 2 6 3 建议不仅着眼于利用 p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ，公共开关电话网络) 传输，而且兼顾 g s t n 移动通信等无线业务，作为视频编解码的核心算法被广泛应用于视频电话终 端如i t u - t 的h 3 2 4 0 s m 3 ，h 3 2 0 ( i s d n ) 和h 3 1 0 ( b i s n r ) 中。 在h 2 6 3 之后，r r u 又相继于1 9 9 8 年和2 0 0 0 年制定了h 2 6 3 + ( 2 6 3 v 2 ，h 2 6 3 第二版) 和h 2 6 3 + + ( h 2 6 3 v 3 ，h 2 6 3 第三版) 。h 2 6 3 + 和h 2 6 3 + + 是h 2 6 3 标准的扩 充并与之兼容，主要是在h 2 6 3 的4 种可选模式的基础上又附加了新的可选模式 和其他一些附加特性，目的是拓宽应用领域、提高压缩效率和错误掩盖能力。 3 h 2 6 4 | 斛c h 2 6 4 a v c 作为面向电视电话、电视会议的新一代编码方式。最初是由r r u 组 织的视频编码专家组v c e g 于1 9 9 8 年提出的，目标是在同等图像质量条件下，新 标准的压缩效率比任何现有的视频编码标准要提高一倍以上。直到2 0 0 1 年底， 西北工业大学硕士论文 第一章绪论 m p e g 组织也加入了i t u - t 的v c e g 组织，组成了联合视频专家组( j o i n tv i d e o t e a m ，j v t ) 共同完成制定工作。h 2 6 4 a v c 标准草案于2 0 0 3 年3 月正式获得通过。 h 2 6 4 仍基于经典混合编码算法的基本结构，在变换编码、熵编码和运动估计等方 面采用了一系列先进技术，是视频编码技术和图像工程的最新研究成果，其性能 超越了以往所有的视频编码标准，具有光明的应用前景【6 卜一【1 0 。 1 3 论文的主要工作 新代视频编码标准h 2 6 4 a v c 正在蓬勃发展，代表着未来多媒体数据压缩 编码的发展趋势，及时跟踪和了解h 2 6 4 a v c 的发展动态，掌握其核心技术，并 结合实际应用在某些关键方向上有所创新和发展，是一项很有价值的工作。本文 对h 2 6 4 a v c 视频编码的原理和各项技术进行了研究，重点分析了其中的2 项关 键技术：整数变换、帧内预测；在理论分析的基础上提出了一种基于f p g a 的h 2 6 4 编码器设计方案，使用硬件描述语言对该方案进行了设计，并在f p g a 平台上验 证了设计结果。全部研究工作可以分为如下7 个阶段： 【1 】1 熟悉视频编码的基本思想和原理，学习编码理论和硬件描述语言设计，奠 定开展课题的初步基础。 【2 1学习h 2 6 铂w c 标准，结合其校验模型j m 8 4 ，深入剖析了h 2 6 4 a v c 编 解码的原理和关键算法，并针对h 2 6 4 a v c 部分算法通过软件进行仿真。 【3 】重点研究h 2 6 4 a v c 中的帧内预测算法，利用j m 8 4 模型测试比较了帧内 预测各种预测模式对预测性能的影响，提出了一种切实可行的基于f p g a 的全i 帧帧内预测设计方案。 f 4 1 重点研究了h 2 “a v c 中的变换与量化算法，研究了整数变换的原理以及 适合于硬件上实现的蝶形结构，清晰了h 。2 6 4 标准中各种预测系数的完整 的变换和量化过程，为后谣的v h d l 设计奠定了基础。 【5 】 设计基于f p g a 的h 。2 6 4 编码器系统结构，利用v h d l 语言设计帧内预测 模块并做验证，确保其逻辑功能的实现。 【6 1 6 利用v h d l 语言设计变换与量化模块并做验证，确保其逻辑功能。 【7 】 将系统各设计模块联调，利用j m 8 4 和h 2 6 4 标准测试序列对系统进行测 试，验证系统设计的正确性。 1 4 论文的内容安排 论文全文共分为6 章，其内容安排如下： 第一章绪论，首先阐述视频编码理论的意义、研究背景和发展现状，简要介 绍视频编码过程中产生的一系列国际标准；然后概括介绍本人在毕业设计期间所 西北工业大学硕士论文第一章绪论 做的主要工作以及论文的内容安排。 第二章h 2 6 4 a v c 视频编码标准，首先分析了h 2 6 4 标准的编码策略，然后 概括了提高h 2 6 4 编码效率的关键技术特性，最后特别介绍了h 2 6 4 编码标准的 网络适应性。 第三章帧内预测算法分析，系统分析了h 2 6 4 编码标准的帧内预测算法，主 要包括：4 4 亮度预测、1 6 1 6 亮度预测、色度帧内预测和帧内预测模式决策算 法；然后利用j m 平台测试比较了帧内预测部分预测算法对预测编码性能的影响。 第四章变换和量化算法分析，系统的研究了h 。2 6 4 a v c 的变换与量化算法， 着重分析了整数变换算法原理和蝶形实现，分析了各种预测残差的变换量化过程， 为后面基于f p g a 的编码器设计奠定了基础。 第五章基于f p g a 的h 2 6 4 编码器设计，提出了基于f p g a 的全i 帧h 2 6 4 编码器设计方案，详细阐述了该方案的系统设计、模块设计，通过对设计结果的 验证，证明了该方案的可行性。为h 2 6 4 编解码芯片设计做了很好的探讨。 第六章总结与展望，总结本论文所取得的成果和存在的问题，展望h 2 6 4 编 解码芯片设计的未来研究方向。 西北工业大学硕士论文 第二章h 2 6 4 a v c 视频编码标准 2 1 引言 第二章h 2 6 4 a v g 视频编码标准 在1 9 9 5 年制定了面向可视电话、视频会议的h 2 6 3 标准后，i t u t 的视频编 码专家组( v c e g ，也称为兀u ts g l 6q 固在两个方向上展开进一步的研究：短期 目标是( s h o r t t e r mg o a l ) 是为h 2 6 3 标准增加更多的功能。产生了最终的h 2 6 3 + + 建 议；长期的目标( 1 0 n g - t e r mg o a d 是建立一套全新的编码标准，该标准相比较以前的 编码标准，具有更高的编码效率和更好的图像质量，这就是h 2 6 4 建议的前身。 新标准予1 9 9 8 年1 月份开始草案征集，v c e g 将其暂时命名为h 2 6 l ；1 9 9 9 年9 月，完成第一个草案；2 0 0 1 年n 月i s o 的m p e g ( m o t i o np i c t u r ee x p e r t sg r o u p ) 小组和| u 的v c e g 共同成立了联合视频专家组0 v t , j o i n tv i d e o i h 砷，共同负 责h 2 6 l 的制定；随后在j v t 的第一次会议上制定了以h 2 6 l 为基础的h 2 6 4 标 准草案和测试模型t m l - 9 l t ：l t e s t m o d e l l o n g - t e r m n u m b e r9 ) ；2 0 0 2 年6 月制定h 2 6 4 草案，2 0 0 3 年5 月正式公布了该标准，h u 将该算法命名为“h 2 6 4 建议” ( r e c o m m e n d a t i o n h 2 6 ，同时i s 0 将其作为m p e g - 4 的第l o 部分，称之为“i s o f l e c 1 4 4 9 6p a r t l o 高级视频编码( a v c ) ”，为简便起见，在本文中都称之为h 2 6 4 1 1 1 1 1 1 2 1 1 引。 h 2 6 4 吸收了以前视频编码标准中的一些已经证明行之有效的算法，同时又采 纳了视频编码、图像处理领域的最新研究成果，在提高压缩编码效率和增强网络 适应能力等方面有了质的飞跃。根据应用场合的不同，h 2 6 4 制定了不同的算法集 和技术限定，共分为三个类：b a s e l i n ep r o f i l e 、m a i np r o f i l e 和e x t e n d e dp r o f i l e ，每 个类下面有可以划分成不同的等级( l e v e l ) 。一般来说，h 2 6 4 的应用包括但不限于 下列领域： 基于c a b l e 、卫星、x d s l 等的广播传输； 各种光磁存储设备，如d v d 等； 传统的基于i s d n 、以太网、l a n 、1 3 s l 和无线网络的视频传输； 各种多媒体信息服务( m u l t i m e d i am e s s a g i n gs e r v i c e s ，m m s ) 。 在本章中将对h 2 6 4 的编码策略和技术特性做简要论述与分析。 2 2h 2 6 4 编码策略 h 2 6 4 是从h 2 6 3 的基础上发展而来。采用的仍然是经典的运动补偿混合编码 算法，具备良好的兼容性和可移植性。编码图像通常被分为3 种类型：l 帧、p 帧 和b 帧。i 帧为帧内编码帧，其编码不依赖于已经编码的图像数据；p 帧为前向预 8 西北工业大学硕士论文第二章h 2 6 4 a v c 视频编码标准 测帧，b 帧为双向预测帧，编码时都需要根据已编码的帧( 即参考帧) 进行运动估计。 除此之外，h 2 6 4 还定义了新的s p 帧和s l 帧，用以实现不同传输速率、不同图像 质量码流间的快速转换以及信息丢失的快速恢复等功能。h 2 6 4 的编解码基本原理 参见图2 1 ，( a ) 为编码器框图，( b ) 为解码器框图。 ( a ) 编码器 ( b 解码器 图2 1h 2 6 4 编解码器原理图 1 编码器端 编码过程中，原始数据进入编码器后，当采用帧内编码时，首先选择相应的帧 内预测模式进行帧内预测；随后对实际值和预测值之间的差值进行变换、量化和 熵编码，同时编码后的码流经过反量化和反变换之后重构预测残差图像，再与预 测值相加得出重构帧，得出的结果经去块滤波器平滑后送入帧存储器。 采用帧间编码时，输入的图像块首先在参考帧中进行运动估计，得到运动矢量。 运动估计后的残差图像经整数变换、量化和熵编码后与运动矢量一起送入信道传 输。同时另一路码流以相同的方式重构后，经去块滤波送入帧存储器作为下一帧 西北工业大学硕士论文 第_ 章h 2 6 4 a v c 视频编码标准 号暑兰寻# 暑鼍= 兰暑三! = = = = = = = = = = = = = 2 = = ! = = = = = = = 皇= = = 竺= = = = = ：= ： = ：=：= 编码的参考图像。 一 2 ，解码器端 当编码后的码流送入解码器时，首先根据语法元素进行判断。如为帧内编码， 则直接进行反量化、反变换加以重构；如果是帧问编码，所得到的为重构的残差 图像，此时需要根据帧存储器中的参考图像进行运动补偿后与残差图像进行叠加， 得出最终的当前帧【1 3 i 。 2 3h 2 6 4 提高编码效率的技术特性 h 2 6 4 采用了一系列先进的编解码技术，如帧内预测、4 x 4 整数变换、高精度 运动估计、基于上下文的自适应二进制算术编码( c a a a c ) 、多参考帧运动估计等， 使得在同样的带宽条件下，h 2 6 4 视频图像质量超过了以往的任何编码标准。实验 证明，与h 2 6 3 + 和m p e g 4 简单类( s i m p l e p r o f i l e ) 相比，在视频图像质量相同的情 况下，h 2 6 4 最多能够节省5 0 的码率【2 】f 1 4 卜”【1 7 】。下面就h 2 6 4 提高视频编码效率 的技术做进一步分析。 一、帧内预测技术 在以前的视频编码标准中，大部分情况下帧内编码都采用直接做d c t 变换、 量化和熵编码的方法。在h 2 6 3 + 和m p e g 4 中编码i 帧时，采用了基于频域的帧 内预测；h 2 6 4 中使用了精度更高的帧内预测算法，该算法采用基于空间的像素值 进行预测，除了边缘块以外的每个4 x 4 块，其中的像素都可用若干个最接近的先 前已编码像素的不同加权和来预测。显然，这种帧内预测不是在时域上，而是在 空域上进行的预测编码算法，可以除去相邻块之间的空间冗余度，取得更为有效 的i 帧压缩。本文将在第三章中对帧内预测的原理和实现方式做详细分析与研究。 二、整数变换算法 h 2 6 4 与以前的编码标准相似，对残差图像采用基于块的变换编码，但变换是 以4 x 4 像素的图像块为单位，且在变换和反变换过程中只包含整数运算。在h 2 6 4 标准草案中定义的整数变换算法是一种“分层”式的变换方案，包括如下3 个部 分： 对亮度分量和色度分量的a c 系数使用4 4 的整数变换。 对亮度分量的d c 系数进行4 4 的整数变换。 对色度分量的d c 系数进行2 2 的整数变换。 h 2 6 4 整数变换方案的过程参见图2 2 。变换时首先对4 x 4 的图像块进行整数 变换，使用的变换和反变换核如( 2 1 1 式所示。2 和1 ，2 只需要进行移位运算，因 此在变换过程中只需使用整数级别的算术运算即可完成。 由于图像通常是缓慢变化的，在进行了上述的4 x 4 整数变换后，各块( o ，o ) 位置 1 0 h - 11 21 l一1 12 一士一一一一i ：2 x 2 z j r 4 x 4 i 垄鞭照j 图2 2 整数变换流程 1l 12 11 21 1 1 2 11 11 1 1 2 ( 2 一1 ) 做一次变换，进一步解除其相关性。亮度分量的d c 系数以4 x 4 为单位进行整数 变换( 色度分量为2 2 ) ，这里使用h a d a m a r d 变换。一维4 x 4 的h a d a m a r d 变换核为 肌睢 11 11 一l1 1一l ( 2 - 2 ) h 2 6 4 通过采用该种“分层”式的变换方案，能够进一步降低变换后d c 系数 之闻的相关性。为了便于进行码率控制，变换后量化步长的变化幅度控制在1 2 5 左右，而不是以固定增幅变化。对色度系数采用了较小量化步长，使得色度分量 更为逼真。 简而言之，h 2 6 4 中所采用的整数变换方案具有如下优点： 由于变换采用了更小的像素块进行变换，相比于8 x 8 点d c t 变换编码来说，运 动估计精度更高，并且能够降低图像的块效应，从而获得更好的图像质量和主 观视觉效果。 整数交换、量化计算及其逆过程可以通过整数运算实现，比原先的浮点运算能 有效提高计算速度，也更利于硬件实现实时系统。 由于是接数变换，运算结果精确度高，且不存在浮点运算及取整，因而可以有 效的避免反变换误匹配闽题。 尺度运算被结合到景化过程中进行，进一步降低了整数变换的复杂度。 新的1 6 位整数变换更加简洁，只需要使用1 6 位的算术运算，且无须使用乘法运 算；减少了变换后的动态范围，从而降低了对存储器和处理器的要求。 h 2 6 4 所采用的整数变换算法是视频编码标准的一大进步，也是新标准区别于 其它标准的重要不同之处。在第四章中本文将详细割析h 2 6 4 的交换和量化过程。 。兰；们。 n n u 删 h 西北工业大学硕十沧文 第二章h 2 6 4 a v c 视频编码标准 = = = 号手言号 三阜产= = = 墨= = 2 = = = = = 皇= = = = = = = = 喜= = 要= 皇= = = = = = = = = = = = = 皇= 三、熵编码算法 。 h 2 6 4 采用了两种熵编码方案，一种是可变长编码方案，包括通用可变长编码 ( u n i v e r s a lv a r i a b l el e n g t hc o d i n g ，u v l c ) 乖i 基于上下文的自适应可变长编码 ( c o n t e x t b a s e dv a r i a b l el e n g t hc o d i n g ，c a v l c ) ，另一种是基于上下文的自适应二 进制算术编码( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g c a b a co 对于s l i c e 层以上的数据，h 2 6 4 采用e x p g o l o m b ( u v l c ) 码，这是一种没有自 适应能力的v l c 。而对于s l i c e 层( 含) 以下的数据，如果是残差，h 2 6 4 采用c a v l c 或c a b a c 编码；如果不是残差，h 。2 6 4 采用e x p g o l o m b 码或c a b a c 编码，视 编码器的设置而定。 1 ，u v l o c a 眦 首先来看v l c 的编码思想，对于个给定的互不相同的事件集合e = 乜，e2 i _ e 。) 和这些事件的概率分布p ，s h a n n o n 证明了编码一个事