（信号与信息处理专业论文）基于bf561的h264帧内预测、变长编码、变换编码的实现与优化.pdf

南京邮电学院硕士研究生学位论文 摘要 摘要 h 2 6 4 m p e g - 4a v c ( h 2 6 4 ) 是由1 t u - t 寸和i s ( 3 i i e c 的联合开发组共同开发的最 新、最有前途的国际视频编码标准。采用h 2 6 4 标准，在同等图像质量下的压缩效率 比以前的h 2 6 3 和m p e g - 4 标准提高了2 倍以上，因此，h 2 6 4 被普遍认为是最有影响 力的行业标准。 h 2 6 4 也是采用基于块的变换编码和预测编码的混合编码框架。帧内预测、变换 编码、变长编码是视频编码中的关键技术，它对编码的实时实现、图像质量和比特率 有着重要的影响。本文的主要工作就是研究h 2 6 4 中的帧内预测、变换编码、变长编 码技术，并最终在a d i 公司的高速d s pb l a c k f i n 5 6 i 芯片上实现、优化这些模块。首 先，对h 2 6 4 视频编码标准进行分析和研究，熟悉并掌握帧内预测、变换编码、变长 编码模块原理。其次，将h 2 6 4 编码程序移植至i i b f 一5 6 1 上并对其进行分析和测试，针 对其帧内预测、变换编码、交长编码部分在编码中的耗时比例，对算法进行优化，减 少程序执行时间，提高编码速度。最后，针对帧内预测、变换编码、变长编码模块的 特点，提出适合这些模块本身的优化方案，并予以实现。实验结果表明，优化后的帧 内预测、变换编码、变长编码模块，在保证图像质量和码率提高很多的情况下，达到 了实时编码器的要求。 关键词：h 2 6 4 变换编码帧内预测变长编码b l a c k f i n - 5 6 1 南京邮电学院硕士研究生学位论文摘要 a b s t r a c t h 2 6 4i s d e v e l o p e dj o i n t l yb yt h ei t u tv i d e oc o d i n ge x p e r t sg r o u p ( v c e g ) a n d t h ei s o i e cm o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) i ti st h en e w e s ts t a n d a r df r o mt h e m p e g 一2s t a n d a r di s s u e di n19 9 5 i tp r o v i d e sh i g h e rc o m p r e s s i o n p e r f o r m a n c e c a n a c h i e v e5 0 c o d i n gg a i no v e rh 2 6 3a n dm p e g - 4 t h e r e f o r e ，h 2 6 4i sb r o a d l yt h o u g h ta s t h em o s ti n f l u e n t i a l p r o f e s s i o ns t a n d a r d c o m p a r e d t o e x i t i n gs t a n d a r d s h 2 6 4h a s e n h a n c e dm a n yn e wc o d i n gm e t h o d s ，s u c ha s ：i n t r a - p r e d i c t i o n c o d i n g 4 x 4i n t e g e r t r a n s f o r m c a v l ce n t r o p yc o d i n g m u l t i m o d em o t i o ne s t i m a t i o n m u l t i p l ef r a m e s r e l e r e n c e i 4a n d1 8p i x e lr e f i n e m e n tm o t i o ns e a r c ha n di n l o o pd e b l o c k i n gf i l t e re t c h 2 6 4a l s oa d o p t sah y b r i dc o d e cf r a m e w o r ko ft r a n s f o r mc o d i n ga n dp r e d i c t i o n c o d i n g t r a n s f o r mc o d i n g ，i n t r a p r e d i c t i o na n dv a r i a b l e l e n g t hc o d i n ga r et h ek e y t e c h n o l o g yi nv i d e oc o d i n g ，t h e yi n f l u e n c et h er e a lt i m ec o d i n g ，p i c t u r eq u a l i t ya n db i tr a t e t h em a i no b j e c to ft h ep a p e ri st h eo p t i m i z e di m p l e m e n t a t i o no ft h e s et h r e ek e y t e c h n o l o g yi nh 2 6 4 ，a tf i r s t r e s e a r c ha n da n a l y z eh 2 6 4s t a n d a r da n dt h et h r e ek e y t e c h n o l o g y , t h e no p t i m i z et h e s ek e ya l g o r i t h m ，r e d u c et h et i m eo ft r a n s f o r m c o d i n g ， i n t r a - p r e d i c t i o na n dv a r i a b l e l e n g t hc o d i n g ，i n c r e a s ee n c o d i n gs p e e do nt h eb l a c k f i n 一5 6 1 d s et h ep a p e rp r o p o s ei m p r o v e ds c h e m e sf o rt h et r a n s f o r m c o d i n g ，i n t r a p r e d i c t i o na n d v a r i a b l e l e n g t hc o d i n g ，a n dr e a l i z e st h e m t h ee x p e r i m e n tr e s u l t ss h o wt h a t ，t h e s e s c h e m e so b v i o u s l yi n c r e a s ec o d i n gs p e e d ，a n dh a v em e tt h er e q u i r e m e n to fr e a l - t i m ee n c o d e r k e yw o r d s ：h 2 6 4 t r a n s f o r mc o d i n g i n t r a p r e d i c t i o n v a r i a b l e - l e n g t hc o d i n g b l a c k f i n 一5 6l 南京邮电大学 硕士学位论文摘要 学科、专业：工学信号与信息处理 研究方向： 图像处理与多媒体通信 作 者：三堕级研究生 徐金雷 指导教师苤菱星 题目：基于b f 一5 6 1 的h 2 6 4 帧内预测、变长编码、变换 编码的实现与优化 英文题目：t h eo p t i m i z e di m p l e m e n t a t i o no fh 2 6 4t r a n s f o r m c o d i n g ，i n t r a p r e d i c t i o na n dv a r i a b l e - l e n g t hc o d i n g o nt h eb l a c k i l n 5 61d s p 主题词：h 2 6 4变换编码帧内预测变长编码 b f 5 6 1 k e y w o r d s ：h 2 6 4 t r a n s f o r mc o d i n g i n t r a p r e d i c t i o n v l c b l a c k i l n 5 6 1 南京邮电大学学位论文独创性声明 x 8 5 1 0 1 , , 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名： 叠篁宣日期：三剑 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：织q 膨导师鍪名研究生签名：曩”导师签名 塑魄 南京邮电大学硕士研究生学位论文第一章视频编解码及高速d s p 实现 第一章视频编码及高速d s p 实现 数字视频技术在通信和广播领域获得了日益广泛的应用，特别是2 0 世记9 0 年代 以来，随着i n te r n e t 和移动通信的迅猛发展，视频信息和多媒体信息在i nl e r n e t 和移动网络中的处理和传输技术成为了当前我国信息化中的热点。众所周知，视频信 息具有一系列优点，如直观性、确切性、高效性、广泛性等等。但是视频信息的信息 量太大，要使得视频得到有效的应用，必须首先解决视频压缩编码的问题，其次解决 压缩后视频质量保证的问题。这两者是相互矛盾、相互制约的两个方面。而视频编码 的任务就是既要有较大的压缩比，又要保证一定的视频质量。 视频压缩技术的实现方式比较多，有的基于通用p c 机，有的基于通用工控机， 有的基于嵌入式工控机，有的基于f p g a ，有的基于d s p ，有的基于专用压缩芯片。 基于f p g a 的方式压缩算法用硬件实现，并行处理速度高，可实现高速处理，但由于 压缩算法比较复杂，开发难度大，费时费力。基于专用压缩芯片的方式实现简单、技 术成熟可靠、成本低，一般情况下速度也较d s p 方式快，但灵活性较差，无法满足 用户灵活多样的要求。采用高速可编程d s p 实现方式的优点是灵活性强，完全能满 足对待特殊视频格式和处理的需要，具有很好的可扩展性、可升级性和易维护性，但 其实现难度和工作量比较大。可见，利用可编程d s p 芯片实现图像处理较之其它方 式具有一定的优越性，而且d s p 芯片的可编程性和强大的处理能力，使其可用于快 速地实现各种数字信号处理算法，成为目前视频压缩实现方式的最佳选择。 1 1 视频编码基本原理 图像压缩编码技术是图像通信和数字电视广播等领域的核心技术之一。自从 19 4 8 年o l i v e r 就提出线性p c m 编码理论以来，图像压缩编码技术得到了迅 速的发展和广泛的应用，并日臻成熟。 从信息论观点来看，图像作为一个信源，描述信源的数据是信息量( 信源熵) a n 信 息冗余量之和。信息冗余量有许多种，如空间冗余，时间冗余，结构冗余，知识冗余， 视觉冗余等，数据压缩实质上是减少这些冗余量。可见冗余量减少可以减少数据量而 不减少信源的信息量。从数学上讲，图像数据可以看作一个多维函数，压缩描述这个 函数的数据量实质是减少其相关性。另外在一些情况下，允许图像有一定的失真，而 南京邮电大学硕上研究生学位论文第一章视频编解码搜高速d s p 实现 并不妨碍图像的实际应用，那么数据量压缩的可能性就更大了。故而图像之所以可以 进行压缩编码，通常是依赖两个基本的原理。一是利用图像信号的统计性质，即图像 在相邻像素间、相邻行间及相邻帧间均存在较强的相关性，因此可以依据信息论中信 息编码的原理，去除冗余度：二是利用人眼的视觉特性来实现图像压缩。人们对高频 率的信号成分的视感度低，故在一定程度上压缩高频成分并无太大影响。色度信号的 视感度低于亮度信号，故可对色度信号频带在行及帧方向进行压缩。 通过充分利用图像本身固有的统计特征和人眼的视觉特征，从空间域、频率域、 时间域三个途径来减少图像信息的冗余度并获得满意的主观质量，其基本原理框图如 图i 一1 一l 所示。 量化后 图卜l - i 图像压缩编码的基本原理 映射变换的目的是要通过变换改变图像数据特性，使其更有利于进行压缩，即可 去除图像空间域、频率域和时间域的冗余度。映射变换实现了对图像信号的恰当表征， 但是要完成压缩，即用有限数目的比特数来表示变换后的数据，还需要进行量化，而 量化必然引入误差。人眼的视觉特性允许重建的图像有一定的失真，但仍能保持所需 的图像质量。量化正是根据这一特性实现对变换后数据的有限比特表示，即去除了图 像的视觉冗余度。量化后的数据还需经过二进制编码最终生成码字输出，即对每个量 化级应该指定一个专门的码字，其目的是去除符号冗余度。 1 2 视频压缩的主要标准 自1 9 8 4 年c c i t t 公布了第一个视频编码国际标准以来，视频压缩编码技术得到 了飞速的发展。国际标准化组织( i s o i e c ) 和国际电信联盟( i t u t ) 制定了一系列 国际视频编码标准。视频编码标准的发展历程如图1 - 2 1 所示。 南京邮电大学硕士研究生学位论文第一章视频编解码及高速d s p 实现 h 2 6 ih 2 6 l h 2 6 3h 2 6 3 + h 2 6 3 + + f v e r s i o n ( v e r s i o n2 、 i t u t m p e g h 2 6 2 h 2 6 4 m p e g 一2m p e g 4a v c 标准 m p f n 4 m p e g 1m p e g 一4 少m 6 0 眦1 r v e r s i o n1 1 li 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 0 0 4 图1 2 - i 国际视频编码标准发展历程 1 2 1 i s o i e c 编码标准 1 m p e g l 标准 m p e g 一1 制定于1 9 9 2 年，它是将视频数据压缩成1 2 m b s 的标准数据流。m p e g - 1 对动作不激烈的视频信号可获得较好的图像质量，但当动作激烈时，图像就会产生马 赛克现象。它没有定义用于额外数据流进行编码的格式，因此这种技术不能广泛推广。 它主要用于家用v c d ，它需要的存储空间比较大。 2 m p e g 2 标准 m p e g 一2 制定于1 9 9 4 年，是为高级工业标准的图像质量以及更高的传输率而设 计，为了力争获得更高的分辨率( 7 2 0 4 8 6 ) ，提供广播级视频和c d 级音频，它是 高质量视频音频编码标准。在常规电视的数字化、高清晰电视h d t v 、视频点播v o d ， 交互式电视等各个领域中都是核心技术之一。m p e g 2 编码码率从每秒3 兆比特 1 0 0 兆比特，是广播级质量的图像压缩标准，并具有c d 级的音质。m p e g - 2 的音频 编码可提供左、右、中及两个环绕声道，以及一个加重低音声道，和多达7 个伴音声 道。作为h p e g - l 的兼容性扩展，m p e g 一2 支持隔行扫描视频格式和其它先进功能， 南京邮电大学硕士研究生学位论文第一章视频编解码及高速d s p 实现 可广泛应用在各种速率和各种分辨率的场合。但是m p e g 一2 标准数据量依然很大，不 便存放和传输。 3 m p e g 4 标准 m p e g 一4 是为交互式多媒体通讯制定的压缩标准。m p e g - 4 于1 9 9 8 年1 1 月公 布，原预计1 9 9 9 年1 月投入使用的国际标准m p e g 一4 不仅是针对一定比特率下的视 频、音频编码，更加注重多媒体系统的交互性和灵活性。m p e g 4 标准主要应用于视 像电话( v i d e op h o n e ) ，视像电子邮件( v i d e oe - m a i l ) 车! l 电子新闻( e l e c t r o n i cn e w s ) 等， 其传输速率要求较低，在4 8 0 0 6 4 0 0 0 b i t s s e c 之间，分辨率为1 7 6 x 1 4 4 。m p e g 一4 利 用很窄的带宽，通过帧重建技术，压缩和传输数据，以求得最少的数据获得最佳的图 像质量。 m p e g 一4 支持对象型态编码及合成图像的压缩、适用于高阶交互功能与特殊视频 制作、容错性编码技术及细微式可调性编码技术，可适用于频宽变化剧烈的网络，更 适于交互a v 服务以及远程监控。 m p e g 一4 的设计目标还有更广的适应性和可扩展性。m p e g 4 试图达到两个目标： 1 ) 低比特率下的多媒体通信；2 ) 是多工业的多媒体通信的综合。据此目标，m p e g 4 引入a v 对象( a u d i o v i s a u lo b j e c t s ) ，使得更多的交互操作成为可能。m p e g 一4 标 准是面向对象的压缩方式，根据图像内容，将其中的对象( 物体、人物、背景) 分离 出来分别进行帧内、帧间编码压缩，并允许在不同的对象之间灵活分配码率，对重要 的对象分配较多的字节，对次要的对象分配较少的字节，从而大大提高了压缩比，使 其在较低的码率下获得较好的效果。 1 2 2 i t u t 编码标准 1 h 2 6 1 标准 i t u t 于1 9 9 0 年公布的h 2 6 1 标准，最初是针对在i s d n 上实现电信会议应用特 别是面对面的可视电话和视频会议而设计的。实际的编码算法类似于m p e g 算法，但 不能与后者兼容。h 2 6 1 在实时编码时比m p e g 所占用的c p u 运算量少得多，此算 法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是 说，剧烈运动的图像比相对静止的图像质量要差。因此这种方法是属于恒定码流可变 质量编码而非恒定质量可变码流编码。 4 南京邮电大学硕士研究生学位论文第一章视频编解码及高速d s p 实现 2 h 2 6 3 标准 i t u t 于1 9 9 5 年7 月推出了低码率视频压缩编码的h 2 6 3 建议，并于1 9 9 6 完成 了h 2 6 3 编码标准。h 2 6 3 使用户可以扩展带宽利用率，可以低达1 2 8 k b p s 的速率 实现全运动视频( 每秒3 0 帧) 。h 2 6 3 以其灵活性以及节省带宽和存储空间的特性， 具有低投入成本并可提供迅速的投资回报。h 2 6 3 是为以低达2 0 k 到2 4 k b p s 带宽传 送视频流而开发的，基于h 2 6 1 编解码器来实现。但是，原则上它只需要一半的带 宽就可取得与h 2 6 1 同样的视频质量。h 2 6 3 具有灵活性、节省带宽和存储空间、安 装方便、可方便的进行二次开发等特点。h 2 6 3 与h 2 6 1 相比采用了半像素的运动补 偿，并增加了4 种有效的压缩编码模式。 3 ) h 2 6 3 + 标准 i t u t 在h 2 6 3 发布后又修订发布了h 2 6 3 标准的版本2 ，非正式地命名为h 2 6 3 + 标准。它在保证原h 2 6 3 标准核心句法和语义不变的基础上，增加了若干选项以提高 压缩效率或改善某方面的功能。允许更大范围的图像输入格式，自定义图像的尺寸， 从而拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像 序列及宽屏图像。采用先进的帧内编码模式；增强的p b 一帧模式改进了h 2 6 3 的不 足，增强了帧问预测的效果；去块效应滤波器不仅提高了压缩效率，而且提供重建图 像的主观质量。增加了时间分级、信噪比和空间分级，对在噪声信道和存在大量包丢 失的网络中传送视频信号很有意义；另外，片结构模式、参考帧选择模式增强了视频 传输的抗误码能力。 4 ) h 2 6 3 + + 标准 h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流在恶劣信道上的 抗误码性能，同时为了提高增强编码效率。这3 个选项为： ( 1 ) 选项u 一一称为增强型参考帧选择，它能够提供增强的编码效率和信道错误 再生能力( 特别是在包丢失的情形下) ，需要设计多缓冲区用于存贮多参考帧图像： ( 2 ) 选项v 一一称为数据分片，它能够提供增强型的抗误码能力( 特别是在传输 过程中本地数据被破坏的情况下) ，通过分离视频码流中d c t 的系数头和运动矢量数 据，采用可逆编码方式保护运动矢量； 南京邮电太学硕上研究生学位论文第一章视频编解码及高速d s p 实现 ( j ) 选项w 在h 2 6 3 + 的码流中增；b i l l 充信息，保证增强型的反向兼容性， 附加信息包括：指示采用的定点i d c t 、图像信息和信息类型、任意的二进制数据、 文本、重复的图像头、交替的场指示、稀疏的参考帧识别。 5 ) h 2 6 4 标准 h 2 6 4 标准是由i t u - t 的v c e g ( v i d e oc o d i n ge x p e l sg r o u p ) 和i s o i e c 的 m p e g ( m o t i o np i c t u r ee x p e m sg r o u p ) 联合成立的“联合视频组”j v t ( j o i n tv i d e ot e a m ) 共同制定的新一代视频编码新标准，2 0 0 3 年3 月，公布标准的最终草案，称作 h 2 6 4 a v c 或m p e g 4v i s u a lp a r t1 0 。h 2 6 4 能提供比m p e g 4 和h 2 6 3 标准更高的压 缩性能，使图像的数据量减少5 0 ：对网络传输具有更好的支持，引入面向数据包编 码，有利于将数据打包在网络中传输；具有较强的抗误码特性，以适应在噪声干扰大、 丢包率高的无线信道中传输：对不同应用的时延要求具有灵活的适应性：编码和解码 复杂度具有可扩展性。 除了上述国际标准之外，中国也在制定具有自主知识产权的音视频编码标准。 2 0 0 3 年1 1 月底，中国国家信息产业部“数字音视频编解码标准组”正式发布a v s ( a u d i ov i d e oc o d i n gs t a n d a r dw o r k i n gg r o u po fc h i n a ) 标准草案。标准草案适应面 十分广阔，包括数字电视、激光视盘、网络流媒体、无线流媒体、数字音频广播、视 频监控等等领域。码率覆盖几十k b p s 的低带宽通信到数十m b p s 的高清晰度电视广播， 可以支持低延迟模式的视频会议应用，也支持高压缩效率的视频存储应用等。与 m p e g 一2 等现有压缩标准相比，在相同的视觉质量下，码率至少可以降低5 0 。编码 效率比传统的m p e g 一2 国际标准提高近3 倍。 1 3 h 2 6 3 建议与算法简介 h 2 6 3 建议规定了低比特率视听业务中活动图像的压缩编码表示。由于它的算法 在低比特率视频应用上的优越性能，使它在带宽较窄的通信系统中得到广泛的应用。 h 2 6 3 建议中信源编码的算法是基于h 2 6 1 建议上的。它们采用了一种混合的信 源压缩编码算法方案，即通过利用帧间预测( i n t e r - p i c t u r ep r e d i c t i o n ) 去除时| 日j 上的冗 余度，利用变换编码减少预测余量信号空间上的冗余度。解码器具有运动补偿能力。 最后采用游长编码形成传输码流。视频编码译码器的框图见图l l 。 与h 2 6 1 不同，h 2 6 3 使用了半像素精度进行运动补偿，在h 2 6 1 中使用的是全 南京邮电大学硕士研究生学位论文第一章视频编解码及高速d s p 实现 像素精度和环路滤波器。为了改善性能，h 2 6 3 增加了诸多选项。例如非受限运动矢 量模式，基于语法的算术编码模式，高级预测模式，p b 帧模式，这些选项可以单独 或一起使用。 图1 3 - 1 视频编码译码器的方框图 在h 2 6 3 中变换编码采用的是视频编码中常用的d c t 变换。这是由于基于d c t 的方法具有较高的相关性，并能应用快速d c t 算法，适于实时应用。d c t 本身并不 能进行码率压缩，因为6 4 个样值仍然得到6 4 个系数。由于大多数图像的高频分量较 小，相应于图像高频成分的系数常为零，加上人眼对高频成分的失真不太敏感，所以 可用较粗的量化，因此传送变换系数所用的码率要大大小于传送图像像素所用的码 率。到达接收端后，再通过反离散余弦变换返回到样值，虽然会有一定的失真，但人 眼是可以接受的。 读出数据和表示数据的方式也是减少码率的一个重要因素。读出的方式可以有多 种选择，如：水平读出、垂直读出、之字型读出和交替读出等，其中之字型读, q 4 , ( z i g z a g ) 是最常用的一种。由于经d c t 变换以后，系数大多数集中在左上角，即低频分量区， 因此之字型读出实际上是按= 维频率的高低顺序读出系数的，这样一来就为游程长度 编码创造了条件。所谓游程长度编码是指一个码字可同时表示码的值和前面几个零， 这样就可以把之字型读出的优点显示出来了。因为之字型读出在大多数情况下出现连 零的机会比较多，尤其在最后，如果都是零，在读到最后一个数后只要给出“块结束” ( e o b ) 码，就可以结束输出，因此节省了很多码字。 游程长度指的是由码字构成的数据流中各个字符连续重复出现而形成字符串的 南京邮电大学硕士研究生学位论文第一章视频编解码及高速d s p 实现 长度。基本的游程编码就是在数据流中直接用三个字符来给出上述三种信息，其数据 结构如图1 - 3 2 所示。 数据流 匪 二日 图l 一3 - 2 游程长度编码结构 s c 表示有一个字符串在此位置，x 表示构成串的字符，c c 代表串的长度。 带运动估计和运动补偿的编码是一种帧间编码的方法，其原理是利用帧问的时问 相关性，减小时间冗余度。帧间编码之所以可以减小冗余度，是因为两帧之间有很大 的相似性。如果将前后两帧相减( 移动物体作相应位移) 得到的残差作为编码所需比 特要比帧内编码所需的比特少，帧问残差的分布集中在零附近，可以用短的码字传送。 将运动图像分为若干局部结构，并设法检测出每个局部结构在前一帧图像中的位 置，这个过程通常叫做运动估计，这样，用其在前一帧图像中的对应部分对当前帧中 的局部结构进行预测，这种预测称为运动补偿。同一局部结构在两相邻帧间的位置变 化通常叫做运动矢量，将运动矢量和相应的预测误差一起进行编码并传输给接收端， 而在接收端则按运动矢量指明的位置，从已经解码的前一帧图像中找到相应的局部结 构，和预测误差相加后就得到了当前帧中的结构。 运动估计的准确程度对帧间编码的压缩效果非常重要。如果估计做的好，那么当 前图像与估计图像相减后只留下很小的值用于传输。运动估计以宏块为单位进行，计 算被压缩图像与参考图像的对应位置上的宏块间的位置偏移。这种位置偏移是以运动 矢量来描述的，一个运动矢量代表水平和垂直两个方向上的位移。 在做运动估计和运动补偿时，是以1 6 x 1 6 的块( 宏块) 逐个进行的，这是将当前 帧划分为n x n ( 1 6 1 6 ) 的块。对每一块在过去帧中范围为( n + 2 w y ) ( n + 2 w x ) 的窗 口内进行搜索，以求得最优匹配，从而得到运动矢量的估值( d x ，d y ) 。 1 4 h 2 6 4 建议与算法简介 h 2 6 4 标准系统由视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和网络提取层( n e t w o r k a b s t r a c t i o nl a y e r ，n a l ) 两部分组成，如图1 4 1 所示。v c l 包括v c l 编码器与 南京邮电大学硕上研究生学位论文 第一章视频编解码及高速d s p 实现 v c l 解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、 熵编码等压缩单元。n a l 则用于为v c l 提供一个与网络无关的统一接口，它负责对 视频数据进行封装打包后使其在网络中传送。 i视频编码层( v c l ) 摔 静 宏块 数 据 i数据分割 r 片分割 网络提取层( n a l ) h 3 2 0h 3 2 4 h 3 2 3 i ph 3 2 4 m其它 图1 - 4 1h 2 6 4 的编码结构 n a l 定义了数据封装的格式和统一的网络接口。数据承载在网络提取层单元 ( n a l u ) 中，有利于数据经打包后在网络中传输。对于面向比特流和面向数据包的 传输，n a l u 采用统一的数据格式，每个n a l u 包括单个字节的包头信息、多个字 节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中包含存储 标志和类型标志。存储标志用于指示当前数据不属于被参考的帧，从而便于服务器根 据网络拥塞情况进行丢弃。类型标志用于指示图像数据的类型。 h 2 6 4 标准制定的目标是实现视频的高压缩比、高图像质量、良好的网络适应性 等。h 2 6 4 的编解码框架与以前提出的标准如h 2 6 l 、h 2 6 3 及m p e g l 2 4 并无显著 变化，也是基于混合编码的方案( 图i 一4 2 ) ：以运动矢量代表图像序列各帧的运动内 容，使用前面已解码帧对其进行运动估计和补偿或使用帧内预测技术，所得的图像残 差值要经过变换、量化、熵编码等部分的处理。所以，h 2 6 4 标准的性能提升在于各 个部分的技术方案的改进及新算法的应用。h 2 6 4 标准在提高图像传输的容错性方面 做了大量工作，重新定义了适于图像的结构划分。 南京邮电大学硕士研究生学位论文第一章视频编解码及高速d s p 实现 视 图i 。4 - 2h 2 6 4 编码器框 相比以往的视频编码标准，h 2 6 4 标准在技术上的改进主要体现在三个方面： 预测技术的改进有：帧内多模式预测、多模式运动估计、多参考帧运动补 偿、1 4 和1 8 精度运动矢量预测、运动矢量可指出图像边界、权值预测技术( w p ) 、 改进的s k i p 和d i r e c t 参考模式及环路滤波等。 编码效率的改进有：4 4 整数变换、基于内容的自适应算术编码( c a b a c ) 和基于内容的自适应变长编码( c a v l c ) 。 灵活网络传输和容错方面：参数集合( p s s ) 、灵活宏块顺序( f m o ) 、任意片顺 序( a s o ) 、可冗余片( r s ) 、数据分割( d p ) 技术、s p s i 帧技术j 。 1 4 1 h 2 6 4 标准档次 h 2 6 4 标准可分为三档：基本档次( b a s e l i n ep r o f i l e ) ，主要档次( m a i np r o f i l e ) 和扩展档次( e x t e n d e dp r o f i l e ) 。不同于以前的标准，h 2 6 4 的档次并非完全可分级的。 基本档次是扩展档次的一个子集，然而基本档次中使用的某些工具在主要档次中是不 南京邮电大学硕士研究生学位论文第一章视频编解码及高速d s p 实现 提供的。各个档次提供的工具集如表1 - 4 3 所示。 表i 一4 - 3h 2 6 4 标准各档次采用算法技术 1 基本档次 基本档次只对i 帧和p 帧操作，支持一些低时延容错工具，兼具一个低复杂度有 效编码工具子集。为了减少误码影响和增强误码恢复的能力，基本档次里支持灵活的 宏块组织顺序( f m o ) ，宏块可以灵活的划分为多个片组：片之间是相互独立的可以 任意的顺序( a s o ) 传输到解码端。而且在比特流中片可以使用冗余片方式( r s ) 传输， 这在片数据出错的情况下可用来进行恢复，增强了图像传输的鲁棒性。同时片间的相 互独立性抑制了错误的空间传播，因此提高了比特流的容错性。 2 主要档次 主要档次支持许多工具以尽可能提供编码效率，如b 帧和c a b a c 熵编码，但它 并不支持f m o 、a s o 及r s 等技术；而且首次将权值预测( w p ) 方法合并到视频编 码标准中。在此框架内提出了适配块划分尺寸的变换( a b t ) 的概念。此概念是针对帧 问编码的，其主要思想是将对预测参差进行变换编码的块尺寸与用来进行运动补偿的 块尺寸联系起来。这样就尽可能的利用最大的信号长度进行变换编码。 南京邮电大学硕士研究生学位论文 第一章视频编解码及高速d s p 实现 3 扩展档次 扩展档次支持有效编码、误码掩盖和再同步等技术工具，包括除自适应算术编码 ( c a b a c ) 以外所有h 2 6 4 标准所规定的内容。其中采用的新的图片类型s p 帧用类 似于p 帧运动补偿预测编码去除时域冗余，与p 帧不同的是，s p 帧允许相似图片重 建即使它们从不同参考帧预测而来。s i 帧类似于i 帧，和s p 帧具有相同的特征。 1 4 2 h 2 6 4 标准中的关键技术简介 与原有标准比较，h 2 6 4 在技术方面的改进主要在模块的细节，下面就介绍这些 带来性能提高的细节，也就是h 2 6 4 的技术特点。 1 帧内预测编码 帧内编码用来缩减图像的空间冗余。为了提高h 2 6 4 帧内编码的效率，在给定帧 中充分利用相邻宏块的空间相关性，相邻的宏块通常含有相似的属性。因此，在对一 给定宏块编码时，首先可以根据周围的宏块预测( 典型的是根据左上角的宏块，因为 此宏块已经被编码处理) ，然后对预测值与实际值的差值进行编码，这样，相对于直 接对该帧编码而言，可以大大减小码率。 n 0 p efgh 彦 翻7 1r 图i 4 - 4i n t r a4 4 预测模式 h 2 6 4 提供9 种模式进行4 x 4 像素宏块预测，包括1 种直流预测和8 种方向预测， 如图1 - 4 4 所示。在图中，相邻块的a 到q 共1 9 个像素均已经被编码，可以被用以 预测，如果我们选择模式1 ，那么，a 、b 、c 、d4 个像素被预测为与i 相等的值，e 、 南京邮电大学硕士研究生学位论文 第一章视频编解码及高速d s p 实现 f 、g 、h4 个像素被预测为与】相等的值，其余的值相类似。对于图像中含有很少空 间信息的平坦区，h 2 6 4 也支持亮度块1 6 x 1 6 的帧内编码，共有四种模式，如图1 4 - 5 所示。相应的还有色度块的8 8 帧内预测，与亮度块1 6 1 6 帧内编码完全类似。 2 帧间预测编码 图l 4 - 5i n t r a1 6 x 1 6 预测模式 帧问预测编码利用连续帧中的时间冗余来进行运动估计和补偿。h 2 6 4 的运动补 偿支持以往的视频编码标准中的大部分关键特性，而且灵活地添加了更多的功能，除 了支持p 帧、b 帧外，h 。2 6 4 还支持一种新的流问传送帧s p 帧。码流中包含s p 帧后，能在有类似内容但有不同码率的码流之间快速切换，同时支持随机接入和快速 回放模式。s p - 帧示意图h 2 6 4 的运动估计有以下4 个特性。 ( 1 ) 不同大小和形状的宏块分割 对每一个1 6 x 1 6 像素宏块的运动补偿可以采用不同的大小和形状，h 2 6 4 支持7 种模式，如图1 - 4 - 6 所示。小块模式的运动补偿为运动详细信息的处理提高了性能， 减少了方块效应，提高了图像的质量。 南京邮电大学硕士研究生学位论文 第一章视频编解码及高速d s p 实现 宏块级划分 亚宏块级划分 6 1 61 6 x 88 1 68 8 8 8 ( 2 ) 高精度的亚像素运动补偿 8 4 4 8 图1 4 - 6 宏块的划 在h 2 6 3 中采用的是半像素精度的运动估计，而在h 2 6 4 中可以采用1 1 4 或者1 8 像素精度的运动估值。在要求相同精度的情况下，h 2 6 4 使用1 4 或者1 8 像素精 度的运动估计后的残差要比h 2 6 3 采用半像素精度运动估计后的残差来得小。这样 在相同精度下，h 2 6 4 在帧间编码中所需的码率更小。 ( 3 ) 多帧预测 h 2 6 4 提供可选的多帧预测功能，在帧间编码时，可选5 个不同的参考帧，提供 了更好的纠错性能，这样更可以改善视频图像质量。这一特性主要应用于以下场合： 周期性的运动、平移运动、在两个不同的场景之间来回变换摄像机的镜头。 ( 4 ) 去块滤波器 h 2 6 4 定义了自适应去除块效应的滤波器，这可以处理预测环路中的水平和垂直 块边缘，大大减少了方块效应。 3 整数变换 南京邮电大学硕士研究生学位论文第一章视频编解码及高速d s p 实现 在变换方面，h 2 6 4 使用了基于4 x 4 像素块的类似于d ( 了的变换，但使用的是以 整数为基础的空间变换，不存在反变换，因为取舍而存在误差的问题。与浮点运算相 比，整数d c t 变换会引起一些额外的误差，但因为d c t 变换后的量化也存在量化误 差，与之相比，整数d c t 变换引起的量化误差影响并不大。此外，整数d c t 变换还 具有减少运算量和复杂度，有利于向定点d s p 移植的优点。 4 量化 h 2 6 4 中可选3 2 种不同的量化步长，这与h 2 6 3 中有3 1 个量化步长很相似，但 是在h 2 6 4 中，步长是以1 2 5 的复合率递进的，而不是个固定常数。 在h 2 6 4 中，变换系数的读出方式也有两种：之字形( z i g z a g ) 扫描和双扫描，如 图1 4 7 ( a ) 所示。大多数情况下使用之字形扫描；场扫描仅用于使用较小量化级的块 内，有助于提高编码效率，图1 - 4 - 7 ( b ) 为场扫描方式。 5 熵编码 8 y 9 t 1 0 9 1 0 14，15 ： 7 1 ： 图l 一4 - 7h 2 6 4 扫描方式( a ) z i g z a g 扫描( b ) 场扫描 1 2 v 1 3 v 1 4 视频编码处理的最后一步就是熵编码，在h 2 6 4 中采用了两种不同的熵编码方法： 通用可变长编码( u v l c ) 和基于文本的自适应二进制算术编码( c a b a c ) 。在h 2 6 3 等标准中，根据要编码的数据类型如变换系数、运动矢量等，采用不同的v l c 码表。 h 2 6 4 中的u v l c 码表提供了一个简单的方法，不管符号表述什么类型的数据，都使 用统一变字长编码表。其优点是简单：缺点是单一的码表是从概率统计分布模型得出 的，没有考虑编码符号间的相关性，在中高码率时效果不是很好。因此，h 2 6 4 中还 2 5 r 6 2 r 5一 v 6 卜 o v 1 3 6 坦 v 馅 ： ，馅 7 1 4 8 - 0 2 r 3 南京邮电大学硕士研究生学位论文第一章视频编解码及高速d s p 实现 提供了可选的c a b a c 方法。算术编码使编码和解码两边都能使用所有句法元素( 变换 系数、运动矢量) 的概率模型。为了提高算术编码的效率，通过内容建模的过程，使 基本概率模型能适应随视频帧而改变的统计特性。内容建模提供了编码符号的条件概 率估计，利用合适的内容模型，存在于符号问的相关性可以通过选择目前要编码符号 邻近的已编码符号的相应概率模型来去除，不同的句法元素通常保持不同的模型。 1 5 高速d s p 简介 随着计算机及通信技术的发展，图像和视频的应用愈加广泛。数字信号处理器是 一类专门为数字信号处理任务而优化设计的体系结构和指令系统的通用处理器件，具 有处理速度快和复合功能的单周期指令等特点，在高速图像处理中得到了越来越多的 应用。 1 5 1 适合媒体通信d s p 的特点 t s s p 芯片内部采用程序和数据分开存储和传输的哈佛结构，具有专门硬件乘法 器，广泛采用流水线操作，提供特殊的d s p 指令，可用来快速地实现各种数字信号 处理算法，加之集成电路的优化设计，使其处理速度比最快的c p u 还快1 0 5 0 倍。 根据数字信号处理的要求，d s p 芯片一般具有如下的一些主要特点： 1 ) 在一个指令周期内可完成一次乘法和一次加法。 2 ) 程序和数据空间分开，可以同时访问指令和数据。 3 ) 片内具有快速r a m ，通常可通过独立的数据总线在程序空间和数据空问中 同时访问。 4 ) 具有低开销或无开销循环及跳转的硬件支持。 5 ) 快速的中断处理和硬件i o 支持。 6 ) 具有在单周期内操作的多个硬件地址产生器。 7 ) 可以并行执行多个操作。 8 ) 支持流水线操作，使取指、译码和执行等操作可以重叠执行。 另外，适合媒体通信要求，d s p 还应有如下特点： 9 ) 高集成度。为了简化链接，应该包含p c i 总线和u s b 设备接口。 南京邮电大学硕士研究生学位论文 第一章视频编解码及高速d s p 实现 1 0 ) 高性能性。应该有一个能够配置为高速缓存器或s r a h 的一级存储器( 1 e v e l o n em