（通信与信息系统专业论文）h264解码器的优化及在arm上的实现.pdf

摘要 摘要 i t u t h 2 6 4 m p e g 4p a r t l 0 a v c ( 简称h 2 6 4 ) 是最新的视频编码国际标准， 由i s o i e c 的运动图像专家组m p e g 和i t u t 的视频编码专家组v c e g 组成的联 合视频小组j _ v t 共同制定而成。h 2 6 4 标准中包含了很多先进的视频压缩编码技 术，与以前的视频编码标准相比有了明显的进步。在相同视觉感知质量的条件下， h 2 6 4 的编码效率比m p e g 一4 提高了5 0 左右，并且有更好的网络友好性。然而， h 2 6 4 的高压缩编码效率是以很高的计算复杂度为代价的，其编码复杂度约为 m p e g 一4 简单配置的1 0 倍以上，所以在实际应用中必须对算法进行优化以提高其 编解码的效率。 本论文第二章介绍了h 2 6 4 解码的主要模块，并对各个模块的优化进行了具体 分析，包括了熵解码，反扫描，反量化，反变换，帧内预测，帧间预测，后滤波 以及参考帧的管理，在本章的最后给出了优化后的实验数据。 第三章介绍了一个基于h 2 6 4 的解码系统，以a r m 9 2 6 作为开发的平台，它包 括前端的码流输入，解码和后端显示，在本章的最后也给出了相关的实验结果。 最后，是一个总结。 关键词：h 2 6 4a r m 解码优化嵌入式开发 些! ! 坠竺!也 a b s t r a c t i t u th 2 6 4 舢p e g 4p a r t10a d v a n c e dv i d e oc o d m gr c o m m o n l yr e f e r r e dt oa s h 2 6 4 a v c li st h en e w e s ti n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d i tw a sd e v e l o p e db ya j o i n tv i d e ot e a m ( j v t 、c o n s i s t i n go fe x p e r t sf r o m1 1 u t l sv i d e oc o d i n ge x p e r t s g r o u p ( v c e g ) a n di s o i e c 。sm o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) h 2 6 4i s c o m p o s e do fm a n ya d v a n c e dv i d e oc o d i n gt e c h n i q u e s c o m p a r e dt oe x i s t i n gv i d e o c o d i n gs t a n d a r d s ，h 2 6 4h a sm a d eg r e a tp r o g r e s si nc o d i n ge f f i c i e n c y f o re x a m p l e ，i t i m p r o v e st h ec o m p r e s s i o ne f f i c i e n c yb yaf a c t o ro fa b o u tt w o ( o na v e r a g e ) o v e r m p e g 一4 i na d d f f i o n ，h 2 6 4p r o v i d e sav e r yf r i e n d l yn e t w o r ki m e r f a c e h o w e v e r t h e i m p r o v e m e n ti nc o m p r e s s i o ne f f i c i e n c yo fh 2 6 4c 0 1 t i e sf r o mt h ed r a m a t i ci n c r e a s ei n c o m p u t a t i o n a lc o m p l e x i t y ；t h i sm a k e si ta m u s tt or e d u c et h ec o m p u t a t i o n a lc o m p l e x i t y o f a l g o r i t h m si nh 2 6 4i nr e a lt i m ea p p l i c a t i o n s i nt h es e c o n dp a r a g r a p h ，t h em a i nm o d u l e so fh 2 6 4d e c o d e ra r ei n t r o d u c e d ， i n c l u d i n ge n t r o p yd e c o d i n g ，i n v e r s es c a n n i n g ，s c a l i n ga n dt r a n s f o r m a t i o n ，i n t r a p r e d i c t i o n ，i n t e rp r e d i c t i o n ，d e b o c k i n ga n dr e f e r e n c ep i c w x em a n a g e m e n t a l s o ，t h e o p t i m i z a t i o nm e t h o di sg i v e no nt h eb a s eo fa n a l y s eo ft h em o d u l e s + a tt h ee n d o f p a r a g r a p h ，t h ee x p e r i m e n td a t ai sp r e s e n t e d i nt h et h i r d p a r a g r a p h t h ep a p e rp r e s e n t sah ，2 6 4d e c o d i n gs y s t e mb a s e do n a r m 9 2 6p l a t f o r m i ti n c l u d e s3p a r t s t h ei n c e p t i n go fb i ts t r e m n ，d e c o d i n go ft h eb i t s t r e a ma n dt h ed i s p l a yo ft h ed e c o d e dp i c t u r e a tt h ee n d o ft h ep a r a g r a p hi st h e e x p e r i m e n tr e s u l t a tf i n a lp a r t ac o n c l u s i o ni sp r e s e n t e r k e y w o r d ：h 2 6 4 a r m o p t i m i z a t i o no fd e c o d i n g s o cd e v e l o p m e n t 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以 外，论文中不包含其它人已经发表或撰写过的研究成果；也不包含为获得西 安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工 作的同志所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 绰 日期：型! 虚：z ：孑 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本 人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电 子科技大学。学校有权保留送交论文的复印件，允许查阋和借阅论文；学校 可以公布论文的全部或部分内容，可以允许采用影印、缩印、或其它复制手 段保存论文。( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在年解密后适用本授权书。 本人签名： 导师签名： 日期：丛：2 ：_ 星 日期：芝竺z ：z ! 绪论 第一章绪论 因为语言通信和文字图片传输的需要，在过去短短的十几年里，互联网和电 信网得到了飞速发展，以至到现在的四通八达，无所不在。而如今，它们又将进 行一次深刻的变革。互联网从2 0 迈向3 0 ，电信网从2 g 向3 g 过渡，而这些都与 我们最习以为常的一个感观有关，那就是视觉。据统计，人类7 5 的信息是通过 眼睛观察得到的，可见图像、视频对于我们是多么的重要。由此，我们可以想象： 数字图像处理、压缩编码等技术将得到而且已经得到越来越大的发展和应用。它 们必将深深地影响我们的生活。 1 1 选题背景 h 2 6 4 是新代的视频标准，由于使用了c a b a c 、c a v l c 、帧内预测、1 4 精度的运动估计、多参考帧、环路滤波等一系列的新技术，比以往的m p e g 2 、 m p e g 4 等在相同的信噪比下的压缩效果有明显的提升，压缩率相比m e p g 4 提高了 5 0 以上；更为突出的是：h 2 6 4 有很强的纠错能力，因此很适合于在网络中传播， 这一点在互联网飞速发展的今天显得格外有吸引力。与这些优点相对应的是h 2 6 4 算法复杂度的成倍增加。因此，对h 2 6 4 的优化和实现将是现在和将来很长一段 时间内很必要也很有意义的一项研究工作。 任何信息的处理都需要一个载体，对图像的处理当然也不例外，因此对h 2 6 4 的实现也需要一个平台。如今，经济高速发展，生活水平越来越高，各种电子设 备，如手机、p d a 、m p 3 、m p 4 等层出不穷，且大有大范围普及的趋势。而所有 这些，基本上都属于嵌入式系统的范畴，作为专门面向嵌入式系统且在这方面有 卓越表现的a r m 当然是一个很好的平台。 所以，对h 2 6 4 的优化和在a r m 上的实现是很有意义的。 由于图像、视频在接下来的几年将迅速成为一个很大的应用产业，所以业界 对于h 2 6 4 技术的研究迸行得如火如荼，具体实现的方法也五花a i - ，但大致可 以归为下面三类： 全硬件实现：能实时编解码，支持比较高的r e v e l 和比较高的应用，如支持 高清( 1 9 2 0 x 1 0 8 8 ) ，这是发展的方向和最终的目标；但是具体实现的难道比较大， 目前真正实现的寥寥无几。 全软件实现：开发的过程很好控制，实现也较简单，如现在的有些商业播 2 h 2 6 4 解码器的优化及在a r m 上实现 放器就已经能够支持h 2 6 4 普通图像( 如v g a ) 的实时解码了；但缺点是对于比较 高的应用，实现实时解码的可能性很小。 软件+ 硬件：就是那些比较耗时的用硬件模块来加速，其它的用软件来实 现，开发过程也比较好控制，是现在主流的解决方案。 所以，对h 2 6 4 的软件进行优化，并在a r m 上实现是一个比较简单且比较可 行的方案。 1 2 h 2 6 4 简介 h 2 6 4 是最新一代的视频压缩标准。相比于以前的标准，呈现如下优势。 更高的编码效率。与h 2 6 3 v 2 ( h 2 6 3 + ) 或m p e g - 4 相比，在相同的编码质量 条件下，h 2 6 4 最多可以节省5 0 的比特率。 更好的网络适应能力。在h 2 6 4 中，视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和网络提取层( n e t w o r ka d a p t i n gl a y e r ，n a l ) 是彼此分离的，这样压缩后的视频 内容可以在不同类型的网络上传输，也使图像内容的打包和优先级控制更加容易。 更强的时延适应性。h 2 6 4 可以在低时延模式下工作以适应实时通信应用 ( 如会议电视等) ，也可以在高时延模式下工作以取得最佳的压缩效果( 例如视频图 像的存储，基于服务器的视频流应用等) 。 更强的容错能力。h 2 6 4 提供了相应的工具来处理包交换网络中的丢包和易 于产生误码的无线信道中的误码问题。上述特点使得h 2 6 4 将成为通信、数字电 视及互联网视频应用首选标准。 1 3 a r m 简介 嵌入式系统一般是由是由嵌入式处理器、嵌入式系统软件和嵌入式应用软件 组成。毫无疑问嵌入式处理器是嵌入式系统的最核心部分。嵌入式处理器自身的 功能从根本上制约着嵌入式系统的应用。 r i s c ( r e d u c e di n s t r u c t i o ns e tc o m p u t e r ) 型处理器具有结构简单、处理速度 快和处理功能强等优点，新型的嵌入式系统大多数都采用r i s c 型处理器作为核。 如a r m 公司的a r m 、h i t a c h i 公司的s h 、m i p s l s il o g i c a l d e n y t o s h i b a 公司的 m i p s 和m o t o r o l a 公司的m c o r e 等都是新型嵌入式系统常用的r i s c 型处理器。 其中，a r m 架构的i u s c 处理器使用数量最大，应用也更广。 a r m 即a d v a n c e dr i s cm a c h i n e s 的缩写。1 9 8 5 年4 月2 6 日，第一个a r m 原型在英国剑桥的a c o r n 计算机有限公司诞生，由美国加州s a nj o s ev l s i 技术公 司制造。2 0 世纪8 0 年代后期，a r m 很快开发成a e o m 台式机产品，形成英国计 算机教育基础。1 9 9 0 年成立了a d v a n c e d l u s c m a c h i n e s l i m i t e d ( 后来简称为a 尉 l i m i t e d ，a r m 公司) ，其作为设计公司，是知识产权( i p ) 供应商，本身并不生 产芯片，靠转让设计许可由合作伙伴来生产各具特色的芯片。2 0 世纪9 0 年代， a r m3 2 位嵌入式r i s c 处理器扩展到世界范围，占据了低功耗、低成本和高性能 的嵌入式系统应用领域。目前，采用a r m 技术p 核的处理器已经占据了3 2 位 r i s c 芯片7 5 的市场份额。可以这样说，a r m 技术几乎无处不在。 采用a r mi p 核的处理器芯片具有s c 体系处理器的一般特点，如：具有大 量的寄存器；绝大多数操作都在寄存器中进行，通过l o a d s t o r e 的体系结构在内存 和寄存器之间传递数据；寻址方式简单；采用固定长度的指令格式。除此之外， a r m 体系采用了一些特别的技术，在保证高性能的同时尽量减少芯片体积、降低 芯片的功耗。这些技术包括：在同一条数据处理指令中包含算术逻辑单元处理和 移位处理；使用地址自动增加( 减少) 来优化程序中循环处理；l o a d s t o r e 指令可 以成批量传输数据，从而提高数据传输的效率；所有指令都可以根据前面指令执 行结果，决定是否执行即所有指令都可以条件执行，以提高指令执行的效率。 迄今为止，a r m 体系结构共定义了6 个版本，版本号为1 6 。从版本1 到版 本6 ，a r m 体系的指令集功能不断扩大。同时各版本中还有一些变种，这些变种 定义了该版本指令集中的不同功能。a r m 处理器系列中的各种处理器，其采用的 实现技术各不相同，性能差别很大。应用场合也有所不同，但是只要它们支持相 同的a r m 体系版本，基于它们的应用软件将是兼容的。 由上面可知a r m 架构的处理器确实是一款功能强大的r i s c 处理器，而且随 着技术的更新，其处理能力也在进步增强之中。因此，对基于a r m 体系架构处 理器的嵌入式系统进行学习和应用，使a r m 处理器能够发挥最大的实际效用已经 成为技术研究及应用领域一个新的热点问题。 1 4 本文的研究内容 在学习研究众多它人的技术创新的基础上，本论文对h 2 6 4 进行了整体的优 化，重写了整个基本级的软件解码器。并把h 2 6 4 解码器移植到a r m 平台上，实 现了一个边解码边显示的系统。 第二章主要介绍了h 2 6 4 的主要模块，在分析每个模块特点的基础上，得出 优化的方向和方法。 第三章主要介绍了一个基于a r m 的解码系统，对这个系统进行了总体上的描 述，并对其具体的模块进行了简要的介绍。 第四章对全文进行了总结，并对可行的后续工作进行了展望。 h 2 6 4 解码器的介绍和优化 第二章h 2 6 4 解码器的介绍和优化 2 1 视频编码标准的发展过程及简要介绍 标准化是产业化活动的前提，一项技术只有在成为统一的标准或规范的情况 下才能得到蓬勃的发展。近年来，一系列国际视频编码标准的制定，极大地促进 了视频压缩编码技术和多媒体通信技术的发展。视频压缩编码标准的制定工作主 要是由国际标准化组织( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o ni s o ) 和国际电信 联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o ni m 完成的。由i t u 组织制定的标准主 要是针对实时视频通讯的应用，如视频会议和可视电话等，它们以h 2 6 x 命名； 而由i s o 和i e c ( i n t e r n a t i o n a le l e e t r o t e c h n i c a lc o m m i s s i o n ，国际电工委员会) 的共 同委员会中的m p e g ( m o v i n gp i c t u r ee x p e r tc r o u p ) 专家组制定的标准主要针对视 频数据的存储( 如v c d 和d v d ) ，广播电视和视频流的网络传输等应用，它们以 m e p g - x 命名。各种视频压缩编码标准都是根据人们在不同领域中对声像数据的要 求所制定的，并且随着人们的需求不断地发展。而h 2 6 4 是由m p e g 组织和i t u t 的v c e g 组织组成的联合视频专家组u o i mv i d e ot e a m ，d 共同完成制定的。各 个视频编码标准的发展历程如图1 1 所示。 z 臣口i 匾正b 图1 1 视频编码国际标准的发展 在i r u 和i s 0 8 e c 所制定的这些标准中，并没有对视频编码的具体算法做硬 性规定，而仅仅是定义了相应的解码方法和比特流语法，使得对于符合某一标准 的压缩码流，所有的解码器都能够得到相同的输出结果，这也为标准的具体应用 带来了最大限度的自由度。下面我们就对几种典型的国际视频编码标准做简要介 绍。 6 h 2 6 4 解码器的优化及在a r m 上实现 2 1 1m p e g 系列标准 1 m p e g l m p e g 1 制定于1 9 9 2 年，是针对数据传输率1 5 m b p s 以下的数字存储介质图 像及其伴音编码的国际标准，共分为图像编码、声音编码和系统( 同步和复用) 3 个 部分。该标准主要用于在各种数字存储介质( c d r o m , d a t , w i n c h e s t e r 盘等) 上存 储同步和彩色运动视频信号，在1 2 m b p s 速率下的视频质量可与v h s ( 家用视频系 统) 所记录的模拟视频质量相媲美。m p e g - 1 对色差分量采用4 ：1 ：1 的二次采样率， 可优化为中等分辨率，并在优化的模式下采用所谓的标准交换格式( s i f ) 。其视频 压缩率约为2 6 ：1 。m p e g 1 标准采用了运动估计、运动补偿、变换编码等技术，并 规定了编码位流的表示语法和具体解码方法。由于m p e g - i 标准是针对数字存储 的应用而制定的，因此它的编解码器是不对称的，其编码端的复杂度通常要远远 高于解码端。 2 m p e g - 2 ( h 2 6 2 ) m p e g 2 标准是由i s o 的m p e g 专家组和i t u t 的第1 6 研究组与1 9 9 4 年共 同制定的，全称为“运动图像及其伴音的编码”，在1 1 u - t 的协议中也被称为h 2 6 2 建议( r e c o m m e n d a t i o nh 2 6 2 ) 。m p e g 2 的传输速率为3 m b p s 1 0 m b p s ，主要针对 数字电视和高清晰度电视( h d t v ) 所需要的视频及伴音信号，此外还兼顾了与a t m 信元的适配问题。 m p e g 2 在m p e g 1 的基础上做了相应的扩展，从多方厩提高了编码参数的 灵活性以及编码性能。它综合采用了运动补偿的帧间预测、空间域离散余弦变换、 自适应量化和可交长编码的混合编码。m p e g - 2 视频编码标准是一个分等级的系 列，按编码图像的分辨率分成4 个等级( l e v e l s ) ；按所使用的编码工具的集合分成 五个类另l j ( p r o f i l e s ) 。“等级”与“类别”的若干组合构成m p e g 2 视频编码标准在 某种特定应用下的子集，对某一输入格式的图像，采用特定集合的压缩编码工具， 产生规定速率范围内的编码码流。目前m p e g 2 标准已经在d v d 存储和数字电视 广播方面得到了广泛应用。 3 m p e g 4 在m p e g 1 和m p e g 2 之后，i s o 的m p e g 工作组于1 9 9 9 年4 月出台了 m p e g - 4 标准( i s 0 1 4 4 9 6 ) ，并在1 9 9 9 年1 2 月提出了第二版的i s o 最终草案 ( i s 0 1 4 4 9 6 - 2 f c d ) 。m p e g - 4 提出了音视频对象( a u d i ov i d e oo b j e c t , a v o ) 的概念， 并在此基础上实现了许多新的功能，为各种多媒体应用特别是基于i n t e m e t 和移动 网络的应用提供了理想的工具，如基于内容的编码、错误掩盖和基于内容的可伸 缩性等。与m p e g 前两个图像压缩标准相比，m p e g - 4 为多媒体数据压缩提供了 h 2 6 4 解码器的介绍和优化 7 一个更为广阔的平台，更注重于定义一种格式和框架，而不是具体的算法，其出 发点就是希望建立起一个更自由的通信与研发环境，可以在系统中加入许多新的 算法，为使用计算机软件实现编码和解码提供更大的方便。它可以将各种各样的 多媒体技术充分应用于编码中，除包括压缩本身的一些工具、算法外，还包括图 像分析和合成、计算机视觉、计算机图形学、虚拟现实和语音合成技术。 4 瞳e g 7 和口e g 2 l m p e g - 7 标准称为“多媒体内容描述接口”( m u l t i m e d i ac o n t e n td e s c r i p t i o n i n t e r f a c e ) ，目的是制定一套描述符标准，用来描述各种类型的多媒体信息及它们之 间的关系，以便更快更有效地检索信息。该标准的第4 版己于2 0 0 0 年1 0 月发布， 它通过标准化种用来定义描述方案的语言，即描述定义语言( d e s c r i p t i o n d e f i n i t i o nl a n g u a g e ) ，使带有与之相关的m p e g - 7 数据的a v 素材，就可以被加上 索引，并可进行检索。这些媒体材料可包括静态图像、图形、3 d 模型、声音、话 音、电视以及在多媒体演示中它们之间的组合关系。 在m p e g - 7 的基础上，i s o 又于1 9 9 6 年开始着手m p e g - 2 1 标准的制定工作。 m p e g - 2 1 是一个支持通过异构网络和设备使用户透明而广泛地使用多媒体资源的 标准，其目标是建立一个交互的多媒体框架，该框架能够使遍布全球的各种网络 和设备上的数字资源被透明和广泛的使用。 总体来说，m p e g 7 和m p e g 2 1 其应用范围己超出了传统的传输和存储范畴， 而是转向多媒体检索、交互式多媒体操作和内容管理等领域，已经不是一种单纯 意义上的视频编码标准。 2 1 2h 2 6 x 系列标准 1 h 2 6 1 h 2 6 1 建议是最早出现的视频编码国际标准，由i t u - t 第1 6 研究组为在窄带 综合业务数字网( n i s d n ) 上开展双向声像业务( 可视电话、电视会议) 而制定的。该 建议于1 9 9 0 年通过，其全称为“p x 6 4 k b i t s 视听业务的视频编解码器”，其中 萨l ，3 0 ，用以根据传输线路的带宽调整图像质量。h 2 6 1 只对c i f 和q c i f 两种图 像格式进行处理，采用的算法结合了可减少时间冗余的帧间预测和可减少空间冗 余的d c t 变换的混合编码方法，主要由运动估计辟h 偿，d c t 变换和h u f i n a n 编码 等部分组成。由于该建议主要针对实时业务，因而希望编解码的延时尽可能小， 所以只利用前一帧做参考帧进行前向预测，且编解码器的复杂程度基本对称。 2 h 2 6 3 h 2 6 3 建议是i t u t 提出的关于码率低于6 4 k b i t l s 的窄带电信信道视频编码的 基本算法，于1 9 9 6 年正式通过。它以h 2 6 1 为基础，同时吸收了m p e g 等其他一 h 2 6 4 解码器的优化及在a r m 上实现 些国际标准中有效合理的部分，如半像素精度的运动估计、非限制运动矢量、高 级预测模式、p b 帧等，使其性能优于h 2 6 1 。h 2 6 3 建议不仅着眼于利用 p s t n ( p u b l i es w i t c h e dt e l e p h o n en e t w o r k ，公共开关电话网络) 传输，而且兼顾 g s t n 移动通信等无线业务，作为视频编码解码的核心算法被广泛应用于视频电 话终端如i t u - t 的h 3 2 4 ( p s t n ) h 3 2 0 ( i s d n ) 和h 3 1 0 ( b i s d n ) e 0 。 在h 2 6 3 之后，i t u 又相继于1 9 9 8 年和2 0 0 0 年制定了h 2 6 3 + 饵2 6 3v 2 ，h 2 6 3 第二版) 和h 2 6 3 + + f f i 2 6 3v 3 ，h 2 6 3 第三版) 。h 2 6 3 + 和h 2 6 3 + + 是h 2 6 3 标准的扩 充并与之兼容，主要是在h 2 6 3 的4 种可选模式的基础上又附加了新的可选模式 和其他一些附加特性，目的是拓宽应用领域、提高压缩效率和错误掩盖能力。 3 h 2 6 4 h 2 6 4 作为面向电视电话、电视会议的新一代编码方式，最初是由1 1 u 组织的 视频编码专家组v c e g 于1 9 9 8 年开始制定的，目标是在同等图像质量条件下，新 标准的压缩效率比任何现有的视频编码标准要提高1 倍以上。直到2 0 0 1 年底， m _ p e g 组织也加入了i t u t 的v c e g 组织，组成了联合视频专家组( j o i n tv i d e o t e a m ，j v t ) 共同完成制定工作。h 2 6 4 标准草案于2 0 0 3 年3 月正式获得通过。h 2 6 4 仍基于经典混合编码算法的基本结构，在变换编码、熵编码和运动估计等方面采 用了一系列先进技术，是视频编码技术和图像工程的最新研究成果，其性能超越 了以往所有的视频编码标准，具有光明的应用前景。 2 2h 2 6 4 视频编解码标准介绍 2 2 1h 2 6 4 总体介绍 h 2 6 4 在结构上，分离出了视频编码层( v c l ) 和网络抽象层( n a l ) 。n 叮在 开发h 2 6 4 视频编码规范的时候，为它设计了很广的应用层面，从窄带的视频电 话业务到宽带互联网视频服务再到无线应用和视频的存储。这些应用所涉及到的 传输和存储媒介差别很大，为了增加灵活性和可扩展性，t 定义了视频编码层 ( v c l ，v i d e oc o d i n gl a y e r ) 和网络抽象层( n a l ，n e t w o r ka b s t r a s t i o nl a y e r ) 。视频 编码层用于提供高品质的视频编码，而网络抽象层提供在不同媒介上的数据表现 形式，使其适用于不同的传输层或存储介质。目前，传输和存储系统主要分为两 大类面向字节流的系统以及面向包传输的系统，j v t 定义了n a l 单元到这 两类系统之间的映射关系。 h 2 6 4 解码器的介绍和优化 9 图2 1h 2 6 4 编码器分层结构 本文研究的主要内容是视频解码及其移植。因此下面将对v c l 层进行重点 介绍。 2 2 2h 2 6 4 解码框图 图2 2 h 2 6 4 解码框图 解码器从n a l 得到经压缩的码流，数据经过熵解码、重排序、反量化和反变 换，得到残差数据，然后加上帧内预测或帧间预测的数据，再经过环路滤波器的 滤波，就得到最终的图像数据。 一 2 3h 2 6 4 关键模块的介绍及优化策略 h 2 6 4 针对不同的应用，分3 个档次，它们是 1 基本档次：只用i 帧和p 帧，熵编码用c a v l c ，支持片组和冗余片等，主 要用于“视频会话”，如会议电视、可视电话、远程医疗、远程教育等。 2 主要档次：支持i , p , b 的图像，支持帧和场的结构，熵编码在支持c a v l c 的基础上还支持c a b a c ，主要用于消费电子应用，如数字电视广播、数字视频存 储等 3 扩展档次：基本支持除了c a b a c 外基本档次和主要档次的其它技术，主 要用于网络的视频流，如视频点播。 1 0 h 2 6 4 解码器的优化及在a r m 上实现 本文是针对基本档次进行优化的，所以只对基本档次相关的主要模块进行介 绍。 2 3 1 熵解码 h 2 6 4 协议中在编码模块中定义了两种熵编码方式。一种是基于内容的算术编 码( c a b a c ，c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) ，另一种是基于 内容的变长编码( c a v l c 。c o n t e s t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) ，算 术编码是最近十多年来发展迅速的一种无失真信源编码，它与最佳的h u f f m a n 编 码相比，理论性能稍微差一些，但实际压缩率和编码效率却往往还优于h u f f m a n 编码，故很受工程上的重视。而c a v l c 虽然实际的编码效率稍微差一些，但是应 用更广一些，就h 2 6 4 而言，它在h 2 6 4 的三个不同档次都有应用。 2 3 1 1 c a v l c 的基本原理 在h 2 6 4 的c a v l c 中，通过根据已编码句法元素的情况，动态地调整编码中 使用的码表，取得了极高的压缩比。 c a v l c 用于亮度和色度残差数据的编码。残差经过变换量化后的数据表现出如 下特性：4 x 4 块数据经过预测、变换、量化后，非零系数主要集中在低频部分， 而高频系数大部分是零；量化后的数据经过锯齿形( z i g z a g ) 扫描，d c 系数附近 的非零系数值较大，而高频位置上的非零系数值大部分是+ 1 和- - 1 = 相邻的4 x 4 块的非零系数是相关的。c a v l c 充分利用这些特性进行压缩，进一步减少了数据中 的冗余，为h 2 6 4 的编码效率奠定了基础。 在c a v l c 中，它的基于上下文的自适应主要体现在两个方面：非零系数编码 表格的选择及系数后缀长度的更新。 c a v l c 针对c o e f f _ t o k e n 、l e v e l _ p r e f i x 、t o t a l z e r o s 和r u n _ b e f o r e 分别用 了不同的表格，而且根据上下文的不同，c o e f f _ t o k e n 又分5 个码表，但所有这些 码表的解码过程是一样的 2 3 1 2 解码过程 重排序 絮器c _ + 0 ，3 ，0 1 一1 。- 1 , 0 1 ，0 + 0 0 0 0 1 0 00 1 11 0 0 1 0 ”11 0 1 1 0 1 图2 3o ( 2 一q p y 6 ) o t h e r s w t h 1 j = o 3 式( 2 2 ) 其中l e v e l s c a l e ( i n ，i ，j ) 在各个位置的值是不同的。由公式得到。 v = l o1 61 3 1 1 1 81 4 1 32 01 6 1 42 31 8 1 62 5 2 0 1 82 92 3 式( 2 3 ) l 一 一；1 一 i 一 一 n”忆旷一 ” 珏 c c c c 印印彩印 仇 i ” c c c c m 拍 一 一 1ll，j h 2 6 4 解码器的介绍和优化 fv m 0f o r ( i ，j ) ( o ，o ) ，( o ，2 ) ，( 2 ，o ) ( 2 ，2 ) ， l e v e l s c a l e ( m ，i ，j ) = v 。if o r ( i ，j ) ( 1 ，1 ) ( 1 ，3 ) ，( 3 ，1 ) ，( 3 ，3 ) ， 式( 2 - 4 ) 【v i t 2 o t h e r w i s e ； 色度块的情况除了在q p 的取值时有个修正关系，其它的与此类似。 2 其它4 x 4 块的反量化 其它4 x 4 块的计算公式与相同，只要把厂。换成c f 即可，也就是没有反 h a d a m a r d 变换的过程 2 3 2 3 反变换 按照整数d c t 变换的原理，逆d c t 变换变换的公式应该为 x ，- - c ；w ，c 。= il 1 三 i 一1 2 11 i 三 一11 一ll 1 一三 2 形， 其中矿，w ，就是反量化后的4 x 4 的矩阵。 2 3 2 4 优化分析 1l l 三 2 11 三一i 2 l1 一三一l 2 一ll 1 1 式( 2 5 ) 逆扫描、反量化和反变换这过程的计算量很大，其中的反变换都有相应的一 维快速算法，能够转换为对特定数据的加减运算，而逆扫描和反量化对不同位置 的计算公式都有不同，所以算法的主要优劣将体现在对数据结构的组织和计算的 顺序上，可以考虑把反变换和反量化结合起来同时处理，而反变换要把重点放在 数据的重用性上。 由于反量化和反变换运算计算量大，而过程又比较简单，可以考虑运用汇编 级的优化。参考文献【1 6 【1 8 1 用m m x 汇编指令对反变换做了优化，有很好 的效果。 2 3 3 帧内预测 2 3 3 1 帧内预测介绍 相比于以前的视频标准，帧内预测是一种新的技术。 1 4 h 2 6 4 解码器的优化及在a r m 上实现 h 2 6 4 a v c 所采用的帧内预测技术用于进一步去除当前图像中的空间冗余度。 采用了很精确和复杂的帧内预测方式。在当前图像编码的过程中，当无法提供足 够的图像之间的时间相关信息时，往往对当前图像采用帧内预测。由于当前被编 码的块与相邻的块有很强的相似性，因此在h 2 6 4 a v c 中的帧内预测用于计算编 码块与其相邻块之间的空间相关性，以提高编码效率。在帧内预测时，通过当前 编码的上方块和左边块来计算出当前块的预测值。当前块与其预测值的差值( 残 差) 将进一步编码将其传输到解码器端。解码器利用预测模式和解码出的残差， 恢复图像宏块的原始像素值。h 2 6 4 a v c 也提供了“p c m ”的编码方式，采用 “p c m ”编码时，解码器可直接恢复当前宏块的像素值而不必经过其他任何计算。 h 2 6 4 a v c 提供了4 种帧内预测方式：4 x 4 亮度块的帧内预测( i n t r a _ 4 x 4 ) ，1 6 x 1 6 亮度块的帧内预测( i n t r a1 6 x 1 6 ) ，8 8 色度块的帧内预测( i n t r a)以及_chroma p c m 的预测方式( ip c m ) 。 i n t r a4 x 4 有9 种预测模式，每种预测模式都有它的实际物理意思，图2 5 描 述了它的特性，在解码时，它的预测模式本身就是一个预测的过程；而i n t r a1 6 x 1 6 和i n t r ac h r o m a 各有4 种预测模式，它们是直接解出来的。 划彦 翻。 图2 54 x 4 亮度块预测方式下的预测方向 总的来说，帧内预测过程分两步： 得到预测模式 根据预测模式和周围的象素计算预测值 举比较复杂也使用最多的i n t r a4 x 4 为例：现在要对图2 6 中的当前块( 4 4 小块) 的象素进行预测 dbc a 当前块 图2 6 当前块与周围块的位置关系 h 2 6 4 解码器的介绍和优化 首先根据a 块和b 块的预测信息得到当前块的预测信息，然后结合解码得 到的p r e v _ i n t r a 4 4p r e d _ m o d e _ f l a g 和r e m _ i n t r a 4 x 4 a ) r e d _ m o d e 这两个值得到最终 的当前块的预测模式。 参照图2 7 ，得到当前块的周围象素值，也就是图中的大写字母代表的象素。 然后根据具体的模式得到具体的计算公式，最后用公式计算小写字母代表的当前 块的象素值。 abcdefgh iabc d j e f g h kl j ki lm no p 图2 7 帧内预测时的象素分布 2 3 3 2 优化分析 由帧内预测的计算过程可以看出，得到周围块的预测模式和周围的象素值是 关键。由于周围块有可能不存在，或者周围象素不可用，会带来很多的判断。因 此，组织好周围块的数据信息以减少判断和对具体的4 x 4 块进行具体的判断分析 是优化的方向。 参考文献t 2 1 】对各个小块位置预测时的数据可用性进行了分析，能比较好 的较少判断，提高流水线计算的效率。 2 3 4 帧问预测 2 3 4 i 帧间预测介绍 相比与以往的视频标准，h 2 6 4 在帧间编码技术上的一个重要改进是对亮度进 行1 4 象素精度的运动估计和1 4 象素精度的插值滤波；对色度则相应的为1 8 。 此外，采用了小块预测方式，提高了描述运动的能力，产生了更好的图像质量。 h 2 6 4 还提供多参考帧的参考，相对于i 帧参考，5 个参考帧可以节约5 一1 0 的比特率，且有助于比特流的恢复。 帧间预测适应于p 和b 宏块，其输出为帧间预测象素矩阵，包括一个1 6 x 1 6 的亮度点矩阵和两个8 x 8 的色度点矩阵。 h 2 6 4 解码器的优化及在a r m 上实现 整个帧间预测过程也分两步： 1 获取m v 分量和参考索引 其中参考索引的获得比较简单，s k i p 模式时直接取0 ，其它情况都是直接从 码流里解出来的。m v 的获得由于情况众多而显得比较复杂。对于m v 的水平和 垂直分量，都有： m v = m v p + m v d m v d 也是直接从码流里解出来的，关键是m v p ，首先要得到周围块a 、b 、 c 的m v ，如图所示，但实际上由于当前块的种类比较多，有1 6 x 1 6 ，1 6 8 ， 8 4 ，4 x 4 等七种情况，互相组合后的宏块有几十种之多，所以要远比帧内预测 的取得要复杂。 色度的m v 是根据亮度的m v 直接得到的。 2 迸行插值计算 由于是1 4 象素精度的运动补偿，亮度m v 的水平和垂直分量的小数部分 x f r a e ，y f r a e 分别为： x f i a c = i v l v o 】& 3 式( 2 6 ) 出c = m v 1 】& 3式( 2 7 ) 由x f r a c 和y f i a e 组合后总共有1 6 种情况，分别对应1 6 个位置，也就是图2 8 中g 和小写字母对应的地方。对于像b ，h ，m ，s 之类的1 2 象素位置，得到相邻 的整象素后用6 - t a p 滤波器插值得到，6 - t a p 滤波器的滤波系数为 ( 1 3 2 ，5 3 2 ，2 0 3 2 , 2 0 3 2 ，5 3 2 ，1 3 2 ) ，具体计算公式有： b = ( ( e 一5 幸f + 2 0 + g + 2 0 事h 一5 堆i + j ) + 1 6 ) 5式( 2 - 8 ) h = “a 一5 c + 2 0 g + 2 0 + m 一5 + r + t 卜1 6 ) 5式( 2 9 ) m = “b 一54 d + 2 0 + h + 2 0 + n 一5 + s + u 卜1 6 ) 5式( 2 1 0 ) s = ( ( k 一5 + l + 2 0 + m + 2 0 + n 一5 p + q ) + 1 6 ) 5式