（通信与信息系统专业论文）h264关键算法研究及其在omap平台上的解码实现.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名： 逝坐垒日期：砭z 幺：丛 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：蛰钮喳导师签名：萎堕丞圣日期：磁垒丝 山东大学硕士学位论文 摘要 近年多媒体技术随着人类进入信息时代得到迅猛发展，大量的音、视频数据 被广泛使用。然面由于音、视频数据量非常大，若未经处理，其存放、网络传输 等都存在很大问题，为此，需要对它们进行压缩，待用户使用时进行解压缩即可。 为了压缩音、视频数据，出现了各种不同的算法，并取得了一定的成效。其中由 删- t 组织颁布的新一代视频编码标准h 2 6 4 更是以其优异的性能获得业界的青 睐。o m a p ( o p 饥m u l t i m e d i a a p p l i c a t i o n sp l a t f o r m ) 是美国德州公司( t i ) 推出 的专门为支持第三代( 3 g ) 无线终端应用而设计的应用处理器体系结构。o m a p 处理器平台堪称无线技术发展的一个里程碑，它提供了语音、数据和多媒体所需 的带宽和功能，可以以极低的功耗为高端3 g 无线设备提供极佳的性能。但是， h 2 6 4 具备优异性能的同时，它的计算复杂度也大大增加，目前在较高性能的p c 杌上优化过的h ，2 6 4 编解码程序基本上能满足实时的要求，但是手持设备上的处 理芯片性能一般远不如p c 机的c p u ，比如t i 的o m a p 5 9 1 0 芯片所含d s p 的工 作主频仅有2 0 0 m h z ，所以在手持设备上实现诸如h 2 6 4 实时解码这种大量数据 处理的程序，除了做类似p c 机上的代码和普通算法优化之外，还要结合芯片的 硬件结构特点来加速数据的处理。本文对h 2 6 4 关键算法进行了深入研究及优 化，并在此基础上提出了一种基于t io m a p 的h 2 6 4 解码器的实现方案。 本文首先介绍了提出该课题的背景及视频编解码的基本知识，接着论述了 h 2 6 4 的编解码原理及其主要技术要点和应用前景，随后对h 2 6 4 中的关键算法 比如帧内预测，帧间预测，整数变换等进行了研究及优化，最后在t i 的 o m a p 5 9 1 0 平台上进行了h 2 6 4 解码器的设计和实现。由于o m a p 5 9 1 0 是双核 处理器，与传统处理器不同，有它自身的特点及编程模式。本文就是遵循它的编 程模式，结合具体结构进行了优化，设计了a r m 端客户程序负责控制d s p 进行 解码，设计了d s p 端应用程序进行具体的解码处理，并且利用该解码器对相关 测试序列进行了测试，得到的实验结果证明，该解码器基本符合手持设备应用的 需求。最后，对所作的工作进行了总结，并对今后的工作进行了展望。 关键词：多媒体；o m a p ；h 2 6 4 ；解码器；优化移植 5 山东大学硕七学何论文 6 a b s t r a c t i nr e c e n ty e a r s ，t h em u l t i m e d i at e c h n o l o g yd e v e l o p sr a p i d l yw i t ht h eh u m a n i t y g o e si n t ot h ei n f o r m a t i o na g e m a s s i v ea u d i oa n dv i d e od a t aa r ew i d e l yu s e d h o w e v e r , f o rt h e i rq u a n t i t yi se x t r e m e l yb i g , i ft h e yh a v e n tb e e np r o c e s s e d ，t h e i r d e p o s i t i n ga n dn e t w o r kt r a n s m i s s i o nw i l la l lh a v ep r o b l e m s s ot h e yn e e dt ob e c o m p r e s s e d , a n du s e r sc a ns o l v ec o m p r e s s i o nw h e nt h e yu g et h e m d i f f e r e n tk i n d s o fa r i t h m e t i ca l eu s e dt oc o m p r e s sa u d i oa n dv i d e od a t a , a n da l lo ft h e ma c q u i r e $ o m es u c c e s s h 2 6 4w h i c hi si s s u e db y u to r g a n i z a t i o na n dr e g a r d e da sn e w g e n e r a t i o n v i d e o c o d i n g s t a n d a r di sf a v o r e db yi n d u s t r yf o ri t se x c e l l e n t p e r f o r m a n c e o m a p ( o p e nm u l t i m e d i aa p p l i c a t i o n sp l a t f o r m ) i ss p e c i a l l y d e s i g n e db yt it os u p p o r tt h e3 gw i r e l e s st e r m i n a la p p l i c a t i o n s ，w h i c hp r o v i d e st h e b a n d w i d t ha n df u n c t i o nw h i c ht h es p e e c h , d a t aa n dm u l t i m e d i an e e d s ，h i 曲 p e r f o r m a n c ef o r3 gw i r e l e s se q u i p m e n tw i t hl o wp o w e r i tc a nb er e g a r d e da sa m i l e s t o n ei nw i r e l e s st e c h n i q u ed e v e l o p m e n t h 2 6 4h a se x c e l l e n tp e r f o r m a n c e ，b u t i t sc o m p l e x i t ya l s oi n c r e a s e dc o n s u m e d l yi nt h em e a n t i m e a tp r e s e n t ，t h e o p t i m i z e d h 2 6 4 c o d i n g a n d d e c o d i n gp r o g r a m c a ns a t i s 母t h er e a l t i m e r e q u i r e m e n tb a s i c a l l yo nt h eh i 班p e r f o r m a n c ep c h o w e v e r , t h ep r o c e s s o r p e r f o r m a n c eo f h a n d s e ti sf a ri n f e r i o rt op c f o re x a m p l e ，t h em a i nc l o c kf r e q u e n c y o fd s pi nt io m a p 5 9 1 0i so n l y2 0 0 m h z s oi fy o uw a n tt or e a l i z eh 2 6 4 r e a l t i m ed e c o d i n go nt h eh a n d s e t ，t h e ny o un e e dt on o to n l yo p t i m i z et h ec o d ea n d g e n e r a la l g o r i t h m ，b u ta l s ou n i f yt h ea r c h i t e c t u r ec h a r a c t e r i s t i co fh a r d w a r et o a c c e l e r a t et h es p e e do fd a t ap r o c e s s i n g t h i st h e s i sm a k e ss o m er e s e a r c ha n d o p t i m i z a t i o n o n i m p o r t a n ta r i t h m e t i c s o fh 2 6 4 ，a n dt h e nd e s c r i b e st h e i m p l e m e n t a t i o no f h 2 6 4v i d e od e c o d i n go nt io m a p a t f i r s t ，t h i st h e s i si n t r o d u c e st h eb a c k g r o u n do ft h i ss u b j e c t , t h eb a s i c k n o w l e d g eo fv i d e oc o d i n ga n dd e c o d i n g , t h et h e o r yo fh ，2 6 4v i d e oc o d i n ga n d d e c o d i n g ，m a i nt e c h n i q u ea n di m p l i c a t i o nf o r e g r o u n d t h e n ，s o m eo p t i m i z a t i o ni s c a r r i e do n k e ym o d u l eo fh 2 6 4 s u c h a si n t r a - f r a m ep r e d i c t i o n , i n t e r - f r a m e 山东大学硕士学位论文 p r e d i c t i o na n di n t e g e rt r a n s f o r m a t i o n t h ed e s i g na n dr e a l i z a t i o no fh 2 6 4v i d e o d e c o d i n go no m a pi st h ee m p h a s i s 0 一5 9 1 0c o n s i s t so ft w oc o r e sw h i c hi s d i f f e r e n tf r o mt r a d i t i o n a lp r o c e s s o r s t ou t i l i z eo m a pd u a l - c o r ea r c h i t e e t u r e e f f i c i e n t l y , i t ss t r u c t u r ec h a r a c t e ra n dp r o g r a mp r i n c i p l em u s tb ef a m i l i a rf i r s t o n o n eh a n d ，a l la p p l i c a t i o ni sd e s i g n e do na r me n dt oc o n t r o ld s p o nt h eo t h e r h a n d , t h ef u n c t i o n sa r ep e r f o r m e do nd s pe n d v c h e nt h ed e c o d e ri sa e c o m p l i s h e a , s o m ep i c t u r es e q u e n c e sa r et e s t e da n di ti sp r o v e dt h a tt h i sd e c o d e rc a l ls a t i s f yt h e n e e do f h a n d s e ti m p l i c a t i o n a tl a s t ，t h e r ei sab r i e f s u m m a r ya n ds o m es u g g e s t i o n s f o rf u r t h e rr e s e a r c h k e y w o r d s ：m u r i m e d i a ；o m a p ；h 2 6 4 ；d e c o d e r ；o p t i m i z a t i o n a n d t r a n s f o r m a t i o n 7 山东大学硕十学位论文 英文缩略语 o m a p ( o p e nm u l t i m e d i a a p p l i c a t i o n sp l a t f o r m ) 开放式多媒体应用平台 a v o ( a u d i o v i s u a lo b j e c t ) 视听对象 t ( j o i n tv i d e ot e a m ) 联合视频组 r d o ( r a t ed i s t o r t i o no p t i m i z a t i o n ) 率失真优化 v c l ( v i d e oc o d i n gl a y e r ) 视频编码层 n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 网络适配层 c a v l c ( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) 基于内容的变长编码 c a b a c ( c o n t e x t - b a s e d a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ) 基于内容的自适应二 进制算术编码 d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 离散余弦变换 山东大学硕士学位论文 1 1 数字视频技术基础 第一章绪论 2 0 世纪9 0 年代，多媒体技术随着人类进入信息时代而得到了迅猛发展。 大信息量的音、视频数据被广泛使用，如常见的v c d 、d v d 等都是将大量的 音、视频数据经过处理后供用户使用。音、视频相关技术在一些行业领域也得 到了很好的应用，如保安监控及电视广播系统中对现场进行音、视频的录制， 以便保存播放等。 由于音、视频数据量非常大，若未经处理，其存放、网络传送都存在很大 问题。为此，需要将它们进行压缩，待用户使用时进行解压缩即可。为了压缩 音、视频数据，出现了各种不同的压缩算法，并取得了一定成效。但被普遍认 可、最为权威的还是由i s o 组织颁布的m p e g 技术以及由删t 组织颁布的 h 2 6 x 技术( 常见的是h 2 6 3 和h 2 6 4 技术) 。 1 1 1 图像压缩的必要性 在过去的l o 年里，需要存储、传输和处理的信息量成指数级增加。这主 要是两项技术的发展，一是多媒体系统在众多领域广泛应用，过去计算机只能 处理文字和文本，现在已能处理声音、图像、电影；另一项是i n t e r n e t 的大发 展，它使信息可以被许多人共享。这两项技术综合作用产生了所谓的w o r l d w i d cw e b ，一个交互的、多媒体的、基于超文本的信息网路。 首先，硬件方面的革新使这些发展成为可能。c p u 、磁盘、传输信道的性 能都迅猛发展。但是从下面的事实可以看出，压缩技术仍有一段路要走。比如 存储一幅中等大小的图像，如5 1 2 x 5 1 2p i x e l ，2 4 位真彩色，需要o 7 5 m b 的空 间；一幅分辨率为1 2 u m 的3 5 m m 数字照片需要1 8 m b 的空间；一秒钟的n t s c 彩色视频需要2 3 m b 的空间。 由此可见，无论是从经济还是技术的角度，光靠硬件的支持并不能满足人 们的需要。压缩技术，将提供一种解决方案。信息压缩的动机是很明显的。如 9 山东大学硕士学何论文 1 0 果能用一种压缩了的形式来表示信息，将会有如下的好处：节省存储空间：节 省c p u 时间。 大部分信息都具有高度的相关性，或者说，它们本身包含着冗余，因此， 没有信息丢失的压缩是可能的。压缩中最关键的问题是如何能够在原始数据和 压缩数据之间快速地切换。 1 1 2 数字图象压缩的基本思想 压缩机制通常可以分为有损压缩和无损压缩两种。无损压缩通常被用于文 本文件的压缩中，其中没有信息丢失的数据的精确重建是让人们关心的问题。 对于有损压缩，允许压缩后产生质量上的误差。有损压缩机制的优点是可以得 到比无损压缩高得多的压缩比，但是它只能用近似的数据代替原始数据，而这 种近似数据又是容易被压缩的。举例来说，如果图像与原图像在视觉上没有区 别，那么它就可以看作是原图像的近似图像。 任何压缩机制的目的都是除去数据中存在的相关性。所谓相关性，就是根 据给出的一部分数据来判断出其相邻的数据。实际中存在着多种数据相关性： ( 1 ) 空间相关性：可以根据图像中某一点的像素值推断出其相邻点的像素 值。 ( 2 ) 频率相关性：一个信号的傅立叶变换通常是光滑的，这意味着可以根据 某一部分的频率来推断其相邻部分的频率。 ( 3 ) 时间相关性：在数字视频中，在时间上相邻两帧图像的大部分像素的值 变化很小。 有损压缩的标准过程是变换编码即用一个和原来不同的数学基来表示数 据，其数据的相关性能够显露出来或拆开。在这种新的基下，大部分的系数都 接近零，可以忽略，于是可以将余下的信息存储在一个较小的数据包中。压缩 是通过数据变换，把阈值以下的系数置零，对非零的数据进行无损的编码来实 现。 1 无损压缩 常用的无损压缩编码技术主要有行程编码，h u f f m a n 编码及算术编码等。 ( 1 ) 行程编码技术 山东大学硕士学位论文 行程编码是相对简单的一种编码，是指在一行扫描的像素中，比较相邻像 素的幅度( 如亮度) 。当幅度有一个显著变化时，就说有一个行程存在。像素 幅度的连续长度和终点位置标记是其重要参数。随终点位置标记方法不同，行 程编码可分为行程终点编码和行程长度编码两类。行程编码适用于二值图像。 行程编码的效率不如h u f f m a n 编码方法高，但它的码字结构相对简单，故在许 多情况下都采用此法。 ( 2 ) h u f f m a n 编码压缩 在无损压缩的编码方法中，h u f f m a n 编码方法是一种比较有效的编码方法。 h u f f m a n 编码是一种长度不均匀的、平均码率可以接近信息熵值的一种编码。 该编码对于出现概率大的信息采用短字长的码，对于出现概率小的信息采用长 字长的码，以达到缩短平均码长，从而实现数据的压缩目的。h u f f m a n 编码采 用以下方法进行：首先将信源符号按其出现概率的大小顺序排列，然后把出现 概率最小的两个符号的概率值相加，得到一个新的概率。第二步，把这个新概 率看成是一个新符号的概率，和其他符号再按概率大小排列，再把最后两个概 率相加。重复上述做法，直到最后只剩下两个符号的概率为止。完成以上概率 相加作顺序排列之后，再反过来逐步向前进行编码，每一步有两个分支，各赋 予一个二进制码，可以对概率大的赋码元0 ，对概率小的赋码元1 ，亦可对概 率大的赋码元1 ，对概率小的赋码元0 。h u f f m a n 编码在变字长编码方法中是 最佳的，其码字平均长度很接近信息符号的熵值。h u f f m a n 编码的最高压缩效 率可以达到8 ：l ，但是在一般实施过程中，很难达到这种压缩比例。若图像文 件中存在某个拥有长行程的字节值时，使用行程编码压缩算法可能更好。 ( 3 ) 算术压缩方法 算术压缩方法与h u f f r n a n 压缩方法相似，都是利用比较短的代码取代图像 数据中出现比较频繁的数据，而利用比较长的代码取代图象数据中使用频率比 较低的数据，从而达到数据压缩的目的。它同时又采用了l z w 压缩算法的思 想，不仅压缩数据值，而且压缩值序列，从而可以达到更加理想的压缩比例， 尤其适合于由相同的重复序列组成的图像文件。但是算术压缩方法的实现比较 复杂，其基本思想是将每个不同的序列按照出现频率映像到0 和1 之间的相应 数字区域内，该区域表示成可以改变精度的二进制小数，其中出现频率低的数 山东大学硕十学位论文 1 2 据由精度高的小数表示。算术压缩算法中两个基本的要素为源数据出现的频率 以及其对应的编码区间。其中，源数据的出现频率决定该算法的压缩效果，同 时也决定编码过程中源数据对应的区间范围，而编码区间则决定算术压缩算法 最终的输出数据。 2 有损压缩 常用的有损压缩编码技术主要有预钡0 编码及变换编码等。 ( 1 ) 预测编码方法 如果已知图像一个像素离散值，利用其相邻像素的相关性，预测它的下一 个像素( 水平方向或垂直方向) 的可能值，求其两者差，再量化、编码，这种 方法称为预测编码方法，简称预测法( d p c m 法) 。 预测编码方法计算简单，若采用h u f f r n a n 编码技术，压缩比为2 ：1 - 4 ：1 仍 有满意的效果。但本方法是基于差值信号的统计特性基础上发展起来的，它还 有如下缺点：对黑白灰度有突变的点，会有较大的预测误差，使重建图像的边 缘模糊，分辨率降低；对图像亮度值变化缓慢区域，其差值信号应为零，但因 预测值偏大而使重建图像产生噪音；针对预测编码方法的缺点，其改进的方法 是自适应预测编码方法。 ( 2 ) 变换编码 图像经过正交变换后，能够实现图像数据压缩的物理本质在于经过多维坐 标中的适当的坐标旋转和变换，能够把散布在各个坐标轴上的原始图像数据， 在新的坐标系中集中到少数坐标轴上，因而有可能用较少的编码比特数来表示 一幅子图像，实现图像的压缩编码。 从数学上来看，可用于图像压缩编码的正交变换的方法除f o u r i e r 变换、 w a l s h o h a d a m a r d 变换外，还有正交变换、余弦变换、斜变换、哈尔变换、k - l 变换等。不同的变换有不同的压缩效果( 压缩比和重建图像质量) 。数学上已 证明，采用均方差最小准则，k - l 变换( 即离散信号的h o t e l l i n g 变换) 具有最 佳变换性质，余弦交换次之。虽然k - l 变换最优，但其实现起来需要很大的计 算量，因而常用d c t 来替代。变换的效率还与子图的大小有关，一般说来子 图增大能够提高编码效率，但也会使计算量增大而给实现带来困难。同时图像 的相关性一般局限在2 0 个邻近像素之内。因此，目前常用的子图像大小为8 x 8 山东大学硕士学位论文 p i x e l 或1 6 x 1 6 p i x e l 。 其它的有损压缩方法还包括金字塔编码、子带编码、矢量量化编码等。 1 1 3 视频编解码技术的发展历程 从1 9 4 8 年提出电视信号可以数字化以来图像编解码技术已有5 0 多年的历 史，不仅在理论研究上取得了重大进步，而且在实际应用中也获得了很大成果。 近1 0 年来，图像编解码技术得到了迅速发展和广泛应用，并且日臻成熟，其 标志是多个关于图象编解码的国际标准的制定，即国际标准化组织( i s o ) 和 国际电工委员会( i e c ) 关于静止图像的编码标准j p e g j p e g 2 0 0 0 ，关于活动图 像的编码标准m p e g 1 、m p e g - 2 、m p e g 一4 ( 2 ) 、m p e g - 4 ( 1 0 ) 等，以及国际电 信联盟( r r u ) 制定的视频编码标准h 2 6 x 系列。这些标准融合了各种性能优 良的图像编解码算法，代表了目前图象编解码技术的发展水平【】。 从h 2 6 1 视频编码建议，到h 2 6 2 、h 2 6 3 、h 2 6 3 + + ，以及m p e g - l 、m p e g - 2 、 m p e g 4 ( 2 ) 等视频编码标准都有一个共同的不断追求的目标，即在尽可能低的 码率( 或存储容量) 下获得尽可能好的图像质量。而且，随着市场对图像传输 需求的增加，如何适应不同信道传输特性的问题也日益显现出来。为了解决这 些问题，i s o i e c 和i t u 两大国际标准化组织联手制定了视频新标准 - h 2 6 4 。 h 2 6 1 是最早出现的实用的视频编码建议，目的是规范i s d n 上的会议电 视和可视电话应用中的视频编码技术。它采用的算法结合了可减少时间冗余 的帧间预测和可减少空间冗余的d c t 变换的混合编码，和i s d n 信道相匹配， 其输出码率是p x 6 4 k b i t s , p 取值较小时，只能传清晰度不太高的图像，适合于 面对面的电视电话；p 取值较大时( 如p 6 ) ，可以传输清晰度较好的会议电视 图像。h 2 6 3 建议的是低码率图像压缩标准，在技术上是h 2 6 1 的改进和扩充， 支持码率小于6 4 k b i t s 的应用。但实质上h 2 6 3 以及后来的h 2 6 3 + 和h 2 6 3 + + 已发展成支持全码率应用的建议，从它支持众多的图像格式( 如s u b q c i f 、 q c i f 、c i f 、4 c i f ，甚至1 6 c i f 等格式) 这一点就可以看出它的广发应用。 标准的制定，并不意味着算法研究的终止，随着新的应用需求的不断提出， 原有的标准会表现出某些不适应。由于h 2 6 3 标准还只是以像素块为基础的第 1 3 山东大学硕士学位论文 1 4 一代编码技术标准，没有在以显示器为图像视频系统的最后环节中考虑人眼 视觉特性对编码图像的影响，因此，第二代编码技术就提出了要充分利用人类 视觉系统和心理特性以及信源各种性质的要求，即是要基于内容的，去掉的是 图像视频信号内容的冗余部分，其中基于对象的方法称为中层压缩编码方法， 基于语义的方法称为高层压缩编码算法，例如m p e g - 4 视频编码标准。 m p e g 1 标准的码率为1 2 m b i t a 左右，可提供3 0 帧c m ( 3 5 2 x 2 8 8 像素) 质量的图像，是为c d r o m 光盘的视频存储和播放所制定的。m p e g - i 标准 视频编码部分的基本算法与h 2 6 1 、h 2 6 3 相似，也采用运动补偿的帧间预测、 二维d c t 、v l c 游程编码等措施。此外还引入了帧内帧( i ) 、预测帧( p ) 、 双向预测帧( b ) 和直流帧( d ) 等概念，进一步提高了编码效率。在m p e g 1 的基础上，m p e g 2 标准在提高图像分辨率、兼容数字电视等方面做了一些改 进，例如它的运动矢量的精度为半像素；在编码运算中( 如运动估计和d c t ) 区分“帧”和“场”；引入了编码的可分级技术，如空间可分级性、时间可分级性 和信噪比可分级性等。m p e g 4 标准引入了基于视听对象( a u d i o v i s u a l o b j e c t , a v o ) 的编码，大大提高了视频通信的交互能力和编码效率。m p e g 一4 中还采 用了一些新的技术，如形状编码、自适应d c t 、任意形状视频对象编码等。但 是m p e g - 4 的基本视频编码器还是属于和h 2 6 3 相似的一类混合编码器。 总之，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展，并将逐步在 应用中取而代之，主要应用于通信方面，但h 2 6 3 众多的选项往往令使用者无 所适从。m p e g 系列标准从针对存储媒体的应用发展到适应传输媒体的应用， 其核心视频编码的基本框架是和h 2 6 1 一致的，其中引人注目的m p e g - 4 的“基 于对象的编码”部分由于尚有技术障碍，目前还难以普遍应用。而在此基础上 发展起来的视频编码建议h 2 6 4 克服了两者的弱点，在混合编码的框架下引入 了新的编码方式，提高了编码效率，面向实际应用。同时，它是两大国际标准 化组织共同制定的，其应用前景是不言而喻的。 h 2 6 4 也相当于m p e g 2 ，1 9 9 5 年由i t u 与i s o i e c 联合开发，目前这个 标准已经成功地应用在d v d ( 数字化视频光盘) 、标准清晰度电视( s d t v ) 、 高清晰度电视( h d t v ) 等诸多领域。h 2 6 4 是i t u 的v c e g ( 视频编码专家 组) 和i s o i e c 的m p e g ( 活动图像编码专家组) 的联合视频组( j o i n t v i d e o t e a m ， 山东大学硕士学位论文 t ) 开发的一个新的数字视频编码标准，它既是r r u 的h 2 6 4 ，又是i s o i e c 的m p e g 一4 的第1 0 部分。1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月完成第一 个草案，2 0 0 1 年5 月制定了其测试模式t m l - 8 ，2 0 0 2 年6 月的t 第5 次会 议通过了h 2 6 4 的f c d 版。2 0 0 3 年3 月正式发布。 h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。但它 采用“回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩 性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于 对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及 不同传输( 存储) 场合的需求；它的基本系统是开放的，使用无需版权。 在技术上，h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码，高精 度、多模式的位移估计，基于4 x 4 块的整数变换，以及分层的编码语法等。这 些措施使得h 2 6 4 算法具有很高的编码效率，在相同的重建图像质量下，能够 比h 2 6 3 节约5 0 左右的比特率。h 2 6 4 的码流结构对网络的适应性强，增加 了差错恢复能力，能够很好地适应口和无线网络的应用。 视频压缩编码标准的制定工作主要是有国际标准化组织( i s o i e c ) 和国 际电信联盟( r r u ) 完成的。到目前为止，由上述两个国际组织制定了h 2 6 1 ， h 2 6 2 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 和m p e g - 1 、m p e g - 2 、m p e g - 4 以及m p e g - 7 、 m p e g 2 l 等有关视频编码的国际标准，其中m p b g - 7 为图像检索标准， m e p g 2 1 为交互式多媒体通信框架，两者并非图像压缩标准。 1 2 课题背景及意义 随着计算机技术、网络通信技术、大规模集成电路技术和信息处理技术的 快速发展，多媒体通信正在得到越来越广泛的应用，多媒体通信业务需求也在 快速增长。近年来，相继出现了多媒体会议系统、视频点播系统、远程教育系 统、远程医疗系统、远程数字监控等多媒体通信应用系统，数据业务、非话音 业务已经超过了话音业务。我国的多媒体业务的发展也十分迅速。在多媒体应 用需求不断增长的刺激下，一方面，多媒体通信网络建设得到大力发展，呈现 出综合化、智能化、宽带化等特点；另一方面针对各种具体应用的多媒体通信 终端的研制也取得了很大成就。在众多的多媒体通信应用中，嵌入式应用需求 山东大学硕十学位论文 1 6 在不断增长，如智能手机、车载终端、机项盒等，有着巨大的市场需求。另外， 移动通信技术和因特网取得了巨大的成功，移动网络将会逐渐成为多媒体通信 的重要网络平台。所以研究应用于移动网络的嵌入式多媒体通信终端有着重要 的现实意义。 从2 0 世纪末到2 l 世纪初的短短几年内，无线电话及相关应用在世界通信 市场所占的份额迅速增加。无线通信终端设备的年销量增加到了数亿台。在需 求量增加的同时，消费者对于无线通信所提供的服务也提出了更高的要求，从 单纯的话音服务到很多复杂的应用，如移动电子商务、实时因特网技术、语音 识别、音频和视频等。这些新的无线互联网络和多媒体应用的发展必然使移动 通信和信号处理的复杂度大大提高，从而使硬件和软件的复杂度更高，能量消 耗更大。对于消费者来说，在要求所使用的无线通信产品具有更多、更好功能 的同时，还要求耗电量更低，体积更小，外观更精美。 为了实现这些看似矛盾的要求( 既能处理各种复杂应用，又不增加体积和 耗电量) ，德州仪器公司提供了一种很好的解决方案，即开放式多媒体应用平 台o m a p 。o a m p 是一种片上系统，既能高效地处理多媒体信号，体积和 功耗又很小【3 l 。 而在当前众多的视频编码协议中，h 2 6 4 以前众多的优点，获得了业界的 推崇。目前，全球i p t v 运营商和电视会议厂商均将h 2 6 4 作为编解码格式的 商用标准，原先采用m p e g 2 的运营厂商和设备厂商都在制订向h 2 6 4 升级的 计划。h 2 6 4 在国外的许多市场都已十分普遍，但在中国还处于起步阶段。华 为、贝尔、阿尔卡特等是业界较少的、能够提供端到端h 2 6 4 解决方案的厂商。 h 2 6 4 成为全球主推标准的背后，是众多厂商的支持。众多主流编码器厂商都 支持h 2 6 4 ，并且已经进入商用阶段。 在解码芯片上，b r o a d c o m 、c o n e x a n t 、t i 、s t 、s i g m ad e s i g n s 、p h i l i p s 等都已经发布了量产的h 2 6 4 新品。其中p h i l i p s 的h 2 6 4s d 标清解码芯片去 年出货量达到5 0 万片，t i 则达到8 0 万片。而已经推出h 2 6 4 商用机顶盒的厂 商也数量众多，包括a m i n o 、t h o m s o n 、三星电子等。虽然现在能够提供h 2 6 4 解决方案的厂商并不是很多，但主流厂商正在紧锣密鼓抓紧研发h 2 6 4 解决方 案却已是不争的事实了，例如华为3 c o m 公司在此方面已具有很成熟的解决方 山东大学硕士学位论文 案。最终在各个应用领域，h 2 6 4 必将成为视频的主流编码标准。 但是，h 2 6 4 具备优异性能的同时，它的计算复杂度也大大增如，目前在 较高性能的p c 机上优化过的h 2 6 4 编解码程序基本上能满足实时的要求，但 是手持设备上的处理芯片性能一般远不如p c 机的c p u ，比如t i 的o m a p 5 9 1 0 芯片所含d s p 的工作主频仅有2 0 0 m h z ，所以在手持设备上实现诸如i - t 2 6 4 实时解码这种大量数据处理的程序，除了做类似p c 机上的代码和普通算法优 化之外，还要结合芯片的硬件结构特点来加速数据的处理，从而使得该课题非 常具有挑战性，而且具有很好的实用意义。 1 3 全文结构安排 第一章为绪论，即简单介绍了一下数字视频技术的基础知识，并介绍了本 课题的研究背景。 第二章介绍了h 2 6 4 视频编码标准的基本情况及应用前景，并对其主要的 技术要点及算法作了相关介绍。 第三章对h 2 6 4 的关键算法进行了研究及优化，并提出了几种代码优化的 方法。 第四章提出了基于o m a p 的h ，2 6 4 解码器的设计及实现方案，并结合 o m a p 硬件平台，对h 2 6 4 解码程序进行了进一步的优化。 第五章总结全文，并对研究工作进行了展望。 山东大学硕十学位论文 第二章h 2 6 4 视频压缩编码技术 h 2 6 4 视频压缩编码标准是国际电信联盟( r r u t ) 的v c e g ( 视频编码 专家组) 和国际标准化组织( i s o i e c ) 的m p e g ( 活动图像专家组) 的联合 视频组( j v t ) 开发的一个新的数字视频编码标准，它既是r r u t 的h 2 6 4 ， 又是i s o i e c 的m p e g - 4 的第1 0 部分，又称m p e g 4a v c 。所以，人们常常 将h 2 6 4 标准与m p e g - 4a v c 合起来，称作h 2 6 4 a v c 。h 2 6 4 视频编码标准 于2 0 0 3 年3 月正式发布。 h 2 6 4 和以前的视频编码标准一样，也是利用d p c m 和变换编码相结合 的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比 h 2 6 3 + + 好得多的压缩性能；加强了对各种信道的适应能力，采用“网络友好” 的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同 速率、不同解析度以及不同传输( 存储) 场合的需求；它的基本系统是开放的， 使用无需版权。 在技术上，h 2 6 4 标准中有不少先进之处，如统一的视频符号编码，高精 度、多模式的运动估计，基于4 x 4 块的整数变换，分层的编码语法等。这些措 施使得h 2 6 4 标准具有很高的编码效率，在相同的重建图像质量下，能够比 h 2 6 3 和m p e g - 4 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强，增 加了差错恢复能力，能够很好地适应礤和无线网络的应用t 4 1 。 2 1i t 2 6 4 编解码策略 h 2 6 4 是建立在块匹配混合编码的基础上，采取一系列高效压缩编码技术 的开放式标准。其亮点在于：基于宏块层率失真优化( r d 0 ) 理论，用小尺寸、 多模式预测提高空域和时域压缩率，用整数变换量化提高频域压缩率，用增强 的熵编码高效压缩符号冗余，详细规定了新标准内涵。又提供了灵活算法，以 便根据不同的应用背景调整相应的算法和编码参数，力求在各种开放环境下实 现最小失真的最佳熵编码，达到高压缩率、低时延、容错性好、编解码复杂 度可分级、对m 网和移动网适应性强等主要功能的设计目标。为了实现这个 山东大学硕士学位论文 核心技术，增强编码视频对复杂、异构的视频传输网的适应性，h 2 6 4 在设计 上将整个编解码系统分成视频编码层和网络适配层两个具有不同功能的层 次，并在每个层次上进行了一系列的性能提升。如多尺寸块模式帧内和帧间预 测编码、多方向模式空间预测技术、1 4 、1 8 像素精度和多参考帧运动估计算 法、4 x 4 块的整数变换、去除块效应的环路滤波器、基于内容的变长编码 ( c a v l c ) 和基于内容的自适应算术编码( c a b a c ) 、引入完成流切换的刷 新帧技术代替过去的分级编码进行码率和差错控制等1 5 - 1 7 。 h 2 6 4 采用的仍然是经典的运动补偿混合编码算法，具有良好的兼容性和 可移植性。编码图像通常被分为3 种类型：i 帧、p 帧和b 帧。i 帧为帧内编码帧， 其编码不依赖于已经编码的图像数据。p 帧为前向预测帧，b 帧为双向预测帧， 编码时都需要根据己编码的帧即参考帧进行运动估计。除此之外，h 2 6 4 还定 义了新的s p 帧和s i 帧，用以实现不同传输速率、不同图像质量码流间的快速转 妒 换以及信息丢失的快速恢复等功能。h 2 6 4 的编解码基本原理参见图2 1 ，其中 ( a ) 为编码器框图，( b ) 为解码器框图。 ：1 垒堡广1 三兰广 艮l 匮 堙母群“ f 、阿厂贾 编码图 ( b ) 解码图 图1 1h 2 6 4 编解码原理图 1 9 山东大学硕十学仲论文 2 1 1 编码器端 编码过程中，原始数据进入编码器后，当采用帧内编码时，首先选择相应 的帧内预测模式进行帧内预测；随后对实际值和预测值之间的差值进行变换、 量化和熵编码，同时编码后的码流经过反量化和反变换之后重建预测残差图 像，再与预测值相加得出重构帧，得出的结果经过去块滤波器平滑后送入帧存 储器。采用帧问编码时，输入的图像块首先在参考帧中进行运动估计，得到运 动矢量。运动估计后的残差图像经整数变换、量化和熵编码后与运动矢量一起 送入信道传输。同时另一路码流以相同的方式重建后经去块滤波后送入帧存储 器作为下一帧编码的参考图像。 2 2 2 解码器端 当编码后的码流送入解码器时，首先根据语法元素进行判断。如为帧内编 码，则直接进行反量化、反变换加以重建；如果是帧阃编码，所得到的为重建 的残差图像，此时需要根据帧存储器中的参考图像进行运动补偿后与残差图像 进行叠加，得出最终的当前帧。 2 2h 2 6 4 的主要技术特点 h 2 6 4 标准的主导思想是与现有的视频编解码标准是一致的基于块的 混合编码方法。但是它同时运用了大量的技术，使得其视频编解码性能远远优 于任何其他标准。 h 2 6 4 标准采用了已经制定的视频编码标准( 如h ，2 6 3 和m p e g - 4 ) 相类 似的一些编解码方法。主要包括如下技术： ( 1 ) 将每个视频图像分成1