（测试计量技术及仪器专业论文）mpeg4视频压缩编码算法在blackfin561上的实现与优化.pdf

摘要 摘要 网络技术和现代商业的发展使得人们对多媒体处理终端的需求越来越高，其 中数字视频编解码技术是构建多媒体应用的基础和关键模块，也因此成为人们研 究的热点之一，具有广阔的应用前景和商业价值。 近些年来，各类视频压缩标准不断被国际标准化组织提出，主要分为m p e g 系列和h 2 6 x 系列，分别应用于不同的领域。m p e g - 4 是i s o i e c 提出的较新的 视频编解码标准，具有良好的压缩性能，可适应高质量低码率场合的应用需求， 同时对于基础应用，具有较低的实现复杂度，适合嵌入式多媒体应用。a d i 公司 针对嵌入式媒体处理推出的b f 5 6 1 是一款集m c u 和d s p 于一身的高品质多媒体 应用处理器，非常适合视频压缩编码算法的软实现，是为数不多的可以实现编码 的通用处理器之一。 本文的主要工作包括全面剖析m p e g 4 标准的核心算法和关键技术，根据应 用需求裁剪和简化m p e g - 4 开源x v i d 代码，成功实现算法的b f 5 6 1 移植，并针 对硬件特性进行程序结构、存储空间、功能模块和系统d m a 优化，优化结果对 c i f ( 3 5 2 x 2 8 8 ) 测试图像计算速度能达到2 7 f p s ，解码图像信噪比( p s n r ) 为3 4 4 0 ， 达到了质量和实时性的要求。论文同时总结讨论了基于d s p 的算法移植开发和程 序优化方法，尤其在视频编码器方面，可作为今后对m p e g - 4 编码算法改进和研 究其他视频标准编码器在d s p 平台实现及优化的基础和借鉴。 关键词：m p e g - 4 标准b f 5 6 1x v i d 算法 移植和优化 a b s t r a c t a b s t r a c t t h ed e m a n do fm u l t i m e d i at e r m i n a li sg r o w i n g 、析t l lt h ed e v e l o p m e n to fi n t e r n e t t e c h n o l o g i e sa n dm o d e mb u s i n e s s ，i nw h i c ht h ed i g i t a lv i d e oc o d e ci st h eb a s i ca n d k e ym o d u l e ，i tb e c o m e sa h o tp o i n ta n dh a saw i d ea p p l i c a t i o nf o r e g r o u n da n db u s i n e s s v a l u e r e c e n ty e a r s ，a l lk i n d so fv i d e oc o d e cs t a n d a r di sp r o p o s e db yi n t e r n a t i o n a l s t a n d a r do r g a n i z a t i o n , m a i n l yi n c l u d em p e gs e r i e sa n dh 2 6 xs e r i e s ，a p p l yt ov a r i o u s d o m a i n m p e g - 4i st h en e wv i d e oe o d e cs t a n d a r dp r o p o s e db yi s o i e c ，i th a sg o o d c o m p r e s s i o np e r f o r m a n c e ，c a na c h i e v eh i g hq u a l i t ya n dl o wb i t - r a t e m o r e o v e r , i th a s l o wi m p l e m e n tc o m p l e x i t yt o w a r db a s i ca p p l i c a t i o ns oi tf i t st oe m b e dm u l t i m e d i a a p p l i c a t i o n n eb f 5 6 1i sam e m b e ro fa d ii n cb l a c k f mp r o c e s s o rf a m i l yo fp r o d u c t t a r g e t i n ge m b e dc o n s u m e rm u l t i m e d i aa p p l i c a t i o n s ，i ti so n eo ft h ep r o c e s s o rw h i c h c a n i m p l e m e n tt h ec o d e c t h i sp a p e rm a i n l yc o n s i s t st h e a n a l y s i s o ft h ec 0 他a r i t h m e t i ca n dk e y t e c h n o l o g i e sa b o u tm p e g - 4s t a n d a r d , s i m p l i f yt h ex v i dc o d e sa c c o r d i n gt ot h e a p p l i c a t i o nd e m a n da n dr e a l i z et h ea r i t h m e t i ct r a n s p l a n tt ob f 5 6 1 w ea l s oc a r r i e do u t t h eo p t i m i z a t i o no f p r o g r a ms t r u c t u r e 、m e m o r y 、f u n c t i o n a lm o d u l ea n ds y s t e md m a , t h er e s u l ts h o wt h a tt h es p e e dc a na c h i e v e2 7 f p sa n dt h ed e c o d ep e a k - s i g n a l - t o - n o i s e r a t i o & s n r ) i s3 4 4 0 ，a c h i e v e dt h ed e m a n do fq u a l i t ya n dr e a lt i m ei n d e x m o r e o v e r , w ed i s c u s s e dt h ea r i t h m e t i ct r a n s p l a n td e v e l o pa n dt h ep r o g r a mo p t i m i z a t i o nm e t h o d s b a s e d0 1 1d s et h i sc a nb eaf o u n d a t i o no rr e f e r e n c ef o ra i m p r o v eo nm p e g - 4c o d e c s t a n d a r da n dt h er e a l i z a t i o no fo t h e rv i d e oc o d e cb a s e do nd s p p l a t f o r m k e y w o r d ： m p e g - - 4s t a n d a r db f 5 6 1x v i da r i t h m e t i c t r a n s p l a n t a n d o p t i m i z a t i o n 西安电子科技大学 学位论文独创性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：日期塑! ：! ：至至 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名：讯誓 导师签名： 日期兰! ! ：! ：! ! 日期塑! ! ：! 主! 第一章绪论 第一章绪论 1 1 引言 多媒体信息主要包括文字，声音，图形，图像和视频等内容，其中视频又是 多媒体信息中最重要的组成部分，因为视觉信息极易被人们接受，它是人类获取 信息的最主要渠道，其次视频信息具有直观形象、准确高效和应用广泛的特点。 然而原始的视频数据量巨大，一幅分辨率为6 4 0 x 4 8 0 的原始真彩图像大小为 0 9 m b ，如果按照帧率2 5 f p s 计算的话，容量为4 7 0 b 的d v d 光盘中只能存储不 到4 分钟的视频播放内容，而且，传输这些数据需要高达1 3 5 m b i t s s 的数据率， 相对有限的带宽，这显然是一个巨大的挑战。从这些分析可以看出，视频信息在 需处理的数据量、处理速度和对存储空间的要求方面都受到限制，现有的通信技 术和设备一般还不能够承受几十甚至上百兆码率要求，数字视频必须经过压缩才 能为实际所用，因此研究视频压缩编解码技术对于数字视频得到广泛应用具有重 要的现实意义。 。 i s o i e c 针对视频应用制定了一系列标准，如m p e g - l 2 4 ，h 2 6 x a v c 等， 这些标准旨在追求更高的压缩倍率和编码效率以及更好的视频质量，无疑很好的 促进了多媒体应用软硬件的发展。目前的应用中，视频压缩可由专用芯片完成， 也可在嵌入式处理器上用软件实现，前者开发周期短，批量成本低，后者灵活性 大，可以结合不同硬件特性做高效优化。a d i 公司针对多媒体应用推出的 b l a e k f m 5 6 1 是集m c u 和d s p 于一身的高性能处理器，为我们的视频压缩算法软 实现提供了一个非常好的平台，b l a e k f i n 5 6 1 丰富的资源和接口以及领先的功耗管 理技术使其相对其它处理器在多媒体应用中优势明显。论文所做的工作，讨论了 m p e g - 4 压缩算法关键技术，在对目前最好的m p e g - 4 实现开源代码x v i d 做裁 剪和简化基础上成功实现其嵌入式平台移植，同时结合b l a c k f m 5 6 1 硬件特性，对 编码器进行软件结构设计、数据搬移和存储器分配、软件流水和汇编等多方面的 优化，以期达到实时性要求，进而探索了在资源有限的d s p 处理器平台上m p e g - 4 编码器实现的有效途径。 1 2 视频压缩技术的发展与现状 众所周知，视频信息具有一系列优点，如直观性、确切性、高效性、广泛性 2m p e g - 4 视频压缩编码算法在b l a c k f i n 5 6 1 上的实现与优化 等等，但是视频信息的数据量太大，要使视频得到有效的应用，必须首先解决视 频压缩编码问题，其次解决压缩后视频质量保证的问题。：为此，人们付出了巨大 的辛勤的劳动，现在已经取得了丰硕的成果。从1 9 8 4 年c c i t t 公布第一个视频 编码国际标准以来，至今已有2 0 多年，i t u t 等国际标准化组织陆续颁布了接近 十个视频编码国际标准，大大推动了视频通信和数字电视广播产业的发展。 以国际标准化组织领导制定的视频图像压缩编解码标准有三个系列：j p e g 标准，h r 2 6 x 标准，m p e g - x 标准，各种视频压缩编码标准都是根据人们在不同 领域中对声音视频图像的要求而制定，这些标准采用的图像压缩编码算法融合了 到目前为止性能优异的编码压缩方法，各自代表了当时在这一领域的发展水平， 也逐渐形成了统一的编码框架【1 1 。表1 1 把当前的比较流行的视频编解码标准按 照时间顺序作一个简单的对比介绍，以此了解这一系列视频编码标准的发展历程。 表1 1 视频编码标准发展历程 。标准 1 ；? i 、，、标题“”：一， 发布时问 + 目标应用场合，：一 ? rr ，。- v i d e oc o d e cf o ra u d i oi j 综合业务网。 = ih 2 6 1 0 iv i s d a ls e r v i c e sa tpx6 41 9 9 0 1 2 。 _ ( i s d n ) 中的视 薛波隧搿i 毫曩，, ：, 、。k p b i t 。s 。：是，参以 ；， ； ，“一f ，、 。j 、：键： 墓? 强彳掼 ，； h ，+ c 一 。，j 。 ，一：；， ! 1 ：- ，id i g i t a lc o m p r e s s i o n ：f 。 ：二 数码照褶：图像 ；。j p e g ， ，c o d i n go f c o n t i n u o u s - 1 9 9 2 1 0 。t o n e s t i l l i m a g e 视频编缉j # 竹 毛。i ii i ：囊 。! ，- 4 5 。t， 一；“ 、，：。 t 。，：，髦i ；：；? 一二一u i。：、 i ：# 一i ： c o d i n go f m o v i n gp i c t u r e s v c d 、光盘存 a n da s s o c i a t e da u d i of o r砖f 0 。：j n m e g - 1 d i g i t a ls t o r a g em e d i au p 1 9 9 2 1 2 储、家用视频、视 ：“- ! 一_ ：t o1 5 m b i t s ，： 频监控等。： 。f ， 。毒0 - 0 0 ， 一 ，。”：j ：i i j ： ， 1 ：， ? 数字电视、“努一g e n e r i cc o d i n go f m o v i n g ，。m p e c p , 2 ：， - p i c t u r e sa n da s s o c i a t e d 1 1 9 9 4 1 l ； d v d 、高清晰度 a u d i 0i n f o r m a t i o n电视、卫星电视等 ，- ，7r4 一 ! ：一h 2 6 3 ： 一也：、：。j ，t ：， 。，。t桌面可视电话二移 1 9 9 6 0 3 动视频等 v i d e oc o d i n gf o rl o wb i t r a t ec o m m u n i c a t i o n h 2 6 3 + 0 1 4： j 一， 1 9 9 8 0 1同h 2 6 3 ；：；一? ， 。：，i ：，：。， i p 网、交互式视 虫e g - 4 、c o d i n go f a u d i o - v i s u a l 1 9 9 9 0 5 频、移动通信，专 一o b j e c t s 业视频等， f 7 ； 遥感图像编码、i p j p e g 2 0 0 0 j p e g 2 0 0 0i m a g ec o d i n g 2 0 0 2 1 2 网、移动通信、传 s y s t e m 真、电子商务等 数字视频存储及 m p e g 4 - 1 0 | 斟ci p t v 、数字卫星 h 2 6 4 a v c( a d v a n c e dv i d e o2 0 0 3 0 3 广播、手机电视高 c o d i n g ) 质量数字编解码系 统等 第一章绪论3 1 3 全文内容安排与组织 本论文主要是在m p e g - 4 视频编码器的移植实现和优化工作基础上所作的一 些研究和探讨，主要工作包括： ( 1 ) 讨论了视频编码压缩标准发展及基本技术，尤其从算法移植实现出发深 入探讨了m p e g - 4 编码标准关键技术。 ( 2 ) 详细介绍了b l a c k f i n 5 6 1d s p 移植开发平台，重点讨论了与算法移植实现 和优化相关联的部分特性。 ( 3 ) 对算法和移植开发平台充分了解基础上，花大量篇幅从系统构架到具体 细节实施重点讨论了算法的移植实现过程。 ( 4 ) 在算法实现前提下，充分发挥b l a c k f i n 5 61 硬件特性，讨论了移植算法的 优化策略，并对程序进行结构优化以及对一些存储处理和关键计算模块的汇编优 化，以期达到实时性要求。 整个论文一共五章，具体是这样安排的： 第一章为本文绪论部分，给出了一些相关的视频压缩必要性及技术发展和现 状等背景知识，同时也交代了本论文所做的工作。 第二章介绍了视频编码基本原理和主要的压缩技术，从视频编码压缩的可行 性入手介绍了预测编码、变换编码和熵编码三种经典编码技术。 第三章详细讨论了m p e g - 4 视频编码压缩标准及关键技术，侧重对整个编码 流程的关键模块分析而没有对标准的码流语法和语义作阐述，本章的最后，简单 介绍了x v i d 算法的背景，同时介绍了对该算法的剪裁和简化，并且针对不同测 试图像序列对优化算法做了仿真验证，为我们的算法移植实现做好了软件准备。 第四章介绍了我们移植算法的硬件平台b l a c k f m 5 6 1d s p ，着重介绍了与我们 算法移植实现和优化相关联的部分特性，包括内核单元、存储空间、d m a 控制 器和指令集等，为我们的算法移植实现做好了硬平台准备。 第五章为论文的重点章节，介绍了m p e g - 4 编码器的移植实现和详细优化过 程，其间讨论了算法移植的系统方案设计、移植注意问题和算法优化工具，这种 讨论显然具有普遍意义。本章的最后，我们给出了编码器仿真测试结果，结果表 明我们达到了设计要求。 第二章视频编码基奉原理与技术 第二章视频编码基本原理与技术 随着v l s i 、计算机和通信技术的迅猛发展，数字化技术从未像今天这样深刻 地影响着人们的生活，其中多媒体数字视频技术成为人类社会信息载体的首选。 笔者撰写论文的当年，正是中国通信史的3 0 元年，我们在享受着视频世界的异 彩纷呈时无不感叹多媒体通信技术的发展。数字视频的数据量巨大，如果不进行 编码压缩直接进行传输( 尤其是实时传输) 和存储几乎是不可能的，因此视频压 缩编码无论在视频通信还是视频存储中都具有极其重要的意义。 2 1 视频编码可行性 虽然表示图像和视频信息需要占用海量的数据，但是数据并不完全等价于信 息，数字视频具有自身的特点，视频数据具有多种相关性，如果能够去除由相关 性所造成的各种冗余，便能够实现对原始视频信号的有效压缩。一般而言，数字 视频信号中的冗余可以归为如下几类： 2 1 i 空间冗余 作为视频基本元素的数字图像是对模拟视频信号空间采样得到的，因而构成 图像的相邻像素之间具有较强的相关性，即这些相邻像素之间的像素值通常相差 不会太大。各像素的数值可以由其相邻像素的数值预测出来，每个独立的像素所 携带的信息相对较少，这种像素间的冗余就是空间冗余嘲。图21 给出了标准测 试图像序列p a r i s 第一帧其中一个$ x 8 局部像素区域的灰度值，可以看出，即使在 ( a ) 原始图像 图2l 空问冗余信息示例 嘞区域像素值 m p e g _ 4 视频压缩编码算法在b l a c k f i n 5 6 1 上的实现与优化 原始图像中包含一定的细节及纹理，其在一定邻域内的灰度值仍然较为接近，也 就是存在空间冗余。 2 1 2 时间冗余 由于视频信号本质上是一系列连续的图像，为了达到连续的视觉效果，视频 帧与帧之间的采样间隔很小，对于2 5 f p s 的视频信号，其时问间隔仅为o 0 4 s 。因 此指邻两帧图像之间存在很强的相关性。对于场景中的运动目标，如果知道其运 动规律，也可以通过运动估计技术很容易的从前帧图像推算出它在当前帧中的 大概位置，这就是视频序列中的时间冗余。视频编码中正是充分剥用了这种相关 性，采取了相对应的编码镱略，使得编码效率大大提高。图22 显示了n e w s 序列 中相邻的3 帧图像，可以看出，3 帧图像前景目标和背景都大致相同，仅存在少 量的旋转和位移运动这就为压缩编码提供了很大的空间。 ( a ) n e w s 序，0 第1 帧嘞l i c w s 序列第2 帧( 0n e w s 序列第3 帧 图2 2 序列图像时间冗余示倒 2 i 3 心理视觉冗余 在大多数情况下，视频编码系统的最终接收者是人类视觉系统。而人类视觉 系统具有非线性和非均匀性的特点所感知的图像亮度不仅仅与该点的反射光强 有关，同时也受到区域光强的影响，马赫带效应就是这种体现。此外人类视觉系 统并不是对所有视觉信息都具有相同的灵敏度，视频中不同频率成分的内容对于 人眼系统而言重要性是不同的口】。例如人眼视觉系统对亮度信号变化的敏感性高 于色度信号变化。这些特性都可认为是心理视觉冗余，根据心理冗余的特点，可 以采取降采样、不同量化步长等一些有效的措旌来压缩视频的数据量。 2 i 4 编码冗余 对于编码符号，其平均码长大于所表示信息的信息熵，这个偏差就形成了编 第二章视频编码基本原理与技术 7 码冗余。编码冗余、空间冗余和时间冗余都依赖于图像数据的统计特性，可以统 称为统计冗余。不论针对哪一种冗余性采取相应的方法：压缩或消除冗余性，都 能达到令人满意的数据压缩效果1 3 。 2 2 视频编码中主要压缩技术 1 9 4 8 年，o l i v e r 提出了第一个编码理论脉冲编码调制( p u l s ec o d i n g m o d u l a t i o n ，p c m ) ：同年，s h a n n o n 的经典论文 通信的数学原理首次提出并 建立了信息率失真函数概念；1 9 5 9 年，s h a n n o n 进一步确立了码率失真理论，以 上工作奠定了信息编码的理论基础( 3 j 。到目前为止，视频压缩编码的主要方法有 预测编码、变换编码和熵编码。这些经典编码技术也被称为“第一代一视频压缩 编码技术。本节将介绍这些基本技术。 2 2 1 预测编码 视频预测编码中，主要可分为帧内编码和帧间编码。它不是对一个像素直接 进行编码，而是用同一帧( 帧内预测编码) 或相邻帧( 帧间预测编码) 中的像素来进行 预测，然后对预测残差进行量化和编码。显然预测编码实际是利用了图像数据的 空间冗余和视频序列图像的时间冗余。线性预测编码又称为差分脉冲编码调制 d p c m ( d i f f e r e n c ep u l s ec o d em o d u l a t i o n ) ，由于算法简单，易于硬件实现，已被各 种视频标准采纳例。 jo j帧间预测编码可以大大提高编码压缩效率，目前运动估计和补偿在帧间预测 编码中应用最为广泛，具体的做法是：用前一帧图像作为参考，根据某种算法策 略预测它将来的可能数值，然后将当前帧实际图像与预测值做差分得到压缩后的 结果，同时，这个过程的逆过程可以恢复原图像数据。差分结果的数据量将大大 减小，非常利于压缩编码。这里提到的某种算法策略就是运动估计算法，显然， 运动估计算法的精确与否直接影响到预测精度，决定压缩效率，因而寻找性能优 异的运动估计算法( 包括匹配准则和搜索策略) 是预测编码应用的关键。 2 2 2 变换编码 变换编码是构成当前主要视频编码标准的另一项最基本技术。其基本思想是 将欧几里德空间描述的图像信号变换到另外的正交向量空间进行描述，如果所选 的基向量与图像本身的特征向量很接近，那么同一信号在这个空间中描述起来就 简单得1 4 。绝大多数图像都有一个共同的特征：平坦区域和内容缓慢变化区域 8m p e g 4 视频压缩编码算法在b l a c k f i n 5 6 1 上的实现与优化 占据一幅图像的大部分，而细节区域和内容突变区域则占小部分。也就是说图像 中直流和低频区占大部分，高频区占小部分。这样，：如果将空间域的图像变换到 频域或其他的变换域，就会产生相关性很小的一些变换系数，这样就可对其进行 压缩编码。目前在视频图像压缩中可采用的正交变换主要有：傅立叶变换( f d 、 k l 变换、离散余弦变换( d c d 、小波变换( w d 等。其中，编码性能以k - l 变换 最为理想，遗憾的是其变换核不可分离从而缺少快速算法，且变换矩阵随着图像 而异，不同图像需计算不同的变换矩阵，这些缺点限制了k - l 变换在图像压缩编 码中的应用，因而一般只用来作参考比较【5 j ，d c t 变换编码性能最接近于k - l 变换，同时也有相应的快速算法，因而广泛应用于图像压缩编码的国际标准中， 如j p e g 、h 2 6 1 、m p e g 1 、m p e g - 2 等，都将d c t 写进了标准。小波是近几年 来变换编码研究的新发展，其基本思想虽然与传统的正交变换编码类同，但小波 变换能兼顾不同应用中对时、频不同分辨率的要求，同时能根据图像特点自适应 的选择小波基，与d c t 变换编码有本质的区别，目前已经取代d c t 变换而成为 皿e g 2 0 0 0 压缩编码标准的变换方法，成为一个研究的热点领域。 2 2 3 熵编码 根据香农信息论的观点，信源冗余度来自信源本身的相关性和信源内部事件 概率分布的不均匀性。熵编码主要有基于概率分布特性的霍夫曼编码( h u 伍m a n c o d i n g ) 、算术编码( a r i t h m e t i cc o d i n g ) 以及基于相关性的游程长度编码( g u n l e n g t hc o d i n g ) _ 三类 5 。 霍夫曼编码是一种变长编码( v l c ：v a r i a b l el e n g t hc o d i n g ) ，在已知信源符号 概率分布时，可以给出极好的编码性能，但霍夫曼编码严重依赖信源的统计特性， 编码前必须有信源概率分布的先验知识。对于复杂的视频图像来说，只能用大量 数据统计后获得的近似分布来代替，因此实际应用时无法达到最佳性锹6 j 。 算术编码的基本原理是用 o ，1 】之间的一个概率区间来表示数据序列。将信源 x 的一个给定状态x = x l ，x ：) ( n ) 与【o ，1 】间的一个由大概率p 和小概率q 限 定的概率子区间相联系，区间的长度等于序列的概率p ( x ) 。编码器从n = l 开始， 逐位处理输入的符号流。每输入一位，更新当前符号的条件概率，并以此调整p 和q 限定的子区间的长度。随着n 的增加，和输入符号相联系的概率子区间就会 越来越小。最后用这个表示概率子区间的小数给符号序列编码。虽然霍夫曼编码 和算术编码都可以达到理论最优，但在实际应用中，后者的性能要优于前者。在 目前的视频编码压缩标准中，m p e g - 4 采用的是霍夫曼编码方式，h 2 6 4 1 a v c 采 用的是算术编码。 第二章视频编码基本原理与技术 9 游程长度编码基本思想就是将样值相同的像素用二个游程长度和一个样值来 表示，例如，一串m 个白像素可以编码为( m ，0 ) ，- 串n 个黑像素可以编码为( n ， 1 ) 。这样可以用更紧密的序列代替原有的相同值符号串。在视频编码压缩中，量 化后的数据常常出现大量的连零系数，利用游程长度编码可以有效的降低表示零 码的比特数。通常，游程编码是与h u f f m a n 编码结合使用的，即对不同出现概率 的游程使用h u f f m a n 编码方法进行可变长编码【6 j 。 2 3 本章小结 论文本章，从视频图像数据编码的可行性入手，我们分别介绍了三种应用广 泛的经典编码技术，预测编码、变换编码和熵编码。为我们后续讨论m p e g - 4 视 频压缩编码算法奠定了技术基础。 第三章m p e g - 4 视频压缩算法解析及编码流程 i i 第三章m p e g 4 视频压缩算法解析及编码流程 m p e g - 4 的正式名称是“i s o i e c l 4 4 9 6 信息技术：音视频对象通用编码算法”， 其目的是为多媒体信息压缩提供统一和开放的平台，第一版草案在1 9 9 9 年2 月公 布，2 0 0 0 年初正式成为国际标准。目前，m p e g - 4 在i n t e m e t 视频、流媒体、无 线通信等领域中得到了广泛的应用，作为开放的标准，新内容和新算法也不断加 入其中，充实着整个标准【7 j 。与之前的视频压缩编码标准相比，m p e g - 4 提供了 一些全新的功能： ( 1 ) 基于内容的交互性。由于标准是基于对象的，使用者可在图像或比特流 中选择某一具体对象，然后改变它的某些属性，同时支持自然视频图像与合成数 据( 如文本、图形) 等的混合编码，比如我们通常在视频中添加外挂字幕信息等， ( 2 ) 高压缩率。支持对多个并发数据流的编码，在同等码率下，m p e g - 4 提 供更好的主、客观图像质量。 ( 3 ) 灵活多样的存取。m p e g - 4 采用多种抗误码技术，如选择前向纠错、错 误掩盖等，能够有效地抵抗传输信道所造成的各种丢包或误码。 本文实现的算法结构上采用的是m p e g - 4 的简单子集模型( m p e g - 4s i m p l e p r o f i l e ) ，m p e g - 4 s p 模型与上述介绍中的包括全新功能的模型不同，m p e g - 4 s p 模型还不是一种基于对象的编码方式，目前m p e g - 4 标准的实践应用中还没有真 正能够实现基于对象编码的，基于对象的编码仍然处于理论研究中，m p e g - 4 s p 也没有多个目标同时编码的工具，它是一种以矩形帧作为对象的编码形式j 。 3 1m p e g _ 4 标准编码流程 m p e g - 4 视频编码器可以分为纹理编码和运动编码两个部分，两者的结合达 到了比较好的压缩效率。我们将在这一节对编码过程做一个简单介绍，对编码细 节，将会在后续结合x v i d 算法给出解析。 1 2m p e g 4 视频压缩编码算法在b l a e k f i n 5 6 1 上的实现与优化 图3 1m p e o - 4 编码流程 图3 1 给出了m p e g - 4 基本编码流程，我们结合流程逐一介绍每个功能模块， 以期达到了解m p e g - 4 编码压缩算法关键技术，这些部分包括图像文件读取、 d c t i d c t 、量化反量化、a c d c 预测、运动估计和补偿、扫描和v l c 编码。 3 2 i 图像文件读取 3 2m p e g - 4 编码关键技术 编码器的输入文件是4 ：2 ：0 取样格式的y u v ( y c b c o 文件，这是建立在人 类视觉系统对亮度比色彩更敏感基础上，从彩色r g b 信息中分离出亮度信息， 大量实验得出这种转换关系为【1 】： 】，= 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 召 u = o 5 4 6 ( b d 式( 3 - 1 ) 矿= 0 7 1 3 ( r - n 如果原始图像不是w 格式，在预处理阶段就要事先进行图像格式转换。 在j v 格式的图像文件中，色度u 和v 分量在水平和垂直采样率上各是亮度y 分量的一半。因此对于分辨率7 2 0 x 5 7 6 的8 位图像，其y 分辨率为7 2 0 x 5 7 6 ，u 和v 分量为3 6 0 x2 8 8 ，因此每帧y u v 格式的图像大小为： ( 7 2 0 x 5 7 6 x 8 ) + ( 3 6 0 x 2 8 8 x 8 x 2 ) = 4 9 7 6 6 4 0 b i t s = 6 0 7 5 k b 。序列图像数据文件是按 帧格式组织的，对于每帧，首先是亮度矩阵y ，其次是色度矩阵u 和v ，都是按 第三章m p e g - - 4 视频压缩算法解析及编码流程1 3 行组织，一帧结束后紧接着就是第二帧，直至文件结束。编码过程中，编码器是 按照以1 6 x 1 6 大小宏块为单元来进行处理的，对于每一帧图像编码器按照从上到 下，从左到右的顺序编码完所有宏块，整帧也就编码结束。 3 2 2d c t i d c t d c t 是数字图像处理尤其是图像压缩中最常用的变换算法，m p e g - 4 视频压 缩算法中帧内和帧间就是采用8 x 8 的二维d c t 作为编码核心算法，它有效的削减 了帧内图像和预测残差信号冗余，且有快速算法，非常有利于压缩实现。 8 x 8 的二维d c t 变换定义如下： f ( 地v ) ：三c ( “) ( v ) 争争厂( 五力c o s ( 2 x + 1 ) u l r cos(2_y+1)一vuco 式( 3 2 ) f ( 砧，v ) 2 专c ( “) ( 叻萎善( 马力c o s 1 - u 一面一 式( 3 - 2 ) r j t oy i o u 相应的i d c t 变换公式为： ( 而y ) = 丢c ( “) c 萎7 善7f ( “，v ) c o s 警c 0 8 ( 2 y 矿+ 1 ) v a 式( 3 - 3 ) - r t ov o vv 其中x ，y 是空间水平和垂直坐标，u ，v 是d c t 变换域坐标，x ，y ，u ， 1 v - - - o ，l ，2 n - l ，常量c ( 力为c o ) = 右= 1 闩2 。 原始图像经过d c t 变换后在变换域有如下特点：所有图像像素点的均值都位 于变换域图像矩阵的左上角，变换域图像块中，像素的行索引值越大，代表原始 图像块在列方向上的交流频率高；像素的列索引值越大，代表原始图像块在行的 方向上交流频率越高f 1 0 1 ，图3 2 给出了一个8 x 8 图像块的原始图像和变换图像数 据，可以明显发现，经过d c t 变换后，图像的大部分能量聚集在低频区域，高频 区域有大量的0 或者比较小的高频系数，经过量化后大部分都变为0 系数，非常 有利于压缩，这就是d c t 变换的优势所在。 1 7 21 7 81 8 81 9 11 9 62 0 02 0 41 7 3 1 8 81 8 7 1 9 0 1 9 31 9 92 0 01 7 8 1 0 0 1 8 91 8 91 9 6 1 9 71 9 91 8 21 1 7 8 4 1 8 61 9 21 9 7 1 9 9 1 8 91 3 08 58 5 1 9 81 9 71 9 9 1 9 2 1 4 9 1 0 0 1 0 09 5 1 9 5 1 9 51 9 3 1 5 81 0 89 89 69 8 1 9 5 1 8 91 7 1 1 l l 1 1 1 1 0 8 1 0 49 6 1 9 21 7 7 1 2 4 1 2 4 1 1 3 1 1 3 1 0 8 1 0 0 变换前图像数据 5 3 55 3 15 1 54 7 74 4 6 3 9 93 5 02 9 3 1 523 98 51 0 61 0 78 2 3 2 9一1 74 45 11 24 3 7 1 4 5 - l 4 2 3 4 2 9 2 22 63 9 651 4l l1 01 502 6 7171 050- 1 31 2 32- 3662 71 l 3032l3 4 5 变换后图像数据 图3 2d c t 变换能量集中示意图 1 4 m p e g - 4 视频压缩编码算法在b l a c k f i n 5 6 1 上的实现与优化 3 2 3 量化反量化 由正交变换的能量守恒可知，经过d c t 变换后，图像待编码的数据量并没有 改变，只有在经过量化后，才会减少数据量，压缩主要是在这个过程完成。为得 到高压缩比，应该用大的量化间隔，但同时会产生量化噪声，严重损坏重建图像 质量；反之，要得到好的重建图像，需要减少量化噪声，从而减小量化间隔，这 又将降低压缩比。所以在量化过程中，必须结合人眼视觉特性，在压缩比和图像 质量之间权衡选择，有针对性地选择合理的量化策略。m p e g - 4 编码中，根据宏 块的编码方式不同，提供了两种量化方式：m p e g 量化和h 2 6 3 量化。 1 i - v o p 直流分量( d c ) 的非线性量化 我们用q p 来表示量化步长，这是个全局概念，针对整帧图像，d c s c a l e r 表 示直流量化步长，它只是针对i - v o p 的直流分量。直流分量和交流分量的量化采 用的是不同的量化步长，两者的关系在表3 1 中给出【l o l 。要注意的是，亮度分量 和色度分量的直流量化步长和q p 的非线性关系不同。 表3 1i n t r a 直流量化系数d cs c a l e r 非线性关系 ；。亏 翅0 曩j 。7 4 j jd u c 矗l e r 和q p 关系- ：、囊妒、： 。：i 一1 o 一粤掣，i t 5 2 q p 2 89 q p = 2 5；，i i + ：! ， o ， 亮度 8 “j 2 x q p q p + 8 。 2 x q p 1 6 色度 ，；# 咕；、8 ；冉，? k ： ：，：，j 。：( q p + 1 3 ) 2 ：_ ；：盘、：tq p 一6 气， i n t r a 直流分量量化过程为： q f 【o 】【o 】：婴 船s c a l e r 式( 3 - 4 ) 其中f 0 】【0 】是d c t 变换域直流分量，鲈【0 】【o 】为量化结果。 2 i v o p 和p - v o p 的交流分量( a c ) 量化 m p e g _ 4 提供的两种量化方式：m p e g 量化和h 2 6 3 量化针对交流分量的量 化，在i n t e r 方式下，直流分量本来就很小，故i n t e r 方式下直流分量按照交流方 式来量化，我们对这两种量化方法分别作介绍： 2 1m p e g 量化方式 m p e g 量化实质上也是非线性的，针对每个不同图像块的d c t 系数采用了 不同的量化间隔，有效的去除了人眼的不敏感冗余信息，保证了图像质量，其量 化方程为【1 1 1 ： 第三章m p e g - 4 视频压缩算法解析及编码流程 1 5 l f f u v = ( ( 2 x q f u v + k ) x w w u i v x q p ) 3 2 式( 3 _ 5 ) l0 。 i n t r a b l o c k 庀= 其中，i i s i g n ( q f u v ) n o n 一砌抛6 三d 砖，q f “】m 是量化结果，【“】【v 】 是d c t 变换域系数，形【w 】m 】m 是加权量化矩阵，这里w 仅取0 或l 指示使用 何种矩阵。对于i n t r a 和i n t e r 方式，具有不同的加权量化矩阵，表3 2 ，3 3 分别 给出了这两种方式下的量化阵。 表3 2i n t r a 方式量化矩阵 表3 3i n t e r 方式量化矩阵 81 71 81 92 12 32 52 7 1 71 81 92 l2 32 52 72 8 2 02 1 2 2 2 32 42 62 83 0 2 12 2 2 32 42 62 8 3 03 2 2 22 3 2 4 2 6 2 8 3 0 3 23 5 2 32 4 2 6 2 8 3 0 3 23 53 8 2 52 6 2 83 0 3 2 3 53 84 l 2 72 8：3 03 2 ，3 53 84 14 5 1 6 1 71 81 92 02 12 22 3 1 7 1 81 92 02 l2 2 2 32 4 1 81 92 02 12 22 3 2 42 5 1 92 02 12 2 2 32 4 2 62 7 2 02 l2 2 2 3 2 52 6 2 72 8 2 l 2 2 2 32 42 62 72 8 3 0 2 2 2 32 4 2 62 7 2 83 03 l 2 32 4 2 52 72 8 n 3 q3 l 3 3 2 2h 2 6 3 量化方式 h 2 6 3 不使用加权量化矩阵，其量化方程如下【1 1 】： 。 对于i n t r a q f u v = 4f u v 2 xq p 式( 3 - 6 ) 对于h l _ t e r 方式q f 陋】【，】= ( i 可”】【v 】l - q p 2 ) 2 x q p式( 3 7 ) 其中，量化系数q p ：1 3 1 ，量化步长为2 q p ，妒阻】【1 ，】是量化结果，f 阻】 1 ，】 是d c t 域变换系数。 h 2 6 3 量化方式是一种均匀量化，对整个频域都采用了同样的量化间隔，没 有考虑人眼的视觉特性，对图像质量有一定影响，重建图像相对会有一些模糊。 对于一般视频，量化结果和m p e g 量化方法差别不大，但是计算复杂度比较低， 我们实现的m p e g - 4 s p 采取的正是h 2 6 3 量化方式。 3 2 4a c d c 预测 a c d c 预测仅在以i n c a 方式编码的各子块间进行，其理论支撑是原始图像 相邻块之间有较强的相关性，这种相关性同样会反映到d c t 变换域的a c d