（信号与信息处理专业论文）小波域软阈值去方块滤波算法在可分级视频编码中的应用.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：茎整叁日期：丝型至堑旦堂盆 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 论 赴歹 山东大学硕士学位论文 中文摘要 在低码率、缺乏q o s 保证和网络异构性的条件下，可分级视频编码比传统的 编码方法更能有效的实时传输视频，被公认为是无线网络以及因特网视频传输的 首选方案。分级视频编码为用户提供一个基本层码流和一个或者多个增强层码流， 其中基本层包含视频信号的基本信息，满足用户的最低要求，可以独立解码，而 增强层则包含一些视频细节，必须与基本层一起解码。根据信道的容量等条件， 可以解码一个或者多个分层，从而获得不同的视频重建效果。目前制定的视频编 码标准中包含了对质量可分级、空间可分级和时间可分级等可分级编码技术的支 持 3 e 4 。 然而，现存的这种可分级编码方法还存在着一定的局限性，例如，由于采用 了基于块的d c t 变换( b d c t ) ，所以不可避免地会出现所谓“方块效应”，这是 因为独立地对每个分块进行处理而忽略了块之间像素的相关性所造成的。尤其在 低码率粗量化时，去除了大量的高频分量，同时也增大了低频分量的量化误差， 致使图像块之间灰度值的不连续，在视觉上就表现为一些虚假的方块。在空间可 分级编码器中，基本层的块效应会影响增强层的预测精度，降低增强层编码效率。 为此，如果采用去方块滤波器对基本层的恢复图像进行滤波，可以期望减轻块效 应带来的不良影响，抑制噪声干扰的扩散，降低比特率。理想的去方块滤波算法 在平滑方块的同时，还应该能保持图像中的边缘特征，改善图像的主客观质量。 r a g o p i n a t h 首先将小波域软阈值滤波方法用于去方块滤波，取得良好效果 3 0 】： 其后s w u 提出了相应的阈值估算算法，使该方法趋于实用 3 l 】。实验结果表明， 该方法对于各类图像都表现出良好的去方块性能。 本文基于可分级视频编码的基本概念，分析了空间可分级视频编码器基本层 的方块效应对增强层造成的影响，并将小波域软阂值滤波算法应用于对基本层去 方块滤波。其目的在于提高增强层的编码效率。 关键词；空间可分级视频编码；方块效应；小波域软闽值去方块滤波 山东大学硕士学位论文 |_!e_-|，_iii一 a b s t r a c t i nn e t w o r ka p p l i c a t i o n s ，o n es t r e a mo fd i g i t a lv i d e o ，e v c t lw h e n c o m p r e s s e d ，c a r t r e s u l ti ns e v e r a lm b i t sp e rs e c o n d s o , t h es c a l a b l ev i d e oc o d i n gw a sp r o p o s e dt o p r o v i d es e a l a b i l i t ya n da d a p t a b i l i t yo fv i d e os i g n a lt oa d j u s tt ov a r i o u sb a n d w i d t ha n d r e q u i r e m e n to f d i f f e r e n tu s c ff r o md i f f e r e n t s t r u c t u r e dn e t w o r k s t h es e a l a b l ev i d e oc o d e ri sd e s i r e di nam u l t i - r e s o l u t i o ne n v i r o n m e n t ，w h i c hc o u l d p r o v i d et h eu s e l 湛w i t hv i d e os w e a r n sw i t hv a r i o u sq u a l i t y a tp r e s e n t m p e ga n dh 2 6 x b o t hi n c l u d es e a l a b l et o o l sp r o v i d i n gv i d e os e r v i c eh i e r a r c h i e s t h eb a s i cs c a l a b i l i t y t o o l so f f e r e da r e - d a t ap a r t i t i o n i n g , s n rs e a l a b i l i t y , s p a t i a ls e a l a b i l i t ya n dt e m p o r a l s e a l a b i l i t y m o r e o v e r , c o m b i n a t i o n so ft h e s eb a s i cs e a l a b i l i t yt o o l sa r ea l s os u p p o r t e d a n da l er e f e r r e dt oa sh y b r i ds e a l a b i l i t y s p a t i a ls e a l a b i l i t yi n v o l v e sg e n e r a t i n gt w os p a t i a lr e s o l u t i o nv i d e os t r e a m sf r o ma s i n g l ev i d e os o u r c es u c ht h a tt h eb a s el a y e ri sc o d e db yi t s e l f t op r o v i d et h eb a s i cs p a t i a l r e s o l u t i o na n dt h ee n h a n c e m e n tl a y e re m p l o y st h es p a t i a l l yi n t e r p o l a t e db a s el a y e r w h i c hc a r r i e st h ef u l ls p a t i a lr e s o l u t i o no f t h ei n p u tv i d e os o u l e h o w e v e r , i ns p a t i a ls c a l a b i l i t y , s o m en e wi t e m so f r e d u n d a n ti n f o r m a t i o nh a st ob e c o d e db yt h ee n h a n c e m e n tl a y e rp a r t i a l l yi na c c o u n to ft h eb l o c kd c tu s e di nb a s e l a y e r i tp r o d u c e sw h a ti sc a l l e db l o c k i n ga n dg i b b se f f e c t s t h eb l o c k i n ge f f e c tc a u s e d b yt h eb d c tu s e di nt h eb a s el a y e rc o u l dd i s t u r bt h ep r e d i c t i o nr e s u l ti n t h e e n h a n c e m e n tl a y e r ，w h i c hw i l ld e c r e a s et h ee n c o d i n ge f f i c i e n c y w ea r ee x i g e n to fa m e t h o dt or e m o v et h ea r t i f a c mt oi m p r o v et h eq u a l i t yo f t h ei m a g et r a n s f e r r e dt on s t h u si fad e b l o c k i n gf i l t e rw e r ei m p l e m e n t e dt os m o o t ht h er e c o n s t r u c t e di m a g e ， t h eb a de f f e c tw o u l db er e m o v e d w ep l a n e dt oa p p l ya ne f f i c i e n td e b l o c k i n ga l g o r i t h m t ot h es p a t i a ls e a l a b l ev i d e oe n c o d e rf o r e l i m i n a t i n gt h eb l o c k i n ge f f e c ta n dp e r f o r m a n c e as i m u l a t i o ni nt h ef u t u r e t h er e s u l ts h o w st h es i g n i f i c a n te f f i c i e n c y k e yw o r d s ：s p a t i a ls e a l a b l ev i d e oe n c o d e r ；b l o c k i n ge f f e c t ；d e b l o c k i n ga l g o r i t h m 2 山东大学硕士学位论文 第一章绪论 1 1 视频压缩的可能性和必要性 近半个世纪以来，由计算机技术所带来的信息革命使人类社会由工业化迈入 了信息化的时代。多媒体技术、通信技术和i n t e r a c t 技术的广泛运用和迸一步融合， 更是对人类的生产生活产生了深远的影响。其中，多媒体技术的发展，彻底改变 了人们获取和传递信息的方式。虽然人类从外界获取信息的途径很多，但是科学 实验表明，有8 0 以上的信息是通过视觉感知获取的，眼睛获取的是图像信息， 一副图胜过千言万语，图像信息是人类认识世界及人类自身的重要源泉。所以， 在信息革命的时代，多媒体数据的传输尤为重要，其不断进步和发展正在改变着 人类的生活方式。 然而，数字图像和视频包含的数据量十分巨大。例如，考虑分辨率为7 2 0 5 7 6 、 每秒种播放2 5 帧的真彩色( 每像素2 4 b i t ) 图像序列，数码率高达2 4 8 8 m b p s 。 若按y ：u ：v 为4 ：2 ：2 格式降样，即每像素1 6 b i t ，则数码率仍高达1 6 5 9 m b p s 。如 果以目i i 用户最终的l o m b p s 或l o o m b p s 的传输速率来看，如此巨大的码率将难以 在实际中推广：若不加压缩，为传输一路这样的视频信号要占用2 5 9 2 路普通的数 字话路，而若用一个容量为1 g b 的硬盘来存储这样的数据，则只能存储不到一分 钟的图像内容，并且所需要的高数掘吞吐率一般的存储设备难以达到。因此可以 看出，若不加压缩，视频或者图像的存储或传输几乎是不可能的，多媒体技术也 更无从谈起。 图像或视频压缩的目的就是根据实际的应用在满足一定重构质量要求的前提 下，以尽量少的数据来表征图像或视频。在实际得到的视频信息中需要大量的数 据，而他们往往是高度相关的。此相关性会引起一定的数掘冗余，因此可以通过 降低其冗余度来实现对视频信号的压缩，视频信号的冗余主要可以分为以下几类： 空日j 冗余；每一帧图像中各个像素之间存在的相关性即空间冗余； 时| 日j 冗余：帧阿信号的相关性即为时间冗余； 山东大学硕士学位论文 信息熵冗余：也称为编码冗余。按照熵编码的原则可以获得最优的编码方案， 而实际中往往并不能严格符合熵编码的原则，由此产生的冗余即熵冗余。空日j 冗 余，时间冗余和信息熵冗余统称为统计冗余，因为他们都决定于视频数据的统计 特性； 视觉冗余：在大多数情况下，图像和视频的最终接受者是人的眼睛，而人眼 对图像的分辨率是有限的，因此造成了一定的视觉冗余。人眼的视觉特性表明， 人烟对颜色的空间分辨率低于对亮度的分辨率，对画面静止部分的空间分辨率高 于活动部分，另外，人眼对于图像平坦区域的失真较为敏感，而对于图像的边缘 和纹理区域的失真不敏感。所以，可以通过降低人眼不敏感成分的编码比重从而 提高压缩比，而图像的主观质量几乎不受影响； 结构冗余：在有些图像的部分区域存在着非常强的纹理结构，或是图像的各 个部分之间存在着某种关系，例如自相似性等，这些都属于结构冗余； 知识冗余：在有些图像中包含的信息与某些先验的基础知识有关，这种冗余 即为知识冗余。 以上这些冗余说明图像和视频的压缩是可能的，而且，正是图像和视频压缩 的必要性和可能性，使得近年来图像和视频压缩编码成为一个越来越活跃的研究 领域，其成果在诸如基于i n t e m c t 的多媒体通信、可视电话、视频会议、数字电视 及多媒体计算机技术等领域得到了非常广泛的应用。在数字传输系统中，信源编 码的主要目的就是为了数据压缩。经过多年的研究和发展，目前已经有了一些比 较实用的视频编码方法。 1 2 视频压缩算法概述 图像及视频压缩编码的研究经历了五十多年的历史。在这期间，各种各样的 压缩算法应运而生，其发展经历了一个由简单到复杂、从低级到高级的过程。 1 2 1 视频压缩算法的历史与现状 从视频压缩算法的发展历史束看，最先出现的是d p c m ( d i f f e r e n t i a lp u l s e c o d em o d u l a t i o n ，差分脉冲编码调制) 编码，接着是d c t ( d i s c r e t ec o s i n e 4 山东大学硕士学位论文 t r a n s f o r m ，离散余弦变换) 变换编码、失量编码以及子带d , 波( w a v e l e t ) 编码、分 形编码、面向对象编码和模型基编码，以及相应的一些称为“可分级”或“可扩 展”的视频编码技术。随着技术的成熟，在i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o r s t a n d a r d i z a t i o n ) 和i t u ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) 等国际组织 的协调下，对图像编码的成果进行收集、整理、综合和加工，各种各样的编码国 际标准也公布出来，使得不同的制造商可以在国际标准下协同一致，这样，越来 越多的遵循国际标准研制出来的消费产品通用性更好。 类似于静止图像的压缩标准j p e 6 ( j o i n tp i c t u r ee x p e r t sg r o u p ) 运动图 像领域也出现了许多视频编码标准，正在被广泛地应用，它的市场远大于静态图 像编码市场，事实上，第一个运动图像的压缩标准也是早于j p e g 标准的出现的。 按照出现的先后顺序，视频压缩标准有：应用于图像通讯系统的h 2 6 1 1 、主要 面向v c d 音视频数字存储的m p e g 一1 2 、面向高品质数字音视频传输和存储的 m p e g 一2 3 、针对低码率下可视电话应用的h 2 6 3 4 和基于多媒体内容的m p e g - 4 1 9 9 1 年，国际标准组织i s o 下属的运动图像专家小组m p e g ( m o v i n gp i c t u r e e x p e r t sg r o u p ) 推出了运动图像压缩编码的标准算法m p e g - i ，此后又陆续推出了 适用于不同应用场合下的功能更为强大的m p e g - 2 和m p e g - 4 。没有心e g 一3 是因为在 m p e g 一3 的开发过程中发现其所有内容都已包括在m p e g - 2 中，故取消了m p e g 一3 的研 制。视频编码标准的发展史如图1 1 所示。 l 丁u h 2 6 lh 2 6 3 i 2 6 3 +h - 2 6 3 + + 标准 i t u ，m p e gh 2 6 2 k “篇恐4 ， 标准 m p e g 2 m p e g m p e g 1 m p e g 一4 标准 j p e g j p e g j p e 0 标准 2 0 0 0 1 9 8 41 9 8 61 9 8 8 1 9 9 0 1 9 0 2 | 皇l 1 9 9 41 9 9 61 9 9 82 0 0 02 0 0 2 2 0 0 4 1 1 山东大学硕士学位论文 在压缩编码历史上，m p e g 一2 标准中最早提出了“可扩展”( s c a l a b i l i t y ) 的概 念 3 。可扩展编码实际上是m p e g 一2 标准制定后的个事后追思，它是随着 j p e 6 2 0 0 0 和l i 【p e g - 4 的标准化进程的推进而不断深入和细化的。按照文献 9 ，可扩 展压缩编码被定义为一种嵌入码流子集产生方式，在这种编码框架内，每个嵌入 码流子集都表示了原始图象在低分辨或低品质下的一个有效的压缩。可扩展压缩 编码实质上是将原始压缩码流在率失真意义上划分成逐次累进的多个码流子块， 使得初始部分码流子块可以形成一个基本层( b a s el a y e r ) ，而后面的各码流子块 可以形成一系列增强层( e n h a n c e m e n tl a y e r ) 。基本层可以单独解码，而增强层的 解码依赖于基本层。它同非扩展编码的最大区别在于：前者可以对码流做选择性 重建，而后者却不能。正是其特有的码流选择伸缩特性才使得它能够应对传输带 宽的涨落和客户端的异构性( h e t e r o g e n e i t y ) 。 1 2 2 视频压缩中所采用的主要技术 传统的视频压缩编码是以香农信息论为出发点，以概率统计模型来描述信源。 编码实体是像素或像素块，以显示器件为图像和视频系统的最后环节。这种基于 数据统计的、以消除视频数据相关冗余为目的的视频编码技术获得了巨大的成功。 j p e g 5 、m p e g - 1 m p e g - 2 、h 2 6 1 以及h 2 6 3 等压缩编码标准主要采用的视频编码 技术主要包括：熵编码，变换编码，预测编码以及运动补偿等。 熵编码( e n 拓o p yc o d i n g ) ：熵编码是纯粹基于信号统计特性的编码方法，它是一 种无损编码，解码后能无失真地恢复图像。常用的熵编码有游程编码、霍夫曼编 码与算术编码3 类。 变换编码( t r a n s f o r mc o d i n g ) ：变换编码是将空间域相关的像素点通过变换映射 到另一个正交矢量空间( 变换域或频域) ，使变换后的系数之间的相关性降低。常用 的变换有离散余弦变换、傅立叶变换以及近年来受到广泛关注的离散小波交换等。 预测编码( p r e d i c t i v ec o d i n g ) ：预测编码可以在一幅图像内进行( 帧内预测编 码) ，也可以在多幅图像之间进行( 帧间预测编码) ，预测编码实际上是基于图像数 据的空间和时间冗余特性，用相邻的已知像素( 或图像块) 来预测当前像素( 或图像 块) 的值，然后再对预测误差进行量化和编码。预测编码分为线性预测( d p c m ) 和非 6 山东大学硕士学位论文 线性预测两大类。帧内d p c m 的编码压缩比很低，很少独立使用。帧间预测编码 主要是利用视频序列相邻帧间的相关性，即图像数据的时间冗余来达到压缩的目 的，可以获得比帧内预测编码高得多的压缩比。主要的方法有帧重复法、帧内插 法、运动补偿法、自适应交替帧内帧间编码法等。其中运动补偿效果最好，已为 各种图像视频编码标准所采用。 运动补偿( m o t i o nc o m p e n s a t i o n ) ：运动补偿实际上是对活动图像进行压缩时所 使用的一种帧间编码技术。一般情况下，相邻帧间有较大的相关性，这种相关性 称为时域相关性，运动补偿的目的正是要将这种时域相关性尽可能去除。运动补 偿包括两种：( 1 ) 运动补偿预测。视频的相邻帧间的运动部分具有连续性，即当前 画面上的图像可以看成是前画某时刻画面上图像的位移，位移的幅度值和方向在 画面各处可以不同。利用运动位移信息与前面某时刻的图像对当前画面图像进行 预测的方法，称为前向预测。反之，根据某时刻的图与位移信息预测该时刻之前 的图像，称为后向预测。( 2 ) 运动补偿插值。以插补方法补偿运动信息是提高视频 压缩比的最有效措施之一。在时域中插补运动补偿是一种多分辨率压缩技术。插 值运动补偿也称为双向预测，因为它既利用了前面帧的信息又利用了后面帧的信 息。 实际运用的视频编码技术一般会综合运用以上技术，在反复论证及实验后形 成性能较优的一系列方案的集合，从而形成许多工业标准，来适用于不同的场合。 1 2 3 目前视频压缩算法所面临的挑战 m p e g 及h 系列标准算法的出现，在全世界范围内得到了广泛的应用，极大地推 动了图像存储、传输和通讯事业的发展，取得了显著的效果。 除t m p e g 一4 标准之外，其他所有的编码标准有几个共同点：首先，它们编码 的核心都是基于8 8 图像块的d c t 变换；第二，它们都是基于预测变换编码器结 构；第三，它们处理的视频图像都是矩形帧形式( 如c l f , o c i f ) 。这些共同点造成 了一些固有的缺陷和对视频应用的限制。缺陷主要表现在，由于采用基于8 8 块 的d c t 变换的编码，在中高比特率下表现还好，但在低比特率下时( 低于2 5 6 k b p s ) 则会出现讨厌的“方块效应( b l o c k i n ge f f e c t ) ”【1 1 ，使得视觉效果不理想，严 山东大学硕士学位论文 重影响视频的主客观质量。在可分级视频编码器中，该效应带来的不良会由基本 层扩散到增强层，从而影响最终的视频重构效果。因此，寻求一种可以减轻或消 除方块效应的算法就显得尤为迫切了。其中，基于小波的去方块滤波方法在视频 编码中的研究就属于一种。该方法运用于空间可分级的视频编码器中，可以有效 的去除重建图像中的方块效应。 m p e g 经过多年的实践和发展，其中的各个细节与各项技术都已非常完善，比 如采用高效的运动补偿和内插技术，抵消了一些不足之处，这就是为什么目前要 实现比m p e g 更好的算法的难点所在。然而，这并不是说视频压缩技术已经发展到 最高水平，可以从此止步了，国际标准的公布，并不标志着图像编码算法研究的 终结，实际上，标准化工作的进展，不断从算法研究界获取新的技术，没有算法 研究的进展，也没有标准化工作的进展，图像编码算法研究的进展，为新一代标 准提供算法基础。图像编码技术的研究，主要分为两个方向，一是新算法的研究， 目的是发现更有效的编码技术和为下一代标准的制定提供新算法源，另一个方向 是围绕着标准算法的展开，进一步完善标准算法，改善其缺陷。例如，在原有的 编码框架内运用效果良好的基于小波的去方块滤波组件，从而达到减轻方块效应 的目的，就是属于对标准算法的一种有效改进，同时也正是本文所要着重论述的。 1 3 本文的主要研究内容 本文对图像及视频信号的压缩编码方法及与其相关的若干问题进行了探讨， 主要涉及以下几个方面的内容。 首先第一章整体介绍了视频压缩的必要性和可能性以及视频压缩算法的历史 与现状，并初步提出了可分级视频压缩和方块效应的概念。 第二章对当前实际应用中的视频压缩算法的基本原理进行了简略的介绍，并 对每一实际技术进行了较为详细的说明，其中会给出一个基本的编解码结构框图， 并由此引出当前技术中存在的一些固有缺陷，主要就是方块效应的影响，并对其 进行了分析。 在网络异构性及缺乏q o s 保证的情况下，可分级视频编码技术提供了良好的 解决方案。第三章详细介绍了可分级的概念及其基本编码框图，以及在当前技术 山东大学硕士学位论文 下实现可分级时会出现的问题，主要是基本层的方块效应对增强层码流的影响， 并提出了一种基于小波滤波技术的解决方案。 第四章简略介绍了一下小波的基本概念，着重讨论了种针对减轻或去除视 频编码中方块效应的小波滤波器的设计原理及实际运用效果。 在第五章中，将上述基于的小波去方块滤波器运用到了空间可分级视频编码 器中，通过实验数据，详细分析了该方法对去除方块效应的有效性以及在一定程 度下的局限性。 最后，对全问进行了总结，并指出了下一步的研究方向 9 山东大学硕士学位论文 l - l - l - i _ mi ii m | li - l - _ _ l _ _ - l _ - 第二章视频编码基础 2 1 视频编码的基本原理 数据压缩理论已经有了很长的历史，压缩编码的理论基础就是香农的信息论。 从信息论的角度看，压缩就是去掉冗余信息，即去掉确定的信息( 可以推知的信 息) ，保留不确定的信息，使用一种更接近信息本质的描述代替原有的冗余的描述， 这个本质就是信息的不确定度，或者叫信息量或信源熵，其大小即为理论上可达 到的压缩的极限。 图像作为一个信源，描述它的数据是信息量和信息冗余量的和。图像序列存 在着空间冗余、时间冗余、编码冗余及心里视觉冗余等各种冗余信息，数据压缩 实质上就是减少或去除这些冗余信息，从而在不减少信源的信息量的情况下，减 少描述信源的数据量。实际上，视频信号在数学上等同于一个多维函数，压缩描 述这个函数的数据量实质就是减少其相关性。另外在有损压缩的情况下，允许在 不影响正常应用的情况下对原图像有一定的失真，那么数据量的压缩会更大些。 绝大多数的视频压缩编码系统主要就是利用这些冗余信息，尽可能地去除这些冗 余，以在基本不失真的情况下取得高效的压缩率。 一般情况下，一个视频编码系统由以下三个部分组成，如图2 1 所示： 图2 1 视频压缩编码系统 视频处理部分主要完成消除图像中存在的各种冗余信息，例如用将r ，g ，1 3 - - - 基色分量转换为y ，u ，v 分量( y 为亮度分量，u ，v 为色度分量) 束消除光谱冗余，用 对y 、u ，v 分量分别进行运动估计和运动补偿来消除时域冗余，最后用某种变换编 码来消除空域冗余。一般情况下，视频处理部分不实现压缩，原始图像的数据量 是多少，信号处理之后还是多少。另外，信号处理部分一般是无损的，即可逆的， 通过逆处理，能够精确地重构原图像。视频处理地目的，就是为了让数掘处理部 j 0 山东大学硕士学位论文 分的输出能够比原始图像数掘更容易进行有效的压缩。 量化足实现图像压缩编码的关键部分。量化是不可逆的，因此它是图像压缩 编码中产生失真的地方。待压缩图像经过量化后，被转换或压缩成了一些有一定 意义的符号。量化部分的目的应该是使引入的失真尽可能地小，并使输出符号的 嫡也尽可能地小，从而再经后面地嫡编码器编码后即可实现高质量、高压缩率的 编码目的。由于既要获得高的质量，又要获得高的压缩率，这是一对矛盾，因此 在具体的应用中，要根据实际的情况折衷考虑。量化部分输出的符号还存在一定 的冗余度，因此可用嫡编码器进一步实现压缩。 嫡编码是无损压缩，即可逆的，对嫡编码器输出的二进制比特流进行墒解码， 可以重构原符号流。常用的嫡编码器包括z 型扫描、r l c ( r u nl e n g t hc o d i n g ，游 程编码) 和h u f f m a n 编码。由于墒编码器既能实现压缩，又能保证无失真，因此嫡 编码器基本上被应用于任何一个图像压缩编码系统。 下面逐一对以上技术进行较为详细的阐述。 2 1 1 时间冗余度的去除运动估计和运动补偿 运动估计( m e ：m o t i o ne s t i m a t i o n ) 和运动补偿( m v ：m o t i o nc o m p e n s a t i o n ) 是一种帧间编码的方法，其原理是利用帧间的相关性来减小冗余度。帧间编码可 以减小冗余度，这是因为相邻两帧之间有很大的相似性。如果将i j i 后两帧相减( 移 动物体作相应位移) 得到的差值作编码所需的比特数要比帧内编码所需的比特数 少，帧间差集中在零附近，可以用短的码字传送。 所谓运动估计和运动补偿是指由已编码的 ； 一帧( 前向补偿) 或后一帧( 后向 补偿) 或前后帧来预测当i ； 帧，这个已编码的帧称为参考帧，运动补偿后得到的残 差帧称为差值帧( d f d ) 。利用运动位移信息与前面某时刻的图像对当前画面图像进 行预测的方法，称为前向预测。反之，根据某时刻的图像与位移信息预测该时刻 之前的图像，称为后向预测。 对当前帧的任一像素文o ，j ) ，由参考帧的位移值可以预测： s 。t ( f ，j ) = e w s 。一。( f 一，m o ，j - - m v ，) ( 式2 1 ) _ r 常取r = 1 为前向预测，f = 一1 为后向预测，f = 如，如) 为双向预测， 山东大学硕士掌位论文 _ = l ，埘匕( f ，) 柳v ，( f ) 分别是像素墨o ，) 在相邻帧问x 轴方向和y 轴方向的 运动位移，称为运动矢量卅，j ) ，预测值用瓯( f ，) 表示。当这个预测存在误差时， 就会得到一个差值帧d f d ，d f d ( i ，_ ，) = 最( f ，j ) - s t ( f ，) 。这样就对当f i 帧s k ( f ，川的 编码转换为对运动矢量妇雌) 和差值帧 上嘞( f ) 的编码。由于图像序列中存在 时间冗余，这将使得实际中得到的d f d 是非常低能量的数掘场，大量区域趋于0 值， 只需较少的码字就可以表示这个差值帧，达到压缩的目的。 基于块的运动估计和运动补偿的方法是以大小合适的图像块为基本单元，依 据某一准则( 例如，m s e ，最小均方误差) 搜索最佳匹配块，出一运动失量量表示 他们之日j 的位置，如搜索到的块满足条件，则将两块相减形成差值块，然后对差 值块进行变换、量化、熵编码。如不符合条件，则直接对原块进行处理。如图2 2 所示。 一b 一+ 2 w _ 卜 匹配宏块 圈2 2 运动估计 具体的步骤是：当前帧的块在参考帧的窗口中寻找最佳匹配块，从中找到运 动矢量，即此块相对于参考帧的位移；将这个最佳匹配块的值和当i j 帧的块相减， 即可求得运动估计的差值块：只需对运动矢量和差值块进行编码。将图像分成 1 6 x 1 6 的宏块，运动估计为每个宏块分配一个运动失量，然后对运动补偿后的d f d 1 2 f。，1眨。，。，。 山东大学硕士学位论文 用d c t 变换编码( m c + d c t ) 是m p e g i ，m p e g 2 和h 2 6 1 的核心算法。接收端根据收到 的运动矢量在参考帧中作位移，找到最佳匹配块，再加上接收到的差值块，就能 够恢复当前帧的块了。 基于块的运动估计算法，通常定义一个匹配函数，按照最小匹配的方法来搜 索运动失量，由匹配函数计算得出的这个匹配误差表示该块与每个预测的候选块 之间不匹配程度。设托是当| j 帧图像l 中的一个宏块，v 是相对于参考帧的位 移量，那么由最佳匹配获得的运动矢量表达式为： m i n z 4 1 。( i , j ) 一( f k ，一哆) 】，其中，y ，矿是搜索范围。( 式2 2 ) j e 托 实际上，在做运动估计和运动补偿时，是以1 6 x 1 6 的块( 称为宏块) 逐个进行的， 如图所示，这是将当前帧划分为n x n ( 如1 6 x 1 6 ) 的块。对每一块在过去帧中范 围为( + 2 哆) ( + 2 睨) 像素的尺寸内进行搜索，以求得最优匹配，从而得到运动 矢量k 匕，肌匕) ，其中衡量匹配是否最优的准则函数d 具体可以是使均方误差最小 或者绝对误差最小的函数： 均方误差最小： g ) = m i n i “一一) 2i ( 式2 3 ) 绝对误差最小：e ( x ) - - m i n 医k t i ) j ( 2 1 ：2 4 ) 其中运动失量的搜索范围v 和匹配函数d 的选择，可根据实际的具体应用进行 选择。穷举搜索对全部可能的运动失量都做了考虑，结果会好，但是这个结果是 以很大的计算复杂度为代价而得到的，所以在现实过程中，必须对运动失量的质 量和运动估算计算过程的复杂度折衷考虑。 2 1 2 空间冗余度的去除变换编码 一帧视频图像相邻各点的取值往往相近或相同，具有空间相关性，图像的空 间相关性表示相邻像素点取值变化缓慢，这就是空域冗余度。从频域的观点看， 意味着图像信号的能量主要集中在低频附近，高频信号的能量随频率的增加而迅 速衰减。通过频域变换，可以将原图像信号用直流分量及少数低频交流分量的系 数来表示，可对图像的空问冗余度进行有效的压缩。 山东大学硕士学位论文 变换编码是首先将空域图像数据通过某种变换方法映射到另一个萨交失量空 间( 变换域或频域) ，产生一批变换系数，然后对这些变换系数进行编码处理，不 是直接对原始图像编码。变换的对象即可以是原始图像数据，也可以是经过运动 估计和运动补偿之后的差值图像。 变换编码的原理主要是基于图像的统计特性，通过把统计学上彼此密切相关 的像素所构成的矩阵通过线性正交变换，变成统计学上彼此较为独立、甚至达到 完全独立的变换系数所构成的矩阵。正交变换的理论证明，通过某种正交变换， 把数据从图像域映射到变换域中去，使得图像在变换域中可以用更少的比特数表 示，由此获得压缩。 图2 3 说明了变换编码、解码的过程。 图2 3 变换编码、解码的过程 在发送端将原始图像或经过运动补偿后的差值图像分割成1 至 i n 个子图像块， 每个子图像块送入正交变换器进行正交变换变换器输出的变换系数经滤波、量 化、编码后通过信道传输到接收端，接收端作解码、反量化、逆变换、综合拼接， 恢复出原来的空域信号，当然会存在一定的失真度，因为变换编码中的滤波、量 化过程是不可逆的。通常所使用的变换都是线性的，正交变换的种类很多，例如 k l 变换、d c t 变换、s l a n t 变换、w a l s h h a d a m a r d 变换、w a v e l e t 变换等。其中k l ( k a r h u n a n - l o e v e ) 变换后的各系数相关性小，能量分却集中，忽略低值系数的误 差小，所以，一般认为它是最佳变换。但其计算复杂，运算速度慢，所以实际中 采用的主要是与k l 交换性能最为接近、计算复杂度适中、运算速度较快的离散余 弦变换( d i s c r e t ec o s i n et r a n s f o r m ，简称d c t ) 或w a v e l e t 变换，d c t 是j p e g 和m p e g 压镭编码的基础。 4 山东大学硕士学位论文 2 1 3 离散余弦变换( d c t ) 离散余弦变换简称d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 变换，是傅立叶变换的 一种特殊情况。当在傅立叶级数展丌式中，如果被展开的函数是连续的实对称函 数，那么，其傅立叶级数中只包含余弦项，由此可导出余弦变换的名字或称为离 散余弦变换。因此余弦变换与傅里叶变换样有明确的物理量意义。 d c t 变换是通过将图像矩阵变换到频域上进行处理，这样，使得在空间上具有 强相关性的图像数据信号通过d c t 变换反映在频域上就是使某些特定区域内的能 量集中或系数矩阵的分布具有某些规律，这样便于下一步的处理。图像经过d c t 变 换到频率域后，大部分能量集中于低频部分，高频部分系数很多为零，而且代表 不同频率分量的系数之间的相关性大为减弱，仅利用几个低频部分系数就可以有 效地恢复原图像，对于高频低能量地系数，可以允许较大地失真，甚至为o ，这就 是d c t 变换编码的原理 2 5 。 常用的变换编码是先将整体图像或差值图像分成n x n 像素块，然后对n x n 像素块逐一进行d c t 变换。由于大多数图像的高频分量较小，相应于图像高频成分 的系数多数为零，加上人眼对高频成分的失真不太敏感，所以可用更粗的量化， 因此传送变换系数所用的码率要大大小于传送图像像素所用的码率到达接收端 后再通过反离散余弦变换恢复样值，虽然会有一定的失真，但人眼是可以接受的。 函数f ( x ，y ) 的二维离散余弦变换及其逆变换分别为： 吨v ) 锄昙萎n - i 丢n - i 瓜小文等“石) c o s ( 等v 刁 c 式2 s ， b=丙2己n-in-io归(vfo力c。s(专zx芋+ix=07 - - 0“刁c 。号芋v 石 ( 式z 6 ) b ，j ，) = i 己0 归( v f 0 ，v ) c o s l1 丁“丌l c os l 兰；芋v 石1 ( 式2 6 o v、二7， 其中“，v ，工，) = 0 , 1 ，2 ，一，n 一1 ， 当“= v = o 时，0 l o ) = t i ， 当“= 1 , 2 ，n - 1 ，v = l ，2 ，n l 时，e 0 l e o ) = 1 。 其中工j ，为宅b j 域变量，其范围为从0 到n 一1 的整数，“，p 为频域变量， 山东大学硕士学位论文 c 0 ，v ) 为变换后的d c t 系数。 代表像素数，一般取n = 8 ，8 8 的二维数据块经d c t 变换后得至1 j 8 8 的 d c t 系数块，这些系数都有明确的物理意义：代表水平像素号，v 代表垂直像素 号。如当l ，= o ，v = 0 时，c ( 0 ，o ) 是原6 4 个样值的平均值，相当与“直流分量”，或 者图像的背景强度，随着，v 值的增加，相应的系数分别代表逐步增加的水平空 间频率分量和垂直空间频率分量的大小。l e n a 图像及其频域图像如图2 4 所示。 图2 4 灰度等级为2 5 6 的l e n a 图像及其d c t 变换 通过二维离散余弦逆变换，可以在解码端恢复原来的采样值，把图像数据块 从频域转换回空间域。 2 1 4 量化 严格说d c t 本身并不能进行码率压缩，因为6 4 个样值仍然得n 6 4 个系数，为了 达到压缩数据的目的，对d c t 系数需作量化处理。量化的作用是在保持一定质量前 提下，丢弃图像中对视觉效果影响不大的信息，量化是多对一映射，是造成d c t 编 码信息损失的根源。可以按人眼的生理特征对低频分量和高频分量设置不同的量 化步长，使大多数高频分量的系数变为零。一般说来，人眼对低频分量比较敏感， 丽对高频分量不太敏感。因此对低频分量采用较细的量化，而对高频分量采用较 粗的量化，即自适应量化。 图像在经过d c t 变换之后，变换系数很多是浮点数，将浮点型数表示的变换系 数经过量化之后变为整形数表示，有利于图形编码和计算机处理，而引入的量化 山东大学硕士学位论文 误差人眼是很难觉察的，所以量化过程不仅仅是必要的，也是可行的。所谓自适 应量化，b 口根掘不同的要求，设置不同的量化等级，从而降低数码率。 一种常用的自适应量化方法是对于变换系数矩阵中的每个变换系数，分别乘 以一个视觉加权系数，这一加权系数随着空问频率的增长而逐渐减少，其中直流 系数的加权为l 。这样，对应于8 x 8 的系数矩阵，有个8 x 8 的加权矩阵，在对每个 系数加权以后，再采用一个通用的量化器进行量化，这种量化的结果就是低频部 分的量化步长较小，而高频部分的量化步长较大，实现了自适应量化的功能。 2 1 5l 型扫描和游程编码 读出数据和表示数据的方式也是数据得以压缩的一个重要因素。读出的方式 可以有多种选择，如水平逐行扫描、垂直逐列扫描、z 字型扫描和交替扫描等，其 中z 型扫描( z i g z a g ) 是最常用的一种，就是从左上角开始沿对角线方向，以z 字型 ( z i g - z a g ) 进行扫描直至结束，如图2 5 所示 直流分量 扫描方向 图2 5 对d c t 系数进行z 喇扫描 由于经d c t 变换以后，系数大多数集中在左上角，即低频分量区，因此z 型扫 描实际上是按二维频率的从低到高的顺序读出系数的，这样一来就为r l c ( r u n l e n g t hc o d i n g ，游程长度编码) 创造了条件。所谓游程长度编码是指一个码可同时 表示码的值和后面连续几个零的个数，这样就可以把z 型扫描的优点显示出来了。 因为z 型扫描从低频到高频扫描，这样在零比较多的高频部分出现连续零的个数会 1 7 山东大学硕士学位论文 比较多，尤其在最后，如果都是零，在读到最后一个数后只要给出“块结束”( e 0 8 ， e n do fb l o c k ) 码，就可以结束输出，因此节省了很多码率。 在原始数据经过d c t 变换之后，大部分能量集中于低频部分，高频部分很多系 数值很小，在经过自适应量化之后，高频部分的很多系数变为零，随后从低频到 高频读出数据的z 型扫描使得高频部分的0 往往是连成一串出现的，因此，抓住这 一特点，不对0 单独编码，丽是对连续0 出现的个数( 游程) 进行编码，就