（电路与系统专业论文）基于行结构的图像编码.pdf

u n i v e r s i t yo fs c i e n c ea n dt e c h n o l o g yo fc h i n a ad i s s e r t a t i o nf o rd o c t o r sd e g r e e 圈 幽 l i n e - b a s e di m a g ec o d i n g a u t h o r sn a m e ：x i u l i a n p e n g s p e c i a l i t y ： c i r c u i t sa n ds y s t e m s u p e r v i s o r ：p r o f y a q i nz h a n gp r o f f e n gw u f i n i s h e dt i m e ： m a y4 “，2 0 1 2 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作 了明确的说明。 作者签名：塾歪童 签字日期： 矽2 r 艿 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中 国学位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内 容相一致。 保密的学位论文在解密后也遵守此规定。 町公开口保密( 年) 作者签名：耋i 查垂 导师签名： 签字日期：兰! ! ：苎：墨 沪 鍪臣翌 签字日期： 2 堂zz ：；f 摘要 摘要 随着数字图像在多媒体中的广泛应用、图像分辨率的不断增加以及新的图 像表示形式的诞生，图像编码无论在编码性能还是计算、存储复杂度上都面临 着新的挑战。现今主流的图像和帧内编码技术都采用了基于块结构的编码，其 中最先进的编码标准h 2 6 4 a v c 在帧内编码时采用了块结构预测和二维变换的 方法。然而，受块结构的限制，其预测的性能并不好，从而影响了块结构编码 的性能。另一方面，块结构的编码为了消除块间的相关性引入了较强的块间编 码依赖性，使得它不适于高并行度的编码来提高编码速度，而块结构的编码从 存储复杂度上来说也不是最优的选择。针对这些问题，本文从改变编码结构的 角度入手，提出了基于行结构的编码。 本文首先分析了块、行列和像素三种结构在一个高斯平稳信源上的理论编 码性能。分析指出，在高码率下，行列结构和像素结构可以达到与块结构相同 的编码增益的上界。但是，在实际编码中，块结构难以准确地估计局部的统计 特性，而行列结构和像素结构由于具有更小的重建单元而具有更好的编码灵活 性和局部自适应性。像素结构的缺点在于它容易受量化噪声的影响。这些分析 表明，至少在高码率下，块结构的编码并不一定是最优的，而基于行结构的编 码无论从局部自适应性还是受量化噪声的影响上来说都是一个不错的选择。基 于这些分析，本文设计了一个混合块和行列结构的编码方案。特别地，基于行 列结构的编码采用了三种自适应的预测方法，以适应不同的局部图像内容。实 验表明，行列结构和像素结构可以取得与最先进的块结构编码相当甚至更好的 编码性能，而为了适应不同的图像特性和码率，将行列结构和块结构结合起来 后，它能取得更好的编码性能。相对于最先进的块结构编码h 2 6 4 a v c 和k t a ， 它在自然图像上的增益分别高达2 d b 和1 s d b 。对于混合图像，其增益高达 8 d b 。 考虑到行列结构在编码性能上的优势，本文迸一步提出了一个基于行结构 的并行图像编码方法l b l c ，以适应多核的并行编码。在l b l c 中，输入图像 是逐行顺序地进行编码的，而每一行又被分成一些等长的行单元。这些行单元 的编码都是完全独立进行的，因而可以将同一行内的所有行单元分配到不同的 核上来并行编码。通过这种方式，它可以取得恒定的高并行度。多核并行平台 上的实验结果表明，l b l c 能提供接近线性的并行度，在1 5 个核时编码并行度 高达1 3 9 倍。理论上这种接近线性的并行度在超过1 0 0 个核时仍然成立。除了 高并行度外，在中高码率时l b l c 能达到和h 2 6 4 a v c 相当甚至更好的编码性 i 摘要 能。对于近无损和无损编码，它能分别获得比h 2 6 4 有损和无损编码高达1 0 d b 的编码增益以及1 4 的码率节省。 由于行结构具有低的存储和延迟，本文进一步提出了一个基于行结构的 l i n e c a s t 方案，以适应具有有限的带宽、存储和计算能力等资源的卫星图像的 连续采集和向地面的广播传输的应用。逐行编码和传输的方式使得它具有低延 迟和低存储，而基于分布式编码的方法使得它不仅通过预测消除了像素间的各 向异性的相关性，而且具有低的编码复杂度。由于采用了半模拟的传输方式， l i n e c a s t 能够提供随信道s n r 降低而渐变下降的重构质量。理论分析表明， l i n e c a s t 的性能在信源和信道带宽一致和采用高维网格时，可以渐进逼近 s h a n n o n 的理论最优值。而在卫星图像上的实验结果也指出，l i n e c a s t 能取得 和最先进的模拟传输方法s o f l e a s t 相近甚至更好的性能，而相比于j p e g2 0 0 0 的数字传输能获得超过5 d b 的增益。 关键词：图像编码预测变换h 2 6 4 a v c 块结构的编码并行编码分布式编码 广播传输 a b s t r a e t a b s t r a c t w i t ht h ed e v e l o p m e n to fc u g i t a li m a g e si nm u l t i m e d i a , t h ei n c r e a s eo fi m a g e r e s o l u t i o n sa n dt h ee m e r g e n c eo fn e wi m a g em o d a l i t i e s ，i i 1 a g ec o d i n gi sc o n f r o n t e d w i t hn e wc h a l l e n g e si ne i t h e rc o d i n ge f f i c i e n c yo rc o m p u t a t i o n a la n dm e m o r y c o m p l e x i t i e s n o w a d a y sm a i n s t r e a mi m a g ea n di n t r af l a m ec o d i n ga d o p tab l o c k - b a s e dc o d i n gs t r u c t u r e ，a m o n gw h i c ht h es t a t e o f - t h e - a r tc o d i n gs t a n d a r dh 2 6 4 a v c e m p l o y sab l o c k - b a s e dp r e d i c t i o na n da2 dt r a n s f o r mf o ri n t r af l a n l ec o d i n g h o w e v e r ，r e s t r i c t e db yt h eb l o c ks t r u c t u r e ，t h ep r e d i c t i o ni sn o ta c c u r a t ee n o u g h ；t h u s h a r m st h ec o d i n ge f f i c i e n c y o nt h eo t h e rh a n d , i no r d e rt oe x p l o i ti n t e r - b l o c k c o r r e l a t i o n s ，b l o c k - b a s e dc o d i n gi n t r o d u c e ss t r o n gd e p e n d e n c ea m o n gb l o c k s ，m a k i n g i tn o tq u i t ef e a s i b l ef o rh i g h l yp a r a l l e lc o d i n gt os p e e du pt h ee n c o d i n g , w h i l ei ti sa l s o n o tag o o dc h o i c ei nt e r m so fm e m o r yc o m p l e x i t y t h e r e f o r e ，t h i sp a p e r p r o p o s e st h e l i n e - b a s e dc o d i n gt oa c c o m m o d a t et h e s ec i r c u m s t a n c e s w ef i r s ta n a l y z et h et h e o r e t i c a lp e r f o r m a n c e so ft h r e ed i f f e r e n tc o d i n gs t r u c t u r e s ： b l o c k , l i n ea n dp i x e l ，w h e nc o d i n gas t a t i o n a r yg a u s s i a ns o u r c e i tt u r n so u tt h a ta t h i g hb i t r a t e s ，l i n e - b a s e da n dp i x e l b a s e dc o d i n gc a nh a v et h es a n l et i g h tu p p e rb o u n d o ft h ec o d i n gg a i na st h a to fb l o c k - b a s e dc o d i n g h o w e v e r , i np r a c t i c a lc o d i n g ，t h e l o c a ls t a t i s t i c sc a n n o tb ee s t i m a t e da c c u r a t e l yi nb l o c k - b a s e dc o d i n g ，w h i l ew i t ha s m a l l e rc o d i n gu n i t , l i n e b a s e da n dp i x e l - b a s e dc o d i n go w ng o o dc o d i n gf l e x i b i l i t y a n dl o c a la d a p t i v i t y o n ed i s a d v a n t a g eo fp i x e l b a s e dc o d i n gi st h a ti ti ss e n s i t i v et o q u a n t i z a t i o nn o i s e s t h e s ea n a l y s e sr e v e a lt h a ta tl e a s ta th i 【g hb i t r a t e st h eb l o c k - b a s e d s t r u c t u r ei sn o ta l w a y st h eb e s tw h i l et h el i n e - b a s e dc o d i n gi sag o o dc h o i c ee i t h e r f r o mi t sg o o da d a p f i v i t yo rf r o mi t sl o ws e n s i t i v i t yt oq u a n t i z a t i o nn o i s e s b a s e do n t h ea n a l y s e s ，w ed e s i g nah y b r i db l o c ka n dl i n ec o d i n gs c h e m ef o ri m a g ec o d i n g i n p a r t i c u l a r , 虹ea d a p t i v ep r e d i c t i o nm e t h o d sa b ep r o p o s e di nl i n e - b a s e dc o d i n gt o a d a p tt od i f f e r e n ti l i l a g ec h a r a c t e r i s t i c s e x p e r i m e n t a lr e s u l t ss h o wt h a tl i n e b a s e da n d p i x e l - b a s e dc o d i n gc a na c h i e v ec o m p a r a b l eo re v e nb e t t e rp e r f o r m a n c e st h a nt h e s t a t e o f - t h e a r tb l o c k - b a s e dc o d i n g w h e nt h et h r e es t r u c t u r e sa l ec o m b i n e di n t oo n e s c h e m et oa d a p tt od i f f e r e n ti m a g ec h a r a c t e r i s t i c sa n db i tr a t e s ，as u p e r i o rc o d i n g p e r f o r m a n c ei sa c h i e v e d u pt o2 d ba n d1 5 d bg a i n sa r eo b s e r v e do nn a t u r a li m a g e s i i i c o m p a r e dw i t hh 2 6 4 a v ca n dk t a , r e s p e c t i v e l ya n d a l lu pt o8 d bg a i no n c o m p o u n di m a g e s c o n s i d e r i n gt h eh i g hc o d i n ge f f i c i e n c yo fl i n e - b a s e dc o d i n g ，t h i sp a p e rf u r t h e r p r o p o s e sal i n e - b y - l i n ec o d i n g ( l b l c ) f o rp a r a l l e lc o d i n go nm a n yc o r e s i nl b l c ， a ni m a g ei sc o d e dl i n eb yl i n e ，w h i l ee a c hl i n ei sd i v i d e di n t oe q u a l - l e n g t hl i n eu n i t s t h ec o d i n go fl i n eu n i t si nt h es a n l el i n ea r ec o m p l e t e l yi n d e p e n d e n tf r o me a c ho t h e r ； t h e r e f o r et h e yc a l lb ea s s i g n e dt od i f f e r e n tc o r e sa n dc o d e dc o n c u r r e n t l y i nt h i sw a y ， i tc a na c h i e v eac o n s t a n ta n dh i g hp a r a l l e l i s m s i m u l a t i o n so nam u l t i - c o r ep l a t f o r m s h o wt h a tl b l cc a na c h i e v ean e a r - l i n e a rp a r a l l e l i s ma n da13 9t i m e ss p e e d - u pi s a c h i e v e dw i t h15c o r e sa tt h ee n c o d e r i d e a l l y ，s u c hn e a r - l i n e a rs p e e d i n gr e l a t i o nw i t h t h en u m b e ro fc o r e sc a l lb ek e p tf o rm o r et h a n10 0c o r e s b e s i d e sh i 【g hp a r a l l e l i s m ， l b l cc a l la c h i e v ec o m p a r a b l eo re v e nb e t t e rp e r f o r m a n c e st h a nh 2 6 4a b o v em i d d l e b i t r a t e s a tn e a rl o s s l e s sa n dl o s s l e s sc o d i n g ，i ta c h i e v e sam o r et h a nlo d bg a i na n d 14 b i t ss a v i n gc o m p a r e dw i t hh 2 6 4l o s s ya n dl o s s l e s sc o d i n g ，r e s p e c t i v e l y d u et ot h el o wd e l a ya n dl o wm e m o r yr e q u i r e m e n to fl i n e - b a s e dc o d i n g ，t h i s p a p e r f u r t h e r p r o p o s e s t h el i n e c a s ts c h e m ef o rc o n t i n u o u ss a t e l l i t ei m a g e a c q u i s i t i o na n dt r a n s m i s s i o nt ot h eg r o u n dw i t hl i m i t e db a n d w i d t h , o n b o a r dm e m o r y a n dc o m p u t a t i o n a lc o m p l e x i t i e s t h el i n e - b y l i n ec o d i n ga n dt r a n s m i s s i o ne n d o w si t w i t hl o wd e l a ya n dl o wm e m o r y ，w h i l et h ed i s t r i b u t e ds o u r c ec o d i n ga p p r o a c hn o t o n l ye x p l o i t st h ea n i s o t r o p i cc o r r e l a t i o n sa m o n gp i x e l sb u ta l s oe n d o w si tw i t hl o w e n e o d e rc o m p l e x i t y d u et ot h es e m i - a n a l o gt r a n s m i s s i o n , l i n e - c a s tc a l la c h i e v ea g r a c e f u ld e g r a d a t i o n t h e o r e t i c a la n a l y s i s s h o w st h a tl i n e c a s tc a na c h i e v e s h a n n o n so p t i m u ma t t a i n a b l ep e r f o r m a n c ew h e nah i g h - d i m e n s i o n a ll a t t i c ei su s e d f o rb a n d w i d t h - m a t c h e dc a s e e x p e r i m e n t a lr e s u l t so ns a t e l l i t ei m a g e ss h o wt h a tl i n e - c a s tc a na c h i e v ec o m p a r a b l eo re v e nb e t t e rp e r f o r m a n c e st h a nt h es t a t e o f - t h e - 碰 a n a l o gs c h e m e ，s o r c a s t , a n dam o r et h a n5 d bg a i no v e rj p e g 2 0 0 0 k e yw o r d s ：i m a g ec o d i n g ，p r e d i c t i o n , t r a n s f o r m ，h 2 6 4 a v c ，b l o c k - b a s e dc o d i n g ， p a r a l l e lc o d i n g ，d i s t r i b u t e ds o u r c ec o d i n g ，b r o a d c a s t i v 目录 目录 摘要i a b s t r a c t i i l 第一章绪论1 1 1 图像编码概述1 1 2 图像编码方法及相关标准介绍2 1 2 1 源编码问题2 i 。2 2 主要的图像编码方法3 1 2 3 图像编码标准及所采用的编码结构6 1 3 本文的研究内容及创新点一1 1 第二章混合块与行列结构的编码1 5 2 1 引言1 5 2 2 基于块、行列、像素结构编码的理论分析。1 7 2 2 i 编码结构介绍1 7 2 2 2 帧内预测式变换1 8 2 2 3 高码率下的编码效率分析1 9 2 2 4 考虑量化噪声的编码效率分析2 3 2 2 5 不同结构实际编码中的优劣势分析2 5 2 3 行列结构的编码设计2 7 2 3 1l t 预测法2 7 2 3 2p d f 预测法2 9 2 3 3l t m 预测法3 1 2 3 4 自适应残差变换和熵编码3 3 2 3 5 基于像素结构的编码3 3 2 4 混合块与行列结构的编码3 4 2 5 实验结果3 5 2 5 1 不同编码结构性能比较3 5 2 5 2 混合块与行列结构编码率失真结果3 6 2 5 3 混合块与行列结构编码主观质量结果3 7 v 目录 2 5 4l t m 方法编码结果3 7 2 5 5 混合图像编码性能3 7 2 5 6 算法复杂度3 8 2 6 本章小结4 3 第三章基于行结构的多核高并行性图像编码4 5 3 1 引言4 5 3 2h 2 6 4 的帧内并行编码4 7 3 2 1h 2 6 4 帧内编码依赖关系4 7 3 2 2“流水线”并行4 8 3 2 3 分s l i c e 并行4 9 3 2 4 宏块级的并行4 9 3 3基于行结构的并行编码5 0 3 3 1 方案框架5 0 3 3 2 分级的自适应编码5 1 3 3 3 自适应预测5 3 3 3 4 自适应变换5 7 3 3 5 并行熵编码5 7 3 3 6 无损压缩5 8 3 4并行性分析5 9 3 4 1 理论并行度5 9 3 4 2 静态调度6 0 3 5 实验结果一一6 2 3 5 1 编码并行度6 2 3 5 2 解码并行度6 4 3 5 3 有损压缩性能6 5 3 5 4 无损压缩性能6 6 3 6 本章小结6 9 第四章基于行结构的低延迟卫星图像广播传输7 1 4 1 引言7 1 4 2 理论分析7 3 4 2 1 问题描述7 4 v t 目录 4 2 2o p t a 7 4 4 2 3u n c o d e d 方：法7 5 4 2 4s o f i c a s t 方法7 5 4 2 5a m 方法和l i n e c a s t 7 6 4 2 6 仿真结果7 9 4 3l i n e c a s t 方案实现8 1 4 3 1 方案框架8 1 4 3 2 行变换8 3 4 3 3 基于标量网格的余数调制8 3 4 3 4 能量分配与白化8 5 4 3 5l l s e 解码8 6 4 3 6 边信号的产生8 6 4 3 7 基于最小均方误差的去噪8 7 4 4 窄带和宽带下l i n e c a s t 的广播传输8 7 4 5 实验结果8 8 4 5 1 广播传输结果8 8 4 5 2 主观质量结果9 0 4 5 3 宽带下的广播传输结果9 2 4 6 本章小结9 2 第五章总结与展望9 3 5 1 全文总结9 3 5 2 未来工作展望9 4 参考文献9 7 致谢1 0 7 在读期间发表的学术论文与取得的其它研究成果1 0 9 v i i 目录 v i i i 第一章绪论 第一章绪论 1 。1 图像编码概述 随着计算机技术和通信技术的迅速发展，图像编码已成为多媒体和网络应 用中不可缺少的组成部分，并广泛地用于图像的存储和传输。电脑、数码相机、 手机中的图片通常都经过了压缩，以节省存储空间；因特网上的图片传输也采 用了压缩的方式来节省带宽。虽然随着通信和硬件技术的发展，信道传输带宽 和介质的存储能力都在不断提高，但人们对数据的要求也越来越高。一方面， 图像的广泛应用使得图像的数据量越来越大，并由此催生了图像云存储服务。 另一方面，图像的分辨率正呈现越来越高的态势，2 k 、4 k 和8 k 的高清超高 清图像正逐渐成为人们生活的主流，而卫星图像通常拥有更高的分辨率。再则， 图像采集技术和多媒体应用的发展使得图像出现了新的表示形式，如多频谱图 像、多视觉图像、深度图像以及计算机屏幕图像等。海量的图像存储和传输对 图像编码的压缩性能和时间效率都提出了新的挑战。 图1 1 一个典型的图像编解码过程。 图像编码旨在保证重建图像质量的情况下用尽可能少的二进制比特数来表 示一幅图像，从而实现压缩。通常，图像内部存在着大量的冗余度，这包括空 间冗余度、视觉冗余度和统计冗余度等。图像内相邻的像素通常具有相近的值， 而同一或相近的图案也可能在图像中出现多次，这表现为空间上的冗余度。它 主要通过预测、变换编码等来消除。由于人的视觉系统( h v s ) 对于所有视觉 信息感受的灵敏度不同，那些不重要的信息则称作视觉冗余。在允许的图像重 建损失范围内，这些视觉冗余可以去掉，即量化，以减少图像的信息熵。而统 计冗余则表现为图像的不同像素值通常具有不同的概率分布，我们可以根据其 1 第一章绪论 出现的概率来分配码字，以实现用最小的比特数来表示该图像。这个过程即熵 编码，它不影响图像的重建质量。一个图像编码算法通常通过消除其中一种或 几种冗余或相关性，以在保证重建图像质量的情况下减少所用的比特数，从而 达到压缩的目的。 图1 1 示出了一个典型的图像编解码过程。输入图像经过变换或预测等过 程转换其表现形式，如时域到频域的转换、时域到预测残差的转换等。这一过 程通常是可逆的，它消除了空间冗余度。经量化过程，频域系数或预测残差被 量化成若干离散的值。这一过程消除了视觉冗余度，但它是不可逆的，造成了 一定的质量损失。量化后的值再经熵编码过程转换成为二进制的位流，这个过 程是无损的，它消除了统计冗余度。 对于图像的存储，经编码后输出的二进制位流通常在解码前不会发生变化。 在解码端，二进制位流经熵解码过程转换成为离散的值，再经反量化过程转换 成为频域系数或预测残差。通过反变换或反预测过程，图像被最终重建。这个 过程中原图像和重构图像间的损失仅来自于不可逆的量化过程带来的损失。而 对于图像的传输应用，如电视信号的广播传输、因特网上的图像传输、手机蓝 牙、卫星上的图像传输等，发送端输出的二进制位流在到达接收端前需要经过 一个有损的信道传输，二进制位流会出现差错。接收端恢复的图像的损失因而 来自于两方面，量化的损失和信道传输的损失。为了降低二进制位流传输的损 失，通常在信道传输前会进行信道编码，在码流中引入一部分的冗余来进行保 护，信道解码时利用这些冗余可以纠正接收码流的部分错误，从而降低位流差 错率。 1 2 图像编码方法及相关标准介绍 1 2 1源编码问题 设二维随机信号源上1 0 ，y ) 为待编码的图像，源编码问题旨在给定传输比特 率尺时，找到一个编码方法厂( l ) ，使得重构图像= 1 , - 1 ( 厂( l ) ) 在某种准则d 下的 失真最小，即 d m i n = m i n fe ( d ( l ，) ) ( 1 1 ) 其中e ( ) 为随机变量的期望。编码方案的设计取决于输入信号源l 的统计特性和 失真准则d 。针对此问题，s h a n n o n 的率失真理论为我们提供了理论分析的基 础【1 】【2 】。给定重构损失限制d 时，率失真函数尺( d ) 为 r ( o ) = m 肛( d ( l ) ) s d o ( l ，) ) ， ( 1 2 ) 第一章绪论 其中j ( l j ) 为和间的交互信息量。率失真函数给出了在一定的失真限制下最 小的传输比特率，亦即给出了任一编码方法的编码性能的上限。虽然实际中我 们可以构造一些编码器使得它的渐进性能接近( 1 2 ) ，s h a n n o n 的率失真理论并 没有告诉我们如何构造这样的编码器。另外，对于一些实际中的图像源和失真 准则，它的率失真函数也很难计算。一个简单的情况是，当图像源王，0 ，y ) 为一 平稳的高斯源，而失真准则d 为某加权均方误差准则【3 】时，问题( 1 2 ) 可解。相 应的编码方法为l ( x ，y ) 先经该加权均方函数进行滤波，滤波后的信号再经 k a r h u n e n l o 夺v e 变换( 简称i ( l t ) 、量化和熵编码后进行传输 2 0 1 2 1 】。解码 端首先经熵解码、反量化和反变换恢复出滤波器后的信号，再经反滤波后恢复 出原信号。 1 2 2 主要的图像编码方法 迄今为止，图像编码的发展已走过了半个多世纪的历程。从2 0 世纪4 0 年 代末脉冲编码调制技术( p c m ) 出现不久，人们就开始了对电视信号的数字化 研究f 4 】。p c m 编码方法通过时间和幅度上的离散采样来表示原始信号，而产 生了二维的数字图像。1 9 4 8 年，s h a n n o n 提出并建立了率失真函数的概念，从 而奠定了信息编码的理论基础【l 】。在那以后，图像编码的理论和方法都有了很 大的发展。许多经典的编码算法如预测编码、变换编码和熵编码也在二十世纪 五六十年代发展起来了，并成为之后国际编码标准的主要算法，影响至今。之 后，人们在探索一些新的高效编码方法方面不断取得进展，包括矢量量化、比 特面编码、算术编码等。而后，随着人们对视觉特性的认识不断深入，出现了 许多结合人的视觉系统特性( h v s ) 和多种编码算法的综合算法，编码效率被 不断改进。2 0 世纪8 0 年代，k u n t 等人提出了第二代图像编码的概念 3 3 。他 们认为传统的方法都是基于信号波形的方法，以重建信号和原始信号的波形统 一性为衡量准则，称之为第一代的编码。而新一代的编码则是基于对象模型的 描述方法，因而可能取得比经典的算法高得多的压缩效率。子带编码、基于方 向性分解的编码、基于分割的编码、基于模型的编码等均属于这一类。以下我 们主要讨论几类被图像和视频编码标准广泛采用的经典的编码方法，即预测编 码、变换编码和混合编码。 ( 1 ) 预测编码 预测编码利用了图像内的空间相关性，它通过附近已重构的像素来预测当 前像素，并将预测后的残差进行量化，经熵编码后传给解码端。由于传输的预 3 第一章绪论 测残差通常具有远比原信号小的一阶熵，因而它能获得比p c m 更好的压缩性能。 差分脉冲编码调制( d p c m ) 就是一种典型的预测编码方法【5 1 - 【1 2 】。 预测编码的关键在于预测滤波器的设计。根据预测的线性和非线性特性， 预测滤波器可分为线性滤波器和非线性滤波器。非线性滤波器通常具有较高的 计算复杂度，如利用神经网络的d p c m 【1 2 ，而线性滤波器因其较低的计算复 杂度，得到了更广泛的应用 5 】- 【11 】。最优的线性预测滤波器是维纳滤波器【7 8 】。 假设( ) 是一幅图像的平稳像素点序列，具有零均值和方差0 2 ，- - x n + e n 为 n 时刻的重构，e n 为量化噪声，e n 与不相关。对，其预测表示为 磊= 鑫1 0 j i 锄_ f ( 1 3 ) 其中舢f ) 是预测滤波器系数。维纳预测滤波器w = t 0 1 ，c 【，2 ，c d k 】r 可最小化预 测均方误差，即 w = a r g r n i n c o i ) f ( 】一) z = r 一1 r ( 1 4 ) 其中r 为1 ，靠一2 ，靠一髟) 的自相关矩阵，尺( f j ，) = 冒一f 厶一，) 。r 为与 ( 磊一1 ，磊一2 ，厶一k ) 的互相关向量，r ( ) = e ( 一i ) 。而最小的预测均方误差 为f t l = d 2 一旷r ，它相对于p c m 来说编码信号的方差减小了矿r 。理论上， d p c m 在高码率下可以取得和k l t 编码相当的性能【1 7 】。 该分析假设原信号是平稳的随机过程，然而实际图像是非平稳的，它的统 计特性随着空间位置而不断变化，因此，自适应的滤波器可以取得远比固定滤 波器更优的编码性能。但是，自适应滤波器系数若要传给解码端，会占用很大 的带宽。通常，人们预定义几个符合图像各种相关性特性的滤波器，并利用当 前像素附近已重构的像素来选择一个预测滤波器或多个滤波器的加权进行预测 f 8 】 1 0 1 ，【3 7 】。由于在解码端可以进行同样的滤波器选择过程，该滤波器不需要 传给解码端。另一类方法是根据局部特性将图像块分成几类，每类计算出一个 最优的滤波器，然后将每个块采用的预测滤波器的索引传给解码端，如 h 2 6 4 a v c 帧内编码所采用的预测方式 4 5 】。 d p c m 由于具有低的复杂度、零延迟以及高的编码性能，而得到了广泛的 应用，如宽带电视信号的传输、无损图像压缩标准i p e g - l s 【3 7 】以及视频压缩 标准h 2 6 4 a v c 中的帧内无损压缩【1 0 4 】。它的缺点在于当传输信道有损时， d p c m 方法会产生误差传递问题，出错的重构信号被用来进行下一个像素的预 测时，会将误差传递下去。而自适应的d p c m 由于预测滤波器也可能出错，误 差传递问题会更加严重。通常，d p c m 需要采用一些差错隐藏和纠错技术来增 强它的抗误性【1 3 1 6 】。 4 第一章绪论 ( 2 ) 交换编码 将s h a n n o n 的率失真理论用于图像编码的一个直接实现方式是考虑该图像 出现的概率，再用可变长编码为它分配相应概率的码字，概率越大的图像码长 越短。但是，由于所有图像的数量太大，根本无法计算每幅图像出现的概率， 这种方式是不可行的。一个可能的方式是将图像分成小块，如4 4 大小的块， 再对每个块按照其概率分配码字，但是这种方式下每个块的数量还是过大，无 法计算其概率。变换编码由于可以将空域内彼此相关的像素转换到频率内近乎 不相关的系数，不同系数再独立地进行编码，从而为图像编码提供了一种可行 的途径。通常，变换编码将图像分成互不重叠的图像块，对每个块进行变换， 再将频域系数进行量化和熵编码，传给解码端。由于变换后高频系数通常较小， 它可以被量化掉而不会造成大的重构失真，从而实现了压缩。 变换编码的关键在于它所采用的变换。最优的变换为k l t ，它能产生彼此 完全不相关的频域系数 2 0 1 1 2 1 1 。设n 维向量z 代表一个图像块内的所有像素， 尺为其斜方差矩阵，k l t 变换矩阵为丁，则变换系数y = t x 的斜方差矩阵为对角 阵，对角线元素为尺的n 个特征值，而丁由r 的特征向量组成。虽然k l t 是最优 的变换，它在实际编码中却很难实现。这主要是因为图像通常并不是平稳的， 每个块的统计特征很难估计出来。一个可行的方式是将图像块进行分类，每类 统计其特性，然后对不同类的块采用不同的变换。在对最先进的视频编码标准 h 2 6 4 a v c 的改进软件k t a 中采用的m d d t 技术即采用了这种思想【7 4 。 除k l t 外，其它的变换包括离散余弦变换( d c t ) 【2 3 、哈达马变换【1 8 】、 傅立叶变换【1 9 】、斜变换【2 5 】、重叠变换 2 7 】、小波变换【2 6 】等。与k l t 不同的 是，它们的变换基是不依赖于图像的统计特性的。其中d c t 对于一阶的马尔科 夫过程来说性能接近于k l t ，而且可以采用快速算法来实现，它得到了最广泛 的应用【2 2 】。几乎所有的图像和视频编码标准如p e g 【3 6 1 、h 2 6 4 a v c 4 5 1 等， 都采用d c t 或类似d c t 的变换。而小波变换由于具有良好的时频局部化特征， 还能进行多尺度分析，而被用于静态图像编码标准p e g2 0 0 0 中 3 8 。 与d p c m 相比，变换编码通常在低码率下的性能更好，而且它不易受不同 图像特性的影响，受信道噪声的影响也较小。而d p c m 由于采用了空域的预测， 在高码率下性能更好，它的优点在于低的复杂度、低延迟和低的存储需求，但 它易受不同图像特性和信道噪声的影响。 ( 3 ) 混合编码 前面我们介绍了d p c m 和变换编码，对