（信号与信息处理专业论文）对图像和视频编码若干算法的研究.pdf

摘要 摘要 摘要：本论文主要研究图像和视频编码算法，在继承前人研究成果的基础上， 提出了三种改进型的图像和视频编码算法。论文的主要工作如下： 在第二章中，提出了一种小波精细可伸缩图像编码算法。编码比特流包括基 本层和增强层两部分。基本层比特流不具有可伸缩性，但具有更高的压缩效率。 增强层比特流采用嵌入式的编码方式，在任意点截止都能够正确解码。在基本层 编码中，为了提高编码的压缩效率，低频子带系数作为一个整体独立编码，高频 子带系数以小波块为单位，分块进行量化编码。增强层编码则采用位平面编码方 式，基本层编码后的差值信息，按照由低频子带向高频子带的顺序，逐个子带进 行位平面扫描编码。采用这样的比特流结构，本章算法兼顾了压缩效率和编码比 特流的可伸缩性。实验表明，本算法在同样的编码比特率条件下能够获得比 j p e g - 2 0 0 0 和s p i h t 算法更好的图像质量。 在第三章中，提出了一种小波低频预测图像编码算法。图像经过多级小波变 换后，能量集中于低频子带，低频子带系数可以用很少的编码比特有效表示。基 于这一特点，本章提出了小波低频预测的编码框架，用小波低频子带重建出模糊 的图像对原始图像进行预测编码，对于低频预测后得到的差值图像，采用自适应 分块变换编码，编码器支持8 8 ，8 x 4 ，4 x8 和4 x 4 四种大小的整数块变换。 为了确定最优的变换块尺寸，拉格朗日乘数法被用来在编码比特数和重建失真之 问进行权衡。试验结果表明，小波低频预测图像编码器能够获得比s p i h t 和 j p e g 2 0 0 0 编码器更好的压缩效率，重建图像的主观质量也获得了提高。 在第四章中，提出了一种脸部区域增强低比特率头肩像视频编码算法。低比 特率编码条件下，很难同时保证所有的图像内容都具有完美的质量，在头肩像视 频中，人脸区域包含了最重要的图像信息，如果能够快速地在视频中定位和跟踪 脸部区域，有针对性地对脸部区域进行比较精细的量化和编码，就可以在有限的 编码比特率条件下，大大提高重建视频的主观质量。本章工作包括两个部分：第 ，为了快速准确地在图像序列中定位和跟踪人脸区域，实现了一种基于人脸肤 色特征的脸部区域定位和跟踪算法。第二，从筒化算法和优化编程两方面对j m 北京交通大学博士论文 编码器进行了改进，改进后的视频编码器能够根据人脸定位和跟踪算法的结果， 对重点编码区域进行更加精细的量化，提高重建视频的主观和客观质量。本文编 码器的编码速度相比于j m 编码器提高了1 2 0 2 0 0 倍，即使在普通的p c 机上也能 够实现对q c m 图像的实时编码和解码。 码l 关键词：【图像编码；视频编码；小波变换；头肩像视频编码；精细可伸缩编 a b s t r a c t a b s t r a c t ：t h i st h e s i sc o n c e n t r a t e do ni m a g ea n dv i d e oc o d i n ga l g o r i t h m e i m a g ea n dv i d e oc o d e ci sd e v e l o p e di nt h i sd i s s e r t a t i o n t h em a i nc o n t e n t gi n c l u d e ： i nc h a p t e r2 ，af i n e g r a n u l a r i t ys c a l a b l ew a v e l e ti m a g ec o d i n ga l g o r i t h mi s p r o p o s e d , t h ee n c o o d e db i t s t r e a mc o n s i s t e do fb a s el a y e ra n de n h a n c e m e n tl a y e r , b a s e l a y c rb i t s t r e a mi sn o ts c a l a b l e ，b u ti sm o l ec o m p r e s s i o ne f f i c i e n t ；e n h a n c e m e n tl a y e ri s 血l l ye m b e d d e db i t s t r e a m ，d e c o d e rc a l lc e a s ed e c o d i n ga ta n yp o i n to f t h eb i b t r e a m i n b a s el a y e rc o d i n g ，l o wf r e q u e n c ys u b b a n dc o e f f i c i e n t sa r ee n c o d e d i n d e p e n d e n t l ya n d l i i g hf r e q u e n c ys u b b a n dc o e f f i c i e n t sa r eo r g a n i z e d 如w a v e l e tb l o c k i ne n h a n c e m e n t l a y e rc o d i n g ，b i t - p l a n ec o d e ci su s e d t h er e s i d u a ld a t ai ss c a n n e df r o ml o w f r e q u e n c y s u b b a n dt oh j l 曲f r e q u e n c ys u b b a n d - t h r o u g ht h i sb i t s t r e a ms t l 3 1 c t u r o , t r a d e o f fi s a c h i e v e db e t w e e ne f f i c i e n c ya n ds c a l a b i l i t y t h ec o d i n gt e s ts h o w e dt h a to u rc o d e c a c h i e v e sb e t t e rr e c o n a t u c t e d i m a g eq u a l i t yt h a nj p e g 2 0 0 0c o d e oa tt h es a m e c o m p r e s s i o nr a t i o i n c h a p t e r3 ，a ni m a g ec o d i n ga l g o r i t h mb a s e d0 1 1l o wf r e q u e n c yw a v e l e t p r e d i c t o ni sd e v e l o p e d a f t e rm u l t i l e v e lw a v e l e tt r a n s f o r m ，t h ee n e r g yo fi m a g ei s c o n c e n t r a t e d0 1 1l o wf r e q u e n c yc o e f f i c i e n t s t h e s ec o e f f i c i e n t sc a nb er e p r e s e n t e d 嬲 f e wb i t s b a s e d0 1t h i sc o n c l u s i o n , t h ef r a m e w o r ko fl o w f r e q u e n c yw a v e l e tp r e d i c t i o n i sp r o p o s e d _ t h el o w f r e q u e n c yw a v e l e tc o e f f i c i e n t sa t eu s e dt or c c o n s l r u e tab l u r r e d i m a g ea st h ep r e d i c t i o ni m a g e f o rt h el t s i d u a li m a g eo fw a v e l e tp r e d i c t i o n , a l l a d a p t i v eb l o c ks i z et r a n s f o r mi su s e d f o u rk i n d so fi n t e g e rb l o c kt r a n s f o r m8 8 ，8x 4 4 8a n d 4 x 4 a r es u p p o r t e d b y t h ec o d e c a n d t h e l a g r a n g e m u l t i p l i e r a l g o r i t h m i s u s e dt os e l e c tt h eo p t i m i z e db l o c kt r a n s f o r m ，t h ee x p e r i m e n t a lr e s u l ts h o w e dt h a t0 1 1 1 c o d i n ga l g o r i t h ma c h i e v e si m p r o v e m e n t so v e rj p e g 2 0 0 0c o d e c i nc h a p t e r4 ，al o wb i t - r a t ec o d i n ga l g o r i t h mf o rh e a d - s h o u l d e rv i d e o s e q u e n c ei s p r e s e n t e d i nl o wb “r a t ev i d e oc o d i n g i ti sd i f f i c u l tt oa s s u r eg o o dq u a l i t yo ft h e w h o l ei m a g e ，v i d e oc o d e cs h o u l da l l o c a t em o r eb i t st ot h er e g i o no fi n t e r e s t f a c ei s 北京交通大学博士论文 t h em o s ti m p o r t a n tr e g i o ni nt h eh e a d - s h o u l d e rv i d e os e q u e n c e ，i ft h eo o d e el o c a t ea n d t r a c kf a c er e g i o ni n r e a lt i m ea n de n c o d ef a c er e g i o nw i t hh i g h e rp r i o r i t y , i tc a n i m p r o v et h es l i b j e c t i v eq u a l i t yo ft h ed e c o d e dv i d e o s o , i nt h i sc h a p t e r , w ef i r s t 坶 d i s c u s sas i m p l eb u tr o b u s tf a c et r a c k i n gt e c h n i q u eb a s e0 nc o l o rh i s t o g r a ma n a l y s i s ， t h i st e c h n i q u ec a nl o c a t ea n dt r a c kf a c er e g i o ni nh e a d - s h o u l d e rv i d e os e q u e n c e b a s e d o nt h i s ，al o wb i t - r a t eh 2 6 4c o m p a t i b l ee n o o d e ti s p r o p o s el , w h i c hc a nb em o r ef a s t a n de f f i c i e n tt h a nh2 6 4j me n e n d e r m o s ti m p o r t a n t l y ，i t0 0 , 1 1 a s s i g nq u a n t i z a t i o n p a r a m e t e ra d a p t i v e l ya c c o r d i n gt of a c et r a c k i n gr e s u l t e x p e r i m e n t a lr e s u l t ss h o wt h a t t h ee n c o d e ra c h i e v e db e t t e rv i d e oq u a l i 姆t h a nj me n c o d e ra tt h es a m ec o m p r e s s i o n r a t i o k e y w o r d s ：【i m a g ec o d i n g ；v i d e oc o d i n g ；w a v e l e tt r a n s f o r m ；h e a d - s h o u l d e r v i d e oc o d i n g ；f i n eg r a n u l a r i t ys c a l a b l ec o d i n 9 1 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：胡虚1 狄 签字日期：洳0 7 年f 2 月f 日 导师签名 协牟 n 签字日期： 名辟l 月日 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：剀剀伙 签字日期：z 。7 年，z 月j 日 致谢 首先应该感谢我的导师阮秋琦教授，本论文的工作是在阮秋琦教授的悉心指 导下完成的。在博士学习期间，阮老师为我提供了良好的研究环境，使我有机会 能够接触到相关领域的最新动向。从博士论文的选题到最终成稿，研究工作的每 一点进步都和他的关怀指导息息相关。阮老师深厚的学养，严谨求实的学风给我 留下了深刻的印象，为我今后的学习和生活树立了典范。在此，特向阮老师和郭 师母表示衷心的感谢。 我从硕士到博士的学习和工作都是在信息所完成的，在此期间，信息所的袁 保宗老师，裘正定老师，肖扬老师，赵耀老师，丁晓明老师，唐晓芳老师和林碧 琴老师等对我的学习和工作都给以了热情的帮助和耐心的指导，在此，向信息所 的老师们表示由衷的谢意。 多年的求学过程，使我从实验室的师弟逐渐成长为师兄，曾经的同窗兄弟姐 妹们有的已经远在异国他乡，有的已经为人父母，还有一些师弟师妹们仍然在刻 苦攻读，感谢他们在论文上给予我的启发和帮助，感谢他们课余生活给予我的欢 乐。祝愿他们学业有成，生活幸福。 谁言寸草心，报得三春晖。感谢我的父母对我的支持和鼓励，是他们的培养 和教育使我能够取得今天的进步。感谢我的妻子对我求学的理解和帮助，愿我们 的生活幸福美满。 第一章综述 1 综述 1 1 论文的研究背景 人类是通过各种感觉器官来探索和认识世界的，在人类的各种感觉中，视觉 无疑占有举足轻重的重要地位，人们常说：“百闻不如一见”，“眼见为实”，这些 都反映了视觉在获取信息中的重要地位。根据心理学家的研究，依靠视觉获取的 信息占人类获取信息总量的6 0 ，依靠听觉获取的信息占2 0 ，依靠触觉获得的 信息占1 5 ，味觉和嗅觉共同占有剩下的5 的信息量。显然，在通过感觉器官 收集到的各种信息中，最主要的是通过视觉获取的信息。 在照相技术，摄像技术发明之前，人们通过视觉获取信息的能力是受局限的。 造成这种局限的主要原因在于缺乏记录和传递信息的载体。人们不能将自己跟睛 观察到的图像原汁原味地传递给其他人，他们只能将自己看到的图像进行加工， 抽象成语言和文字，再以语言和文字的形式进行传播。这种信息传递方式最大的 问题是信息在传递过程中会不断损失，甚至变质。 照相技术，摄像技术的发明，为视觉信息的传播提供了载体。人们可以将看 到的图像以模拟信号的形式记录在胶卷或者录像带上进行传播。然而，以胶卷和 录像带的形式进行视觉信息传播仍然有局限性：首先它所依赖的载体通常是照片， 录像带，电影胶片等有形的物质，这些有形物质的传播会受到时间和空间的限制。 其次，模拟图像和模拟视频不能精确的被复制，每次复制都会造成一定的信息损 失。 数字图像视频技术和i n t e r n e t 的出现革命性的改变了人类社会获取视觉信息 的方式。数字图像视频的载体在本质上就是0 ，1 信号，它完全不受时间和空间 的限制，能够通过i n t e m e t 在瞬间传播到整个世界，并且数字图像和视频能够进 行精确拷贝，可以无限次的被复制而不丢失任何信息。 然而，数字图像和数字视频巨大的数据量成为了视觉信息传播的瓶颈。以标 准清晰度数字电视来说，它的图像分辨率为6 4 0 4 8 0 个像素，帧频率为2 4 帧 秒，每个像素采用3 b y t e 表示，那么视频未经压缩时的数据量一秒钟就达到了1 7 6 9 北京交通大学博士论文 兆比特。显然，如此巨大的数据量是很难被有效传播的，幸运的是，在视频图像 序列中存在着大量的冗余信息，完全可以在不引起图像质量严重退化的前提下， 有效的对数字图像和视频进行压缩，大大的降低数字图像和视频的数据量。 数字图像和视频压缩编码技术，已经经历了半个多世纪的研究，在理论和工 程上取得了大量的成果。从8 0 年代末开始，i t u t 和i s o 等国际组织通过对已有 的图像和视频编码研究成果进行收集和整理，先后制定了一系列图像和视频压缩 编码的国际标准，如m p e g 系列标准，h 2 6 x 系列标准，j p e g j b i g 系列标准等 等。 图像视频编码标准的公布，并不标志着编码算法研究的终结。实际上编码算 法标准化工作的开展，和编码算法的研究是一个互动的过程。一方面，研究者不 断的探索新的更加有效的编码算法，为新一代编码标准的制订提供算法来源。另 一方面，国际标准化组织不断的对编码算法的最新成果加以收集和验证，并整合 成完整的编码标准。与此同时，新的编码标准一旦被制订和批准，工业界就会围 绕新的标准，提供有效的软硬件支持和产品。 在未来的5 1 0 年里，我国的数字电视产业、宽带多媒体应用和第三代移动通 信产业将大规模高速发展，这些都离不开图像和视频编码技术的支持。2 0 0 2 年的 d v d 专利费问题，警示我们信息产业一定要拥有自主知识产权。鉴于信息产业对 音频视频编码技术的需求，我国于2 0 0 2 年6 月成立了“数字音视频编解码技术标 准工作组”，专门负责制定数字音频和视频技术的相关标准，目前已经制定和通过 了音频视频编码方面的标准a v s ，不过a v s 要想取得商业上的成功，成为事实上 的工业标准，除了国家的大力支持之外，还需要国内研究人员的进一步不懈努力。 1 2 小波图像编码技术的发展 早期的小波图像编码算法是在子带编码( s u b - b a n dc o d i n g ：s b c ) 的框架下提 出的。子带编码的基本思想是对变换后得到的不同子带，建立各自独立的统计模 型，根据它们不同的统计特性分别进行量化和编码，这种子带编码算法的一个典 型代表是文献【l 】。 小波变换提供了对图像的空间频率域表示，在变换后得到的小波系数矩阵 中，粗尺度小波系数( 低频系数) 具有较大的空间支撑，有利于表示图像的背景 第一章综述 区域；而细尺度小波系数( 高频系数) 具有较小的空间支撑，有利于表示图像的 局部空间特征，如边缘等。小波变换的这种特点要求我们超越传统的子带编码方 法，提出能够适合这种空间。频率域图像表示特点的新的量化编码算法。 1 9 9 3 年，s h a p i r o 首先做出了开创性的工作。在文献【2 1 中，他注意到在不同 尺度下，小波系数间存在着某种相关性，提出了小波零树假设：对于小波系数x ， 给定一个阈值t ，如果x 的绝对值大于t ，则认为小波系数x 关于阈值t 是重要 系数，反之，是非重要系数。如果一个小波系数在粗尺度下是非重要系数，那么 它在较细尺度下对应的子系数通常也是非重要系数。在这一假设的基础上， s h a p i r o 定义了连续逼近量化( s a q ) 、重要图( s i g n i f i c a n c e m a p ) 、零树结构等一 系列重要的概念，提出了嵌入式零树小波算法( e z w 算法) 。在e z w 算法中， 使用零树根( z t r ) ，孤立零( i z ) ，正重要系数( p o s ) 和负重要系数( n e g ) 四种符号来表示重要图中的小波系数，并对重要图扫描得到的符号流进行算术编 码，最终生成了具有嵌入式特性的编码比特流。e z w 算法首先提出了利用零树结 构来表示不同尺度下小波系数之间存在的相关性，摆脱了传统的子带编码思想的 束缚，为新一代小波编码算法指明了方向。 在e z w 算法的基础上，a s a i d 对小波零树结构的特点作了进一步的研究。 他对隐含在e z w 算法中的位平面编码思想进彳亍了总结，将小波系数所包含的信 息划分为三类：小波系数的符号信息，小波系数的绝对值信息和该系数后代系数 集合的重要性信息。其中，小波系数的绝对值信息又被进一步细分为非重要系数 在当前位平面下的重要性信息和重要系数的位平面更新信息。在文献 3 1 9 ，a s a i d 定义了空间偏振树( s p a t i a lo r i e n t a t i o nt r e e ) 的概念，并在此基础上提出了分级 树集合划分编码算法( s p 玎算法) 。s p i h t 算法具有较低的计算复杂度，在压 缩效率上也大大超过e z w 算法，是一种比较成熟的小波图像编码算法，并且编 码算法的提出者在网上给出了简单实用的验证编码器和解码器，这使得s p i h 算 法成为评价小波编码器有效性的一个基准算法。 在文献【4 】【5 】中，m a r t u c c i 提出了零树熵编码算法( z t e 算法) 。z t e 算法定 义了小波系数块的概念，表示图像中同一空间位置的全部小波系数被组织为一个 小波系数块。通过小波系数块，在图像的空间域表示和小波系数表示之间建立了 对应关系，使得编码器能够根据图像内容的重要性，对不同的小波系数选择不同 北京交通大学博士论文 的量化策略。在z t e 算法中，小波系数的量化既可以像e z w 算法中那样，通过 连续逼近来完成，也可以像传统的编码算法那样，为小波系数块统一指定量化阶 长，编码器甚至还可以对小波系数块中的每一个系数分别给定量化阶长，使用量 化矩阵对小波系数块进行量化。 在z t e 算法的基础上，文献【6 】提出了一种多尺度零树熵( m z t e ) 编码算法。 m z t e 算法对z t e 算法进行了改进，使得编码器能够支持图像质量分层编码。编 码器生成的比特流由几个编码层构成，首先使用最大的量化阶长对变换系数进行 量化，对得到的量化系数和重要图进行编码后输出，构成第一个编码层。从小波 系数矩阵中减去已经编码的量化值，得到差值系数矩阵。对差值系数矩阵使用第 二级量化阶长进行量化，将相应得到的量化系数和重要图进行编码输出，构成第 二层编码，依此类推，可以得到图像质量可伸缩的编码比特流。多尺度零树熵编 码算法最终被m p e g - 4 标准采用，用于可伸缩的纹理编码。 e z w ，s p i h t 和z t e 等算法都是建立在小波零树结构基础上，这类算法被 统称为零树类编码算法，有关零树类编码算法的其它一些文献包括：在文献【7 】中， x i o n g 提出了小波系数的空间频率量化( s f q ) 算法，把小波零树的划分和量化失真 结合在一起进行优化，在比特率绘定的情况下，通过连续的剪枝获得均方差意义 下的最小的失真。m a r p e 在文献【8 】【9 】中提出的p a c c 算法，它将小波系数的信息 划分为重要图，幅值图和符号图三类信息，并采用零树结构来聚集非重要系数， 采用游程聚集来处理重要系数的幅值信息，并对编码符号进行条件熵编码。 通过大量的研究，人们认识到集合划分和重要性排序是零树类编码算法能够 用较低的计算复杂度，获得很好的编码压缩性能的关键，而集合划分不一定非要 在零树结构上来实现。在这种思路的启发下，p e a r l m a n 和i s l a m 在文献l o l 提出 了嵌入块集合划分( s p e c k ) 算法。不同于e z w 和s p i h t 算法那样利用零树结 构来组织小波系数，s p e c k 算法采用了更加简单的零块结构来组织小波变换系 数。每个系数集合包括矩形块内的所有小波系数，对于检测到的重要系数集合， 采用四叉树分解作为集合划分的规则，将重要系数块分解为四个相等的子块，通 过对重要系数块不断迭代分解，来定位重要系数的位置。 。 鉴于s p e c k 算法的诸多优点，该算法在1 9 9 9 年6 月作为一个低计算复杂度 的可选算法被吸收进了j p e g 2 0 0 0 国际标准，在j p e g 2 0 0 0 中，s p e c k 算法的具 4 第一章综述 体实现版本被称为子带分级块划分算法( s b h p 算法) ，编码器可以通过一个命令 行开关来切换到s b h p 编码引擎，取代j p e g 2 0 0 0 默认的编码引擎( 起源于 t a u b m a n 提出的e b c o t 算法) 。s b h p 使用了一个由1 5 个符号组成的h u f f m a n 编码表对s p e c k 算法生成的重要图比特进一步迸行嫡编码，而幅值更新比特和 系数的正负符号比特直接输出到编码比特流中，不再进行熵编码。s b h p 算法在 压缩效率上稍微逊色于e b c o t 算法，但在计算复杂性上却占尽优势。在文献 1 0 】 中，对s b - i p 算法和j p e g 2 0 0 0 ( v m 4 2 ) 的默认算法进行了对比测试，测试结果表 明，在对自然图像和医学图像编码的时候，进行无损压缩时，s b h p 要多使用1 - 2 的编码比特；进行有损压缩时。达到相同的p s n r ，s b h p 算法要多耗费5 - 1 0 的 编码比特。不过s b h p 在编码时间上，要比j p e g 2 0 0 0 算法快4 倍，在解码时间 上，比j p e g 2 0 0 0 快6 倍。 在文献1 1 1 中，h s m g 提出了s p e c k 算法的一个更加复杂的改进算法被称为 嵌入式零块编码算法( e z b c 算法) ，该算法对s p e c k 算法生成的重要性比特， 幅值更新比特和正负符号比特，都进一步使用基于文本的自适应二值代数编码器 进行熵编码。毫无疑问，e z b c 的计算复杂度大大提高，相应的它也获得了更好 的压缩性能。 在文献【1 2 1 中，t a t t b m a n 提出了具有最优截止的嵌入式块编码算法( e b c o t 算法) 。不同于前面提到的零树和零块类算法，e b c o t 算法没有利用不同尺度下 小波系数间的相关性，而是将小波系数划分成固定大小的编码块，每个编码块的 大小通常为3 2 3 2 或者6 4 x 6 4 ，对每个编码块独立地进行位平面编码。在每个 位平面上，e b c o t 算法对编码块要进行三次扫描，依次是重要性繁殖扫描，重 要系数的绝对值更新扫描和清除扫描( c l e a n u ps e a n ) f 8 l 】。 首先进行重要性扫描，扫描的对象是那些本身是非重要系数，但有相邻系数 是重要系数的小波系数。这些系数最可能在当前的位平面上由非重要系数转变为 重要系数，优先对这些系数进行扫描编码能够最大程度的减小失真。 接着进行重要系数的绝对值更新扫描，扫描的对象是那些在高层位平面扫描 中已经被确定了的重要系数，这些系数在当前位平面上的取值被编码输出。 最后进行的是清除扫描，扫描的对象是那些本身是非重要系数，相邻系数中 也没有重要系数的小波系数。这些系数在当前位平面下变成重要系数的可能性较 北京交通大学博士论文 小，因此被放在最后进行扫描。 在e b c o t 算法中，采用了两级编码的框架。第一级编码如上所述，是分别 对每个编码块进行编码，生成相应的嵌入式比特流。在第二级编码中，定义了一 种被称为后压缩率失真优化( p o s t - c o m p r e s s i o nr - do p t i m i z a t i o n ) 算法，这种算 法根据给定的编码比特率约束条件，在各个编码块生成的嵌入式比特流之间进行 码字分配，将对应于每个编码块的比特流，统一打包成一个完整的比特流。e b c o t 算法能够获得很高的压缩比，并且生成的编码比特流具有图像质量分级和空间分 级的能力，这种算法最终被j p e g 2 0 0 0 所采用，成为了j p e g 2 0 0 0 标准的核心算 法。 除了上面几种具有代表性的小波图像编码算法之外，其它的研究者也提出了 一系列小波图像编码算法，如s f w 算法，s c a o w 算法，a g p ，l z c 算法等等。 通过对上面提到的小波图像编码算法的深入分析，不难发现有几点思路可以为后 来者所借鉴： 首先，小波变换是一种有效的变换编码工具，图像变换后的小波系数矩阵具 有一系列非常有用的统计性质，充分利用这些统计性质，能够有效的提高编码算 法的压缩效率。 其次，绝大部分小波图像编码方案都是将连续逼近量化( s a q ) 和位平面扫描 编码有机的结合在一起，来实现图像的渐进传输和嵌入式编码的。 第三，由于线性变换的能量压缩特性，大部分小波系数的幅值都比较小，在 较租的量化阶长下会被量化为零系数( 位平面扫描中的非重要系数) ，尤其是对于 低比特率编码来说，情况更是这样，有效的表示和编码这些零系数，可以大大提 高编码系统的压缩效率。 第四，对扫描输出的符号进行有效的熵编码，能够进一步提高小波编码算法 的压缩效率，比如，在s p i h t 算法的具体实现中，我们发现5 1 2 5 1 2 像素的l e n a 图像，使用算术熵编码和不使用算术熵编码，在同样的压缩比条件下，图像的质 量可以提高o 4 d b 左右；对于1 7 6 x1 4 4 的, d d d y o 序列的第一帧亮度图像，同样压 缩比条件下，图像的质量甚至可以提高1 s d b 左右。 1 | 3 视频编码技术的发展 视频压缩编码是对具有时间连续性的图像序列进行编码。由于图像序列中的 6 第一章综述 前后帧图像内容之间存在时间相关性，可以通过去除这种时间相关性来进一步提 高视频编码的压缩效率。最常用的去除时间冗余度的方法有两种：一种方法是帧 间运动预测技术( 也被称为帧间运动估计和运动补偿) ；另一种方法是空间时间联 合编码( 又被称为3 d 变换编码) 。 在传统的编码方法中，将数字图像简单的看作是二维采样点( 像素) 矩阵， 将视频看成是沿着时间轴连续分布的一系列二维采样矩阵的集合【1 3 】，主要利用 信号的统计特性进行编码，这类编码算法通常被称为基于波形的编码( w a v e f o r m b a s e d c o d i n g ) 。目前大多数的编码算法，如：小波子带编码，分形编码i 向量量 化编码等都可以归为基于波形的编码。波形基编码的基本问题在于如何在给定编 码比特率的条件下，获得尽可能小的波形失真，或者是，如何在一个可接受的波 形失真条件下，得到尽可能低的编码比特率。 研究者希望不仅仅利用图像视频数据的统计特性进行编码，设想对图像视 频内容的理解能够进一步提高编码和压缩的效率，这直接导致了第二代图像视频 编码算法的提出。目前比较具有代表性的第二代编码算法包括两类：基于对象的 编码( o b j e o tb a s e dc o d i n g ) 和基于模型的编码( m o d e lb a s e dc o d i n g ) 。 基于对象的编码是1 9 8 9 年m u s m a t m 在文献 1 4 】中提出的。在m p e g - 4 中， 它作为一种独立的编码研究方向得到了标准的承认。m p e g - 4 定义了视频对象作 为编码的基本单位，视频图像根据人的理解被分解成一个个视频对象，每个视频 对象可以分别用形状( s h a p e ) ，纹理( t e x t u r e ) 和运动( m o t i o n ) 来表述其空间域和时 间域特征，若干个视频对象构建成一幅场景( s c e n e ) 。基于视频对象的编码思想无 疑会给图像和视频编码技术带来革命性的变化，然而令人遗憾的是，这类编码算 法虽然不断有论文发表，并被认为是未来图像视频编码的一个主要发展方向，但 要想实用化仍然需要更加深入的研究。制约基于对象编码算法实用化的一个根本 问题是如何由视频图像序列自动生成视频对象，目前还没有任何一种有效的算法 能够自动准确地从视频序列中提取视频对象。 基于模型的编码最早是f o r e h h e i m e r 在文献 1 5 1 提出的，它的编码思想更加前 卫。在模型基编码方案中，输入图像被看成是实际的三维物体在成像平面上的二 维投影，物体和摄像机在空间中的相对运动导致了图像序列中的帧间变化。如果 能够有效地对三维物体进行几何建模，在编码端根据原始图像提取相应的模型参 北京交通大学博士论文 数，并将这些模型参数编码传送到译码端。在译码端，根据模型参数对几何模型 进行调整，重建出译码图像，就能够大大的提高图像和视频的压缩效率。不过， 由于几何建模，模型参数提取等一系列复杂问题，决定了目前基于模型的编码只 能应用于人脸或者头肩图像等非常简单场景的编码。 憾 絮郛 叫运动编码h 叫1 图 解 叫纹理编码卜h 对卜 合 图 魑 复 编码码流复像 用 用 顷序列 像 l ! k 主寻 嚣 器 刊运动编码卜叫 成 分 析 瞩 刊纹理编码卜_ 叫对h + h 运动编码卜_ 一 l 一一 编码罂 l 一一一一一 解码器 图1 1 基于对象的编译码器框图 r 一一1r 一一1 冽 形状参数 参数输出 模型调整 纹理参数 运动合成一 运动参数纹理跌射 ij 三维模型三维模型 图像分析部分图像合成部分 图1 2 基于模型的编译码框图 第一章综述 1 3 1 三维变换编码 对于视频编码来说，去除时间冗余度的方法，除了帧间运动预测编码技术以 外，另一种思路是空间时间联合编码算法。空间时间联合编码算法将视频序列看 成是在水平方向，垂直方向和时间方向上延展的三维信号，因此这一大类算法又 被称为三维变换编码算法。早在1 9 7 7 年，在文献 1 6 1 0 0 就提出了第一种三维编码 方案，它使用三维d c t 变换对视频序列进行变换编码。随着使用运动估计技术的 视频编码方案的日益流行，三维变换编码算法逐步走向没落，然而近些年来，还 是不断的有不少三维变换编码算法被提出。如三维分形编码，三维子带变换编码 等等。特别是小波变换理论提出后，将小波变换应用到三维变换编码中，引起了 人们广泛的兴趣。三维小波变换编码的主要优点在于通过三维小波变换，提供了 水平，垂直和时间轴上的多分辨率的变换框架，能够很容易生成完全嵌入式的编 码比特流，为各种可分级编码提供了可能性。 在文献 1 7 1 中，t a u b m a n 提出了一种嵌入式的，比特率可伸缩的视频编码方 案。该方案在编码端生成唯一的编码比特流，却可以在解码端根据具体要求，解 码出不同分辨率，不同帧率的视频序列。比特流具有的嵌入式特性，使得在编码 比特流的任何一点截止都能够正常译码。这种算法首先对存在于视频序列中的摄 像机运动进行全局运动估计，并根据估计的摄像机运动对图像进行预先校正，对 校正后的图像进行三维子带分解，对分解后的小波系数，根据不同的子带的统计 特性，灵活的使用不同的量化编码策略。 自从s h a p r i o 提出了嵌入式零树小波( e z w ) 算法后，很快就被推广应用到 了三维变换编码中。c h e n 在文献【1 8 】中提出了用于视频编码的3 d - e z w 算法。在 该算法中，没有进行任何的运动补偿，却也获得了相当不错的压缩性能。t h a m 在文献【1 9 1 中给出了三维零树编码算法的另一种实现，他定义了一种称为 t r i - z e r o t r e e 的数据结构来对三维小波变换后的重要系数进行编码，该算法能够生 成空间分辨率可分级，帧率可分级和比特率可分级的编码比特流。在视频会议， 可视电话等低比特率编码应用中，在同样的编码比特率条件下，能够达到与h ，2 6 3 相似的重建视频质量。 s p i l t t 算法也很快的被推广到三维变换编码中，k i m 在文献 2 0 1 提出了一种 便用3 d - s p i h t 的可伸缩的低比特率视频编码器，该箕法首先图像序列每1 6 帧图 9 北京交通大学博士论文 像分成一个图像组，对水平方向，垂直方向和时间方向分别进行三级小波分解， 然后对分解得到的三维小波零树，使用s p i h t 算法进行编码。在文献 2 1 1 q b ，k i m 又对上面的算法进行了改进，这些改进包括将算法推广到彩色图像，增加了对8 帧和4 帧图像组的支持等等。在文献 2 2 1 q b ，c h o 针对3 d s p i h t 算法的容错能力 问题，对相应算法进行了进一步的改进，提出了一种全特征的，可容错的，可伸 缩s p i h t 视频编码器。 三维小波变换编码存在的主要问题有两点：首先是三维变换编码只能用于运 动不太剧烈的图像序列，如果图像间的运动剧烈的话，图像连续帧间的相关性就 会大大减小，编码的压缩效率会大打折扣。第二，由于沿时间轴分解需要多帧图 像，积累多帧图像会造成一定的时间延迟，这使得三维变换编码通常很难应用于 实时性要求高的环境中。 针对剧烈运动造成三维变换编码压缩效率下降的问题，一个很自然的想法是 能否将三维变换编码和运动补偿技术有机的结合在一起。在文献【2 3 】中，o h m 提 出了一种可行的运动补偿三维子带变换编码器。通过分级块匹配运动估计和插值 运动补偿技术，将图像帧中的像素分成三类：即覆盖像素，未被覆盖像素和运动 物体。在文献 2 4 1 中，c h o i 使用了类似于o h m 提出的运动补偿方案，在时间方向 上，使用h a r r 小波进行分解，对预测差值信号使用d a u b e e h i e s 9 7 小波进行空间分 解。一种新的率失真分析方法被用来在运动向量编码和三维变换编码之间进行比 特分配。最终的实验结果表明，该编码器在1 ，2 m b i t s 速率下，能够获得超过 m p e g - 1 编码器1 - 2 d b 的性能增益。 针对由于积累多帧图像造成时间延迟的问题，k h a l i l 在文献【2 5 】中提出了一种 解决方法。它的基本思想如下：假设在时间轴进行小波分解需要n ( n = 1 6 ) 帧图像。 同时出于时间延迟的考虑，发送端只能存储m 帧( 假设m = 4 ) 。我们可以利用以 前的n - m 帧，加上现有的m 帧共同组成所需的的n 帧图像，只要能确定与后m 帧有关的小波变换系数，并只对这些变换系数进行编码。我们就可以既利用了全 部的n 帧进行小波变换，又不需利用额外的比特来编码传输无关的n m 帧。 1 3 2 运动估计和运动补偿 去除视频序列中的时间冗余信息的另一个有效方法就是运动估计和运动补 第一章综述 偿。从严格意义上，运动估计和运动补偿是两个不同的概念。如图1 3 所示：运 动估计的过程发生在编码端，编码器根据参考图像( 已经编码过的图像) ，通过运 动估计将编码图像分解为运动信息和预测差值图像两部分。而运动补偿发生在解 码端，在预测差值图像的基础上，解码器根据运动预测信息和参考图像( 已经解码 过的图像) ，通过运动补偿生成重建图像。 编码图像 参考图像 ( 已经编码过的图像) 参考图像 ( 已经解码过的图像) 解码图像 图1 2 1 运动估计和运动补偿示惹图 在现有的编码标准中，基于分块的运动估计仍然是被大家广泛接受的主流算 法，算法的设计需要考虑几个因素： 首先，如何确定运动估计块的大小。基于分块的运动估计算法一个潜在的前 提条件是运动估计块内的像素符合相同的运动模型。选用大的运动估计块，同一 个块中包含不同的运动物体，块内像素很难用统一的运动模型来描述；选用小的 运动估计块，能够获得更好的运动估计效果，然而却会导致计算复杂度的提高( 需 要进行更多的搜索操作) ，并且需要耗费更多的比特对运动信息编码。针对这个问 题，b i c r l i n g 提出通过分级运动估计来解决，由最大分块开始运动估计，满足结 束条件则算法停止，不满足估计结束条件的分块，细分为四个子块继续进行运动 估计。在早期的h ，2 6 1 标准中，编码图像以1 6 1 6 像素的宏块为单位进行运动估 计。发展到h 2 6 3 标准，就采用了宏块和块的两级运动估计。微软公司的w m v 9 标准采用的也是宏块和块的两级运动估计。在h 2 6 4 标准中，对于运动估计分块， 提供了更多的选择。可以根据实际需要选择8 1 6 ，1 6 s ，8 8 ，8 4 ，4 8 ， 4 4 等多种大小的块进行运动估计，一个宏块可以支持编码1 6 个运动矢量。 第二，运动矢量的精度问题。为了更加准确地描述帧间运动，人们提出了分 数像素( s u b p i