（通信与信息系统专业论文）基于小波的视频编码器的研究.pdf

摘要 本文在综述视频胍绵标准及压缩技术的发展眦状；f i l 发j 烂趋辨 的基础上，针对特定的应用环境，提出了一种低比特率低时延的 视频压缩系统的解决方案。在系统讨论了小波理论秤图像视频压 缩编码领域的应用后，结俞i ) s i ，技术提冲岵1 1 ：i ) s i ，应川的。史 时低存储需求的改进s p e c k 图像编码器：随后探讨基于小波变换 的实时视频编码器的实现，在论述运动估计与补偿技术的基础上 针对应用空域运动估计补偿技术的低比特率小波视频编码器提出 一种自适应消除块效应的技术；并讨论了基于a d v 6 1 1 芯片的视频 压缩系统的压缩性能：最后提出一种基于d s p 平台具有极低时延 的小波视频混合编码方案对浚方案的压缩性能进行了讨论并给 出初步的硬件实现方案。 关键词：视频编码低时延小波变换s p e c kd s p a b s t r a c t b a s e do na no v e r v i e wo ft h ed e v e l o p m e n to fv i d e oc o m p r e s s i o n s t a n d a r da n dt h et e c h n o l o g yi n v o l v e d ，t h ev i d e oc o m p r e s s i o ns y s t e mf o r t h el o w - b i tr a t ea n dl o w d e l a ya p p l i c a t i o ni ss t u d i e di nt h i st h e s i s w i t h t h e t h e o r yo f w a v e l e tt r a n s f o ma n dr e v e r s i b l e i n t e g e r - t o - i n t e g e rw a v e l e tt r a n s f o r m sb a s e do ns h i f t i n gf r a m eu s e di n i m a g e v i d e oc o m p r e s s i o nf i e l di n t r o d u c e d ，ar l c wr e a l t i m ei m p l e m e n t o fs p e c k a l g o r i t h mu s i n gd s pc h i pi sp r o v i d e d t h e nt h et e c h n o l o g y o fm o t i o ne s t i m a t i o na n dm o t i o nc o m p e n s a t i o ni sd i s c u s s e da n da n a d a p t i v et e c h n i q u ef o rt h ew a v e l e tv i d e oc o d e ct or e d u c et h e “b l o c k a r t i f a c t ”i sp r e s e n t e d a n dt h ei m p l e m e n to ft h ew a v e l e tv i d e o c o m p r e s s i o ns y s t e mu s i n ga d v 6 l lc h i pi sd i s c u s s e dn e x tw i t ht h e p e r f o r m a n c ee m u l a t i o nr e s u l t f i n a l l y as o l u t i o no fr e a l t j m cv i d e o c o d c cw i t h v e r yl o wd e l a y u s i n gd s p 吨小i sp m v i d e dw i t hi t s h a r d w a r e r e a l i z a t i o np r o j e c ta n dt h ee x p e r i m e n t a lr e s u l t sr e l a t e dw i l ib e d i s c u s s e d k e y w n r d ：v i d e oc o m p r e s s i o n l o wd e l a yw ts i e c kd s i 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及所取得 的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论 文中不包含其他人己发表或撰写过的研究成果；也不包含为获得西安电子科技大 学或其它教育机构的学位或证书而使用过的材料。与我一起工作的同志所做的任 何贡献均己在论文中做了明确的说明并表示了谢意。 本人签名：旋差謦日期：兰丝! 堡 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或 部分内容，可以允许采用影印、缩印、或其它复制手段保存论文。 ( 保密后的论文在解密后遵守此规定) 本人签名：穆兽趁 日期：! ? 年9 导师签名：至逸墨至 日期： 垫翌垒：基 筇一章绪论 第一章绪论 1 1 引言 视觉是人类获取外部信息的最为重要的途径，超过6 0 的信息是通过视觉获得 的。随着信息技术的发展图像，视频信息的数字化表示带来了传输过程r 中继 再生、易于加密、抗干扰能力强等诸多优点但是图像视频数字化表示所需要的 大量比特数不利于信息的存储与传输，成为阻碍人类有效地获取和利用图像，视频 信息的瓶颈。图像视频编码的主要目的就是在保证一定重构质量的前提下，以尽 量少的比特数表征图像视频信息。经过不断的努力，视频图像编码从单纯建立在 香农( s h a n n o n ) 信息论螭础上的而l i ：j 像索点( 块) 的第一代编码技术已经发腱到 并h i 局限于香农信息论的椰架，而址综合考虑人类； ! i ! 傲系统特征，m 内弈 ( c o n t e n t b a s e d ) 进 】：编码的第二代的编码技术。l i i ：i 向内容的第二代编码技术丛本 思想足刈l 司像进行颧处娜撒槲视觉般感扎刈h 像进行5 y , l ；q ) i j 分圳j l ! j ：编，址 订视频图像编码研究活跃的领域之。 ! - j i i 卧q i k l ，通信技术平j i l t i = 9 绺救术也扶得了l 之足的发煺，他人们办使、伙挫地 获得图像视频信息成为可能。考虑到目前传输系统的传输容量的限制，低比特率 视频传输的应用r 益获得重视如通过p s t n 网传输的可视i u 话、因特恻l ：的多 媒体业务，特别是无线移动网上的视频业务，随着3 g 移动通信系统的商业化将会 有广阔的发展空间。为此，一些国际组织如国际标准化组织i s o 、国际电信联盟 l r r u t 棚继决定，i ：发新的适川j ：低比特率或极低比特率丰见频应川的幽际标准。1 9 9 5 年国际电信联盟提出的针对低比特率应用的h 2 6 3 及后继的增强和修订版，是一 种基于像块的d c t m c 混合编码方案，应用了大量国际上低比特率视频的研究成 果，取得了很好的压缩效果。相应的。国际标准化组织提出了不仅仅针对低比特 ：棼视频应川，而是针对r _ 1 视频应脚的基于内容的视频编码框架m p e g 4 。h i ：l i f 。 工程上实现的m p e g 4 视频编码器仍然是基于像块的混合编码器。在低比特率的 条件一i - ，以像块为基础的编码技术，如分块d c i 变换硐i 运动q i ! i i 与补偿在重构图 像上都会引入方块效应和b 蚊噪声。冈此，需要进步的一l i 作米改善币构图像的 罔像质毓。l 个l _ | ；i = 纪8 0 年代首次将小 j _ i 分析t j l 入丁h 像处理领域，近f j l ；i 水， 随着小波理论研究的一i 断深入，小波恻像处理技术的成川研究也l l 跺成熟。丛j i 小波的图像视频编码技术可以有效克服使用余弦基( 分块d c t 变换本质上是余弦 f o u r i e r 变换) 描述非平稳图像信号所带来的缺点其趣好的局部时频特1 l , l - 4 ：i i i , q 在 的多尺度j i 7 1 ：结构使得丛j ：小波的图像视频编f i j 5 器小仪儿订良灯f 内i 笨失兵特- i i ， 易于实现输出码流的全伸缩特性，代表了图像视频编码的未来发展方向。 尽管h 2 6 3 系列视频编码标准是针对会话型多媒体业务而制定的视频编码传 基于小波的视频编码器的研究 输标准，i l j 以实现川，o 问双向实寸的视频通信，适合二j ：绝人多数典州低比特率f n 实时视频系统。但是在某些特殊的应用场合，如某些军用的无线视频系统，受限 于无线系统中信道带宽。需要在实现一定图像重构质置的前提下，对视频数据进 行大压缩比豹压缩以减少数据量。同时，对信息的实时性也有较高要求，相比之 下，h 2 6 3 视频编码器的1 5 0 m s 的处理时延无法满足这些无线视频系统的要求。 考虑到分块d c t 变换的局限性并结合当前先进的图像，视频编码技术研究玎发具 有极低时延的实时小波视频编解码系统将具有极大的实用价值。 1 2 视频编码技术的发展 数字视频栩对于其它的数据类酗，所包含的数据量足i 人的。以一个n t s c 制 式的彩色电视信号来说，其光强、色彩和色饱和度分量即卜，一p 分量的带宽分别 为4 2 m h z 、1 5m i i z 和0 5 m i z ，采样后进行8 b it 最化，得到的原始数字电视信 号的带宽将达到9 9 2 m b p s ( 采样j ! l f 率殴为2 ) 。表示视频所需婴的人量数据乖质+ ： 是高度相关的，这螳相关性必然引起信息的冗余，如经常提到的视频的帧内空n u 信息冗余莉1 1 9 贞阳：j 时间信息冗余。除空问冗余和时间冗余之外，数字视频数据q 1 还 存在信息熵冗余、结构冗余、知识冗余和人类视觉上冗余，上述信息的冗余就是 视频压缩的出发点。视频压缩编码的主要目的就是尽可能地消除视频数据中的信 息冗余，在保证一定重构质量的前提下，以尽可能少的数据量来表征视频信息。 第一代的视频编码技术以香农信息论为出发点使用特定的统计概率模型描 述视频信源，对像素或像素块进行编码以消除视频数据的相关冗余，并最终达到 压缩数据量的目的。其中具有代表性的技术有熵编码、变换编码、预测编码以及 运动估计补偿技术等。这些技术的应用极大地促进了多媒体产业的发展。并基于 此制订出了第一代的国际视频压缩标准m p e g - 1 、m p e g 一2 、h 2 6 1 及h 2 6 3 等。 作为霞构视频图像的最终接受者人类视觉系统f ：j ；l l - 均匀性和非线性，和 信息接收者的主观特性及由此造成的视频信息内重要程度的差异。面向像素( 块) 的第一代的视频编码技术并未考虑，其技术的出发点仅在于如何消除数据上的冗 余，因而限制了其压缩性能的进一步提高。而第二代视频编码技术在编码l 卜f 充分 考虑人眼视觉特征对视频图像重构质量判别的重要影响，以消除视频内容冗余为 手段，最终达到数据压缩的目的。面向视频内容编码作为其根本特征，也代表着 新一代视频编码技术的发展方向。这里也可以引入编码方法的层次概念来加以 说明，将基于像素去除数据冗余的第一代编码方法称为低层编码方法；在第二代 去除内容冗余的编码方法中，将基于对象( o b j e c t - b a s e d ) 的方法称为中层编码 方法，将基于语义( s e m a n t i c s b a s e d ) 的方法称为高层编码方法。 在基于对象的视频编码中，视频对象取代像素( 块) 成为基本编码的单元。 基于对象的视频编码的主要技术涉及场景的分析和对象的划分、视频对象的形状 第一章绪论 编码、纹理编码和运动编码。尽管以面向对象编码技术为核心已经形成了新一代 的国际视频编码标准m p e g - 4 ，但是面向对象的编码技术并未完全成熟仍存在大 量的工作需要完成。 1 3 视频编码技术的国际标准 自国际标准化组织i s o i e c 的运动图像二争家组( m o v i n gp i cl u r ee x p e r tg r o u p ) 1 9 9 3 年制订针对数字存储媒体的m p e g 一1 多媒体标准以来，先后有针对数字广播、 高清晰度电视和数字视盘的m e e g 一2 标准，针对极低比特率( 小于6 4 k b p s ) 的多 媒体通信。实现多产业多媒体融合的m p e g 一4 框架。及国际电信联盟i t u - t 制订的 针对可视电话、会议电视和i s d n 等环境下的低比特率视频应用制订的h 2 6 1 、 h 2 6 3 系列标准。其中针对低比特率应用具有代表性标准是h 2 6 3 标准和m p e g 一4 。 一、h 2 6 3 标准”1 1 9 9 5 年，i t u 在总结当时视频编码技术的最新进展的基础上，针对低比特 率视频应用制定了h 2 6 3 标准，标准的设计的目标定义为在低比特率的条件下 提供中高质量运动图像质量。随后的几年中，i t u 对进行了多次补充以提高其编 码效率，增强编码功能，进一步的补充修订的版木有1 9 9 8 年的h t2 6 3 + l “，2 0 0 0 年的h 2 6 3 + + 。h 2 6 3 系列标准特别适用于在p s t n 网络、无线网络和因特网 等环境下提供视频业务，并已经被多种可视电话系统采纳为终端标准。 作为h 2 6 11 4 1 视频标准的后继h 2 6 3 标准信源编码算法的核心仍采用 h 2 6 1 标准中 所采用d p c i d c t 的混合编码方案，将编码过程分为帧内编码和帧 问编码两个部分。帧内使用改进的d c t 变换并进行置化，帧闻采用运动矢量预 测补偿技术，使用改进的变长编码技术( v l c ) 对量化数据和运动矢量进行熵编 码，得到最终的编码结果。相比h 2 6 1 标准，h 2 6 3 标准增加了输入信源格式的 种类，并采用了半象素点精度的运动估计，提高了预测的精度，同时也就降低 了编码速率。除此之外h 2 6 3 还在h 2 6 1 基本编码算法的基础上提供了下面四 种可选的高级编码模式，以进步提高编码的效率。 ( 1 ) 非限定运动矢量模式，扩展运动矢量范围，允许运动矢量指到 图像外使边界的像素可以用来预测不存在的像素。 ( 2 ) 基于语法的算术编码，耿代可变长编码器进行熵编码可以获得 更高的编码效率。 ( 3 ) 高级预测技术，采用四个予块( 8 女8 ) 的运动矢量取代一个宏 块( 1 6 1 6 ) 的运动矢量。同时采用重叠块运动补偿技术预测p 帧中的亮 度分量，减少了方块效应。 ( 4 ) p b 帧模式，将前向预测的p 帧和利用p 帧双向预测的b 帧作为 一个编码的单元，在不显著增加比特率的条件下，将l i l ! ；i 率提高了一倍。 基于小波的视频编码器的研究 其后h 2 6 3 修订版本中，分别针对抗误码能力、图像主观质量的改善和可 分级扩展的编码结构提出诸如分片结构、独立分段解码和数据分割、去方块滤 波器和增强层编码等新技术。总而言之，h 2 6 3 系列标准代表了面向像素的第一 代的编码技术在低比特率和极低比特率所能达到的最高的水平。值得注意的是， h 2 6 3 标准支持的是低比特翠条件下的会话型视频服务，其编解粥器花域融编解 码并传输的条件r ，系统仆寸延i u + 以小j ：1 5 0 m s 。 二、m p e g 4 标准【5 】 1 9 9 2 底，国际标准化组织的m p e g 专家组决定开发新的适应极低比特率( 即 小于6 4 k b s ) 环境的音频视频( v a u d i o v i d e o ) 编码的国际标准，即m 1 1 e g 一4 。 但由于随后的 1 2 6 3 系列标准的成功，并考虑到a v 领域中游赞电予、通信和计 算机( 3 c ) 在数字化的基础上交叉融合的趋势后，最终m p e g 专索组将m p e g 一4 标准定位为多媒体的多领域应用的一般性框架，而不仅仅针对极低比特率的多 媒体通信。m p e g - 4 的第一个版本在1 9 9 9 年推出，即国际标准i s 0 i e c l 4 4 9 6 相比于先前制定的m p e g 标准，m p e g 一4 标准的目标定义为支持低比特率的多 媒体通信和多产业的多媒体通信的综合。因此，m p e g 一4 遵循更为灵活的编码工 具框架体系，采用更为丌放编码系统设计，可以针对不同的应用环境采用不同 的编码算法来实现低比特率多媒体通信，并进一步地支持多产业多媒体通信的 融合。也就是说，m p e g 4 标准在支持高效视频压缩编码的同时，更注重对独立于 网络的鉴于音频视颏对象的交互性，即功能上支持丛于内容f f j 交卫：。 在视频编码方面，m p e g 4 采_ i 了不同以往的编码技术一一越于视频内容 ( c o n t e n t b a s e d ) 的面向视频对象v o ( v i d e oo b j e c t s ) 的编码技术。定义在 一定的视角下，v o 的n 个形状规则的、具有一定纹理剖亟的组合的连续运动序 列为视频对象面v o p ( v i d e oo b j e c tp r o f i l e ) 。v o p 描述了v 0 在一定视角条件 下的表面特性。m p e g 4 将v o p 作为基本的编码单元，v o p 的编码主要由两部分组 成；个是形状编码，另一个是纹理和运动信息编码。当前获得应用的】i p e 6 - 4 编码器使用了基于矩形窗口的v o p 分割的形状编码技术和基于8 8 像素块的经 典d c t 方法或自适应d c t 方法的纹理编码技术，但发展方向是基于小波变换的 v o p 分割和和基于视觉特性的纹理编码。m p e g 4 t 为了支持输出码流的可伸展性， 采用了所谓的视频对豫层v o l ( v i d e oo b j e c ti , a y e r ) 的概念，通过多层v o l 分别 的编解码来实现输出码流在时域、空域及质量的上可伸缩性。同时，m p e g 4 编码 器通过多v o p 的多通道并行编码提高了编码的速度和效率。 总之，m p e 6 4 作为新一代视频编码标准实现了基于像素的传统编码技术向 基于内容的先进编码技术的转变。其中提出的新的视频编码理论和技术也是现 在视频编码研究的热点。需要指出的是，当前实现m p e g - 4 的编码方案仍是基于 子块的混合编码方案，完全实现m p e g 一4 提出的目标还有大量的工作需要完成。 第一章绪论 1 4 本文的研究内容 综上所述，目前的视频压缩标准及压缩技术都是针对一般的多媒体应用而制定 或是开发的，缺少针对特定环境应用的实时视频压缩系统的研究开发，文中在研 究现有的一种基于小波的实时视频压缩系统的基础上，有针对性地提出一种基于 小波的混合实时视频编码方案，并给出基于d s p 的硬件实现方案。 文中将主要完成如下的工作：， 系统地讨论小波理论及基于提升结构的可逆整数小波变换。 ；系统耀讨论小波变换在图像编码中的应用及几种有代表性的低复杂度的小 ， 波罔像编码器 捉i l 卜。种旗j ：i ) s i ，应川的实时低存储需求f i ，j 改进s i ) | ! c k 卯浊 系统地讨论运动什计。哥补偿技术，并针对应用空域运动 i i t i i , t 补偿技术的低比 特率小波视频编码器提出一种自适应地消除块效应的技术 讨论基于a d v 6 il 芯片的视频压缩系统的压缩性能并给出仿真结果 抛 l ：一种些1 ：【) ”- 、卜仓l 有极低时延的小波视频姚含编璐办案，并讨论其压 缩性能并给出初步的硬件实现方案 基1 j 小波的视频编码器的研究 第二章小波分析的基本理论 作为多个学科共同研究的结果，小波分析理论以其在信号分析q 1 所表现j l j 来的 优良特性成为了学术界和工程界中的多个学科和领域中强有力的研究工具。 小波分析弥补了f o u r i e r 分析的不足。在经典的信号分析中，f o u r i e r 变换无法 同时得到信号的时域和频域特性，而小波变换采用可变的时一频窗口可以对信号 进行局部性分析，此特性优于f o u r i e r 分析。由于小波分析在时域和频域同时具有 良好的局部化性质且可以对高频成分采用逐渐精细的时域和频域取样步长，可以 “聚焦”到对象的任意细节，从而被誉为“数学显微镜” 2 1 小波与小波分析 同f o u r i e r 变换相同，小波分析的基本思想也是用一组函数去表示或逼近擐信 号或函数，这函数族称为小波( 站函数) 它是通过一个摹本小波嘲数的不同尺 座的f 移删仲缩构成。对小波的定义_ f c i li ? ： 定义l ：设上2 ( r ) 是一个可测的、平方可积的一维矢量函数空间r 为实数集。 小波是山满足f 。w ( x ) d x = 0 的函数( x ) 通过平移和缩放而产生的一个函数族 妒。j ( x ) ： 。 嘣垆i 口r 杪( 孚) ，啪j r 口o ( 2 1 ) 虬一( x ) 称为分析小波( 爿力a 咖加酽胎即j p f ) 或连续小波，当且仅当母小波函数( x 1 的f o u r i e r 变换痧( x ) 满足以下可容性( a d m i s s i b i l i t y ) 条件： 铲e 警如 l ，则称为松框架( l o o s e ) 。紧框架的小波表示的冗余度较小，具有更好 的重建特性。小波基也可以根据其正交特性分为非正交( n o n o r t h o g o n a l ) 小波、 半正交小波( s e m i o r t h o g o n a l ) 和正交( 0 r t h o g o n a l ) 小波，分别有着不同的应用。 丛1 ：小波的桃频编码器的研究 2 2 多分辨率分析和m a l l a t 算法 l 、多分辨率分析( m u l t i - r e s o l u t i o na n a l y s i s ， d 跏) 多分辨率分析( r 尼o 的概念由m e y e r 和m a l l a t 引入并出m a l l a t 创造性地将 m r a 理论成用_ _ f 二小波分解与重构的算法构造上。这里首先弓 入m r a 的定义： 定义4 ： 平方可积的空间f ( r ) 的一系列的闭子空问 。称为r ( r ) 的一 个多分辨率分析，当且仅当满足： ( 1 ) 一1 气单调性：y ， _ + 1 ，z ( 2 ) 渐进完个性：ny ，= 0 ，u 矿，= l 2 ( r ) ，e f e z ( 3 ) _ l 【缔f 不变f t ：厂( ，) 矿，铮f ( 2 d 矿，z ( 4 ) 、卜 ；4 i 变。e e ：( ，) 矿，昔( ，- k ) ev j , , 1 ，k z ( 5 ) 髓施，圭存在性：存舀：( x ) 圪，使街移拈一女) k 。她的r e i s z 丛。 多分辨分析( 删) 定义了一个对r ( r ) 逐渐逼近的空问序列此 即有 j 熟巧2 总_ 2 2 ( r ) 。则每一子空间都对应着由同一函数经过伸缩和平移形成的 一组基妇 。 其生成公式如下： 妒 ( 工) = 2 - m 0 ( 2 7 x t ) ，女z( 2 7 ) 称庐( z ) 为尺度函数，y - c ( x ) v oc _ ，而l 动( 2 x 一七) l 。：足_ 的牡故柏 ( x ) = 2 ( 2 x - k ) ，h 。，2 ( z ) ( 2 r ) 其中，12 ( z ) 表示平方可和序列。这个方程称为双尺度方襁，i q 以证明( z ) 出该方 程唯一确定。 由m r a 定义可以看出，对于任意一个函数，( 工) l 2 ( 足) 可以用( 羔) 在矿，上的投 影弓的来逼近- 厂( x ) ，b pl 2 ( r ) = 一l i m 。v t ，则有，( x ) ；一l i m 。p t 为表示相邻子空间巧 和_ + - 的投影e 和0 “的差异，定义空问序列 j 埘满足_ + 。= _ 。，且 _ 上，即矽f 是_ 在_ + - 中的正交补。则可将空间r ( r ) 分解为彬f 和_ 的直和。 笙兰里尘塑坌塑塑堡术型! 堡上 r ( 月) = o 一，o o + 。o = 巧o o ( 2 - 9 ) t - j 显然，空删包含了从，层次逼近，一l 层次所需要的细节”信息。空自j 序列眈 也是由一个函数妒的伸缩和平移而构成的。即该子空i r j 的基是 ，( x ) = 压妒( 2 工一，) ，扣：特别地，将函数；f ，称为小波函数。 2 m a l l a t 算法 ，在t 述的多分辨率分析纳理论蜷 i i f 上，m a1 a t 设计了丛。j ：滤波器细i 的m 交小 波分解和重构算法m a u a t 算法，可以实现信号的多分辨的快速分解。搜两个 铎予分别为： 一：厂= 厂( f ) ，( f ) ) = c ，。 朋， z ( 2 t o ) d ：，= ，p ) ，矿。，( f ) ) = d 。 m ，竹z ( 2 - 1 1 ) 则爿：，和珑，分别对应，在y ，和空问上的投影系数，可以证明分别存在一组 具有完全重构特性的低通滤波器a ( m 和高通滤波器g ( n ) 满足如下的关系式： c w ，。= ( i 一2 珂) c m ，月z ( 2 1 2 ) d ，= g ( 一2 n ) c m ，h z ( 2 t a ) t z 相应的合成表达式为 c 。= h ( k 一2 n ) c “+ 占( k 一2 ) 巩扎 m ，n z ( 2 1 4 ) 女t z e z 据此，可以得到利用滤波器组进行信号的正交小波分解与合成的框图如图 2 1 所示，其中x ( z ) 为输入信号，对应时域函数为x ( n ) 。小波变换后重建输出为 y ( z ) 对应时域输出为y ( 甩) ，厅( z ) 、g ( z ) 分别为低通和高通分解滤波器，石( z ) 、季( z ) 分别为低通和高通重建滤波器。 图2 1 正交小波分解与合成 基丁小波的视频编码器的研究 2 3 基于提升框架的可逆小波变换 m a l l a t 算法通过引入多分辨率分析的概念，说明了小波变换和予带滤波器之 间的固有联系，使信号在小波基函数上的内积运算转变为与小波滤波器之间的卷 积运算，并给出了构造双正交小波的一般方法和快速小波变换的实现方法。由此 产生了第一代的构造小波如d a u b e c h i e s i 7 1 小波。但是这种构造小波滤波器的方法计 算复杂度很高，大量的浮点运算对的硬件速度和存储空间的需求都不利于硬件上 的实现。 九十年代中期，w s w e l d e n s 提出了一种全新的通过提升( s h i f t i n g ) 方法3 1 构 造小波的思想，在多分辨分析的低通滤波器和高通滤波器之间建立联系。以低通 滤波器信号表示相邻两个空间的尺度函数的联系，以高通滤波器信号表示小波函 数和尺度函数的联系。在提升框架内，小波滤波器的构造通过有限步的预测_ 秘更 新来实现。快速提升小波变换算法作为第二代构造小波的新方法，能实现快速的 小波滤波和重建。同时，有效地降低了运算时所需的额外存储空间，特别有利于 硬件的实现。 基于提升框架的小波变换分为三个步骤：分裂( s p l i t ) 、预测( p r e d i c t ) 和 更新( u p d a t e ) a 首先将序列h h 】分割为偶数序列x ，【n 】和奇数序列x 。 ”】，由于序 列x 】内部存在一定的区域相关性，使用其偶数序列x e 聍】对其奇数序列x 。即 进行 预测，并定义预测误差( p ( ) 为预测算子) 为d n 1 ，则 d m = x 。一p ( x ，嗍) 。( 2 1 5 ) 预测后生成序列x 印】空间域的高频分量d i n 。然后使用预测误差d 行】对偶序列 z 。【九】进行更新生成包含序列x 【 的低频分量c 【n ，设u ( ) 为更新算子则有 c n 】= x 。【”】l 7 ( d 月 )( 2 1 6 ) 经过有限步的更新和预测，最后得到的偶序列为尺度系数，奇序列为小波系数。 其分解过程是完全可逆的。基于提升框架的小波分解和重构结构如图2 2 所示。 其中，尺度系数( 偶数序列) 和小波系数( 预测误差) 经过有限步的反预测和反 更新，然后合并所得的奇偶序列就可以重建原始信号。其中 # ，u ，i = 1 , 2 ，肼，m n 分别是预测算子和更新算子， 第二章小波分析的基本理论 吐【 ，c ， h i ，f - 1 , 2 ，月，m n 分别是第i 步预测更新后预测误差和更新结果。 偶数 奇数 ( a ) 提升框架的小波丹解 ( b ) 提升框架的小波重构 2 2 基于提升框架的小波分解与重构 下面是最常用的三种基于提升结构的小波变换的生成式： 5 3 s p b d n 】= d o 【。 一l 导( 。【。+ l 】+ 。 。】) i s ”】= s 。 一】+ l ( d 一+ t 】+ d ”一- 】) + ；j d i ”】= d o 】一j d f n 】 9 7 一m 序列 卑列 ( 2 1 7 ) ( 2 1 8 ) m 】_ 引小l 专“n + 2 】蝇旷l 】) - 9 ( 叭川。 + 到 ，、，、ll ，。l 5 【”】= 5 。 ” + l ( d 【”】+ d ”一1 ) + 主j ( 2 1 9 ) 列 d 射孙州 卜叫帅 阻 + + m 吣 刊 州 州 基丁小波的视频编码器的研究 2 4 图像的二维小波变换 l 、图像的二维小波变换的实现 m a l l a t 提出的多分辨塔式分解与合成算法极大地促进了小波变换在工程上 的应用，随后提出的基于提升结构的小波变换方法进一步地扩展了小波的应用范 围，尤其是在图像视频领域中的应用。上面两节内容主要基于一维数字信号进行 分析，对于二维的数字图像信号，离散小波变换可以通过在水平和垂直方向上分 别应用h ，g 滤波器或提升框架进行一维滤波来实现。数字图像二维离散小波分析 通过h ，g 滤波器的实现如图2 3 所示。 ( a ) 二维离散小波分解 列滤波 i行滤波 图 图 图 圈 ( b ) 二维离散小渡分解 图2 - 3 二维离散小波变换的实现 二维离散小波变换每次分解产生一个低频子图l l 和三个高频子图，即水平子 图l h 、垂直子图h l 和对角子图h h 。下一级的小波变换是在前一级产生的低频子 图的基础上进行的，如此重复进行即可实现多级小波分解。对一幅数字图像进行 三级小波分解的过程如图2 4 所示。图2 - 5 显示了5 1 2 5 1 2 盼w o m a n 图像的两级小 波分解后的结果及相应子带在二维空间上的分布。对图像的进行n 级小波变换将生 成3 + + 1 个子带，分别是最低频子带三三。与其它高频子带日、皿，和 第二章小波分析的基本理论 h ( f = 1 , 2 n ) 原始 图像 图2 4 三级小波分解示意图 l l 3 l h 3 j 啪 l l 2 l h 2 l h l h l 2h h 2 h l lh h l ( a ) 原图( b ) 小波变换后( c ) 相应的小波子带分布 国2 - 5 图像的小波变换示意图 上述关于小波变换的讨论中，假定进行小波变换的信号为双边无限长的数字 信号，而实际的图像信号的长度总是有限的，对有限长度的信号进行小波滤波， 会在信号不连续的边界上产生边界效应，使小波分解的系数在边界处存在突变的 锐峰，重构时引起图像边界处的失真，降低图像的重构质量。而且在编码过程中 需要产生相应的编码码子，也降低了压缩效率。因此，在实际的应用中，需要对 图像信号进行边界扩展。目前常采用的边界扩展方法主要有周期扩展、边界非零 扩展、重复边界点扩展、对称扩展和反对称扩展等。一般的情况下，周期扩展的 重建质量较好，但常会在边界处引入奇变，产生更多的高频系数，降低了编码效 率。而其它几类边界扩展方法则基本保持了分解后信号边界的相对平滑。相比之 下，对称扩展的重建的图像质量较好。在未做特别说明的情况下，文中以下章节 中的小波变换均采取对称扩展作为边界扩展的方法。 基丁小波的视频编码器的研究 2 、图像的小波变换编码优点 相比于最早应用于图像处理领域的工具基于f o u r i e r 变换的d c t 变换，小 波变换更适合于进行图像处理。从本质上讲，绝大多数的图像信源都是高度非平 稳的，并不能很好地使用g a u s s 过程来刻画，并且图像中的一些突变结构例如边缘 信息远比图像平稳区域重要，使用余弦基作图像信号的非线性逼近其结果并不是 最优的。而小波变换本身就是针对分析非平稳信号而产生的，作为一种时频分解， 其内在的多分辨特性使之完全可以反映图像的特定的空间范围和特定的频率范围 内的信息。 由于传统的d c t 变换具有良好的去相关特性和能量压缩性能，实际应用中存在 着快速实现d c t 变换的算法，使之成为上一代图像视频压缩标准的核心。但是基 于分块d c t 变化的图像视频编码存在不可避免的方块效应，尤其是在低比特率的 条件下。而相比于d c t 变换，小波变换在图像视频编码领域具有以下的优点： 1 ) 小波变换具有熵保持特性，能有效地改变图像能量的分布而保持原有的信 息。 2 ) 小波变换具有能量压缩特性，可以将能量集中于低频子带。 3 ) 子带内的小波系数具有聚类特性，子带间小波系数具有相似性，有利于获 得很高的编码增益。 4 ) 作用于整幅图像的小波变换，消除了图像的全局相关性同时避免了方块效 应的产生。 5 ) 内在的多尺度多分辨率特性，有利于产生渐进的具有伸缩性的图像编码码 流。 第三章基于小波的高性能幽像编码器的研究 第三章基于小波的高性能图像编码器的研究 对于一个视频编码系统来说，压缩性能的优劣取决于其消除视频数据在空间 上、时间上和其它方面上冗余的程度。目前绝大多数的视频编码器采取的主要方 法还是通过帧内编码消除空间冗余，通过帧间编码消除时间冗余。帧内编码本质 上是一种图像编码方法，一个视频编码器所采用的帧内编码方法( 即图像编码的 方法) 将直接影响到它的性能。 本章将首先论述当前基于小波的高性能图像编码器所使用的先进的编码技术 和编码方案，而后提出一种针对实时图像视频压缩系统应用，基于d s p 平台的低 内存消耗的改进s p e c k 算法，并讨论其压缩性能。 3 1 小波图像编码的先进技术 对于图像压缩编码系统而言，编码的目的在于以尽可能少的比特数来获得保 真度尽可能高的重构图像。对于基于小波的图像编码器来说，就是如何更好地利 用图像小波系数固有的统计特性，以更好的策略来组织和表示具有塔式结构的图 像小波系数。仔细观察当前优秀的基于小波的图像编码器阻”】，可以总结出下面几 种在设计高性能小波图像编码器过程中所涉及的先进编码技术： 1 ) 空间小波树【9 。”。 如图3 1 所示，由于小波变换系数的空一频局部化特性，每棵小波树对应 原图中的一个像块，与分块d c t 中的像块有所不同的是，空间小波树对应的 像块的大小与小波分解的级数相关，而且空间小波树内的小波系数有着不同 的统计特性。 ( a )( b )( c ) ( a ) 多级小波分解子带分布；( b ) 空间小波辩；( c ) 对应( b ) 中像块在原图中的位置 图3 - 1 图像的多级小波分解及小波图像的空间结构 空间小波树的三个分支包含着图像不同方向上的时频信息，在视觉系统 中拥有不同的权重：相邻空间小波树间存在着继承自图像空间相关性的相似 性，可用于小波系数的预测；空间小波树上系数幅值按频带衰减的规律，有效 地支持渐进式编码和分层量化：空间小波树内在的多尺度特性，可以实现图像 基丁小波的视频编码器的研究 的渐进性传输，可以有效地支持感兴趣区域( roi ) 编码和嵌入渐进式编码 等先进编码的概念。 2 ) 面向比特面的编码技术一。m 传统的编码器如jp eg 和mpeg 2 对量化后的系数逐一进行熵编 码，而面向比特面编码则采用将编码信源排列在比特面上，优先编码所有信 源的高比特位。这一方法对图像小波系数尤其适用，对图像小波系数而言， 幅值大的图像小波系数更为重要，而高位比特在图像小波系数中更为重要。 对图像小波变换后产生的小波系数进行面向比特面编码时，需要对小波系数 的位置信息、符号信息和幅度信息进行编码。由于空间小波树的存在或小波 聚类的特性，使小波系数的位置信息可以隐含在预置的编码路径中，而预置 的编码路径将对编码器的性能产生重要的影响。 此外，在基于小波的图像编码器中，基于上下文的自适应算术编码技术f “j 取代h u f f m a n 编码器进行无失真的熵编码获得了广泛的使用。图像小波系数 存在着重要的统计特性，如子带间小波系数的衰减特性、子带内小波系数聚 类特性等，使设计出有效的统计推断模型以更好地估计编码符号的概率，进一 步降低信源熵成为可能。考虑到图像信源的非平稳性，自适应技术的应用将 极大地改善算术编码器的性能。对于非平稳图像所产生的数据流，条件概率分 布或者说局部概率分布会因所处区域位置的变化而变化，使用局部自适应模 型所收集到的局部概率估计可以很好地跟踪局部统计特性，比全局自适应模 型所收集到的概率估计模型将更为稳健。实际应用中，多采用基于上下文的 局部自适应模型的算术熵编码，采用的概率模型的上下文通常是由当前编码 像素的周围节点状态或和其父节点的状态来确定。一般来说，由父子状态链 定义的概率模型的数目极大，但这些模型的统计推断通常是高度聚类的，因 此在实际的编码过程中，通常将相应的模型归并为几个典型模型，可以在有 效地提高算法执行效率的同时又不致过多地损失压缩效率。 3 2 几种典型的基于小波低复杂度图像编码器 随着小波图像编码应用研究的深入，各种类型的低复杂度的小波图像编码 器相继提出，下面的小波图像编码器是其中具有代表性的几种。 1 ) e z w 编码器【9 】1 9 9 3 年，s h a p i r o 根据小波系数的统计分布规律，提出了一 个假设：如果空间树的粗尺度的小波系数对门限t 是不重要的，则这棵 小波树的细尺度的小波系数也极可能是不重要的。并基于此引入一个小 波“零树”概念，通过定义p o s 、n e g 、z 和z t r 四种符号进行空间小波 树递归编码，有效地剔除了对高频系数的编码，极大地提高了小波系数 的编码效率这个算法采用的是渐进式量化和嵌入式编码模式，算法复杂 第三章基于小波的高性能幽像编码器的研究 度较低。e z w 算法是第一种基于小波的低复杂度高效图像压缩编码器， 在图像视频数据压缩史上具有里程碑意义。 2 ) s p i h t 编码器0 i 由s a i d 和p e a r m a n 提出的分层小波树集合分割算法 ( s p i h t ) 利用了分层分割空间树的方法，间接实现空间小波树的按比特 平面排序减小了比特平面上编码符号集的规模。通过构造两种不同类 型的空间零树，s p i h t 算法更有效地利用了空间小波树中系数的幅值衰 减规律。s p i h t 算法具有与e z w 算法相同的复杂度，产生的也是嵌入式比 特数据流，但压缩性能较e z w 算法有很大的提高。由于s p h i t 算法需要 维护和管理存储重要系数及分集树相关信息的三个列表，需要大量的物 理内存，因而硬件直接实现s p i h t 算法很困难。针对这个问题，基于同 样的思想，w e n - k u ol i n 等提出了l z c ( l i s t l e s sz e r o t r e ec o d i n g ) 【1 1 1 算法，使用标志位图代替列表，在实际的应用中取得了很大的成功。 3 ) s p e c k 编码器f ”i ，与e z w 编码器和s p i h t 编码器利用小波空间零树有所 不同，p e a r m a n 随后提出的嵌入块集合分割算法( s e tp a r t i t i o n e m b e d d e db l o c k ) 利用了小波子带内的聚类特性，即相邻的小波系数在幅 度上具有一定的相似性，而不同区域间的小波幅值会变化很大。通过对 子带内重要系数集进行递归四叉树分割来提供输出码流的嵌入性。与 s p i h t 编码器相比，仅需要维护两个相关信息列表，无需生成小波空间 树，因而具有更低的复杂度，更少的内存消耗，但压缩性能与s p i h t 相 近。 4 ) e b c o t 编码器 1 3 1 可扩展的图像压缩概念是指一次压缩编码流可作多种 不同类型的解码。最常见的是s n r 可扩展和分辨率可扩展，e z w 编码器 和s p i h t 编码器的嵌入式编码仅实现了s n r 可扩展。为了同时支持这两 种可扩展性特性。t a u b m a n 提出了优化截断点的嵌入块编码方法 ( e b c o t ) 对图像进行编码。在算法实现上e b c o t 编码是先将每个子带分 成一个个相对独立的码块，然后使用优化的分层截断算法对这些码块进 行编码，产生压缩码流。所获得的图像压缩码流同时支持s n r 可扩展和 分辨率可扩展特性，还可以支持图像的随机存储。比较而言，e b c o t 算法 的复杂度较e z