（信号与信息处理专业论文）基于模型的小波域的视频压缩编码.pdf

摘要 目前，许多实用的图像编码算法都是基于空间域的运动估计和补偿、预测误差的d c t 及量化以及变换系数的熵编码的混合编码方法，如有关静止图像和视频图像的国际标准 j p e g ，m p e g - 1 ，m p e g 一2 等。但基于d c y 的算法有其固有的缺点，即方块效应，在压缩比较 高时，图像质量会很差，因此人们一直在努力研究寻找更为有效的编码方法。小波变换 由于它的时频局部性、适合描述非平稳信号以及它的人眼系统的特性和适应的特点，视 频编码方面受到了越来越多的重视。 将所有的当前帧和参考帧均变换到小波域，然后在小波域直接进行运动检测和运动 补偿。这种方法的运动估计时间相对于传统方法明显减少，解码图像也消除了块效应，得 到峰值信噪比和主观质量都很好的解码图像。但是在块匹配算法中，全搜索计算量很大 从而十分耗费时间。在多分辨率运动补偿时，对最小的子带的每一个块都做运动补偿， 这样，由于小波空间方向树的结构，在低级子带的相应的位置上都要进行运动补偿，因 此整个图像都要进行运动补偿，计算量很大，很浪费时间，并且搜索范围是固定的，这 样在运动补偿时，在匹配精度和运动补偿时间之间就产生了矛盾。 本文通过运动检测的方法提取得到的运动矢量和运动区域是基于最小的予带的，利 用三帧运动检测算法提取到图像的运动区域，然后将运动区域分成2 x2 大小的小块，根 据p 帧和b 帧的不同，使每个小块在相应的图像上进行搜索，得到的运动矢量来代替多 分辨率运动补偿时固定范围内搜索得到的运动矢量，这个时候的运动矢量是只针对运动 区域的，由于头肩序列相临图像之间有很强的相关性，运动部分不多并且运动范围很小， 这样只是很少的块进行运动搜索，而且在多分辨率运动补偿时，高分辨率的运动矢量由 最低频子图像搜索得到的运动矢量来预测，所以这个运动矢量的精确与否是很重要的。 因此则在搜索的时候搜索范围设得相对大些，这样得到的运动矢量就很准确，实验结果表 明，根据本文方法实现的视频编码系统确实达到了满意的效果。 关键词：视频编码，运动估计，小波变换，多分辨率运动估计，运动检测，运动矢量 基于模型的小波域的视频压缩编码 1绪论 1 1 数字视频压缩技术综述 图像压缩编码经过四十多年的发展，已取得了长足的进展。从五、六十年代的学院 式研究，到七八十年代的少量专业应用，发展速度一直较缓慢。但是到了九十年代，却 发生了根本性的转变0 3 ，特别是1 9 9 1 年提出了静止图像、活动图像和用于可视电话电话 会议的国际标准，分别为j p e g 、肿e g 和h 2 6 x ，当然出现这种情况的根本原因在于八十 年代末九十年代初，电子和通讯技术的发展已经使多媒体体系信息高速公路等的建立变 得十分急追且成为可能，探索更有效的图像压缩技术就成了关键任务之一。 图像压缩的编码方法经历了第一代编码方法到第二代编码方法的进步。 第一代编码方法包括无失真编码和传统的编码方法。 一 常用无失真编码方法有h u f f m a n 编码、行程长度编码和算术编码。 传统编码方法主要是交换编码，变换编码的主要思想是利用图像块内像素值之间的 相关性，把图像变换到一组新的基上，使得能量集中到少数几个变换系数上。通过存储 这些系数而达到压缩的目的。 在变换编码中，由于对整幅图像进行变换的计算量太大，所以一般把原始图像分成 许多矩形区域予图像独立进行变换。 常用的变换有卡亨南一洛维变换( k a r h u n e n _ l o e v et r a n s f o r m ，简称i ( l t ) ，离散余 弦变换( d i s c r e t ec o s i n et r a n s f o r m ，简称d c t ) 和离散傅立叶变换( d i s c r e t ef o u r i e r t r a n s f o 瑚，简称d f t ) ，其中k l t 是消除相关性最有效的变换，但是由于其计算量太大 而未被采用，d c t 变换消除相关性是最接近k l t 变换的，而且存在快速算法，所以被普 遍接受。 d c t 在图像压缩技术中占有重要地位，曾经被j p e g 标准采用。 在传统的图像压缩编码方法开始获得广泛应用的同时，许多学者结合模式识别、计 算机视觉、计算机图形学、神经网络理论、小波理论和分形理论等开始探索新的图像编 码方法。人的视觉心理生理特性的研究也取得了新的成果，使新的图像压缩方法不断涌 现：如模型基图像编码，分形基图像编码，小波变换图像编码，神经网络用于图像编码， 基于方向性分解的图像编码，基于区域分割与合并的图像编码等。一些新的图像编码方 法的显著特点是突破了传统方法所依据的信源编码理论，充分利用视觉系统生理心理特 性和图像信源的各种特性，压缩效果较传统方法有明显改善。因此m k u n t 等人将这类 图像编码技术称为第二代图像编码技术0 1 。 目前国内外研究的图像压缩编码方法主要是分形理论、神经网络和小波分析等o 。1 。 对于分形图像压缩，它主要利用了图像的另一个重要特征，考虑了图像的具体内容， 而不仅仅是把图像当作纯粹的数据来处理【”嘲，它有一个极大的优点就是可以得到很高 的压缩比，但同时又有不可容忍的缺点就是计算量非常大，计算复杂度非常高，编码时 间非常长，不容易找到恰当的分形模型，只有对于那些确定性分形图像，可以获得较好 的效果。然而对于实际存在的许多图像，并不具有明显的确定性分形结构，这时用分形 效果并不好，所以现在对分形编码的研究比较少，虽然有一些，但也往往是与其他编码 方法相结合，以牺牲一定的压缩比来提高编码速度，但是效果也并不明显。而现有的一 些用于图像编码的神经网络模型都是在模拟人脑功能的思想下建立，没有考虑图像的特 点和人眼视觉机理，因此压缩效果并不理想，另外，在神经网络的训练过程中，其学习 时间较长，且存在具有局部极小值的问题。 基于模型的小波域的视频压缩编码 8 0 年代后期发展起来的小波分析，其本质是多分辨或多尺度分析信号，故小波分析 特别符合人的视觉系统对频率感知的对数特性，由于小波分析能够有效解决方块效应和 基本上解决蚊式噪声，所以小波分析是当前图像压缩编码的主要研究方向。 1 2 人的视觉系统简介 人眼是绝大多数图像数据的最终观察者，了解人眼的视觉特性和视觉信息的处理机 制，会对图像压缩方法的研究提供很好的指导作用。一般来讲，人类视觉系统的主要特 点包括： ( 1 ) 静态对比灵敏度 人眼在主观上不能连续感觉出亮度的变化，具有亮度的辨别阈值( 即刚可辨别亮度 差别的所需的最小光强差值) ，人眼对亮度光强变换的响应是非线性的，有以下这些结 论： a ) 恢复图像的误差如果低于对比灵敏度，则不会被人眼觉察； b ) 高频部分在相同的灵敏度阈值下，色差信号y - r 的空间频率只有亮度y 的5 0 y ， y b 则为y 的2 5 ，可见为表示色差信号所需的像素点比亮度要少得多； c ) 在相同的灵敏度阈值下，斜向栅格的空间频率只有正常栅格的7 0 ，因此按斜向 栅格对图像数据采样所需的频率较低： d ) 高频端的灵敏度要小于低频端，因此对这些部分的量化误差可以大一些； 以上四点特性已经在电视制式设计，图像编码等领域中得到了一定的应用，如根据电视 信号中色差信号的带宽比亮度要小得多，数字化时一般对色差信号的抽样速率在水平和 竖直方向均只有亮度的一半，而且抽样矩阵不采用矩形栅格而大多数采用梅花型栅格 ( 缘于性质c ) ，性质a 和d 则在传统的变换编码中被用作决定变换系数量化步长和量化 台阶数的参考尺度。 。 ( 2 ) 动态对比灵敏度 人限在动态灵敏度方面有以下特性； a ) 人眼对空间域低频亮度信息的敏感度在小时间变换频率下增大( 与无时间轴变 化时的敏感度相比) ，而在大时间变化率( 时间轴变化大于2 0 h z ) 时衰减下来。 b ) 人眼对空间域高频亮度和所有范围的色差信号的敏感度在时间轴变化频率大于 l o h z 时衰减很快。 视觉的这种动态对比灵敏度特性表现为图像序列之间相互掩盖的效应，即前一帧图 像会影响人眼对后一帧图像编码误差的感知阈值。一般来讲，当图像内容发生较大变化 时，对发生变化的每一帧图像并不需要精细编码，可以利用这种掩盖效应，其编码误差 可大些，以得到高压缩比。而后续图像序列只要在0 5 秒内恢复一般水平就不会影响整 个图像序列的视觉质量，人眼在图像序列内容发生较大变化时所能感觉到的图像空间分 辨率只有一般水平的1 0 。 ( 3 ) 人眼的信息处理机制和感知模型 视网膜图像在某一阶段被分解成一个低频成分和不同频带的高频成分单独处理。实 验表明这些带通滤波器的带宽在一个倍频程左右，这意味着视网膜图像是被分解到在对 数尺度上有大致相等带宽的频带上。进一步的研究还说明这些滤波器不是各向同性的， 由此造成人眼对信号的人间方向敏感性不一致，其中对水平( o 度) 和垂直( 9 0 度) 方 2 向的刺激最敏感。而对角方向敏感性逐渐减弱，在4 5 度( 或1 3 5 度) 处最不敏感。除了 这种空间频带划分外，视觉系统对时间变换通道也有类似的频带分割，即包括一个低频 和多个高频带。 1 3 小波变换在图像压缩中的应用 在当前这样一个充满信息的社会中，人们在交换图像、声音等媒体信息方面的需求 越来越大，对信息交换质量的要求也越来越高。随着微电子、计算机和传感器等技术的 高速发展，图像、声音等媒体信息的记录、存储和传输正在朝着数字化方向前进，形成 一般潮流。通常，图像、声音经数字化后形成的数据量非常大。例如，一幅数字化了单 色卫星遥感图像由1 0 0 0 0 l o 0 0 0 个像素( p i x e l ) 组成，每个像素的灰度用1 2 比特( b i t ) 表示，那么这幅图像就要用1 2 亿比特表示。直接存储和传输如此庞大的数据不但开销 很大，而且有时设备也承受不了如此大的负荷。然而，在这些数据中存在很多冗余。采 用目前的压缩技术，对于上述图像可以毫不失真地压缩3 4 倍。如果允许部分失真， 那么就可以压缩几十或几百倍。显然，这种压缩技术具有重大的实用价值和广阔的发展 前景。 为了继承f o u r i e r 分析( 余弦变换和正弦交换都可以视为f o u r i e r 变换的特例) 的 优点，同时又克服它的许多缺点，人们一直在寻找新的方法。1 9 8 0 年法国科学家m o r l e t 首先提出了小波交换w t ( w a v e l e tt r a n s f o r m ) ，引起了许多数学家和工程师的极大关注。 近十多年来经过许多数学家和工程技术人员的努力探索，这门学科的理论基础已经建 立，并成为当前应用数学发展的一个新的领域。与f o u r i e r 分析相比，小波变换是时间 和频率的局域变换，能更加有效地提取信号和分析局部信号。类似于f o u r i e r 分析，在 小波分析中也有两个重要的数学实体：积分小波变换和小波级数。积分小波变换是基小 波的某个函数的反射膨胀卷积，而小波级数是称为小波基的一个函数，用两种很简单的 运算：二进制膨胀与整数平移表示。通过这种膨胀和平移运算可以对信号进行多尺度的 细致表示。通过这种膨胀和平移运算可以对信号进行多尺度的细致的动态分析，从而能 够解决f o u r i e r 变换不能解决的许多困难问题。利用小波变换可以一次变换整幅图像， 不仅可以达到很高的压缩比，而且不会出现j p e g 重建图像中的方块效应，但编码器复 杂。 小波及小波包技术可以将信号或图像分层次按小波基展开，所以可以根据图像信号 的性质以及事先给定的图像处理要求确定到底要展开到哪一级为止，从而不仅能有效地 控制计算量，满足实时处理的需要，而且可以方便地实现通常由子频带、层次编码技术 实现的累进传输编码( 即采取逐步浮现的方式传送多媒体图像) 。这样一种工作方式在 多媒体数据浏览、医学图片远程诊断时是非常必要的，另外，利用小波变换具有放大、 缩小和平移的数学显微镜的功能，可以方便地产生各种分辨率的图像，从而适应于不同 分辨率的图像i 0 设各和不同传输速率的通信系统。 小波分析其本质是多分辨或多尺度分析信号，由前面介绍的人的视觉特性可知，小 波分析特别符合人的视觉系统对频率感知的对数特性，由于小波分析能够有效解决方块 效应和基本上解决蚊式噪声，所以小波分析是当前图像压缩编码的主要研究方向 由于小波变换分析具有以上许多优点，所以在最近颁布的运动图像压缩标准 m p e g 一4 中的视觉纹理模式就支持视觉纹理和静态图像编码。这种模式基于零树小波算 法，在非常宽的比特率范围内具有很高的编码效率。除了具有很高的压缩效率之外，它 还提供了空间和质量的可缩放性，以及对任意形状目标的编码。其空间可缩放性高达1 1 级，质量的可缩放性具有连续性。小波公式以累进传输和时间上扩充静态图像分辨率金 基于模型的小被域的视频压缩编码 字塔的形式提供比特率可缩放的编码。编码的位流也可以用于图像分辨率层次抽样。这 种技术提供了分辨率的可缩放性，以便处理在交互应用场合广泛的观察条件，以及把2 d 图像映射到3 d 虚拟空间。 当前，小波研究的一个迫切问题是如何将小波研究所取得的重要成果变为工程技术 人员所掌握的重要工具，使之尽快应用到工程技术实践中去，特别是将小波分析很好地 用于多媒体图像和信号处理。 这些年来关于小波变换图像压缩算法的研究和应用都十分活跃。国外一些公司将这 种技术用于i n t e r n e t 环境中的图像数据传输，提供商业化的服务，对于缓解网络带宽 不足、加快图像信息传播速度起到了很好的推进作用。图文资料数字化必然会产生大量 的图像数据，对于高比率图像压缩算法的需求尤为迫切。作为一种优秀的图像压缩算法， 小波变换在这一领域具有非常好的应用前景，也应该能够发挥关键性的作用，同时也必 将对这种技术在我国的推广和应用起到有力的推动作用。 1 4 本文主要研究内容及章节安排 基于小波变换的图像编码压缩的特点是，压缩比高，压缩速度快，压缩后能保持信 号与图像的特征不变，且在传递过程中就可以抗干扰，现在的研究结果可看到，该方法 已获得了较好的编码效果，是现代图像压缩技术研究的热点之一，也是十分有前途的 一种方法。 本文的工作主要包括以下内 ，第一部分为绪论，简单介绍了视频编码技术的发展、应用、 人的视觉系统特性、小波在图像压缩中的应用以及本文的章节安排。第二部分介绍了视 频编码的基本原理和方法，视频编码的标准，详细论述了视频编码中所使用的一些关键 技术，另外，对适用于不同场合的编码技术进行了简单介绍，以及小波变换，小波图像 编码的知识：传统的基于d c t 的图像编码原理。第三部分重点论述了基于连续三帧图像检测方法提 取运动目标的算法，获得图像的运动区域和各个运动区域的动小块的运动矢 量；改进的多分辨率运动补偿的原理；讨论了基于小波域的图像编码原理，重点介绍了 两个小波图像编码的经典算法：e z w 和s p e c k ：利用运动检测得到的运动矢量对图像进 行多分辨率运动补偿；利用改进的多分辨率运动补偿实现图像压缩编码。第四章是实验 结果分析， 基于模型的小波域的视频压缩编码 2 视频压缩的基本原理和方法和标准 图像编码经过了近五十年的发展，取得了很多成果，随着一系列图像编码国际标准 的制定，这项技术开始真正走向实用化和产业化，超大规模集成电路技术的发展，使得研 制出集成度更高、性能更好的图像编解码专用芯片成为可能，同时，近年来人们对多媒 体信息需求的高速增长也有力地促进了图像编码技术的进步。目前的视频压缩标准大都 是基于空间域运动估计和d c t 变换的编码技术，随着对小波变换认识的逐渐深入。人们 越来越多地将注意力投向基于小波域的图像编码，并在静止图像压缩标准j p e g 2 0 0 0 中 融入了小波变换，对视频图像在小波域中的压缩也取得了很大成果。 2 1 视频图像压缩的意义和依据 数字视频的数据量非常巨大，如果不经压缩，数字图像传输所需的高传输速率和数 字图像存贮所需的巨大容量将成为推广应用数字图像通信的最大障碍，这就是为什么要 进行图像压缩编码的根本原因。 众所周知，人类通过视觉获取的信息约占其总信息量的7 0 ，视频信息具有直观性、 可靠性等一系列优越性，在技术进步和用户需求的推动下，人们对信息通信和存储的要 求已不仅仅限于传统的语音和文本信息，图像( 静止) 和视频( 活动图像) 信息的存储 与传输已经成为各种消费类电子、通信和计算机领域的应用热点。数字化的趋势使得模 拟视频正逐渐被数字视频所取代，数字视频在提高图像的清晰度和质量、提高人机交互 功能等方面有着模拟视频无可比拟的优点。从娱乐业( 如d t v 、v i d e o 一0 n d e m a n d ) 到商业 应用( 如视频电话、视频会议) ，以及现在蓬勃发展的各种远程医疗、远程教学和培训， 越来越深入人们的日常生活，大大改变了人们通过数字视频进行娱乐、教育和使用计算 机的方式，尤其是i n t e r n e t 的迅猛发展和新一代的移动通信网络的开发，使得传统的 以电视广播的为主的视频服务发生了根本性的变化。 视频图像的信息量非常巨大，以一路电视信号为例，来看一下将它数字化后的数码 率。按照c c i r 6 0 l 标准，数字化后的分辨率为7 2 0 5 7 6 ，每秒2 5 帧，y ：u ：v 为4 ：2 ：2 ， 若以8 b i t 表示y 信号，则每像素占用1 6 b i t ，数码率为1 6 5 9 m b p s 。以6 4 k b p s 作为一 个数字话路，若不加压缩，为传输一路电视要占用2 5 9 2 个有效数字话路，这在实际中 是难以接受的。如果不经压缩，传输所需的高传输速率和存储所需的巨大存储器容量将 成为这项技术迸一步推广应用的最大障碍，而事实上，在过去几十年里，这确实是视频 应用的瓶颈。现在，随着图像压缩技术的提高和网络带宽的改善，数字视频的各种应用 已经逐步变成现实，v c d 、d v d 的普及以及视频在移动通信网和i n t e r n e t 上越来越多的 应用便足以说明这一点，而且人们对以视频为主的多媒体通信业务的需求日益增长，我 们可以断定，有关视频的产品开发将成为一个新的经济增长点。 图像编码的主要方法就是尽可能去除图像中的冗余成份，以最小的数码率传送最大 的信息量。表示数字图像需要大量的数据，但图像数据是高度相关的，一幅图像内部存 在大量的冗余信息，包括： 统计冗余：信号中各种符号通常不是等概率出现的，s h a j l o n 认为，它们存在冗余。 空间冗余：在一幅数字图像内部，大多数像素是和周围像素的值是相近的，它们有 很强的相关性，即存在空间冗余。 6 基于模型的小波域的视频压缩编码 时间冗余：在视频中，当前帧往往和前一帧的内容往往有许多区域是相同的，它们 之间有很强的相关性。 视觉冗余：人类的视觉系统对于图像的注意是非均匀和非线性的，并不是对于图像 中的任何变化都能感知。例如图像量化引起的图像变化在一定范围内是不能为人眼所察 觉的；人眼对不同区域量化引入误差的敏感程度也是不一样的，人眼更不容易感知高纹 理的区域的量化产生的误差。 利用熵编码可以消除统计冗余，上下文模型可以消除图像的空间冗余，利用帧间预 测可以去掉时间冗余，利用变换把图像分解为不同的成份，按人眼对这些成份的敏感程 度对它们进行量化，可以消除视觉冗余。 此外，还可以利用先验知识实现图像编码，在某些特定的场合，编码对象的某些特 性也预先知道，比如在可视电话中，编码对象为人的头肩像，这时，可以利用编码对象 的先验知识为编码对象建立模型，通过提取模型参数，对参数进行编码而不对图像直接 进行编码，可以达到很高的压缩比。这是模型编码的基本思想，在这里也是利用了知识 冗余。 2 2 图像压缩编码的基本方法 图像压缩的方法很多，可以将编码方法分为无损压缩( l o s s l e s s ) 和有损压缩( l o s s y ) 前一种技术能够精确地重建图像，其压缩比较低般不超过3 ：1 。而后一种技术则会引 入失真，只是它的失真并不明显。 基于编码方法的应用范围分类，如以适当的方式综合各像素值的方法被称为空间 法：利用一组变换系数的方法称为变换法；既利用空间域，又利用变换域的方法，则称 之为混合法。 2 2 1 传统的图像压缩编码方法 ( 1 ) 变换压缩编码方法 变换压缩编码算法是目前比较有效、应用比较广泛的一类方法。变换编码通常是将 空间域相关的像素点通过正交变换映射到另一个变换域上，使图像数据在变换域上最大 限度地不相关。所谓正交变换( 也称酉变换) ，是线性变换的一种特殊形式，它要同时 满足以下两个要求： a ) 变换是可逆的。 也就是 ，0 ，y ) zf ，v ) 丑o ，y ；u ，y ) ( 2 1 ) 其中x o , l l ，删一1 ；) ，一o , 1 , ln 一1 ；b “y ；u ，v ) 为反变换核。 b ) 变换核和反变换核满足一定的正交性。 正交变换的性质：能量保持特性，变换前后能量相等；能量重新分配特性，即能 量在空间的分布发生变化，对一般的图像来说，变换后能量大部分集中在低频部分，高 频部分的系数较小，因此可通过去除高频成分而达到压缩的效果；去相关性，即可将高 度相关的空间域值变为相关性较弱的变换域值。 应注意的是，正交变换本身压缩图像，但由于变换后系数之间相关性降低，图像的 大部分能量只集中到少数几个变换系数上，采用适当的量化和熵编码可以有效地压缩图 7 基于模型的小波域的视频压缩编码 像的数据量。 常见的正交变换有d c t 、d f t 、k l 变换等。k l 变换是均方误差准则下的最佳线性变 换，但由于计算量很大，通常只是作为一个可以与其他线性变换用来比较的基准。现行 编码体制中常用的变换编码方法是d c t 交换法，它采用门限量化加区域编码的方法。d c t 变换编码方法的一般过程为： 图像分块：按或的尺寸将图像分成若干块。 区域变换；对每个图像块进行d c t 变换。 区域量化：选择适当的量化门限对变换图像进行量化处理。 z i g z a g 排序：将非零系数和零系数组织起来在带来最少冗余的同时保证最大连 零系数出现概率。 熵编码：对量化系数进行比特分配，常用h u f f m a n 编码算术编码或者游程编码。 d c t 变换具有运算速度快，在中等压缩比下有好的压缩效果等特点，可是由于它将原始 图像划分为固定尺寸的块，不仅会使一些细节失真甚至丢失，还会产生方块效应。 ( 2 ) 量化压缩编码方法”“4 1 量化能够有效改变系数的分布特性，为后续的熵编码作准备，量化又分为标量量化 和矢量量化两种，标量量化就是对单个参数进行映射和取整，其做法是利用量化查找表 使一个输出值对应于一定的输入范围，从而实现量化压缩的目的。v q ( 矢量量化) 压缩 编码是一种图像块编码方法，其编码过程是从k 维向量空间科到r i 的有限子集c 的映 射过程即q ：r 一c ，其中，称c = c 】c 2 lc 。) 为向量最化的码书，采用一个失真测度， 如最小均方误差( m s e ) 等，在码书中寻找输入向量的最佳匹配码字。 如图2 1 所示v q 压缩编码系统传送的是这个最佳匹配码字在码书中的地址，即序 号并非矢量本身，而序号所需比特数远少于矢量所需比特数，所以矢量编码的压缩效率 很高，s h a n n o n 率失真理论指出，即使对于无记忆信源，v q 总是优于标量编码，其关键 点在于最佳v q 码本的设计和快速的搜索算法。 序号i 图2 1 矢量量化的压缩解压过程。 f i g 2 1 刃短c o d e , d e c o d ep r o c e d u r e v e c t o rq u a n t i z a t i o n 一 虽然矢量量化图像压缩编码算法具有压缩比高、解码迅速等优点，但也存在如下缺 点：算法对初始码书要求敏感，在训练中存在无效码书矢量且训练时间长；复原图像存 在可见的方块效应 图像细节，边缘部分失真严重；编码时间较长。 ( 3 ) 熵编码o “3 熵编码是基于信号统计特性的技术，它是一种无损编码，解码后能无失真地恢复原 8 基于模型的小波域的视频压缩编码 图像。熵编码的基本原理是给出现概率较大的符号一个短码字，而给出现概率较小的符 号以一个长码字，这样便得最终的平均码长很小。一个精心设计的熵编码，其输出的平 均码长接近信源的信息熵，即码长的下限。常用的熵编码方法有游程编码、h u f f m a n 编 码和算术编码三种。 游程编码( r l e ) 主要用于量化后出现大量零系数的情形，利用游程来表示连零码， 降低为表示零码所用的数据量。游程编码对于单一颜色背景下物体的图形图像可以达到 很高的压缩比，但对于其它类型的图像压缩比就很低，在最坏情况下( 例如，每一个像 素都与它周围的像素不同) ，r l e 甚至可将文件的大小加倍。 h u f f m a n 编码是一种不等长最佳编码方法，这里的最佳是指它的平均码长对相同概 率分布的信源比其他任何一种有效编码方法都短。h u f f m a n 编码必须知道信源的概率分 布，这一般是无法做的，通常采用对大量数据进行统计后得到的近似分布来代替，但是 不同的图像类型其系数分布总有差异，这实际应用时无法达到最佳性能。通过利用根据 输入数据序列自适应的匹配信源概率分布的方法，可以较好地改进h u f f m a n 编码的性 能但这种方法运算复杂且不适合硬件实现。 算术编码的基本原理是任何一个数据序列均可表示成0 和1 之间的一个间隔，该间 隔的位置与输入数据的概率分布有关，可以根据信源的统计特性来设计具体的编码。可 以针对未知概型的信源设计能够自适应改变其分布的算术编码器，并且这两种形式的编 码均可以用硬件实现。有关的实验数据表明，在未知信源概率分布的大部分情形下，算 术编码要优于h u f f m a n 编码，对于许多实际图像，算术编码的压缩效果优于h u f f m a n 。 算术编码的复杂度高，硬件和软件实现都是一个难点，因而在许多图像压缩编码标准里， 算术编码仅是一个选项。 ( 4 ) 预测编码 由信息论可知，对于相关性很强的信源，条件熵将运小于无条件熵。也就是说可用 比独立信源所需码字数少得多的码来传送消息，预测编码基于图像数据的空间和时间特 性，用相邻的已知像素( 或图像块) 来预测当前像素( 或图像块) 的取值，然后再对预 测误差进行量化和编码。预测编码的关键在于预测算法的选取，这与图像信号的概率分 布有很大关系。实际中常根据大量的统计结果采用简化的概率分布形式来设计最佳的预 测器，有时还使用自适应预测器以较好的刻画图像信号的局部特性，提高预测效率。 预测编码有线性预测和非线性预测两种，线性预测编码又称为d p c m ，帧内预测编码 一般采用像素预测形式的d p c m 。其优点是算法简单，易于硬件实现。缺点是对信道噪声 及误码很敏感，会产生误码扩散。使图像质量大为降低。 帧间预测编码主要利用活动图像序列相邻帧间的相关性，即图像数据的时间冗余来 达到压缩的目的，可以获得比帧内预测编码高很多的压缩比。帧间预测编码一般是针对 图像块的预测，它采用的方法有帧重复法、阈值法、帧内插法、运动补偿法和自适应交 替帧内帧间编码法等其中运动补偿预测编码现已被各种视频图像编码标准采用并且 得了很好的结果。这种图像编码方法的主要缺点在于对图像序列不同的区域，预测性能 不一样，特别是在快运动区，预测效率很差。而且为了降低预测算法的运算复杂程序和 提高预测精度，一般要对图像进行分块后再预测，这势必引起边缘的不连续。 9 基于模型的小波域的视频压缩编码 ( 5 ) 各种传统编码方法的比较 变换编码利用图像数据的空间相关性，d c t 可以产生类似于预测编码的压缩比，而 对统计特性与传输误码并不敏感，采用快速算法和d s p 器件可以克服编码计算量大的问 题。在视频编码中，空间和时同相关性均可利用，这时预测编码结合交换编码是一种较 好的方案。 矢量量化就压缩比而言是十分高，但其编码计算量很大，目前正在开发快速搜索算 法，与其它压缩方法相结合是矢量量化方法的发展方向。 熵编码的效率取决于编码数据的统计特性。h u f f m a n 编码要求符号集中的某些符号 出现次数更为频繁，游程编码则希望游程经常出现。而且相当长，熵编码常与交换编码 结合使用。 预测编码的主要缺点在于对图像统计特性变化敏感，也对传输误差敏感。单个比特 的误码可以造成图像大面积失真，也可能影响多处图像帧，因此，预测编码通常用于可 靠信道中的图像传输，在实际的预测编码系统中，为了更新或纠正重建的图像，应周期 性传输非预测编码的图像数据，如m p e g 系统中的i 帧图像。 实际的系统中，选择上述几种编码技术的组合，可以在某一可接受的图像质量下达 到较高的压缩，混合编码方案是当前提出的几种图像编码国际标准的基础。 2 2 2 新型的图像压缩编码方法 上世纪8 0 年代以来，相关学科的飞速发展和新兴学科的不断出现为图像编码的发 展注入了新的活力。许多学者结合模式识别、计算机图形学、神经网络、分形几何、小 波分析和人的视觉特征等方面提出了许多图像编码的新方法。如分形图像编码“t 埘 ( f r a e t a lc o d i n g ) 、模型编码( m o d e l b a s e dc o d i n g ) o 4 ”加、子带编码s b c ( s u b b a n d c o d i n g ) 、塔型编码( p y r a m i dc o d i n g ) 、小波压缩编码方法，其中基于小波变换的图像 压缩编码是目前图像医缩研究领域的一个主要方向，也是本论文工作所要研究的核心问 题。 2 2 3 小波压缩编码方法 小波分析方法的出现可以追溯到1 9 1 0 年h a a r 提出h a a r 规范正交基，以及1 9 3 8 年 l i t t l e w o o d p a l e y 对傅里叶级数建立的l - p 理论。为克服传统傅里叶分析的不足，在八十 年代初，便有科学家使用“小波”的概念来进行数据处理，比较著名的是1 9 8 4 年法国 地球物理学家m o r l e t 引入小波的概念对石油勘探中的地震信号进行存贮和表示。在数学 方面所做的探索主要是r c o i f m a n 和gw e i s s 创立的“原子”和“分子”学说，这些“原 子”和“分子”构成了不同函数空间的基的组成部分。lc a r l e r o n 使用了非常象“小波” 的函数构造了s t e i n 和w e i s s 的空间日1 的无条件基。直到1 9 8 6 年，法国数学家m e y e r 成功地构造出了具有一定衰减性的光滑函数妒，它的二迸伸缩与平移 5 f ，。( f ) ；2 - j 胆妒( 2 - i t 一七j ：j , k e z 构成三2 僻) 的规范正交基。此前，人们普遍认为这是不 可能的，如d a u b e c h i e s ，g r o s s m a n 和m e y e r 都退而研究函数系k r 妒( d ：吩一k b 。 构成 l z l r ) 的框架的条件去了。 l e m a r i e 和b a t t l e 继m e y e r 之后也分别独立地给出了具有指数衰减的小波函数。1 9 8 7 年，m a u a t 利用多分辨分析的概念，统一了这之前的各种具体小波的构造，并提出了现 今广泛应用的m a l l a t 快速小波分解和重构算法。1 9 8 8 年d a u b e c h i e s 构造了具有紧支集 1 0 基于模型的小波域的视频压缩编码 的正交小波基。c o f m a n ，m e y e r 等人在1 9 8 9 年引入了小波包的概念。基于样条函数的 单正交小波基由崔锦泰和王建忠在1 9 9 0 年构造出来。1 9 9 2 年ac o h e n ，i d a u b e c h h e 塔 等人构造出了紧支撑双正交小波基。同一时期，有关小波变换与滤波器组之间的关系也 得nt 深入研究。小波分析的理论基础基本建立起来。 ( 1 ) 小波压缩编码方法的基本特点 1 9 8 9 年m a l l a t 【i 哪首先将小波变换( w a v e l e tc o d i n g ) 用于多分辨率图像的分解 小波图像分解方案实际上是属于子带分解的一个特例，小波变换特别要求滤波器的正则 性。小波分解是完备的、正交的、多分辨率的分解。 基于小波变换的方法能有效地保留原始图像的细节和边缘，它采用变时间窗的方 法对图像进行分析，因而在高频时它对时间的定位较准，能捕捉到图像的细节和边缘， 在低频时对频率的定位较准，能反映图像的整体特征。 基于小波变换的方法具有很好的时域，频域局部特性，能量集中能力也比傅里叶 变换强，因而可以得到更高的压缩比。 基于小波变换的方法具有减少噪声的能力，利用噪声在小波系数中的特点，设置 阀值就可以消除图像中的部分噪声而不影响重建图像质量。 基于小波变换的方法采用多尺度分析，因此该方法在图像压缩时，可根据各自的 重要程度对不同层次的系数进行不同的处理，非常有利于得到高的压缩比，而在图像重 建时，加入的细节越多，重建的图像也就越清晰又很适合于图像的分级传输。 基于小波变换的方法更适合于人类视觉系统的特性。可根据视觉特性为各子图像 选择合适的编码方法，这使得该方法可以在相同的压缩比下得到比其它变换压缩方法更 好的重建图像质量，或在相同的重建图像质量下得到更高的压缩比。 基于小波变换的方法可根据具体的应用问题选择最适合于解决该问题的小波基， 具有很大的选择灵活性，而且该方法也不存在方块效应。 小波变换的这些特性是其它基于变换的压缩方法所不具备的，正因如此，小波变 换才能在图像压缩领域得到广泛的应用。并取得了很好的压缩效果。特别是s h a p i r o 等 人提出的嵌入式零树小波算法，是且前公认的静态图像变换压缩编码的最好方法之 一。近年来，小波包及多维小波在图像压缩中的应用也在逐渐增加，关于小波分析。u 用于图像处理的有关内容，论文将在后面详细论述。 ( 2 ) 小波变换方法与其它编码方法的比较 与d c t 变换压缩算法相比，基于小波变换的图像压缩算法有以下优点： a ) 小波变换是对整幅图像进行分解，能体现全局最优化，而d c t 变换是先把图像 分块再进行d c t 变换，这种变换是局部的。 b ) 小波变换是把整幅图像分解成为若干高频子带和一个低频子带，既有高频信息 也有低频信息，可对图像精细结构进行描述。而d c t 变换后的图像能量多集中在图像的 低频部分，没有保留原图像的精细结构。 c ) 采用小波变换时，压缩比的增大，会使图像质量柔和降低，易于视觉接受。而 采用d c t 变换压缩时，压缩比的增大，图像的块效应明显增多，图像质量下降明显。 d ) 在存在干扰产生误码的情况下，小波变换的图像恢复后稍微下降，对整体视觉 1 1 基于模型的小波域的视频压缩编码 效果影响不大，而d c r 变换的图像恢复质量块效应明显增多视觉效果很差。 我们知道，在一幅图像中，各种冗余信息是并存的，不能片面地强调某种冗余形式 在图像编码方法中的作用，传统图像编码方法在去除图像统计冗余信息时的性能很好， 与之相比，分形编码、模型编码等图像编码方法分别侧重于图像数据的视觉冗余、结构 冗余和知识冗余，而忽略了图像数据的统计冗余。 小波变换一方面能很好地消除图像数据中的统计冗余，另一方面其多分辨率的变换 特性提供了利用人眼视觉特性的很好机制，而且小波变换后的图像数据能够保持原图像 在各种分辨率下的精细结构，为进一步去除图像中其它形式的冗余信息提供了便利。 ( 3 ) 连续和离散小波变换 a ) 连续小波变换 具有有限能量的函数f ( t ) ( 即，( t ) r ( r ) ) 的连续小波变换定义为函数族 丽1 妒牮为积分核的积分竺竺下式所示 哆) - 杯脚争 ( 2 2 ) 其中“一”表示复共轭妒。- j 与妒目称为小波函数。a 称为尺度因子，b 为位 l 口i 口 移因子。可见改变a 值，对函数妒o ) 具有扩展和收缩作用，而b 的变化则使妒o ) 平移。 连续小波妒a , b o ) 的作用和g a b o r 变换中的窗口函数类似，不同的是参数a 的作用即 改变窗口的大小与形状，也改变子波频谱妒。 ) 的谱图。如果参数a 减小，妒。( f ) 的 支撑区随之变窄两妒。p ) 的频谱则随之向高频端展宽，反之亦然。这就实现了窗口 大小自适应变化，当信号频率增高时，时间窗变窄，而频窗变宽，以利于检测快变信号， 提高了时域分辨率，反之亦然。 小波的选择即不是难一的，也不是任意的。它的选择应满足： 定义域是紧支撑( c o m p a c ts u p p o r t ) 的，即在一个很小的区间之外函数为零， 也就是说函数具有速降性，以便获得空间局域化。 平均值为零，也就是 正妒o 一0 ( 2 3 ) 这是由小波的容许条件( a d m i s s i b i l i t yc o n d i t i o n ) ，即 q ；广幽d 。* ( 2 4 ) j 一” 推出的。另外，我们可得知要使 ：l f ，( f ) 出；o 成立，1 ；c ( r ) 必须在实轴上取值有正有负， 也就是妒o ) 要具有振荡性，通俗地说就是一个“波”，而紧支撑的条件就保证了这个“波” 是迅速衰减的，也就是“波”要“小”，这也是“小波”名称的由来。 利用p a r s e v a l 恒等式，可得到小波变换的反变换，即 基于模型的小渡域的视频压缩编码 m 。昌e 暇帆朋争 ( 2 5 ) b ) 离散小波变换 由连续小波变换定义，小波基函数 m 斋妒o a , b e r , a 一0 ( 2 6 ) 当对伸缩因子a 和平移因子b 取离散值时，就得到离散小波函数。 取口一4 ：，b = k b o j o ( a o 1 6 0 o ) ，那么离散小波为 妒肚( f ) - a o2 7 p ( 口i t 一蛾) ( 2 7 ) 于是，离散小波变换为 d 肚。l z ( t ) q j j a ( t ) c l t ( 2 8 ) 如口。- 2 ，b o 一1 ，那么离散小波则称为二进小波变换。此时，二进小波为 妒似o ) 一22 t 0 ( 2 - t k ) ( 2 9 ) 二进小波变换定义为 d j ，t 。l x o 砌耻( f 皿 ( 2 1 0 ) 其反变换为 z o ) 一d 卅妒肚o ) ( 2 1 1 ) ( 4 ) 图像的小波变换 a ) 多分辨率分析和m a l l a t 算法 m a u a t 使用多分辨分析的概念统一了各种具体小波基的构造方法，并由此提出了现 今广泛使用的m a l l a t 快速小波分解和重构算法，它在小波分析中的地位与快速傅里叶变 换在傅里叶分析中的地位相当“”。 空间三2 伍) 的多分辨分析是指构造该空间内一个子空间列忆k ，使其具有以下性 质： 单调性( 包容性) ： ac k c k c v oc v _ lc e 2 c a ( 2 1 2 ) 逼近性： 妇 量卜d 州 ( 2 基于模型的小波域的视频压缩编码 伸缩性： 庐( f ) 一妒陋) 。 ( 2 1 4 ) 移不变性： 庐( f ) 以讳庐b 一2 h k ) e v ，v k e z ( 2 i 5 ) r i e s z 基存在性：存在妒o ) ，使得移( 2 7 f - k k 构成的l u e s z 基。对应于2 + 分辨率。 m a l l a t 在多分辨率分析基础上提出的系数分解与合成的这种完整的算法，其本质是 不需要知道尺度函数e ) 和小波函数节( ) 的具体结构，只要知道分别与尺度函数的小波 函数相关的低通滤波器系数 。和高通滤波器系数乳，就可以实现，0 ) 的分解与重构，h 。 与g 。满足关系 g 一。( 一1 ) “h ( v 一1 一n ) 其中厅，0 上，n 一1 , n 为滤波器长度。 二进小波变换的m a l l a t 算法如下： 正变换( 分解) 算法： 厂c 一_ i l 。2 i c ，- 1 t 叱一赫，山吐2 ”_ ，j ( 2 1 6 ) ( 2 1 7 ) 其中，。绀是原信号的平滑信号，即低频部分，d 汁原信号的细节信号，即高频部 分，以是与小波函数相关的带通滤波器的脉冲响应， 。是与尺度函数相关的低通滤波 器的脉冲响应。 反变换( 重构) 算法： c ，一 ：【 t h c ，+ g * - 2 , d ，m 】，一j ，j 一1 ，1 ( 2 1 8 ) 7 b ) 图像的小波变换 图像的小波分解与重构可以用一个金字塔结构来描述锄1 ，在本文的实验中将小波分 解至三级，共得到3 层1 0 幅子图像。用金字塔结构来表示如图2 2 所示，其中最高层 包括最低分辨率子图像共有4 幅，第一层和第二层各自有3 幅子图像，分别表示三个不 同的方向。 二维小波变换可由行和列两个方向的一维小波变换组成，于是很容易得到图像的小 波变换。对一幅原始图像，先对其行作小波交换，得到高频分量d 和低频分量a ，行变 换结束后，再分别对a 和d 进行列小波变换，便得到四个子图像，它们分别是 。，删，观，删，在第，级分解中，将皿；。按照上述方法分解就得到 工l ，l h ，而也，船，它们分别表示水平低频垂直低频，水平低频垂直高频，水平高频 垂直低频和水平高频垂直高频，其中l l , 仲z 1 ，) 具有和原图像非常接近的结构，表示 图像在低分辨率的相，l 瓯大致表示图像的水平边缘，皿。大致表示图像的垂直边缘， 而h h 。大致刻画了对角线方向的边缘。由于行列变换后均要进行两倍下采用，所以第j 级小波变换后各子图像的长和宽分别是j 一1 级图像的一半。这个变换如图2 3 所示：图 像的小波重构2 4 所示。 通过小波变换后，图像的能量主要集中在低频子带上厶中，高频子带所占的能量很 小，且不同的分辨率、不同的高频子带中的分布非常相似。接近l a p l a c i a n 分布。通过 对零值分布规律的充分研究和有效处理，将产生高效的压缩方法。 1 4 基于模型的小波域的视频压缩编码 地飓m 2飓 l h ， h h 3 l h 2h h l 啦h h a 图2 2 图像的小波分解示意图 f i g 2 2t h ed