（信号与信息处理专业论文）视频序列去噪关键技术研究.pdf

中文摘要 数字视频中的噪声不仅降低视频的可观赏性，还对后续的视频压缩产生不利 的影响，已经成为数字媒体处理中迫切需要解决的问题。 本文首先就数字视频中存在的噪声做了分类和建模，以此作为去噪技术的基 础。然后分别介绍了常用的数字图像去噪算法和数字视频去噪算法，分析了各种 算法的特点和优劣。 文中对基于运动预测的时一空域视频去噪算法做了重点阐述。在空域部分， 提出了一种改进的小波域噪声估计方法，并在此基础上选用了改进的小波域维纳 滤波算法，以较小的算法复杂度实现了较好的去噪性能。在时域部分，结合对滤 波系统的分析，实现了高性能的卡尔曼滤波，在此基础上实现了性能最优的时空 域联合滤波方法，并将该方法用于数字视频压缩编码系统中，并进行了实验验证。 最后，针对文中的仿真和实验，指出了目前视频去噪技术存在的问题，并就 视频去噪技术的发展方向提出了自己的看法。 关键词：运动补偿，噪声估计，小波域维纳滤波，卡尔曼滤波 a b s t r a c t n o i s ei nt h ei m a g es e q u e n c ed e g r a d e st h ev i d e o ，m o r e o v e ri th a san e g a t i v e i m p a c to nt h ef o l l o w i n gv i d e oc o m p r e s s i o na n de n c o d i n g s ot h er e s e a r c ho f ft h e n o i s er e d u c t i o no fi m a g es e q u e n c eh a sb e c o m ea l lu r g e n tp r o b l e mn e e d e dt ob e s o l v e d t h ef w s tp a r to ft h i sp a p e ri sf o c u s e do nt h ei d e n t i f i c a t i o na n dm o d e l i n go fn o i s e i nt h ed i g i t a lv i d e o ，w h i c hi st h eb a s eo fv i d e od e n o i s i n g t h e nt h ec o m m o n l yu s e d i m a g ea n dv i d e od e n o i s i n ga l g o r i t h m sa l ei n v o i c e d a n dt h ea d v a n t a g e sa n d d i s a d v a n t a g e so ft h e s ea l g o r i t h m sa lep o i n t e do u tb a s e do nt h ea n a l y s i so ft h e i r c h a r a c t e r i s t i c s t h ep a p e rh a sa t t a c h e dg r e a ti m p o r t a n c et o3 dv i d e od e n o i s i n ga l g o r i t h mb a s e d 0 1 1m o t i o nc o m p e n s a t i o n t h e3 一da l g o r i t h mc a nb ed i v i d e di n t ot w op a r t s ：2 - i ) s p a t i a ld e n o i s i n ga n dt h ef o l l o w i n gl - dt e m p o r a ld e n o i s i n g i nt h ef i r s tp a r tw i e n e r f i l t e ri nw a v e l e td o m a i ni sa d o p t e d an e wm e t h o do fn o i s ee s t i m a t i o ni nw a v e l e t d o m a i ni sp r o p o s e dt oi m p r o v et h er e s u l to fs p a t i a lf i l t e r i n g k a l m a nf i l t e ri su s e di n 1 - dt e m p o r a lf i e l db e c a u s eo fi t sh i 曲q u a l i t ya n dl o wc o m p l e x i t y t h ew h o l e3 - d a l g o r i t h mi se m b e d d e di n t ot h ev i d e oc o m p r e s s i o ne n c o d i n gs y s t e ma n dv e r i f i e db y t e s t si nt h ee n d f i n a l l y , s e v e r a lp r o b l e m se x i s t e di nv i d e od e n o i s i n ga r ep r o p o s e db a s e do nt h e e x p e r i m e n ta n ds i m u l a t i o n a l s ot h ep e r s o n a lv i e wo nt h ed e v e l o p m e n to fv i d e o d e n o i s i n gi st a l k e da b o u t k e yw o r d s ：m o t i o nc o m p e n s a t i o n ，n o i s ee s t i m a t i o n ，w i e n e rf i l t e ri nw a v e l e t d o m a i n ，k a l m a nf i l t e r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得鑫盗蕉堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：黔彳 签字日期： 2 呷年 岳月f 同 学位论文版权使用授权书 本学位论文作者完全了解苤盗盘堂 有关保留、使用学位论文的规定。 特授权苤鲞蠢堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 签字f j 期：弦了年 导师虢耋娣 签字日期：乃叼罗年月，日 第一章绪论 1 1 引言 第一章绪论 数学和计算机技术的飞速发展，为数字图像和视频处理注入了新的活力。现 代视频处理技术的进步，集中体现在数字视频压缩编码技术的不断发展和新的压 缩标准的推出与应用上。数字视频压缩编码在多个领域中得到了广泛的应用，尤 以无线移动通信，网络流媒体播放和高清晰度数字电视方面的应用为人瞩目。 数字视频压缩编码技术的成熟，解决了海量视频信息的存储和传输问题，这 在很大程度上刺激了人们对于视频信息的消费欲望。但伴随着数量上的满足，人 们对于视频信息的质量也提出了更高的要求。 噪声是影响视频质量的主要因素。现实生活中，噪声不可避免地存在于数字 图像和视频中。噪声依据来源和起因的不同，可以分为很多种类：白噪声、脉冲 噪声、颗粒噪声、量化噪声等。白噪声主要来源于信道传输中的干扰、数字图像 和视频的采集和记录中的热电干扰【l 】；数字视频中因为灰尘、划伤等引起的噪声 常被建模为脉冲噪声；颗粒噪声则在雷达检测图像序列和医学上广泛应用的超声 诊断图上较为常见【2 】；量化噪声是由运算过程中的量化处理引入的的噪声，这不 在本文的讨论之列，不予考虑。 本文主要研究的是加性高斯白噪声( a w g n ) 的去除，这也是视频去噪技术 相关文献中对于噪声类型的主要假设【3 】。 1 2 课题的研究背景与意义 近年来数字视频压缩编码技术获得了长足的发展，不断有新技术甚至新标准 被提出并迅速投入应用。编码技术的发展，带动了整个数字媒体产业链的发展， 因为一直以来困扰整个产业发展的瓶颈就是海量信息的存储和传输问题。 数字多媒体技术的进步，使得数字系统相比以往的模拟系统优势更加明显。 数字化使得对于音视频信息的编辑更加方便，信息的传输和保存也更加便捷可 靠，但数字化不可避免要引入噪声。噪声不仅降低数字视频序列的清晰度和可观 赏性，还会对包括压缩编码在内的后期处理制造障碍。相比于单幅静止图像的噪 声，数字视频序列引入的噪声更让人困扰，这种困扰最直接的表现便是在帧与帧 第章绪论 的切换时视觉效果上闪烁的跳跃感。 视频序列中噪声区别于信号的最重要特征就是它在空间和时间分布上的无 关和随机性。视频序列之所以可以应用各种压缩编码技术进行大幅压缩，就是因 为信号在空域和时域都有很大的冗余性，这种冗余性是由信号在时空域上的相关 性引起的。噪声的引入，破坏了原始信号良好的相关性，或者说干扰了人们对于 信号之间相关性的认识。这种相关性辨认能力的下降，自然导致整个数字视频处 理系统效率下降甚至不能工作。 噪声对于数字视频序列的影响具体表现在：噪声增加原始视频序列的熵，迫 使系统为噪声带来的干扰分配多余的资源，增加了编码后的比特数，提高了对于 系统的存储要求和传输的带宽要求；噪声破坏信号在单幅图像内部空间域的相关 性，增大了图像内运动物体的辨认难度，直接影响了基于此的帧间运动预测和运 动补偿精度，破坏了视频信号在时域良好的相关性，使得视频编码的压缩性能大 大降低；对于m p e g 2 这样采用复用编码的系统，某一路信号受到了噪声的干扰， 就将迫使编码器为其分配更多的比特，在带宽受限的情况下，势必会影响到其它 各路信号的编码，对整个系统的性能产生巨大的负面影响；最后也是最直接的影 响，噪声降低了数字视频序列的清晰度，使得视频序列提供信息的能力大幅下降， 会挫伤人们对于视频信息的消费积极性，为基于数字视频的科研生产带来巨大的 负面影响。 噪声对于数字视频序列的影响带给整个数字媒体产业的负面影响是巨大的， 也是无法被忽视的。正因为此，对于视频去噪技术的研究日益引起人们的重视。 好的数字视频去噪算法，既可以嵌入视频编码系统做预处理器，在输入端大幅提 高视频可读性或可处理性，对整个系统的性能产生巨大的积极影响；也可以独立 出来作为数字视频媒体播放终端的矫正器，对于传输到终端的视频信号做后端处 理，改善视频的播放效果，提高数字视频的观赏性。 由以上分析，不难得出这样的结论：对于数字视频去噪技术的研究，不仅具 有巨大的理论意义，也具有显著的现实意义。成熟的数字视频去噪技术对于推动 整个数字媒体产业的发展意义重大，影响深远。 1 3 国内外研究现状 数字图像去噪技术的研究起步很早。对于数字图像去噪技术的研究，着重在 于两个方面：空间域和变换域。空间域去噪就是对于带噪图像的像素点直接进行 处理的技术。空间域的图像去噪技术，依据噪声的两大类型：高斯白噪声和脉冲 噪声，又可分为两种去噪思想：针对白噪声的低通滤波思想和针对脉冲噪声的中 2 第章绪论 值滤波思想。围绕白噪声去除的各种方法都是考虑一种邻域的平均化来减少随机 的白噪声对于图像质量的影响。最简单的均值滤波，及后来提出的改进的加权均 值滤波，直至最后的自适应滤波都是如此：脉冲噪声因为噪声点的强度大，噪声 的均值也不等于零，直接使用均值低通滤波只会引入更多的退化效应。考虑到脉 冲噪声的特殊性，人们提出非线性滤波方法，最常见的统计排序方法就是其中的 一种。先对目标像素点的邻域各点依像素值排序，然后找到特定位置的像素点即 作为滤波结果。这种方法简单直接，巧妙地排除了极性噪声点的影响。变换域滤 波的基本思想是先将带噪图像从空域变换到变换域，依照信号点和噪声点在变换 域的不同特性，在变换域采用恰当的滤波方法滤除噪声，然后将处理过的变换域 信息做朝向空域的反变换。依据变换方法的不同变换域去噪技术可以分为两大 类：频率域去噪和小波域去噪。频率域的滤波思想和空域类似。小波域滤波是伴 随着小波变换理论的提出日益兴起的一种滤波方法。小波变换具有优异的“时频 窗”特性，同时在时域和频域都有良好的分辨率，被誉为信号处理的“显微镜”。 小波变换所提供的多分辨率能力，更便于图像信号和噪声的建模和分离。本文也 在小波去噪方面投入了相当的篇幅。在所有的图像滤波方法中，考虑到算法的实 用性，又在很多方面引入了阈值滤波的思想。阈值滤波建立在对于含噪图像特征 的准确把握上。依据对于图像的认知，制定相应的阈值计算方法和依据阈值的参 数调整策略。阈值滤波因为结合了图像的统计特征，适用性更广，与各种滤波方 法的结合也更紧密。 人们在数字图像的去噪技术上投入了很多的精力，也结出了累累硕果，对于 数字视频的研究却很有限。出现这种现象的原因是多方面的：首先，视频相比图 像最大的特点就是时域的处理。对于时域的处理，需要增加很大的算法复杂度， 以解决无法回避的运动预测和运动补偿问题【4 】。其次，针对数字视频还没有成熟 的数学模型可供参考。最后，在完备的数字视频压缩技术成形以前，人们对于数 字视频的“庞大体积”也是望而生畏的，这也限制了数字视频去噪技术的发展。 对于时域的处理是数字视频去噪技术必须重点关注的一个问题。为了充分利 用视频信号时域上的相关性，人们提出的各种去噪技术都或多或少的参考了运动 预测的思想，只不过有的是直接使用运动预测技术，有的则隐式地采用其它的技 术以求回避直接的运动预测所带来的高计算复杂度。例如：在【5 】中，作者提出 了一种1 d 的f i r l m m s e 滤波技术。这种方法界定了五种预测的运动方向，使 得算法在时域上就沿着这五种方向做f i r 滤波，以求在m m s e 上求得对于原始 信号的最佳估计。如果实际的运动方向在这五种预测方向之中，得到的去噪视频 序列就会有很好的效果。时域的中值滤波也是一种回避运动预测的滤波技术，在 视频序列的运动速度基本稳定时，这种滤波技术也有良好的效果【6 】。甚至在时域 第一章绪论 上，还可运用均值滤波，这样的处理对于运动元素少的视频序列有更好的效果， 而对于序列中的运动部分则会有过平滑的效剁丌。 时域的这种过平滑效果可以通过基于运动预测的运动自适应滤波方法来最 大限度的去除，这也是带运动预测的视频去噪方法相比不带运动预测或采用隐式 运动预测技术的视频去噪方法的优势。尽管如此，直接在时域做处理，仍然有很 大的隐患，因为噪声的存在，会给时域方向的运动预测带来很大的障碍。单帧图 像上噪声的存在，破坏了各帧图像之间在时域上的连续性和相关性，增大了运动 预测的难度。所以，人们在时域的处理之前，又引入了在单帧图像上的2 d 空间 滤波。这里的空间和数字图像的空间域滤波不是一个概念，这个2 d 空间域是相 对1 d 的时域而言的。在具体的操作中，单帧图像的2 d 滤波可以采用各种数字 图像去噪技术，并不局限在空间域去噪，还可以采用变换域去噪技术。 在时空域的视频去噪技术中，针对单帧图像的去噪是时域去噪的基础。在如 何处理单帧2 d 和时域1 d 的关系上，又分成了带运动预测和不带运动预测两大 类别。不带运动预测的方法，是借用了邻域滤波的思想，将当前帧的帧内2 d 邻 域扩展到时域，组成了由参考帧和当前帧共同组成的3 d 邻域，基于这个新构建 的邻域做中值或者均值等滤波处理。这其中比较典型的方法有3 d 维纳滤波【8 】， 3 d 自适应加权均值滤波等等。人们回避运动预测主要就是为了避免运动预测带 来的高计算复杂度和高存储要求，但随着一种先进的卡尔曼滤波方法 9 - 1 2 】的提 出，运动预测对于算法计算复杂度的压力大大缓解了。卡尔曼滤波方法借用了递 归的思想，利用参考帧的运动预测结果来估计当前帧的运动情况，然后结合当前 帧的观测值对这个估计值进行校正。这种处理方法巧妙地降低了算法对于系统存 储容量和处理器性能的要求，成功地实现了低代价与高性能的完美统一。本文将 用大量的篇幅介绍这种方法。 数字视频去噪技术的演进过程可以在 3 中得到详细的讲解，这里不再赘述。 总体来讲，目前针对数字视频去噪技术的研究，更多在于时空域滤波方面。高效 的运动预测方法和适应性强的空域去噪技术是目前的两个研究热点。 1 4 本文的主要内容与安排 数字图像去噪技术是数字视频去噪技术的基础。目前对于数字视频去噪方法 的研究，按照是否进行空域去噪处理和运动补偿可分为四类：基于运动补偿的时 空域去噪技术、非运动补偿的时空域去噪技术、基于运动补偿的时域去噪技术和 非运动补偿的时域去噪技术。从去噪效果来看，基于运动补偿的时空域去噪技术 是最优的，本文也将重点对该方法做阐述。在基于运动补偿的时空域去噪技术中， 4 第一章绪论 空域的2 - d 去噪是后续处理的基础。只有在这一步有个好的效果，才能最大程度 地减小运动估计的误差。因此，本文也用了相当的篇幅介绍了数字图像去噪的各 种技术。 本文章节安排如下所示： 第一章是绪论，介绍了视频去噪技术的研究背景。 第二章对数字图像和视频去噪的常用技术做了简单的介绍。 第三章就数字图像小波域的去噪算法做了深入的阐述，提出了一种改进的小 波域噪声估计方法，并通过大量仿真确定了一种平均效果最好的小波基和性能优 良的小波域去噪算法。 第四章着眼于时空域运动补偿去噪技术，重点介绍了卡尔曼滤波方法。 第五章总结了全文，并提出了自己对于视频去噪技术发展方向的一些看法。 本文的所有仿真实验都是借助m a t l a b 完成。用m a t l a b 仿真可以使用它丰富 的函数库，代码开发难度大幅降低，但在性能上并不能令人满意。需要指出的是， 通过m a t l a b 做仿真只是为了验证算法的有效性，对于算法的实际性能的考察， 还需要将算法移植到c 语言下来完成。 第二章数字图像和视频去噪方法简介 第二章数字图像和视频去噪方法简介 2 1 图像和视频噪声模型 噪声可以理解为妨碍人们接受信息的因素，体现在图像和视频方面，就是妨 碍人眼对接收到的视觉信息进行理解的因素。可以从很多角度定义噪声，在本文 中，为方便做处理，都从数学角度将图像和视频信息看做是一个函数厂，噪声的 作用就是使得这个函数表示的信息发生某种程度的退化或缺失。本文把含噪图像 或者退化的图像称为g ，噪声的因素用r 来表示。 1 噪声分类 按照噪声影响信号的方式，通常将噪声分为以下两类： 1 ) 加性噪声 加性噪声【1 3 】顾名思义，是指引入的噪声和固有的信号之间是统计独立的，二 者没有相关性。这类噪声的例子有很多，如：信号传输过程中引入的信道噪声， c c d 或c m o s 采集图像时的热噪声等。加性噪声的表示方法为：g = f + r 。 2 ) 乘性噪声 乘性噪声是和固有的信号相关的，随着信号的变化而变化。这样的噪声有： 电视扫描光栅，感光胶片的颗粒噪声等。乘性噪声的表示方法为：g = f + f x r l 。 2 噪声模型 实际生活中常见的噪声从来源上大致可以分为四种： 1 ) 电子噪声 电子噪声【1 4 】是在阻性器件中由于电子随机热运动而造成的，是噪声模型中最 简单也是最常见的一种。这类噪声通常用零均值的高斯白噪声作为模型，它的直 方图分布大致呈高斯函数形状，具有平坦的功率谱，并可以用标准差来完全表征。 2 ) 光子噪声 光子噪声是由光的统计本质和图像传感器中的光电转换过程引起的，尤其在 弱光照下，影响更为严重。常用具有泊松分布的随机变量建模该噪声。光子噪声 也是具有代表性的一种乘性噪声。 3 ) 感光颗粒噪声 这种噪声一般存在于胶片图像中。由于胶片在曝光和显影的过程中，感光颗 粒本身大小不同，每一个颗粒曝光所需的光子数目也不同，这些都会引入随机性。 6 第二章数字图像和视频去噪方法简介 通常将这种性质称为颗粒性。对于多数应用，颗粒噪声可以用高斯过程作为有效 模型。与光电噪声类似，且内在分布为泊松分布。由于制造商会公布其生产的各 种胶卷的平均颗粒直径，因此只需要确定颗粒噪声的标准差( 作为颗粒大小和局 部图像密度的函数) 就可以了。底片的颗粒噪声可以用具有与局部平均灰度立方 根成正比的标准差值的零均值高斯白噪声作为模型。 4 ) 脉冲噪声 脉冲噪声也称为双极脉冲噪声或者椒盐噪声，表达式如下： f p 。 z=a p ( z ) = p b z = 6( 2 1 ) 10其它 这里z 表示图像中像素的灰度值。如果见或p b 为零，脉冲噪声就变为了单 极脉冲。 脉冲噪声可正可负。因为脉冲干扰通常与信号的强度相差很大，因此在一幅 图像中，脉冲噪声总是数字化为最大值( 亮点) 或最小值( 黑点) 。这也是脉冲 噪声被称为椒盐噪声的原因。 2 2 彩色图像的表征 本文论述的去噪研究适用于彩色图像序列。相对于单色的灰度图像，彩色图 像除了提供亮度信息，还提供了色彩方面的信息。这里简单介绍一下常用的颜色 模型： 1 r g b 颜色模型 ( r 、g 、b ) 是最常用的颜色基。对于人眼的彩色视觉模型人们提出了这样 的假设：视网膜上的锥状细胞红敏细胞、绿敏细胞和蓝敏细胞有三种类型。正是 这三种细胞对各种颜色入射光的不同反应使人们对于颜色有了辨识能力。人们用 r 、g 、b 表示入射光对这三种细胞的光通量，大脑根据r g b 的光通量来判定总 的色度和亮度。在彩色电视及彩色监视器上，采用红绿蓝三个基色，把它们按不 同比例相加而获得不同的彩色。这种方法叫做相加混色法。在彩色印刷、彩色胶 片感光中采用的是相减混色法，它是利用颜色、染料的吸色性质实现的。在相减 混色法中常采用黄色、品红、青色为三基色，它们可以分别吸收各自的补色光， 即蓝光、绿光和红光，把这三种基色按不同比例相混后，在白光照射下，蓝光、 绿光和红光以相应的比例被吸收，就能呈现不同的彩色。 2 h s v 颜色模型 对于人眼的感知来说，r g b 分量的描述方法是不够直观的。颜色对人眼的视 7 第二章数字图像和视频去噪方法简介 刚c b 三：越1 6 8 7 - 05 8 3 3 7 1 3 点05 料i ig 圈0 5 c2-2cr05 - - 04 1 8 70 8 1 3b05 ， ll = i o i + ii () i1 一o | l li 1 ll 一ll r = y - i - 1 4 0 2 x ( c r - 0 5 ) b = y + i 7 7 2 ( c b - 0 5 1 第二章数字图像和视频去噪方法简介 后面加上0 5 是为了使c r c b 总为正数，便于处理。 研究发现，人眼对于亮度的敏感程度大于对色度的敏感程度，所以完全可以 让相邻的色素使用同一个色度值，而人眼的感觉并不会有太大的变化。这样可以 通过损失色度信息来达到节省存储空间的目的，这就是y u v 的基本思想。本文对 于视频的处理，采用的就是y u v 格式的彩色模型。 2 3 图像质量评价方法 图像质量评价的研究是图像信息学科的基础研究之一【1 5 】。为了得到高质量的 视频图像，满足人们日益增长的需求，有必要建立一套科学准确的图像质量评价 体系。 图像质量的含义包括两方面：一个是图像的逼真度，即当前图像和原始标准 图像的偏离程度；另一个是图像的可信度，是指图像向外界提供信息的能力。这 两个方面的描述，是从不同角度对图像质量的描述，最理想的情况是能够找到对 于逼真度和可信度的定量描述方法，以准确量化地评价图像质量。对于图像的处 理，图像质量的提高，最终服务的对象还是人，所以图像质量的高低只能由人来 做最后的判定。遗憾的是，目前还没有对人视觉系统的本质充分理解，对于同 幅图像，不同的人可能有差别很大的判断。当前图像质量的评价方法大致可分为 主观评价、客观评价和其它评价方法三类。 1 图像主观评价 图像的主观评价就是通过人来观察图像，对图像的质量高低做主观的判定， 这样评价出的图像质量和观察者的特性及观察条件密切相关。为保证主观评价在 统计上有意义，评价的结果对于图像质量的提高有积极作用，在选择观察者时既 要考虑未受过训练的“外行”观察者，又要考虑对图像处理技术有一定经验的“内 行”观察者。一般而言，参加评分的观察者至少要有2 0 名，测试条件也应尽可 能与使用条件相匹配。 在图像质量的主观评价方法中又分两种评价计分方法，就是国际上通行的5 级评分的质量尺度和妨碍尺度。一般来说，对非专业人员多采用质量尺度，对专 业人员则使用妨碍尺度。 2 图像客观评价 图像质量的主观评价要求条件很高，在一些研究场合，或者简陋的实验条件 下，很难达到这样的要求。因此有必要制定一些对于图像质量的客观描述，也就 是图像的客观评价方法。图像的客观评价方法常常用在科研领域。按照着眼点的 不同，客观评价有通用的三种方法：信噪比，相关系数和清晰度。 9 第二章数字图像和视频去噪方法简介 1 ) 信噪比 p s n r = l o l 9 1 1 r 笋二_ ( 2 3 ) 击善善( “ 其中：y i ，为恢复图像的像素点，五，为原始图像的像素点。 2 ) 相关系数 玎( e ，) 2 而c o 丽v ( f , i ) 4 ， 其中，1 5 表示原始图像，”表示被噪声污染的图像，c o v ( i s , i “) 表示原始图 像和被噪声污染图像的协方差，v a r ( z 3 ) 表示原始图像的方差，v a r ( z “) 表示被噪 声污染图像的方差。理想状态下，被恢复的图像应该和原来的图像尽可能的接近， 而相关系数接近于1 的程度就描绘了两幅图像的接近程度，从整体上可以衡量图 像被恢复的程度。需要指出的是，相关系数的使用必须要求原图像的存在，也即 它只适合具有原图像的仿真实验。 3 ) 清晰度 清晰度是对于图像锐度的一种描画手段。我们将图像分成k 个m n 大小的 子块，分别计算它们的方差，求得均值就是对于清晰度的一种描述手段。 子块均值为： 所删2 砑茜善荟，( ) ( 2 - 5 ) 子块方差为： 2 志1 善m 善 砸，沪 2 ( 2 - 6 ) 图像k 个子块的平均方差为： d 删2 去善噶，噶表示第f 个m 子块的方差 ( 2 7 ) 这样的数据只在相互比较时才有意义。子块方差均值越大，说明图像的锐度 越强，清晰度也就越高；反之，子块方差均值越小，说明图像的锐度越弱，清晰 度也就越低。 3 其它评价方法 除了主观评价和客观评价之外，由于应用场合的不同，还有其他一些评价方 法。i s o 在制定m p e g - 4 标准时提出采用两种方式来进行视频图像质量的评价： l o 第二章数字图像和视频去噪方法简介 一种是基于感觉的质量评价，另一种是基于任务的质量评价。根据具体的应用情 况，可选择其中一种或两种方式。 1 ) 基于感觉的质量评价 基于感觉的质量评价方法相当于前面的主观质量的评价，但同时也考虑到声 音、图像的联合感觉效果也可能会影响图像的质量。比较明显的例子是，放一段 轻松优美的音乐，人们对于一幅图像的感觉和处在刺耳的噪声环境下对于同一幅 图像的感觉肯定不同，良好的环境很容易使人们对于图像的质量给出更高的评 价。 2 ) 基于任务的质量评价 基于任务的质量评价方法是通过使用者对一些典型的应用任务的报告情况 来判定图像的质量高低。比较典型的有：面部表情识别、符号语言阅读、盲文识 别、物体识别、手势语言以及机器自动执行某些动作等。此时对于图像质量的评 价并不仅仅建立在观赏的基础上，很多情况下更注重图像符合的表达是否准确， 是否能够正确的传达信息，如哑语手势图像等。 综上，对于图像的评价方法很多，但没有一种方法能够准确全面地反映图像 的质量。考虑到图像或视频最终的作用对象是人，主观评价方法用得更多一些。 在本文中，采取了主观和客观评价方法结合的方式，以便尽可能准确地评估不同 算法的去噪性能。 2 4 图像去噪方法 图像的去噪方法一般分为空间域去噪和变换域去噪。当图像中仅有加性噪声 存在时，选择空间域滤波方法就能达到很好的效果；当图像中存在乘性噪声时， 就需要用到变换域滤波方法。图像空间域去噪就是对像素点直接进行处理，基本 的思想是通过对当前像素点和其邻域的像素点做相关性的处理，达到去除噪声的 目的。图像变换域去噪的基本思想与空间域一致，区别仅仅在于做相关性处理之 前首先要对图像作对数运算，使得空间域的乘性噪声转化为变换域的加性噪声， 在变换域做相关性运算处理后再转回空间域。 2 4 1 图像空间域去噪 空间域的含噪图像可以表示为加性噪声的形式： g ( z ，y ) = 厂( 工，y ) + r l ( x ，y ) ( 2 8 ) 其中，g ( x ，y ) 为含噪图像，也即待处理图像或当前图像； 第二二章数字图像和视频去噪方法简介 f ( x ，y ) 为原始图像，也即加入噪声以前的纯净图像； r l ( x ，y 1 为加入原始图像的加性噪声。 图像空间域去噪的原理如下图所示： 模扳处理的图像像素 图2 - 1 空间滤波的原理 在当前图像中选取一个目标点g ( x ，y 1 ，并以该点为中心，在一定大小的邻域 内( 如m x 刀的矩形区域，r r t 、n 均为奇数) 建立目标区域，然后使用同样大小 的模板参数与该邻域内每个像素值做对位乘法运算，然后将得到的m x n 个积相 加即可得到个对于g ( x ，y ) 的修正值厂( 工，y ) ，并以此作为去噪的结果。 当然，邻域的选择方法并不是一成不变的，邻域的形状和大小也可以做适当 的调整。例如，形状可以选择菱形，正十字形，斜十字形甚至是类似圆形的多边 形，大小也可有多种变化，但般在从中心到任意一边都至少需要一个像素的距 离。大小的选择需要考虑系统的运算性能和算法的设计效果，过大或过小都不合 适，对于不同类型的含噪图像也需要不同的参数设置才能达到最理想的效果。 1 均值滤波方法 均值滤波顾名思义，就是将滤波模板的参数设置固定化了，对目标区域逐点 运算的结果就是计算出了它们的算术平均值，所以也可以将这种滤波看做是空间 的低通滤波。由于进行了平均化处理，减小了图像灰度的“尖锐”变化，也可以 去除一些典型的随机噪声，但由于对所有的像素点都进行了统一的处理，也在去 1 2 第_ 章数字图像和视频去噪方法简介 噪的同时引进了相加的干扰，带来了图像边缘模糊的负面效应，这点跟视频编码 中的块效应类似，并且模糊随着滤波窗口的增大而渐趋严重。 均值滤波方法主要有两种：算术均值滤波器，这种滤波器很简单，就是将邻 域内的像素值相加然后取平均，这样的滤波也被称为盒滤波：加权均值滤波器做 了一些改进，对像素点进行不同重要性的区分，将重要位置的像素点权值设得大 一些，相对次要位置的像素点权值设得小一些，这样可以一定程度上减小均值处 理带来的模糊。当然，加权值的设置也需要一定的技巧，而这种设置方法有可能 因应不同类型的图像做相应的调整。 2 统计排序滤波方法 统计排序滤波是一种非线性滤波方法。它的处理是建立在对于目标区域各像 素点像素值排序后的序列基础上的，由统计排序的结果来决定最后的响应。统计 排序滤波中最常见的就是中值滤波。中值滤波也是当前应用最广泛的空间域非线 性滤波技术。它在实际运算过程中并不需要图像的统计特性，运算简单，速度较 快，所以非常方便。在一定条件下，它能够克服线性滤波所带来的图像细节模糊， 尤其对去除脉冲噪声和图像扫描噪声最为有效，但是对一些细节繁密的图像不宜 采用中值滤波方法。中值滤波过程中很容易破坏图像结构和空间的邻域信息，为 了减少这种破坏作用，进一步提高滤波效果，人们提出了许多种改进的中值滤波 方法： 1 ) 加权中值滤波器 加权中值滤波器【1 纠刀是对标准中值滤波器的一种最直接的修正。 假定一个离散时间序列为t 彬，薯，。， 则它的加权中值滤波输出为 咒= m e d ( w - t 缸却，w o 缸，心缸+ t ) ( 2 9 ) 式( 2 - 9 ) 中，“”表示重复排列，即：w a x - - - - - x ，z ，工，x ，其中w ，- k z k ，k 、- - _ ，- _ _ 一 ”个 称为重复权值。 假设中心点像素值为1 5 0 ，它的目标区域内还有四个像素点，它们的灰度值 分别为8 0 、9 0 、1 5 0 、1 1 0 、1 2 0 ，按照标准中值算法。最终的结果就是l l o 。这 里将像素点的重复权值分别设为1 、1 、3 、l 、1 ，则要排序的点为：8 0 ，9 0 ，1 1 0 ， 1 2 0 ，1 5 0 ，1 5 0 ，1 5 0 ，调整后的中值就变做了1 2 0 ，加权中值滤波器的结果就是 将中心点像素值由1 5 0 替换为1 2 0 。 一般而言，加权中值滤波器中心点权值最大，其它点的权值随着和中心点的 距离增大而减小。这样的设置对于中心像素点的保留倾向很明显，可以起到边缘 保护的作用，然而在处理脉冲噪声时可能对噪声点也产生保留倾向，这显然不是 第二章数字图像和视频去噪方法简介 我们期望的。所以，重复权值的选取很重要，它需要通过对噪声属性的判断来确 定，也即要有一定的先验知识。 2 ) 多次中值滤波器 多次中值滤波【1 8 】也是对于标准中值滤波的一种改进。改进的方法可以有很多 种，简单介绍一种如下： 取当前目标像素点和它周围的m n 大小的邻域作为研究对象( m 和刀一般 取奇数值，保证整个区域关于中心像素点对称) 。以中心像素点为核心，取水平 方向的m 个像素点，计算得到它们的中值，记为z ；以中心像素点为核心，取 垂直方向的刀个像素点，计算得到它们的中值，记为z 2 ；接下来以相似的方法得 到4 5 。方向的中值乙和- 4 5 。方向的中值z 4 。这样我们就可以做最后的处理得 到最终的多次中值滤波结果为：咒，= m e d ( y , m x ，t 。f ) 。y 为四个中值z 。， z 2 ，z 3 ，z 。的最大值，y 曲为它们的最小值，指中心像素点的像素值。 多次中值滤波避免了加权中值需要先验知识的弊端，但同时也加大了滤波器 的复杂度。经过多次中值滤波后，图像中的脉冲噪声能得到很好的去除，同时图 像的细节和边缘也能得到较好的保护，不过图像的平滑能力较差。 3 ) 开关中值滤波器 顾名思义，开关中值滤波器【l9 】的特色是在中值滤波运算之前有个判断，就像 一个开关一样，依照一个固定的法则，判断当前像素点是信号点还是噪声点，并 根据判断的结果做标记，就像一个开关一样对待处理图像中的各个像素点做选通 处理，然后在此基础上做中值滤波。开关中值滤波可分为两步进行：噪声检测和 噪声滤除。 噪声检测的过程一般是这样的：取一个滤波窗口，g 为当前窗口的中心点 像素值，m i 为当前窗口内所有像素的中值，这里还需要一个预先确定的阈值r 。 当g 和现二者差的绝对值小于r ，则判断当前像素点为信号点，反之则为噪声 点。信号点用0 做标记，噪声点用1 做标记。 噪声滤除过程是这样的：将噪声检测过程中图像的二进制标记作为本过程的 输入。当二进制标记为1 时，当前像素点是一个噪声点。这时就在当前窗口内寻 找信号点，如果存在信号点，就用窗口的均值礁来代替当前点的像素值g 。这 个像素点的值经过修改后，就将作为一个信号点输入，接着进行后续处理。 与其它中值滤波器相比，开关中值滤波器首次区别对待不同属性的像素点， 这是中值滤波的一次飞跃，也为中值滤波器提供了更宽广的发展空间。当然，开 关中值滤波器还是需要一定的先验知识，计算复杂度也相应地增大了。同所有阈 值算法样，阈值的选取对于算法的效果有巨大的影响。 1 4 第二章数字图像和视频去噪方法简介 4 ) 递进开关中值滤波算法 递进开关中值滤波算法 2 0 1 对脉冲噪声的滤除效果是已知各种算法中较优的， 表现了良好的保护信号和抑制噪声的能力。但是递进开关中值滤波算法存在着同 开关中值滤波算法相似的局限性：在对污染图像各像素点分类前，需人为确立一 些参数来预先估计图像中污染像素比率，并根据估计结果来确定噪声检测的窗口 大小和阈值。后期的操作就是迭代运用开关中值滤波方法，直到当前图像中所有 的像素点都变成信号点，这也标志着滤波过程的结束。这种通过迭代逐步将噪声 点转化为信号点的过程，初始参数的选取在很大程度上制约着整个算法的滤波效 果，缺乏通用性。这一点也是该方法难以得到广泛应用的主要原因。这里不再作 深入讨论。 3 自适应滤波方法 以上讨论过的滤波方法，并没有考虑图像中各个区域的差异性。很多情况下， 图像所具有的局部特征也是很明显的。对于局部特征明显的图像，如果采用通用 算法去做处理，自然得不到很好的效果。自适应滤波方法却可以很好的解决这个 问题。相对而言，自适应滤波器在去噪方面的效果优于上面提到的其它滤波方法， 但在提高滤波性能的同时也增加了算法的复杂度。 1 ) 局部自适应滤波器【2 l 】 随机变量最简单也最通用的统计量是均值和方差。这些适当的参数是白适应 滤波器的基础，因为它们与图像状态密切相关。均值是区域灰度平均值的度量， 方差则是区域平均对比度的度量。 当滤波器作用于局部区域s 。，滤波器在中心点( 工，y ) 上的滤波响应基于下面 的四个量： ( 1 ) g ( x ，y ) 表示噪声图像在点( 工，y ) 上的值。 ( 2 ) d ；表示干扰厂( x ，y ) 以形成g ( x ，y ) 的噪声方差。 ( 3 ) m l 表示在& ，上像素点的局部均值。 ( 4 ) 仃2 ，表示在s 。，上像素点的局部方差。 局部自适应滤波器可以表示为： _ 2 y x , 夕) = g ( 彬) 一 g ( w ) 一忱 ( 2 1 0 ) o 这里一是需要估计的量，其它的参数可以由s 。，中的各个像素点值计算出 来。由于蠢、盯；的不致，该滤波器归为非线性滤波器。 2 ) 自适应中值滤波器 2 2 - 2 3 1 前面讨论的中值滤波器只要冲激噪声的空间密度不大，性能会很好。这里介 绍的自适应中值滤波器可以滤除密度更高的冲激噪声。自适应中值滤波器的另一 第- 二章数字图像和视频去噪方法简介 个优点是：平滑非冲激噪声时可以保存细节，这是传统的中值滤波器做不到的。 自适应中值滤波器也能工作在矩形窗口区s 。上，同时自适应中值滤波器在进行 滤波处理时，可以按照一定的条件改变s 。，的大小。 考虑如下符号： z 曲= 中灰度级的最小值 z 一= s 。中灰度级的最大值 = & 中灰度级的中值 = 在坐标( x ，y ) 上的灰度级 = & 允许的最大尺寸 自适应中值滤波器工作在两个层次，这里定义为a 层和曰层，如下所示： 4 层： a 1 = z 叫一z 洫 a 2 = z 耐一z m x 如果a 1 o 且a 2 0 且b 2 0 ，输出z 。 否则输出钿 该算法如此设计，主要有3 个目的：去除“椒盐”噪声，平滑其它非冲激噪 声，并减少诸如物体边界细化或粗化等失真。 彳层的目的是判断中值滤波器的输出z 利是否是一个脉冲。如果条件 z 岫 z 耐 z 螂有效，就判定z 朋甜不是脉冲。在该情况下转到君层，继续检测中 心点本身是否是一个脉冲。如果不是脉冲，就输出原来的像素值。通过不 改变这些中间水平的点，来减少图像中的失真。如果在口层检测的结果是一个脉 冲，就输出中值，从a 层已经知道z 删不是噪声脉冲。假设么层确实找到了 一个脉冲，就增大窗口尺寸并重复运算，直到找到一个非脉冲中值，或者达到窗 口的最大尺寸s 。如果达到了最大窗口尺寸，算法返回z 。值。这里不能保证 该值不是一个脉冲，噪声的概率只和或咒越小，或者在允许的范围内越大， 过早退出事件发生的可能性就越小。 1 6 第二章数字图像和视频去噪方法简介 2 4 2 图像频率域去噪 数字图像频率域滤波方法以傅里叶变换为基础。傅里叶变换可以把任何周期 函数和非周期函数( 曲线范围有限) 表示为不同频率的正弦和余弦乘以加权系数 的和，这样可以得到不同频率的正弦和余弦系数，也就是变换域中的变换系数。 对于这些系数采用一定的算法做去噪处理后通过反变换就能重建去噪后的空域 信息。对于数字图像，需要采用二维离散傅里叶变换。 1 二维离散傅里叶变换 假设一幅图像的尺寸为mx n ，它可以用函数厂( 工，少) 来表示，贝l j f ( x ，y ) 的 二维离散傅里叶变换为： ) = 亩_ 击m 萎- 1 萎n - i 作伽【矧( 2 - 1 1 ) 其中，工= o ，1 ，2 ，m - l ，y = o ，1 ，2 ，n - 1 ) 。 同时，当已知f ( “，v ) ，可以通过傅里叶反变换得到厂( x ，y ) ，反变换为： m - 1 n - 1 ，2 刀f 旦+ 里i 厂( x ，j ，) = zz f ( “，v ) p 。“l 吖。j ( 2 1 2 ) 其中：z = o ，1 2 ，m - 1 ) ，y = o ，1 2 ，n - 1 ) 。 以上两个表达式构成了二维傅里叶变换对，变量“和v 是变换域中的频率变 量，工和y 是空间域中的图像变量。常量亩的位置并不重要，有时在反变换前， 有时它被分成两个相等的常数喜，分别乘在变换和反变换的表达式前。 0m n 傅里叶变换也可以在极坐标下来表示，而且这样表示也更加方便： f ( u ，v ) = i f ( “，v ) l e m ) = 尺( “，v ) + ( “，v ) l v ( u ，v ) i - - j r 2 ( ”) + j 2 ( v ) - ( 2 1 3 ) m 一锄( 粉 其中，f ( u ，v ) 称为傅里叶变换的频率谱，i f ( u , v ) l 称为傅里叶变换的幅度谱， ( “，v ) 称为傅里叶变换的相位谱。 通常对图像进行傅里叶变换以前，用( 一1 ) 肿y 乘以输入的图像函数厂( 工，y ) ， 这相当于将f ( “，v ) 原点变换到频率坐标下的( 等，譬) 。 1 7 第二章数字图像和视频去噪方法简介 2 频率域滤波的基本步骤 通过傅里叶变换，每个f ( u ，v ) 项都包含了被指数项修正的厂