基于卡尔曼滤波与中值滤波的快速时空联合去噪.doc

一种时空联合的视频去噪方法唐权华1，雷金娥2，周艳3，金炜东4TANG Quan-hua1 LEI Jin-e2 YAN Zhou3 JIN Wei-dong41. 西南交通大学 信息科学与技术学院,四川 成都 6100312. 南昌工程学院 计算机科学系，江西 南昌 3300993. 西南交通大学 电气工程学院,四川 成都 6100314. 西南交通大学 电气工程学院,四川 成都 6100311. School of Information Science & Technology, SouthWest Jiaotong University, Chendu 610031, China2. Department of Computer Science, Nanchang Institute of Technology, Nanchang 330099, China3. School of Information Science & Technology, SouthWest Jiaotong University, Chendu 610031, China4. School of Electrical Engineering, SouthWest Jiaotong University ,Chengdu 610031, ChinaA Spatial-temporal method for Video DenoisingAbstract：There is an irreconcilable conflict between the degree of vagueness and the capacity of denoising in conventional image filters. A new video based denoising method, combining special and temporal filters, utilizing both spatial correlation and temporal correlation, is proposed to solve this problem in this paper. At first the motion trajectory is gained by a fast adaptive motion estimation method with adaptive thresholds and different search modes. Then a window-size adaptive median filtering is performed with the two windows on the motion trajectory of current and last frame. The temporal redundancy is exploited by a scalar state 1-D Kalman filter. A novel way is proposed to estimate the variance of the state noise from the noisy frames. At last the two estimates are combined with a geometric mean take full advantage of both spatial and temporal relativities. Experimental result shows that the new method is robust than both spatial and temporal methods, especially when treating the pepper & salt noises. As the time consumption of the new method is sum of temporal filter, spatial filter and motion estimation, the computational complexity increased by combination is acceptable, which is also proved in experiments.Key Words: motion estimation; Kalman filtering; median filtering; video denoising摘 要：传统的图像滤波器在模糊程度与去噪能力之间存在不可调和的矛盾。本文提出了一种基于时空域联合的方法，从视频的角度出发，同时利用信号的时域和空域相关性进行去噪，以解决这一矛盾。新方法首先通过一种基于自适应阈值、搜索方法切换的快速自适应运动估计方法获得运动轨迹，然后使用自适应窗口大小的中值滤波去除空域噪声，中值滤波中使用了运动轨迹上相邻两帧的对应窗口像素，使用一维卡尔曼滤波器行时域去噪，最后用几何均值结合两次滤波的结果，使信号的时域相关性与空域相关性都得到了充分利用。实验结果证明本文算法去噪效果显著，超过了各种的时域或空域方法，对椒盐噪声的处理效果尤其突出。实验也表明，由于新方法的时间消耗为时域滤波、空域滤波和运动估计时间的简单累加，因时空联合而增加的计算复杂度属于可接受的范围。关键词：运动估计；卡尔曼滤波；中值滤波；视频去噪中图法分类号:TP391 文献标识码: A基金项目: 国家自然科学基金(60572143)收稿日期: 改回日期:第一作者简介: 唐权华，男,1976年生,博士研究生,主要研究方向为视频信号处理1引言视频信号在采集、传输和存储过程中，由于设备内部噪声、采样精度、信道污染、介质损坏等问题，都可能会引入一定噪声。噪声不仅影响视频的视觉效果，而且严重影响编码效率，因此视频去噪成为了视频编码和视频应用中的重要环节。传统的去噪方法主要是在图像内进行的，如高斯滤波器、维纳滤波器、中值滤波器、频域滤波和小波域去噪等，都是利用图像的空域相关性进行平滑处理。但空域相关性并不能完全区分视频信号与噪声信号，图像边缘和细节的空域相关性较弱，而污染严重时噪声之间却产生较强空域相关性。这使得空域滤波在去噪时无法避免破坏图像细节,且去噪能力不强。由于视频信号具有连贯性，视频帧间的时域相关性远远大于空域相关性，近年来，人们开始研究时域和时空域联合的视频去噪方法，而单纯的时域滤波忽略了空间相关性，虽然在信噪比等参数上有所提高，但视觉效果不佳，所以时空联合成为视频去噪的主要发展方向。时空联合去噪的研究主要集中在时域与空域滤波的结合方式、滤波方法的研究、运动估计等三方面。常见的时空域的结合方式主要有三种，一是先进行时域滤波再进行空域滤波，二是先进行空域滤波再进行时域滤波，三是直接将二维滤波器扩展到三维空间。三维滤波需要耗费较大的内存空间与计算量，并且滤波后的视觉效果并不很好，前两种方法将时空滤波分离，虽然在去噪性能上得到一定提升，但在保护细节方面并未得到改善。本文通过对运动估计方法、时空滤波方法、滤波结果的结合方式进行研究，设计了新型时空联合去噪方法。实验表明新方法比以往的各种方法更能保护图像细节，去除视频噪声、特别是椒盐噪声能力更强，运算速度较快，视觉效果和PSNR都得到有效提升。2快速自适应运动估计运动估计的准确性直接决定时域滤波的效果，因此运动估计方法的选择至关重要。目前运动估计的方法很多，如三步搜索法（3SS）、二维对数搜索法（2D-LOGS）、新三步搜索法（NTSS）、十字搜索法（DCS）、六边形搜索法（HEXBS）、大菱形搜索（LDS）、小菱形搜索（SDS）等，（详细请参阅文献4），但绝大多数方法都是针对视频编码而设计的。与视频编码中只考虑最小误差不同，视频去噪中的运动估计必须满足两个基本要求：一是强抗干扰性，二是面向真实性。基于这两点要求及运算速度、估计精度的综合考虑，我们设计了一种快速自适应运动估计方法（fast adaptive ME ，FAME)，该算法使用小菱形模式(small diamond pattern，SDP)，大菱形模式(large diamond pattern，LDP)，弹性菱形模式(elastic diamond pattern, EDP),和运动自适应搜索模式（motion adaptive Pattern，MAP）进行搜索。其中前三种模式可以相互切换：当SDP搜索次数超过弹性范围K则转入EDP，EDP执行一次后转入LDP，若LDP搜索结果在菱形中心，则转入SDP，否则转入EDP。FAME的主要步骤可描述如下：1）初始化空域预测向量集，（the MV candidate list, MVCL），包括左方，左上，上方三个相邻块的运动向量。定义TSB为静态阈值，若，则当前块为静止块，停止搜索。否则计算计算运动活性（local motion activity ，LMA)如下：定义THS为中途停止阈值， 在以下搜索过程中，若SAD小于THS，则停止搜索。2）如果LMA为低，则使用SDP开始进行搜索，使用MVCL的均值点作为起始搜索中心。令K=2。3）如果LMA为中，则将均值预测向量（MVCL各向量产生的均值）与时域预测向量添加到MVCL中，使用MAP开始搜索，即先搜索MVCL中各块，然后将所得结果作为中心进行SDP搜索。令K=4。4）如果LMA为高，则将时域预测向量与均值预测向量添加到MVCL中，先使用MAP进行搜索，然后将所得结果作为中心进行SDP搜索。令K=1。FAME充分考虑了图像的时域相关性与空域相关性及运动的连续性，因而它的估计准确度与运算速度较3SS、NTSS、SDS、LDS等算法均有极大的提高，并且，由于使用了自适应的停止阈值，它具有一定的抗噪声能力。根据视频去噪的特殊需要，为进一步加强抗噪能力，本文在FAME中加入了噪声判断。为当前帧所有MVCL中像素的集合，, ,分别是中各像素亮度的最大、最小和平均值，分别定义污染程度ND如下：进行匹配块搜索时，为在污染严重的地方加入更多的空间和时间相关性因素，使用噪声自适应中止阈值（NATHS）：其中是搜索位置对应的运动向量。3自适应时空中值滤波中值滤波对滤波元素起平滑作用，滤波窗口越大，平滑作用就越强，同时保护细节的功能就越弱。为解决去噪能力与保护细节的矛盾，本文采用根据污染程度调整窗口大小的自适应中值滤波方法，使用运动估计中所得到的污染程度作为滤波窗口大小（size）的判断依据：正如引言所述，由于严重噪声的空域相关性或图像的空域相关性不足，简单空域滤波容易保留噪声或破坏图像细节，自适应中值滤波中仍然存在这一问题。为此，我们加入时域窗，即运动向量指向的参考帧中的像素的邻域窗口进行中值滤波。令为当前帧的滤波窗口，为参考帧中对应的窗口，则中值滤波的结果mf为：若噪声出现的概率为，则通过空域中值滤波失败的概率为，而加入时域窗后失败的概率为（为运动估计失败的概率）。一般来说，所以使用极大地提高中值滤波的性能。空域中值滤波与时空中值滤波的对比实验也证明时空滤波性能的提高，结果如图3.1-3.2所示。 原始帧(352288) 加10%椒盐噪声 普通中值滤波结果 自适应中值滤波结果图3.1 Football第55帧滤波结果 原始帧(176144) 加20%椒盐噪声 普通中值滤波结果 自适应中值滤波结果图3.2 Carphone()第48帧滤波结果4卡尔曼滤波器的设计令当前帧某对象的亮度，为前一帧与之对应块的亮度，考虑运动估计的准确性、亮度变化等因素可以得到方程： （1）其中表示运动前后的变化，称之为运动噪声，假定它是时间和空间均独立的零均值高斯信号。通常原始信号会受到污染，使我们观测到的亮度是含噪的： （2）其中表示需要去除的噪声。同样被认为是时间和空间均独立的零均值高斯信号（zero mean Gaussian and independent over space and time ，AWGN) ，并与独立。等式(1)和等式(2)中的恰好满足卡尔曼滤波的理想条件。如果已知Y=, 则卡尔曼滤波实际上是一个得到的最优线性估计的迭代过程。然而要进行卡尔曼滤波还必须得到、几个参数。文献1中使用作为初值，大约有20帧扭曲，本文采用，使扭曲几乎消失。在估计运动噪声之前，必须先进行运动估计。设B为要进行运动估计的块，则它运动补偿的块也就是在前一帧中找到与之最接近的块。当场景切换、估计失败或出现闪光时，会增加运动噪声。从等式(1)我们可以看到运动噪声代表了物体运动时的亮度变化。由于无法得到原始帧，要减少噪声的影响就应该估计变量。若为B中各像素的均值，则使用估计可以得到的极大似然估计，因此使用作为的估计值，结合(1)，(2)可得到的估计值。最后使用卡尔曼滤波方程来估计的值即可。使用已去噪的上一帧来计算当前帧的运动向量可以进一步改善去噪效果。5时空滤波结果的结合与以往先后进行时域、空域滤波或进行三维滤波的方法不同，文献1提出分别进行时域与空域滤波、然后使用均值结合两次滤波结果的均值作为最后的去噪结果的方法。这种方法解决了单纯的空域滤波破坏图像细节的问题，同时对时域或空域不相关的像素值进行抑制，从而达到了时空联合去噪的目的。但当运动估计失败或空域噪声严重时，这种方法会把错误的滤波结果也计算在内。为获得最有利的时空结合结果，引入时域滤波可靠性与空域滤波可靠性。其中时域滤波的可靠性取决于两个方面，一是运动估计的可靠性，表现在块匹配时的SAD；二是像素值的时域连续性，表现在运动轨迹的像素值相同或缓慢变化，于是定义如下： 其中A、B分别是运动轨迹上当前块与对应块，、分别是当前像素的时域估计值与上一帧的滤波结果。空域滤波结果的可靠性主要取决于像素空间的相关性，定义如下：令卡尔曼滤波结果为，中值滤波结果为，则联合去噪的结果为：6实验结果本文用foreman (FR，CIF格式)，football(FB，CIF格式)，akiyo(AK，QCIF格式)，flowergarden（FG，MPEG420格式）几个视频序列分在不同的噪声程度下进行了实验，实验序列长度均为90帧。实验噪声种类包括随机噪声、椒盐噪声和混合噪声。对比算法包括本文算法（Kalman-median schemes， kalmed），维纳卡尔曼联合滤波(Kalman-wiener schemes， kalwnr)，33窗口的均值滤波（average filter， avg），33窗口的中值滤波(median filter，mf)，一维卡尔曼滤波(Kalman filter, kal)，表6.16.3所示各去噪结果的峰值信号比（PSNR）。表6.1几种去噪方法对椒盐噪声的去噪效果（PSNR）序列噪声序列kalavgmfkalwnrkalmedFR15.117.322.928.223.433.512.015.319.724.418.329.610.314.217.620.417.428.7AK15.217.522.826.820.331.812.215.419.721.917.528.610.413.917.717.316.826.4FG15.116.420.121.119.927.912.114.718.219.316.425.110.413.616.816.915.624.5FB15.618.424.029.120.733.312.716.821.023.318.930.810.914.719.118.515.329.2表6.2几种去噪方法对随机噪声的去噪效果（PSNR）序列噪声序列kalavgmfkalwnrkalmedFR16.318.919.017.425.424.14.416.917.215.520.921.312.815.215.714.019.520.1AK16.718.719.817.425.222.214.716.618.015.522.119.313.115.016.413.919.718.4FG16.917.817.916.923.819.714.615.316.715.219.618.813.014.615.513.817.517.2FB17.819.722.919.025.026.415.917.521.017.121.322.714.215.819.515.520.921.9表6.1几种去噪方法对混合噪声的去噪效果（PSNR）序列噪声序列kalavg mf kalwnrkalmedFR14.918.121.426.724.231.311.716.417.421.219.828.49.814.514.917.318.326.4AK15.118.022.026.624.129.512.015.918.621.420.326.510.214.316.517.517.324.2FG15.017.119.424.320.825.711.914.417.020.419.123.910.014.215.117.017.522.3FB15.518.723.628.628.032.312.517.220.423.021.229.410.715.318.618.817.427.1从实验数据可以看出，时空联合的去噪效果明显优于单一的时域滤波或空域滤波，本文算法在去椒盐噪声和混合噪声时的效果比其它算法有较大的提升，而在去随机噪声时与维纳卡尔曼联合滤波相当。7结束语新型时空联合的视频去噪方法的去噪效果普遍比简单时域或空域滤波效果好，平均能将视频的峰值信噪比提高10分贝，在处理椒盐噪声与混合噪声时效果尤为突出，但它处理随机噪声的能力相对较弱，这是由中值滤波本身的特性所决定的。我们将进一步研究提高对随机噪声的去噪能力的其它策略，如中值滤波与其它滤波方法切换的方式。参考文献1 Rakesh Dugad, Narendra Ahuja, Video Denoising by Combining Kalman and Wiener Estimates, International Conference on Image Processing 1999C,