基于维纳滤波的红外焦平面非均匀性校正算法

1、第35卷第7期 光电工程 Vol.35, No.7 2008年7月 Opto-Electronic Engineering July, 2008 文章编号：1003-501X(2008)07-0136-04基于维纳滤波的红外焦平面非均匀性校正算法刘永进，朱 红，赵亦工( 西安电子科技大学 电子工程学院，西安 710071 )摘要：针对焦平面阵列上各探测单元光电响应的非均匀性，本文使用了维纳滤波技术来实现红外焦平面阵列非均匀校正。该方法首先根据实际情况确定一个输出延迟，然后采用维纳滤波并借助前后帧信息对当前帧进行多次估计，最后取其均值作为此帧的最终校正结果。文中使用了真实红外图像对算法性能进行验

2、证，由于能够充分利用过去和将来的场景信息，因而本算法可以有效地去除原图像上的固定图案噪声。关键词：红外焦平面阵列；非均匀校正；固定图案噪声；维纳滤波中图分类号：TN215 文献标志码：ANonuniformity Correction Algorithm for InfraredFocal Plane Arrays Based on Wiener Filtering LIU Yong-jin，ZHU Hong，ZHAO Yi-gong( School of Electronic Engineering, Xidian University, Xian 710071, China )Abstra

3、ct: The performance of an infrared imaging system is affected by spatial fixed-pattern noise badly due to the different photoresponse of each detector in a focal plane array for the same irradiance. A novel nonuniformity correction algorithm based on Wiener filtering is developed, which first determ

4、ines an output delay for being able to use the later information of an uncorrected image, and then by depending on the front and back information of a current frame, Wiener filter is adopted to estimate the current frame for several times. At last, take the average value of the estimations as the fi

5、nal correction result. The performance of the proposed algorithm is demonstrated with a real infrared image, and its advantage is that it can employ sufficient information to eliminate the fixed-pattern noise.Key words: infrared focal plane array; nonuniformity correction; fixed-pattern noise; Wiene

6、r filtering1 引 言红外焦平面阵列(Infrared Focal Plane Array, IRFPA)探测器现已广泛应用于国防、民用等各个领域。但由于制造工艺水平的限制，焦平面阵列上各探测单元对于同一辐照的响应度不完全一致，因此产生了固定图案噪声(Fixed-Pattern Noise, FPN)，它严重影响了红外系统的成像质量，并且该噪声参数还会随着外界环境的变化而缓慢漂移。由此可见，如何有效地跟踪并去除固定图案噪声实现非均匀校正(Nonuniformity Correction, NUC)是提高红外焦平面阵列成像质量的关键。到目前为止，国内外已经提出了许多关于焦平面阵列非均匀

7、校正的算法，但主要可以分为两大类。一类是基于标定的方法1，这类方法具有较高的校正精度，但在标定过程中需要成像系统暂停工作，因此其使用范围受到一定的限制。另一类是基于场景的方法2-6，它直接利用每帧图像的场景信息进行非均匀校正，克服了第一类方法的缺陷，因此是目前研究的焦点。本文提出了一种基于维纳滤波(Wiener Filter, WF)的红外焦平面阵列非均匀校正算法，它能够利用过去收稿日期：2007-10-21；收到修改稿日期：2008-05-20基金项目：国家自然科学基金资助项目(60572151)作者简介：刘永进(1983-)，男(汉族)，安徽金寨人，博士研究生，主要研究工作是图像与信号处理

8、。E-mail: lyj8309242008年7月 刘永进 等：基于维纳滤波的红外焦平面非均匀性校正算法 137和将来的信息校正当前图像，所以该方法会产生延迟，其具体大小可根据实际情况而定，并且延迟越大算法的校正性能越好，但此时的计算量和存储量也越大，因此我们要权衡选择。2 算法原理描述2.1 算法模型在许多实际应用中，传感器都要求工作在线性响应区。因此本文假设焦平面阵列上各探测单元的输入输出满足线性关系，这样，阵列坐标是(i，j)的探测器在第k帧的输出可以表示为Yk(i,j)=Ak(i,j)Tk(i,j)+Bk(i,j)+Vk(i,j) (1)其中：Ak(i，j)和Bk(i，j)分别表示该探

9、测器的增益(Gain)噪声参数和偏置(Offset)噪声参数，Tk(i，j)表示所接收到的真实红外辐照，Vk(i，j)表示随机产生的电子噪声(Electronic Noise，EN)。2.2 维纳滤波为方便起见，略去坐标(i，j)，将式(1)改写成矩阵形式：0TkBkVkYkAk#=#+#+# (2) %Ak+d1Tk+d1Bk+d1Vk+d1Yk+d10其中d表示预先存储的帧数。或者式(2)可以用贝叶斯线性模型来描述：Yk=HkTk+Bk+Vk (3)这样假设Vk均值为零，则由贝叶斯高斯马尔可夫定理7可知，真实红外辐照向量Tk的最优估计值为=E(T)+CHTHCHT+C1(YE(Y) (4)

10、 TkkTkkkTkkVkkk这里：Hk表示d×d的增益矩阵，E(Tk)和E(Yk)分别表示Tk和Yk的均值，其确定方法可参见文献3，CTk和CVk分别表示Tk和Vk的协方差矩阵。2为简化计算，本文假设CVk是常量，Vk中各噪声项互不相关且拥有相同的方差V，这样，2CVk=CV=IdV (5)其中Id表示d×d的单位阵。另外，由于噪声参数的漂移非常缓慢，因而我们可以认为Hk和Bk恒定不变，则式(4)应改写为=E(T)+CHTHCHT+C1(YE(Y) (6) TTkTkVkkkk2为获得V的估计值，我们现考虑Yk的一步差分：Dk=Yk+1Yk (7)由于辐照度Tk的变化较慢

11、，而电子噪声的变化较快，因此：DkVk+1Vk (8)2则V可以通过Dk的样本方差的一半来估计：12V=2kpk=kp(Dk)2 (9) 1其中：kp表示初始图像的帧数，D表示Dk的样本均值：11=Dk (10) kpk=kp2.3 校正输出由2.2节可知，维纳滤波器能够根据d帧噪声图像的信息估计出真实红外辐照图像，但由于信息量的限制，校正效果不是很理想。本算法采用“滑动”方式对每一帧图像进行多次估计，然后取其均值作为最终校正输出，这样大大增加了信息量，因而具有很好的校正效果。图1显示了本算法的校正方式，其具体步骤如下：step 1: 预先存储d帧噪声图像(这样，算法将延迟d1帧)。138 光

12、电工程 第35卷第7期step 2: 利用d阶维纳滤波器估计出各帧图像的真实值。 step 3: 当k1时，将此d帧估计值则，将此d帧估计值与该队列中相应帧的以前估计值做平均，如果是第一次估计某一帧，则直接将其结果存入队尾即可。Estimation for d timesk+2 k+d-1 412 16 8Queue length / frames20直接存入一长度为d的队列(Queue)；否k-d+1d frames of noise imagesk-d+2k-2k -1k-1kk󵗫kk+11.8Roughness1.41.00.6×10-30.2k+1step

13、4: 输出队首的一帧图像作为该帧的最终校正结果。顺次读入第step 5: 当kNtotald时，图1 本算法对第k帧噪声图像的校正过程Fig.1 Correction course of the proposed algorithm towards the noise image of frame kk+d帧噪声图像，kk+1，转step 2；否则，转step 6；其中Ntotal表示总帧数。step 6: 直接输出最后d1帧校正图像。3 算法仿真与结果分析本部分将使用真实红外图像序列对算法性能进行测试，该序列是利用法国ULIS公司的320×240、工作在814 µm波长范

14、围的IRFPA所采集，共400帧，采样速率是30帧/s，14位量化(最大灰度值为16 383)。 3.1 算法的评价指标为了定量度量算法的校正效果，本文将使用粗糙度(Roughness)参数3作为评价指标。对于任一帧图像f，其定义如下： (f)=|h1f|1+|h2f|1(11)|f|1其中：h1=11为水平模板(Horizontal Mask)，h2=h1T为竖直模板(Vertical Mask)，表示离散卷积，1 表示L1范数。从式(11)可以看出，分子上的两项是为了度量图像在水平和垂直方向的不一致程度；分母则是为了归一化，从而使指标具有统一的尺度。显然，对于一幅均匀灰度图像，其粗糙度为0

15、，并且随着像素间差异的加大，值也随之增加。由于噪声的空间相关性很小，因此粗糙度指标可以在真实图像未知的情况下评价算法的校正性能。 3.2 算法的校正性能由第一部分可知：延迟越大，本算法能够利用的图像信息就越多，因此校正效果也越好。为证明这一点，图2显示了噪声图像在不同延迟情况下的校正结果。其中，图2(a)为第200帧原始图像，显然其上有非常严重的固定图案噪声，图2(b)和图2(c)分别为当队列长度d=1 (无延迟)和d=20 (延迟19帧)时图2(a)的校正结果。由图可见，本算法在这两种情况下都具有很好的校正效果，粗糙度也比原始图像下降了12个数量级，但图2(b)的左下角偏黑，即“鬼影”8(G

16、hosting Artifact)明显要比图2(c)严重，这主要是由于真(a) Original image (=0.032 6); (b) NUC (d=1, =0.001 8); (c) NUC (d=20, =0.000 3)图2 本算法在不同延迟情况下的校正性能Fig.2 Correction performance of the proposed algorithmunder different delay conditions图3 延迟对本算法校正性能的影响Fig.3 Impact of the delay on the correction performance of the

17、proposed algorithm2008年7月 刘永进 等：基于维纳滤波的红外焦平面非均匀性校正算法139实图像序列的帧与帧之间存在强相关性，这样，算法在小延迟情况下能够利用的有效信息非常有限，因此会引入大量冗余信息，而这些冗余正是产生“鬼影”的关键。随着延迟的增加，算法能够利用更多的有用信息，自然可以有效抑制“鬼影”，取得较好的校正结果。图3给出了粗糙度和延迟帧数(d-1)之间的关系，由图可见，随着可用帧数的增多，值不断减小，它同样也证明了上述结论。 3.3 算法的其它性能Memory requirements / Bytes算法的时间和空间复杂度也是两个非常重要的性能指标，它直接CPU

18、 time / s16012080400(a) CPU time6420决定了算法的使用范围。本节将利用PC机(CPU是Pentium III1.4GHz，内存大小是512MB)在Matlab环境下测试延迟对算法运算量和存储量的影响。如图4所示，其中图4(a)和图4(b)分别表示在不同延迟情况下校正一帧图像所需要由图可的CPU时间和内存占用量。(b) Memory requirements图4 延迟对本算法时间和空间复杂度的影响Fig.4 Impact of the delay on the temporal and spatial complexity of the proposed alg

19、orithm见，当d=1(无延迟)时本算法有较小的运算量和存储量，所以非常适合对采集的数据进行实时校正；但随着延迟的增加，算法的时间和空间复杂度都不断提高，因此可以应用在对实时性和存储量要求不严格的场合。4 结 论本文提出了一种基于维纳滤波的红外焦平面阵列非均匀校正算法，它可以通过延迟校正输出进而充分利用过去和将来的信息估计当前图像。实验结果表明：无论延迟大小，本算法都具有很好的校正性能，但由于延迟越大算法能够利用更多的有用信息，因此其校正效果会越好，而此时的计算量和存储量也越大。由此可见，我们在确定算法延迟时需要根据实际情况进行选择：如果要求实时处理，则d取值为1；如果只注重图像的校正质量而

20、对算法的实时性和存储占用量不作要求，则d值可以取较大一些。 参考文献：1 童央群，郭继昌. 一种改进的红外焦平面非均匀性校正算法 J. 光电工程，2005，32(5)：35-37.TONG Yang-qun，GUO Ji-chang. Improved non-uniformity correction algorithm for infrared focal plane array detector J. Opto-Electronic Engineering，2005，32(5)：35-37.2 Harris J G，Chiang Y M. Nonuniformity correction

21、 of infrared image sequences using the constant-statistics constraint J. IEEETrans Image Processing，1999，8(8)：1148-1151.3 Hayat M M，Torres S N，Armstrong E E，et al. Statistical algorithm for nonuniformity correction in focal-plane arrays J. Appl.Opt，1999，38(8)：772-780.4 Ratliff B M，Hayat M M，Tyo J S. Generalized algebraic scene-based nonuniformi