红外图象自适应非均匀性校正算法的研究与实现

1、红外图象自适应非均匀性校正算法的研究与实现公安部第一研究所 郑裕林 郅晨 张振环 方盛华【摘 要】 红外焦平面阵列（IRFPA）的非均匀性是影响红外系统成像质量的关键性因素。目前常用的基于定标技术的两点或多点校正算法在应用中难以完全克服探测器响应的非线性，也无法消除随时间和环境变化所产生漂移的影响。提出了基于定标的和基于场景的联合校正算法。其中基于定标的多项式拟合校正算法可以消除探测器的大部分非均匀性，基于场景的最小均方误差（LMS）自适应算法可抑制探测器非均匀性参数漂移的影响而自动更新系数。实验表明：这种自适应联合校正算法效果良好,能满足现实需要，体现了算法的优越性。【关键词】红外焦平面阵列

2、；非均匀性；多项式拟合非线性校正；LMS；自适应算法一、引言由于受材料和工艺水平等原因,红外焦平面阵列(Infrared Focal Plane Array, IRFPA)器件各探测单元响应特性之间普遍存在着非均匀性,它指的是焦平面阵列在外界均匀光强照射时,各单元的输出不一致,在图像上表现为空间噪声或固定图案噪声。红外焦平面阵列的非均匀性严重影响了红外传感器的成像质量,因而工程中使用的IRFPA器件都要采用相应的非均匀性校正技术。焦平面探测器非均匀性校正方法总体可分为两大类:基于定标的校正算法和基于场景的校正算法。基于定标的非均匀校正技术是在特定温度的黑体均匀辐射下，对红外焦平面进行定标。通常

3、需要事先获得校正所需要的定标系数,然后在校正实现过程中读取这些数据作相应的处理,精度高,算法相对简单,便于硬件实现,但是若由于温度变化、噪声干扰等原因引起探测器的直流漂移,这类的算法则无法对此做出反应,不能自适应跟踪探测元响应特性的漂移。当漂移很大时,需要重新定标来更新校正系数。基于场景的非均匀校正不需要黑体定标，而是根据场景的运动，假设每个像素所对应场景的温度具有遍历性，利用遍历性进行统计，依照统计结果，对探测器的非均匀性进行随时地校正。基于场景的非均匀校正可自适应地跟踪探测像元输出的漂移，在满足遍历性假设的情况下，可以获得优异的校正效果。但是这种校正算法需要对大量图像进行统计运算，算法较复

4、杂，硬件实现难度大。另外，在大多数情况下，遍历性不容易被满足，这也就带来了这一算法的又一弱点容易形成“鬼影”。为此,为平衡算法的效果和复杂度,本文提出了基于定标的多项式拟合和基于场景的最小均方误差（LMS）自适应联合校正算法,对所获得红外视频信号进行联合校正处理。在自适应非均匀联合校正系统中,自适应算法能够自动跟随探测器的漂移进行调整自适应系数。二、多项式拟合非线性校正算法2.1 非线性校正原理理论上，探测元的响应为线性定常时，两点校正法能实现精确的校正，两点校正法最重要的优点是算法结构简单，计算量小，实现起来也比较容易。但实际探测元的响应都是非线性的，所以用两点定标的校正结果精度较低，采用分

5、段校正法来提高校正精度，即将整个工作范围分成几个区间，每个区间都使用两点校正法进行校正，定标点越多，校正精度就越高，当然存贮的数据量和计算量也相应增大了，编程和硬件设计上增加了复杂性，这一缺点使得分段校正法在实际使用中受到很大限制。我们认为探测元的响应曲线为非线性曲线，其非线性非均匀性模型的具体表达式为: (1) 基于(1)这种非线性非均匀性模型，该如何进行非均匀性校正呢？为此，我们利用黑体对红外焦平面芯片每个探测单元进行测试实验，得到探测器的响应曲线图，选取了任意三个探测单元曲线如图1所示。图1 不同探测单元响应曲线由实验数据我们可以认为凝视型焦平面探测器各个探测单元在输入辐照度的辐照下的响

6、应为非线性二次抛物线形式: (2) 在理想情况下,各探测元的响应函数的系数aij、bij和cij都相同，这样，Xij就可以真实地反映出输入图像。但是在实际情况中,各点的aij、bij和cij都不相同而表现出非均匀性,这就使得输出图像难以辨认，如图2所示，对这种非均匀性的校正就是要将各个探测单元的响应校正为统一参数的抛物线。图2 非均匀性校正示意图通过对凝视焦平面探测器性能和特点的分析和研究，提出了基于多项式曲线拟合的非线性非均匀性校正技术，假如探测器像元的实际响应为Xij，其校正输出为Y，那么基于多项式曲线拟合的非线性非均匀性校正算法的校正原理如下:对于整个凝视焦平面探测器来说，在同一辐照度下

7、，将其平均响应作为校正期望输出值，其中MxN为探测器探测元阵列个数: (3)根据非线性拟合原理,对于某个探测单元的响应值Xij,可以根据公式(2)计算得到其入射辐射度,再代入(3)得到它对应的校正值Y。从上面公式可以看出，这种校正算法在计算中存在除法和开方运算，计算非常复杂，甚至无法获得解析形式的校正公式，不利于实际应用，无论软件还是硬件都比较难以实现。由于Y和Xij都是的二次多项式，它们是性质相似的一类函数。所以，从硬件实现的角度考虑，非均匀性校正变换后的输出Y最好能用输入Xij的多项式来表示，所以在实际中用探测单元的响应值Xij的二次多项式来表示平均响应。即: Y=aijX2ij+bijX

8、ij+cij （4) 从(4)式可以看出，校正输出函数是原始响应二次多项式，由于凝视焦平面探测器的各个探测单元的响应值Xij已知，要获得校正输出，就必须得知每个探测单元的校正参数aij、bij和cij。校正参数采用定标图像数据进行多项式最小二乘曲线拟合来获得。通过在多个定标点测量,对于每个探测元都得到M组实验数据。根据抛物线型的函数对M组数据进行最小二乘拟合,便可得到各探测元的近似响应函数。2.2 最小二乘法求响应函数的二次拟合多项式对于凝视焦平面探测器的第（i,j）个探测单元的响应值Xij在8个不同分温度下测量得到8个不同个响应值记为XTkij（k=0，1,2,3,4,5,6,7），它对应的

9、8个标准响应值分别为XTk，其对应的校正参数为aij、bij和cij，根据校正函数 Y=aijX2ij+bijXij+cij对八组数据进行最小二乘拟合,可以得到线性方程组，用矩阵表示如下： (5)假设： ; ； ； ； ； ； ；（5）式可以简化为： （6）对线性方程组（6）求解可得aij、bij和cij的值，cij= -Det(M1)/Det(M)     bij= -Det(M2)/Det(M)     aij= -Det(M3)/Det(M)   其中 Det(M)= A1B2C3+B1C2A3+C1A2B3-(C1B2A3+B1A2C3

10、+A1C2B3) Det(M1)= C1B2D3+B1D2C3+D1C2B3-(D1B2C3+B1C2D3+C1D2B3) Det(M2)= C1D2A3+D1A2C3+A1C2D3-(A1D2C3+D1C2A3+C1A2D3)Det(M3)= D1B2A3+B1A2D3+A1D2B3-(A1B2D3+B1D2A3+D1A2B3)将测量得到的XTkij和XTk代入上面方程组，求出aij、bij和cij，于是得到探测器的第（i,j）个探测单元校正函数Y=aijX2ij+bijXij+cij。三、自适应非均匀性校正3.1 最小均方误差（LMS）自适应算法原理 最小均方误差(Least Mean S

11、quare)自适应算法最基本的思想就是通过比较实际输出与期望输出的差值来不断调整滤波器的权系数,从而使滤波器处于最佳的状态。在设计时不需要事先知道关于输入信号和噪声的统计特性,系统能在工作中自己学习所需要的统计特性,一旦输入信号和噪声的统计特性发生变化,它又能跟踪这种变化,时刻保持最佳状态。设s(n)是原始信号,它经过未知系统h(n)后的畸变输出为x(n),x(n)经过LMS自适应滤波器后的输出为y(n), 将其与期望输出d(n)进行比较，形成误差信号e(n), e(n)通过某种自适应算法对滤波器参数进行调整，最终使e(n)均方值最小时,y(n)就是s(n)的最佳估计。自适应线性组合器的输出y

12、(n)等于输入矢量x(n)的各个元素的线性加权和，权系数w(n)可调，调节权系数的过程叫做自适应过程，其结构图如图3所示。图3 自适应线性滤波器原理图自适应线性组合器按照误差信号均方值（或平均功率）最小的准则（LMS）来自动调整权系数矢量，在许多实际应用中，采用最陡下降法自适应地对性能曲面沿曲面负梯度方向往下搜索最低点从而得到最佳权矢量。LMS算法的核心思想是用平方误差代替均方误差，由此得到LMS算法的基本关系式： w(n+1)= w(n)+ 2e(n)x(n) （13）为控制搜索步长的参数称为收敛参数。LMS算法按照（13）式调整系数时不需要进行平方和统计平方运算，因而实现起来很简单。下一个

13、时刻的权矢量w(n+1)等于当前权矢量w(n)加上一个修正量e(n)，该修正量等于误差的加权值，加权值系数为2x(n)，它正比于当前的输入信号，对所有的分量误差信号e(n)是相同的。3.2 LMS自适应算法在红外非均匀性校正中的实现根据非线性校正函数原理，将（4）式考虑时间因数n,可将公式改写为： Y=aij(n)Xij(n) 2+bij(n)Xij(n)+cij(n) （14 ) 由自适应线性滤波器原理，上式和（7）式对比，可知（14）式中aij(n)、bij(n)和cij(n)就是自适应滤波器的权系数，根据（13）式结论，红外图像非均匀性校正系数aij(n)、bij(n)和cij(n)的L

14、MS算法基本公式如下： aij (n+1)= aij (n)+ 2eij(n) X2ij(n) （15 )bij (n+1)= bij (n)+ 2eij(n) Xij(n) （16 )cij (n+1)= cij (n)+ 2eij(n) （17 )系数自适应数字实现框图如图4所示，数据X2ij(n)、Xij(n)和初始权系数（校正系数）aij(n)、bij(n)和cij(n)分别进入384×288个移位寄存器，移位寄存器的输出成对地依次送入乘法器，得到结果在加法器中相加，得到输出Y (n)。滤波器权系数的调整按上式迭代进行，期望信号dij(n)与滤波器输出Yij(n)在加法器1中

15、相减，得到误差eij(n)= dij(n)-yij(n)，再把eij(n)送入乘法器2与寄存器1送来的 Xij(n)相乘，所得的结果送往定标器乘以步长因子。定标后的结果送入累加器，对权系数aij、bij和cij进行修正，以获得新的权系数aij(n+1)、bij(n+1)和cij(n+1)。图4 LMS算法自适应滤波器数字实现框图步长因子,它影响着收敛速度。若太小,则收敛速度慢;若太大,则算法不稳定，故选择合适的值对于自适应图像处理来说是至关重要的。图像数据范围在0,16383时,推荐值的数量级为1×2-58，收敛后的校正系数完全可以抵消探测器的非均匀性。实际中，由于图像相邻像素间的相

16、关性，理想期望信号dij(n)可以通过邻域均值来估计。在实验中我们通过四邻域均值估算期望信号dij(n)：dij(n)= (Yi,j-1(n) +Yi,j+1(n) +Yi-1,j(n) +Yi+1,j(n) )/4 （18 )由四邻域均值得到的期望信号dij(n)可以消除大部分非均匀性校正后的剩余非均匀性。采用邻域平均的方法获取理想期望信号dij(n)，实际是将剩余非均匀性等效为噪声，对该噪声进行了平滑滤波。经邻域平均后，噪声的强度减弱，拟制了噪声。但邻域平均法也平滑了图像信号，特别是可能使图像目标区域的边界变得模糊，改进的方法就是把中间像素的影响考虑进去，分配较大的权值。当期望信号dij(

17、n)按下式计算时：dij(n)= Yij(n)/3+( Yi,j-1(n) +Yi,j+1(n) +Yi-1,j(n) +Yi+1,j(n) )/6 （19 )从实验效果来看，此时即平滑了噪声，又强化了该点的图像信息获取了理想的输出。同时这种对dij(n)的取值还可以将红外热成像焦平面芯片的结构因素考虑进去，依照非均匀性产生的原因调整权值，以获取更理想的输出效果。四、实验结果分析对红外探测器所获取的原始图像进行处理，自适应校正前后输出图像如图5-图9所示，其中(a)图是基于定标的非均匀性校正图像，(b)图是自适应非均匀性联合校正后的图像。图5表示开机后1分钟时图像区别不是很明显，但能看到轻微的

18、变化；图6表示开机2分钟后自适应联合校正前后图像区别较明显；图7表示3分钟后自适应联合校正前后图像区别十分明显，表明自适应算法已将多项式拟合非线性校正算法的校正参数调整得更贴近焦平面芯片的非均匀响应特性；图8和图9分别表示1小时和2小时后自适应联合校正前后的对比图像。 图5(a)1分钟后非均匀性校正 图5(b)1分钟后自适应非均匀性联合校正 图6(a)2分钟后非均匀性校正 图6(b)2分钟后自适应非均匀性联合校正 图7(a)3分钟后非均匀性校正 图7(b)3分钟后自适应非均匀性联合校正 图8(a)1小时后非均匀性校正 图8(b)1小时后自适应非均匀性联合校正 图9(a) 2小时后非均匀性校正

19、图9(b)2小时后自适应非均匀性联合校正从对比图可以得知：开机后1至3分钟，定标校正后的图像会有略微的噪声点，但图像的变化不是很明显；若采用系数自适应联合校正算法,在最初阶段其校正效果与定标方法的差别不是很大，随着处理帧数的增加,处理后图像噪声越来越小，图像背景越来越平滑，目标图像细节越来越清晰，3分钟后可得到稳定的图像输出，此时已能够明显地表现出两种校正方法校正效果的差别。随着时间推移，如图8(a)、8(b)所示：1小时后采用定标校正算法的噪声越来越大，图像越来越模糊，这表明探测器的响应特性发生了漂移；此时采用系数自适应联合校正算法的图8(b)与图8(a)有了更加明显的差别，而与图7(b)（

20、开始后3分钟时的图像）没有明显的效果上的差异，表明采用系数自适应联合校正算法可以很好地抑制探测器的响应特性漂移。2小时以后的图像图9(a)、9(b)，更明显地表明了这一点。五、结论本算法能够有效地对探测器的漂移进行跟踪，由于它能自动跟随探测器的漂移而调整校正系数,因此性能要明显优于传统的定标算法。它以足够精准的自适应系数来进行校正,同时能够适应更为恶劣的条件,如有温度起伏以及其他时变干扰的环境。在开机后正在热平衡形成过程中，无需传统的多次单点校正，系统能进行自适应校正获得连续的稳定图像。实验结果表明：这种自适应非均匀性联合校正效果良好，便于硬件实现，能满足实际需要，体现了算法的优越性。目前基于定标的多项式拟合校正算法在国内有少量的论文进行探讨；基于场景