【《红外图像配准及融合技术分析》5400字】

红外图像配准及融合技术分析图像配准常为图像融合的一个预处理步骤。经过精确图像配准的图像对，通常可获得更好的融合效果。预制作功能板如图3.1所示。图3.1红外图像功能板红外热像红外和可见光图像匹配精度相对同源图像低很多，其主要原因可概括为以下两种：（1）分辨率差异大：红外图像分辨率大多在300×400内，远低于普通可见光图像分辨率的1080×1920，导致红外图像灰度细节丢失严重、图像模糊，与可见光灰度图像中清晰的纹理具有较大差异。（2）色彩差异大：由于红外传感器成像机理与可见光成像机理不同，同一目标在异源图像中色彩表现差异大，例如可见光图像中灰度值较小（较黑）的物体可能温度较高（或较低），导致该物体在红图像中的灰度值偏高（或偏低），与可见光图像中成像的色彩截然不同，增加了配准难度。基于上述两类问题的分析，利用FDST变换和迭代配准的方法优化分辨率差异大的问题，通过配准点邻域亚像素优化的方法解决色彩差异大的问题。红外和可见光图像的初始分辨率差异大，但是经过插值处理、仿射变换后的红外图像分辨率提高到了可见光图像分辨率的大小，因此将此时的图像再次进行配准则会降低分辨率差异大带来的影响。又由于红外和可见光图像色彩差异比较大，提取到的PIIFD算子中梯度方向会受到影响，导致无法精确配准。电力设备红外热像预处理及智能诊断的技术路线如图3.2所示。根据技术路线，红外图像预处理的主要内容是实现红外热像与可见光图像的配准。图3.2红外热像智能监测技术路线多源红外图像配准方法研究本文利用SIFT（ScaleInvariantFeatureTransform）局部特征描述子进行多源图像的配准工作。SIFT算法的基础是高斯尺度空间理论，需要通过差分算子(DoG)求出差分图像尺度空间，再提取尺度空间的极值点，然后加入旋转不变特性，最终得到尺度不变特征点旋转特性算法。（1）尺度空间对于红外热像，在不同尺度下，通过与高斯核卷积，能够计算出尺度空间，如下式所示（3.1）（3.2）其中，为高斯正态分布的方差。*表示卷积，表示图像的尺度空间，为尺度空间因子，其值越小表示图像被平滑的越小。通过高斯函数之差对红外热像进行卷积处理，可计算出高斯差分函数，如下式所示：（3.3）Lindeberg发现尺度归一化的LOG算子与高斯差分函数近似，而的最值可以提供稳定的图像特征。与的关系可由下式得到：（3.4）可以通过有限差分逼近得到，在此使用邻近尺度在和上的差分（3.5）（3.6）式表明高斯差分函数核是尺度不变核的线性近似。因此有（3.7）所以，通过上的峰值点，能够计算出最稳定的图像特征点。如果在高斯差分函数尺度空间的同一阶的s层中检测极值点，需要s+2幅高斯差分函数图像，对应需要s+3幅高斯图像。s+3幅高斯图像从下到上尺度参数以k递增，即。其中，下一阶尺度空间的第一幅图像由上一阶尺度空间中尺度为的高斯图像经过1：2处理得到，重复进行高斯滤波，可建立该层的s+3高斯图像，并构建了高斯差分函数图像金字塔。（2）极值点在高斯差分函数尺度空间中，中间层的每一个像素点跟上一层和下一层的9个像素点和同一层的相邻8个像素点比较，可得到相应的极值点，这样在二维图像空间和尺度空间均检测到局部极值，并将局部极值点进行标记，得到对应尺度和位置。位于高斯差分函数金字塔的第i阶的第j层的特征点尺度，如下式所示，（3.8）其中，s为每阶尺度空间中可检测极值点的层数，初始尺度。（3）旋转不变性给每个特征点指定一个方向参数，才能保持特征点的旋转不变性。则如下式所示，在高斯空间计算特征点的梯度模和方向：（3.9）（3.10）红外热像的特征点检测完毕，特征点包含三个信息，即方向、所在尺度和位置。构造SIFT特征描述子SIFT特征描述子通过尺度图像上，邻域内的梯度方向直方图进行体现，中心点为特征点的位置，并将坐标轴旋转为特征点的方向，以保持特征描述子的旋转不变性。再以特征点为中心取16×16的邻域，并把邻域均匀分成4×4块子区域。其中，箭头长度代表梯度模值，箭头方向代表该像素的梯度方向，每个小格是邻域所在尺度空间的一个像素。图3.3(a)中的大圆圈是高斯加权的范围。再通过每个4×4子区域上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，如图3.3(b)所示。(a)特征点领域梯度(b)梯度方向直方图图3.3特征点领域梯度信息生成SIFT特征点描述子每个特征点将最终形成128维的SIFT特征向量，即每个极值特征点将形成多维的SIFT特征向量[4]。本文特征点匹配的相似性准则以两个SIFT特征描述子之间的欧式距离作为依据，若特征点对和的特征描述符,分别为和，则欧式距离如下式所示：（3.11）随机选取基准可见光图像中的某个特征点，并找出其与红外热像中欧氏距离最近的前两个特征点，若这两个特征点的欧氏距离之比（最近特征点的欧氏距离为分子，次近特征点的欧氏距离为分母）小于设置阈值，则记录该对匹配点。改进配准方法的主要步骤（1）读取变电站电力设备的红外热像图和相应的可见光图像；（2）设置选取SIFT特征点的阈值为0.8，并顺利得到红外热像中N1个SIFT特征点和可见光图像中N2个SIFT特征点；（3）在候选的匹配特征点对中，随机挑选4对匹配特征点，并建立相应的方程组，计算可见光图像和红外热像的几何变换矩阵H；（4）将待匹配图像剩下的特征点进行几何变换后，计算映射点到候选匹配点的距离；（5）设置RANSAC的阈值为1，如果计算得到的距离小于允许误差时，则候选点为正确匹配的特征点，即内点，其他标记为外点，并统计内点个数；（6）再从候选点中选取另外的4对候选匹配点，重复执行步骤3-5，当内点个数集合满足条件时，选择内点数目最多的集合作为最佳内点集合，迭代结束，最终可以形成图像预判评估值[5]。图像融合技术而不同于色彩信息的是，红外和可见光图像中均具有明显相同的轮廓。本文运用该特点，对初次匹配的结果做以下处理，如图3.4所示。图3.4图像配准与融合技术路线图（1）运用Canny边缘检测算法提取图像的轮廓曲线，并引入边缘相关度的概念。（2）在红外图像中建立三对基准配准点，对剩余精匹配点建立亚像素级遍历区域，选择0.2~0.8的亚像素单位进行遍历计算使得边缘相关度最高的亚像素点作为该点的精确配准点，直到所有候选配准点优化完毕。（3）对步骤2中优化得到的配准图像进行迭代，降低分辨率差异带来的误差影响。红外热像增强技术利用红外热成像技术对主要电气设备进行红外成像，通过分析红外热像图的变化，即可判断电气设备可能存在的故障缺陷，在变电站的带电检测应用十分广泛。据统计，近90%的变电站事故是由电力设备故障引起的，而大约50%的故障设备在早期都有热异常现象。但由于红外成像受到环境及光学电子等器件的影响，导致红外图像视觉效果模糊、分辨率和对比度较低。因此，通过提高对比度、增强视觉效果来改善红外图像质量的红外图像增强技术受到了各领域广泛重视。常用的红外图像增强技术无论是频域处理技术还是空域处理技术，在解决整体、局部和效率之间的矛盾问题上都存在一定的不足。近几年，基于小波变换、同态滤波以及模糊技术的图像处理技术得到了广泛应用，取得了较好的效果。基于小波变换与模糊理论的图像增强算法在小波变换后，对低频系数进行分段增强，对高频系数进行去噪、模糊增强，重构后得到增强图像，其他还包括基于小波变换和同态滤波的图像增强算法、基于模糊集理论的图像增强算法、基于小波变换的红外图像模糊与同态增强算法。红外图像进行模糊增强的效果较好，但对模糊集参数的均取一般值或人工评经验选取，难以获得最佳分析效果。本文提出了一种基于自适应遗传算法的红外热像图模糊增强技术。在进行小波变换、同态滤波、模糊集增强处理之外，运用自适应遗传算法，以图像shannon信息熵为标准，对模糊集算法中的模糊参数进行了寻优操作，解决模糊控制参数的自动选取问题，具有很强的适应性，进一步改善红外图像的视觉效果。（1）自适应遗传算法及改进鉴于标准遗传算法中固定不变的交叉概率Pc与变异概率Pm限制了算法的搜索速度和搜索效果，自适应遗传(AGA)算法根据染色体适应度的高低，在种群平均适应度favg和最大适应度fmax之间对Pc和Pm进行调整。（3.12）

（3.13）其中：f’为待交叉的两个父代染色体中较高的适应度值；f为待变异染色体的适应度值；Pc1、Pc2、Pm1和Pm2均为区间(0,1)内的一个常数。在本文所采用的动态自适应遗传算法中，Pc和Pm是能够随种群中个体的适应度自动改变的，当种群中个体的适应度值低于平均适应度值时，说明该个体是性能不好的个体，就应采用较大的交叉概率Pc和变异概率Pm；当种群中个体的适应度值高于平均适应度值时，说明该个体性能优良，就应根据其适应度选择相应的交叉概率Pc和变异概率Pm，改进的公式所示。（3.14）（3.15）式中：fmax为每代群体中的最大适应度；favg为每代群体的平均适应度值；f’为要交叉的两个个体中较大的适应度值；f为要变异个体的适应度；Pc1=0.9，Pc2=0.6，Pm1=0.1，Pm2=0.001。采用了以上动态自适应技术后，自适应遗传算法中的Pc和Pm就能够适当地调整并提供每个解对应的最佳Pc和Pm，这样既保证了遗传算法中种群的多样性，避免早熟，也能保证遗传算法的收敛性。（2）算法实现步骤红外图像经过小波变换后，低频分量对应图像中灰度值缓慢变化的区域，利用同态滤波进行处理；高频分量对应图像中灰度值变化较快，边缘和细节信息主要集中的区域，利用动态自适应遗传算法优化的模糊集增强技术处理，经过小波重构后，使得优化增强红外图像。具体步骤如下所示：第一步：正交小波分解。在Matlab中，调用正交小波变换函数对图像进行正交小波变换，分别提取原红外图像的低频及高频子带分量。图3.5为红外图像的二层小波分解过程，其小波重构按相反过程进行。其中，LL1、HL1、LH1及HH1分别为原图像经小波变换后的平滑逼近信息以及水平、垂直和对象线信息构成的子图像；LL2、HL2、LH2及HH2为LL1子图像再次经过小波变换形成的4个子图像。图3.6为喀什某变电站中电气设备红外图像的二层小波分解示意图。图3.5红外热像图的二层小波分解示意图图3.6变电站设备红外图像的二层小波分解示意图第二步：低频图像同态滤波。同态滤波算法采用对数运算将图像的照射分量和反射分量分开，再进行傅立叶变换。因为相对图像局部细节来讲，照明分量属于慢变化，主要集中在低频频带，因此采用高斯高通滤波函数作为同态滤波函数，滤出高频部分。同态滤波器频率响应图，同态滤波处理的变电站红外图像如图3.7、图3.8所示。图3.7同态滤波器频率响应图图3.8同态滤波后的红外图像第三步：高频图像模糊增强。对高频分量进行动态自适应遗传模糊增强处理。按照模糊子集的概念，一幅大小为维且具有K个灰度等级的红外图像，可以用一个模糊点集矩阵表示（3.16）式中：xij为图像第i行，第j列像素的灰度值；pij为第个像素点的隶属度函数；代表图像中第个像素点灰度值相对于某标准灰度的亮度程度，而标准灰度的选择根据实际需要确定。其一般求解)所示（3.17）式中：为图像灰度最大值；和分别为倒数型和指数型模糊性因子。模糊增强算法主要是根据式(2-41)隶属度函数对空域中原始图像进行模糊化映射，得出特征平面中的模糊特征矩阵，通过对特征矩阵进行增强变换处理，而后将处理后的信息矩阵元进行逆映射，获得增强的空域图像集。一般情况下，采用对比度增强算法所示。（3.18）（3.19）式中，。根据公式可知，合理选择参数Fe、Fd是保证图像增强效果的关键。第四步：遗传算法确定模糊参数。运用自适应遗传算法，确定合适的模糊参数Fe、Fd，以增强图像的shannon信息熵为遗传算法的评价标准。所谓shannon信息熵，就是平均信息量，图像信息熵的大小反映了其包含信息量的多少，熵值越大，说明图像携带的信息量越大，从而效果也相对越好。对于图像灰度集X的任一灰度xi，假若xi出现的概率为P(xi)，则图像灰度集X的熵为：（3.20）式中，P(xi)为灰度值为xi的像素数N(xi)与图像总像素数N之比，即P(xi)=N(xi)/N。第五步：小波重构针对同态滤波处理过的低频图像，模糊增强处理过的高频图像进行正交小波逆变换，重构得到增强红外图像。（3）实验结果与分析为了检验本方法的红外图像增强效果，分别与单纯的同态滤波算法、模糊集3.9所示。从视觉效果来看，图中电气设备与背景清晰度增加，但目标与背景对比不是很明显，整体效果偏暗；图中电气设备与背景的整体对比度得到了提高，但是图像中局部对比效果不是很明显，部分边缘信息缺失，比如电气设备之间的边缘变得模糊，基本连为一体；而采用本文算法处理后的红外图像，对比度明显增强，边缘信息保持较好，增强效果要优于文献中的算法