CN119359568B 基于可见光与红外图像融合的交通检测方法及系统 （山东大学）

WO2022100065A1,2022.05.19基于可见光与红外图像融合的交通检测方本发明提出一种基于可见光与红外图像融包括获取同一场景内原始可见光图像和红外图后的可见光图像和红外图像构建拉普拉斯金字对两拉普拉斯金字塔的高层图像进行梯度加权基于高层融合图像和低层融合图像进行逐层重交通检测。本发明利用自适应滤波保留边缘细2获取同一场景内原始可见光图像和红外图像，进行预处理，具体选择合适的可见光CCD传感器和红外焦平面阵列传感器安装在同一平台上，使用相同使用可见光传感器和红外传感器对同一场景和目标进行图像采集，捕获原始8bits可基于自适应滤波，分别对预处理后的可见光图像和红外获取所述两个拉普拉斯金字塔中的图像，使用Sobel算子分别计算两个拉普拉斯金字对每个小单元中的梯度方向直方图进行归一化，将归一化后的直方图分别计算可见光重构图像和红外重构图像特征点之间的将可见光拉普拉斯金字塔的高层图像与红外拉普拉斯金字塔中的高层图像使用梯度3分别对所述两个高斯金字塔进行逐层差分，得到可见所述将可见光拉普拉斯金字塔的低层图像与红外拉普拉斯金字塔中的低层图像使用双域将可见光拉普拉斯金字塔的低层图像与红外拉普拉斯金字塔中的低层图像使用全局基于预设窗口划分两低层图像的局部区域，遍历局部区域进行局部对所述初步低层融合图像和局部低层融合图像进行加权求和，得到最终低层融合图选择合适的可见光CCD传感器和红外焦平面阵列传感器安装在同一平台上，使用相同使用可见光传感器和红外传感器对同一场景和目标进行图像采集，捕获原始8bits可配准模块，用于基于自适应滤波，分别对预处理后的可见光图获取所述两个拉普拉斯金字塔中的图像，使用Sobel算子分别计算两个拉普拉斯金字对每个小单元中的梯度方向直方图进行归一化，将归一化后的直方图分别计算可见光重构图像和红外重构图像特征点之间的4融合重构模块，用于将可见光拉普拉斯金字塔的高层图像执行时实现如权利要求1_6中任一项所述的一种基于可见光与红外图像融合的交通检测方9.一种计算机设备，包括存储器、处理器及5[0008]基于自适应滤波，分别对预处理后的可见光图像和红外图像构建拉普拉斯金字[0009]将可见光拉普拉斯金字塔的高层图像与红外拉普拉斯金字塔中的高层图像使用6[0016]对滤波后的图像重复进行下采样，分别构建可见光高斯金字塔和红外高斯金字[0019]优选地，所述对可见光拉普拉斯金字塔和红外拉普拉斯金字塔进行多尺度细配[0020]获取所述两个拉普拉斯金字塔中的图像，使用Sobel算子分别计算两个拉普拉斯[0025]将可见光拉普拉斯金字塔的低层图像与红外拉普拉斯金字塔中的低层图像使用7被处理器执行时实现第一方面所述的一种基于可见光与红外图像融合的交通检测方法中[0038]2.本发明在图像的拉普拉斯金字塔多层分解过程中引入自适应滤波器代替传统[0039]3.本发明在拉普拉斯金字塔的融合过程中使用梯度加权融合与平均融合的组合[0043]图1为本发明实施例提供的一种基于可见光与红外图像融合的交通检测方法的流[0044]图2为本发明实施例提供的一种基于可见光与红外图像融合的交通检测方法的主8[0055]选择合适的可见光CCD传感器和红外焦平面阵列传感器安装在同一平台上，使用[0056]使用可见光传感器和红外传感器对同一场景和目标进行图像采集，捕获原始两点校正法提高图像的整体质量和对比度，通过盲元补偿将图像中缺失的像素值进行填标准灰度卡选择两个图像中已知的灰度值，记录对应的9[0062]使用线性方程将原始图像lonemo中的每个像素值进行校正，得到校正后的图像:ow+b(2)利用邻域信息对每个盲元进行补偿。对位置(i,j)处的盲元，计算(i-l,j)，(i+1,j)，口(kxk)内的像素灰度值并排序，窗口中的像素值为[0066]I'(x,[0068]计算图像的灰度直方图H(I)，当某个灰度级的像素数超过了平台阈值[0071]对于每个被裁剪的灰度级，将去掉的灰度值像素数均匀分配到[0076]S103：使用最大最小值线性映射法，将红外图像像素值从14bits数据转换成8(,)：[0095]首先，构建高斯金字塔，分别输入预处理完成后的可[0097]其中，I(i,j)为原始图像在位置(i,j)的像素值，N(x:,)是以(:,)为中心的局j-)W(i-x,j-)=l(15)[0108]对高斯金字塔中的每一层图像进行上采样，计算当前层Lwe表示可见光拉普拉斯金字塔第i层的图像，表示可见光高斯金字塔第i层的图像，urple()是对第l+1层图像进行上采样得到的可见光图像；的图像，upsample(o⃞w)是对第l+1层图像进行上采样得到的红外图像。[0128]其中，"ose为可见光图像权重，为红外图像权重；Mvisibie表示可见光[0132]对于拉普拉斯金字塔的低分辨率层，采用双域平均融合得到最终低层融合图[0138]其中，表示局部低层融合图像，(.,y)是局部区域内的[0147]其中，i;是第i层的重构融合图像，是第i层的融合拉普拉斯图像。[0149]使用灰度级—彩色变换法对可见光图像和红外图像融合后的图像做伪彩色处检测模型SSD或更快的区域卷积神经网络模型即FasterR模型ECO、考虑干扰的孪生区域建议网络DaSiamRPN或多领域目标跟踪检测模型即MDNet模