CN119274182B 一种红外图像与微波非图像信息融合的语义对齐方法 （中国矿业大学）

号一种红外图像与微波非图像信息融合的语本发明公开一种红外图像与微波非图像信2Step2、对Step1中采集的红外图像采用非局Step3、采用卷积神经网络方法对红外图像提取空Step4、构建共享语义空间，使用孪生网络深Step5、采用动态加权的余弦相似度计算红外图Step7、采用小波变换融合算法对红外图像和微波态分配权重并结合深度学习的边缘检测模型优化高频Step8、对融合图像进行后处理，采用三维块匹配2.如权利要求1所述的一种红外图像与微波非图像信息融合的语义对齐方法，其特征;;3;;;用噪声功率区分噪声和信号，采用自适应维纳滤波去除随机噪声同时保留目标的关键特;4;Step2.2_2、采用基于对数变换的动态范围压3.如权利要求2所述的一种红外图像与微波非图像信息融合的语义对齐方法，其特征;最终形成高维的特征向量Jn；f;对其进行降维和归一化处理，最终，经过傅里叶变换和处理后的54.如权利要求3所述的一种红外图像与微波非图像信息融合的语义对齐方法，其特征从Step3中提取的高维红外图像特征向量和高维微波频域特征向量，采用SiameseNetwork深度学习模型，将红外图像特征和微波特征投影到共享语义空间，便于模态的对;;;。5.如权利要求1所述的一种红外图像与微波非图像信息融合的语义对齐方法，其特征;6.如权利要求5所述的一种红外图像与微波非图像信息融合的语义对齐方法，其特征根据Step5中相似度计算结果，采用匈牙利算法在全局范围;6。7.如权利要求1所述的一种红外图像与微波非图像信息融合的语义对齐方法，其特征Step7_1、采用小波变换融合算法对红外图像;通过对红外图像和微波特征分别进行小波变换，将红外图像和微波特征；;onO.m表示红外和微波低频子带的动态加权系数，用于调整红外和微波在;;跨模态注意力机制通过卷积神经网络和Sigmoid激活函数计算权重矩阵，用于控7;对融合后的低频和高频子带进行小波逆变换重新组合成一个完整的图像，设IDWT。8.如权利要求1所述的一种红外图像与微波非图像信息融合的语义对齐方法，其特征误差度量块之间的相似性，将相似块堆叠形成3D数据并对去噪后;多尺度金字塔拉普拉斯锐化通过分解图像为不同尺度的拉普拉斯金字塔突出图像的;8的红外与微波融合方法主要集中于数据层或决策层，未能充分解决两种数据在信号特性、[0006]本发明提供一种红外图像与微波非图像信息融合的语义对齐方法，包括以下步9尺度金字塔拉普拉斯锐化算法增强图像边缘;[0032]Step2.2_1、对微波非图像信息根据每个像素的局部统计特性动态调整滤波强f其进行降维和归一化处理，最终，经过傅里叶变换和处理后的微波特征输出为特征向量。[0055]从Step3中提取的高维红外图像特征向量和高维微波频域特征向量，采用[0070]其中，矩阵中的每个元素表示红外目标i与微波特征j的匹配得分，，onO.m表示红外和微波低频子带的动态加权系数，用于调整红外和微[0092]对融合后的低频和高频子带进行小波逆变换重新组合成一个完整的图像，设[0098]多尺度金字塔拉普拉斯锐化通过分解图像为不同尺度的拉普拉斯金字塔突出图[0109]实施例1，如图1至图5所示，一种红外图像与微波非图像信息融合的语义对齐方制动态分配权重并结合深度学习的边缘检测模型尺度金字塔拉普拉斯锐化算法增强图像边缘平均，得到去噪后的像素值；设ix)表示图像中像素x去噪后的强度值；I(y)表示图像中[0135]Step2.2_1、对微波非图像信息根据每个像素的局部统计特性动态调整滤波强f其进行降维和归一化处理，最终，经过傅里叶变换和处理后的微波特征输出为特征向量。[0173]其中，矩阵中的每个元素表示红外目标i与微波特征j的匹配得分，；onO.m表示红外和微波低频子带的动态加权系数，用于调整红外和微[0195]对融合后的低频和高频子带进行小波逆变换重新组合成一个完整的图像，设[0201]多尺度金字塔拉普拉斯锐化通过分解图像为不同尺度的拉普拉斯金字塔突出图