CN115331029B 基于跨模态转换网络与最优传输理论的异源图像匹配方法 （西安电子科技大学）

基于跨模态转换网络与最优传输理论的异本发明公开了一种基于跨模态转换网络与有技术对于大尺寸异源图像对难以平衡匹配速集构建训练集和测试集；构建相关图约束Segformer特征提取骨架；建立跨模态交叉注意力Transformer网络，并将其与特征提取骨架级2(1a)从开源数据集OSDataset中选择尺寸为512×512的图像对作为选用数据集，该数(1b)将选用数据集每对图像中的可见光图像作为搜索图像，在每幅可见光对应的SAR(1c)将成对的剪裁后的SAR图像和对应的可见光图像中80％的图像对作为训练集，(4a)将测试集中的SAR图像和可见光图像输入到训练好的匹配网络N2中，得到测试图(4c)根据测试图像对输出特征的相似性矩阵M,利用最优传输优化计算测试图像对最M,opt＝C*,⊙M,2.根据权利要求1所述的方法，其特征在于，所述(2a)中设置包含相关图约束的(2a1)在已有的Segformer网络中，设第1个TransformerBlock输出SAR图像的输出特征图尺寸为可见光图像的输出特征图尺寸为构建一个尺寸为的零矩阵M;作为待修正的第一相关图；(2a2)计算Segformer网络中第1个TransformerBlock输出SAR图像和可见光特征的互3相关矩阵Cor1，根据Cor1对第一相关图M;进行修正，得到修正后的第一相关图M",并将M:与第1个TransformerBlock输出的特征相乘作为第2个TransformerBlock的输入；(2a3)在已有的Segformer网络中，设第3个TransformerBlock输出SAR图像的输出特征图尺寸为可见光图像的输出特征图尺寸为构建一的零矩阵M;作为待修正的第二相关图；(2a4)计算Segformer网络中第3个TransformerBlock输出SAR图像和可见光特征的互与第3个TransformerBlock输出的特征相乘作为第4个TransformerB行修正，是依次以Cor1中的每个点(x,y)为修正范围的左上角坐标对第一相关图M;进再根据该修正范围将第一相关图M;中的值修改为max[M;(i,j),cor(r,)],得到修正后的相关图M",其中：max[M;(i,i),cor(x,)表示取M;(i,j)和Cor1(x,y)之间的最大值。然后，根据所设置的修正范围将第二相关图M;中的值修改为max[MiQ,:最后，交换第2个TransformerBlock中的可见光图像特征查询和SAR图像特征得到包含跨模态交叉注意力的Transfor4(3a)选取训练集中的一对SAR图像和可见光图像输入到跨模态Transformer匹配网络o；(3c)根据训练集SAR图像特征和可见光图像特征的相似性矩阵M利用最优传输计算其(3c2)将跨模态交叉注意力的Transformer匹配网络第二个TranformerBlock输出SAR(3e)将Mopt中最大值点的坐标作为匹配点(i,),并计算匹配点与真实标签之间的损失tt)是真实标签坐标；然后，将跨模态交叉注意力的Transformer匹配网络第二个Tranfo5c"lww表示矩阵6[0001]本发明属于计算机视觉图像处理技术领域，特别涉及一传统可见光波段的遥感技术而言，由于SAR使用主动式的传感器发射微波波段的辐射并接模态的图像中包含有相同地物不同的电磁散射特征和几何空间信息，所以将异源的SAR与[0005]其中一类传统方法直接利用图像的像素灰度信息，根据不同模态图像的灰度信的匹配位置。Liang等人利用空间互信息法结合蚁群优化算法实现图像之间局部区域相似匹配位置。此类方法在同源图像上应用十分广泛，如应用非常广泛的尺度不变特征变换7强度的差异带来的匹配误差。人为手工设计的特征描述子的提出具有较好的数理可解释Merkle等人提出了一种孪生网络结构，模板图与源图像之间的相对位移来判断匹配的位以学习对于SAR和光学块对之间的小仿射变换不变的相似性度量。Ma等人提出了一种基于[0014](1a)从开源数据集OSDataset中选择尺寸为512×512的8[0016](1c)将成对的剪裁后的SAR图像和对应的可见光图像中80％的图像对作为训练[0020](2c)将包含相关图约束的Segformer特征提取骨架、包含跨模态交叉注意力的[0029]本发明使用了基于注意力机制的特征提取能力强的Segformer作为特征提取骨[0033]图4是用本发明和现有的八种算法分别在开源数据集OSDataset中对一副城市区域图像上的SAR图像与可见光图像进行匹配的结[0034]图5是用本发明和现有的八种算法分别在开源数据集OSDataset中对一副机场区域图像上的SAR图像与可见光图像进行匹配的结9[0038](1.1)从开源数据集OSDataset中选择尺寸为512×512的图像对作为选用数据[0039](1.2)将选用数据集中每对图像[0043]本步骤的具体实现是对现有的Segformer网络进行改进，该Segformer网络包含4意力模块EfficientSelf_Attention和混合前馈神经网络Mix_FFN的级联结构，以及最后的一个重叠块合并OverlapPatchMerging模块。其中高效自注意力模块为带序列压缩的并得到TransformerBlock的输出；通过第一个多层感知机对多个不同分辨率的TransformerBlock的输出特征进行融合得到融合后的特征，再将融合后的特征输入第二个多层感知机得到该Segformer的特征和可见光图像特征分别计算其各自的互相关矩阵C一个点(x,y)得到本轮迭代的修改范围将M;中修改范围内的值修改为M;(i,j)与Cor1(x,y)之间的最大值，迭代结束得到最终的第一相关图M;,其为Cor1在点(x,y)处的值；一个点(x,y)得到本轮迭代的修改范围将M;中修改范围内的值修改为M;(,j)与Cor3(x,y)之间的最大值，迭代结束得到最终的第二相关图M",其为Cor3在点(x,y)处的值；[0050](2.1.4)将最终的第一相关图M:与第1个TransformerBlock输出的可见光图像特征相乘作为第2个TransformerBlock的输入，将最终的第二相关图与第3个TransformerBlock输出的可见光图像特征相乘作为第4个TransformerBlock的输入，完[0054](2.2.2)交换第1个Transformer征查询Q,:[0055](2.2.3)交换第2个Transformer征查询得到包含跨模态交叉注意力的Transformer[0056](2.3)将包含相关图约束的Segformer特征提取骨架与跨模态交叉注意力的[0058](3.1)选择训练集中的一对SAR图像输入到步骤2中构建的跨模态Transformer匹配网络N1，得到SAR图像特征图fs和可见光图[0062](3.3)根据训练集SAR图像特征和可见光图像特征的相似性矩阵M使用最优传输计[0064](3.3.2)为了避免平凡解，将跨模态交叉注意力的Transformer匹配网络第二个TranformerBlock输出SAR图像特征和可见光图像特征的类激活图CAM分别作为最优传输[0068](3.4)将(3.3.3)得到的最优匹配概率C*与(3.2)得[0071](3.5)将Mopt中最大值点的坐标作为匹配点并计算匹配点与真实标签之间[0082](4.3.2)将跨模态交叉注意力的Transformer匹配网络第二个TranformerBlock输出SAR图像特征和可见光图像特征的类激活图CAM分别作为测试图像最优传输的约束条；表示M′[0092]本实验使用的服务器配置为3.2GHz的IntelCorei7_9700KCPU和一张12_GB的[0095]实验使用的对比方法有八种，分别是归一化互相关算法NCC，归一化互信息算法