CN119399254A 一种基于卷积注意力的遥感图像配准方法 （中国科学院长春光学精密机械与物理研究所）

将原始的遥感图像对输入至模态适配器的卷积为模态适配特征输入特征编码器得到特征描述所述特征点利用FLANN算法进行初步匹配，结合能够为稀疏和重复纹理区域的遥感图像提供更2输入至模态适配器的卷积层获得原始特征，采用卷积注意力方法对所述原始特征进行处所述卷积注意力方法应用于所述模态适配器和所述特征编码器，将所述坐标特征和所述原始特征输入跨通道注意力模块，所述跨通道将所述坐标特征和所述子特征输入跨空间注意力模块，所述跨空间始特征输入跨通道注意力模块；将所述坐标特征和所述子特征输入跨空间注意力模块包第一向量和经过激活函数计算的所述第二向量相乘得到所述道注意力模块基于所述坐标特征和所述原始特征生成对所述坐标特征依次进行批次归一化、通道维度池化以及SoftMax归一化得到第一变对所述第一卷积的所述原始特征依次进行通道维度池化以及SoftMax归一化得到第二聚合所述跨通道自适应信息和所述跨通道组信息得到3对所述坐标特征依次进行组间归一化、二维全局平均池化以及SoftMax归一化得到第对所述第二卷积的所述子特征依次进行二维全局平均池化以及SoftMax归一化得到第聚合所述跨空间短程依赖信息和所述跨空间长程依第二聚合结果进行Sigmoid激活函数计算以4量的稀疏和重复纹理区域，所以存在的挑战是同时解决特征点的检测和描述的双重任务。同时更好地跨不同维度集成特征是一个有价[0005]卷积神经网络的卷积核参数是着卷积核对不同位置上的特征同等关注,无法区分重要和不重要的区域。但注意力机制能5度上的注意力，无法捕捉空间维度上的注意力，即忽略了位置信息的重要性。CBAM（ConvolutionalBlockAttentionModule）注意力模块是一种结合了通道注意力和空间注意力的注意力模块，其可以从空间维度和通道维度这两个方面上对图像进行关注，但其注意力模块忽略了所有空间位置之间交互的重要性。力EMA模块利用三条并行路径提取注意力权重描述符，其中一条路径提供了不同空间维度描述符输入特征检测器利用条件概率估计全局检测特征点；将特征描述符和特征点利用6于坐标特征和子特征生成空间权重；利用空间权重对原始特征进行加权以得到空间特征；征依次进行通道维度池化以及SoftMax归一化得到第二变换特征，第二变换特征与已进行征依次进行二维全局平均池化以及SoftMax归一化得到第四变换特征，第四变换特征与已信息和跨空间长程依赖信息得到第二聚合结果，对第二聚合结果进行Sigmoid激活函数计图1为本发明创造所述的基于卷积注意力的遥感图像配准方法的整体架构示意7了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的[0025]为了应对在具有重复或稀疏纹理区域的遥感场景中进行有效特征点检测和描述述符和特征点利用FLANN算法进行初步匹配，结合RANSAC算法进行外点剔除得到最终的配8的基于卷积注意力的遥感图像配准方法，采用改进后的卷积注意力方法替换了传统卷积，的结构需要对条件概率pcapID.4)进行建模，该概率表示根据全局的特征描述符检测其为特征点的概率，其中dp,表示到检测到点i。随后，pttpID.ap)表示检测到的点是特征点具体为将坐标特征和第二卷积的子特征输入跨9征沿着水平方向和垂直方向执行轴向压缩，以使每个精确位置都被赋予不同的特征权重，征依次进行通道维度池化以及SoftMax归一化得到第二变换特征，第二变换特征与已进行征依次进行二维全局平均池化以及SoftMax归一化得到第四变换特征，第四变换特征与已信息和跨空间长程依赖信息得到第二聚合结果，对第二聚合结果进行Sigmoid激活函数计[0040]本发明实施例提供的基于卷积注意力的遥感图像配准方法中的卷积注意力方法特征分组的ResNeXt模块都缺乏了通道维度的注意力学习，本发明实施例提供的卷积注意行轴向压缩的池化核为(H,1)，通过轴向压缩以编码水平坐标和垂直坐标上后，将轴向压缩得到的水平压缩特征和垂直压缩特征拼接起来，再通过一个共享的1x1卷;法聚合经过激活函数计算的第一向量和经过激活函数计算的第二向量，以得到坐标权重，即通过乘法聚合两个群组内相应的两个轴向注意力图，通过坐标权重对子特征X,进行重;softmax代表归一化，第四变换特征与已进行组间归一化的坐标特征GN(x")进行点积运算得到跨空间长程依赖信息跨空间长程依赖信息可以保留整个精确的空间位置信息。聚合跨空间短程依赖信息和跨空间长程依赖信息得到第二聚合结果，对第二聚合结果进行Sigmoid激活函数计算以得到空间权重sigmoid(x"+xf")，利用空间权重对原始特征进利于解决这一问题，且跨通道注意力模块能够根据每个通道的重要性进行自适应权重调对原始输入conv(x)和通道组输入xea进行了处理。R-"XR--,xe"[0051]继续参考图2，对第一卷积的原始特征conv(x)依次进行通道维度池化（C平均池化）以及SoftMax归一化得到第二变换特征，第二变换特征与已进行批次归一化的坐标特征BN(X")进行点积运算得到跨通[0052]聚合跨通道自适应信息和跨通道组信息得到第一聚合结果，对第一x"）。[0053]上述卷积注意力方法采用并行结构来堆叠