CN118918476B 一种跨场景多域融合小样本遥感目标鲁棒识别方法 （北京邮电大学）

WO2021139069A1,2021.07一种跨场景多域融合小样本遥感目标鲁棒本发明提供了一种跨场景多域融合小样本遥感目标鲁棒识别方法，属于目标识别技术领态图像配准技术和改进的跨模态多头自注意力2步骤一，基于改进的域映射的跨场景泛化小样本学习，采用元步骤三，基于改进的特征匹配的多域异构图像配准技使用改进的显著边界特征点的提取方法，基于局部边界特征的多模态遥感图像配准，所述的图像配准与交换方法，对配准后的图像进行变换,图像变换矩阵的计算方式为使用改进的增量式优化方法，通过检测边界与边界使用改进的增量式优化方法融合基于特征点和边步骤四，基于改进的深度神经网络的轻量化实时目标识别模型，使用通过数据集混合器将极少量目标域的样本设为辅助数据集，并与源域的数据集融合，预训练阶段，通过在源域的数据集上利用掩码自编码器进行训3习，即利用目标域的极少标注数据作为辅助数据提高跨域并使基于元学习的目标识别模型在目标域数据集上具有和域特征分别表示为H1su和H2s:m辅助支持集的域无关特征和域特征分别表示为H1sx和混合查询集的域无关特征和域特征分别表示为和H2amss将域无和域特征送入域分类器gdom中进行域分类并与域标签比较，得到损失函体损失L=Lrsu+laom,+luom,s利用Adam梯度下降优化器对L进行优化，使L最小化；为λ,则小样本分类器的损失函数为Lrsc=入·Lrsus+(1-N·Lrsuas并与标签y1比较，利用相对熵KL散度计算得到损失输入与各自域标签比较，利用交叉熵计算得到损失通过随机掩码机制将高维输入图像随机的部分区域进行遮蔽处理4通过使用ResNet_101骨干网络特征提取器和改进的跨模态多头自注意力机制与改进所述的ResNet_101骨干网络特征提取器，通过ResNet_101骨干网络特所述的改进的跨模态多头自注意力机制，在包括可见光、红外和合多模态的特征之间引入跨模态注意力机制，对不同模态的特征进行多头分割和并行处理，注意力权重通过Softmax函数计算相似度得到，具体实现过程包括：Aattention＝softmax示向量的范数，其中H表示头部的所述的改进的多级特征融合方法，通过引入跨模态注意力机制和自ion=1iAifi,其中Ai表示第i层特征的注意力权重矩阵，αi表示通过训练动态优化的融合权重,改进后的融合方法的具体实现过程包行时实现如权利要求1至4中任一项所述方法56[0006]多模态数据的配准是数据融合的前提，但由于不同模态图像之间存在几何畸变、编码器通过随机遮挡输入图像的部分区域，利用VisionTransformer(ViT)高效编码器生[0011]利用深度残差网络(ResNet_101)对配准后的可见光、红外和SAR图像进行特征提7或改善现有技术中存在的源域数据集和目标域数据集在小样本学习中由于特征数据分布目标域的图像特征解耦得到域无关特征和域特征。将目标域的特征映射到源域特征空间，从而帮助缩小源域与目标域之间数据分布上表示域无关特征和域特征，则源域支持集的域无关特征和域特征分别表示为H1s.ma和H2s:ou辅助支持集的域无关特征和域特征分别表示为H1sax和混合查询集的域无关特征和域特征分别表示为和H2ons:将域无关特征送入小样本分类器gfsl中进行8[0018]所述的小样本分类器，其特征在于，H1omix与H1sou输入小样本分类器，得到分类损失LrsusrH1ons与H1saux输入小样本分类器，得到分类损失Lrsuas由于混合查询集是源域查询集和辅助查询集的混合，比例为λ,则小样本分类器的损失函数为[0019]所述的域分类器，其特征在于，对于域相关特征，将源域的标签设为1，目标域的标签设为0，对于域无关特征，将域标签向量设为y1＝[0.5,0.5]；H1s.mr为域无关特征，输入域分类器gdom中进行分类并(Kullback_Leiblerdivergence，KL)计算得到损失KL(gaom(H1snsx),y1)}+KL(gaom(H1omx),y1)]:H2smH2sx、H2oms为域相关特征，平成一个维度为P2C的一维向量，然后通过一个线性层映射到一个维度为D的向量空间中，头自注意力(Multi_HeadSelf_Attention)层并行地关注输入序列的不同位置，通过计算9Query、Key和Value矩阵使ViT模型理解不同patch之间的依赖关系。再经过前馈神经网络[0025]本发明提供了一种改进的基于特征匹配的多域异构图像[0026]基于局部边界特征的多模态遥感图像配准：根据内点最待配准图像S作为与基准图像对齐的图像。通过提取显著边界特征和基于灰度的方法提取得出平均精度均值(meanAveragePrecision,mAP)确保系统在复杂场景下的适用性和可[0039]基于改进的多级特征融合方法引入跨模态注意力机制和自适应权重调整将不同ion=1i,fisResNet-101表示通过ResNet-101提取的多层特征集合；[0045]EF代表增强特征(EnhancedFeatures,EF)，OF代表原始特征(OriginalFeatures,OF)，AW代表注意力权重(AttentionWeights,AW)，SM代表相似度矩阵[0051]本发明还提供了一种改进的基于深度神经网络的轻量化实时目标识别模型设计习模型，确保检测的精确性和实时性。使用非极大值抑制(NMS)算法对检测结果进行后处[0057]灾=x+AX·w[0058]$=y+AY-h[0075]使用非极大值抑制(NMS)算法进行后处理，该算法可以通过移除重叠度较高的边[0087]所述多模态遥感图像配准方法通过显著边界特征点的提取和局部边界描述子的并计算权重值以强化重要特征点，保证配准的稳健性和精确性；采用深度残差网络量式优化方法融合基于特征点和边界特征的配准结果，并设计新的权重迭代优化配准算于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获[0095]图1为本发明一实施例中一种基于改进的域映射的跨场景泛化小样本学习的步骤[0096]图2为本发明一实施例中一种基于改进的域映射的跨场景泛化小样本学习的流程[0097]图3为本发明一实施例中一种多域异构数据融合增强的目标检测方法的步骤示意[0098]图4为本发明一实施例中一种多域异构数据融合增强的目标检测方法的流程示意[0099]图5为本发明一实施例中一种基于特征匹配的多域异构图像配准技术的流程示意示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大[0106]如图1所示，本发明的基于改进的域映射的跨场景泛化小样本学习及基于改进的掩码自编码器的表征学习包括以下步骤S101～S[0112]如图2所示，为一种跨场景多域融合小样本遥感目标鲁棒识别方法中基于改进的[0118]如图3所示，本发明的基于特征匹配的多域异构图像配准技术以及基于深度神经光、红外和SAR图像进行特征提取。通过跨模态注意力机制对高层和低层特征进行特征增[0126]如图4所示，为一种跨场景多域融合小样本遥感目标鲁棒识别方法中基于特征匹[0127]在步骤S301中，首先通过使用边缘检测算法(如Canny)从图像中提取显著的边界[0129]为了进一步提高配准精度，动态调整尺度不变特征变换(SIFT)阈值以提取特征制能够显著提高模型对不同尺度和形状的目标物体的态遥感图像的信息，将配准后的可见光、红外和SAR图像输入预训练的ResNet_101网络。分利用不同层次特征的信息，采用多级特征融合策略，即将从深度残差网络(如ResNet_像S，通过提取显著边界特征和基于灰度的方法提取特征点，动态调整尺度不变特征变换网络提取的低层特征和高层特征分别表示为Flow