CN114299114B 基于元学习参数转移的可见光红外视觉跟踪方法 （安徽大学）

号基于元学习参数转移的可见光红外视觉跟本发明公开了基于元学习参数转移的可见图像和其对应的可见光图像形成的多个图像对后交替输入单独的可见光图像与图像对对模型利用图像对进行模型训练的时候图像需要经过2步骤二：将样本输入多模态视觉跟踪控制模型对步骤三：训练完成以后实时采集视频，提取成对所述多模态视觉跟踪控制模型包括顺序编号的第一通用适配器光模态适配器的输出结果叠加到第一通用适配器的第一输出端之后输入第二可见光模态的输出结果叠加到第二通用适配器的第一输出端后输入第三可见光模态适配器以及第三出，否则融合第三通用适配器的第一输出端和第二输出端的结果后经第一实例适配器输所述第一可见光模态适配器和第一热红外模态适配器结构相同，均由顺使用热红外图像和其对应的可见光图像形成的多个图像对迭代70次预先训练网络模3三可见光适配器及对应位置的第三通用适配器之后输出结果融合到第三通用适配器的第2.根据权利要求1所述的基于元学习参数转移的可见光红外视觉跟踪方法，其特征在3.根据权利要求2所述的基于元学习参数转移的可见光红外视觉跟踪方法，其特征在对对模型继续训练130次，学习率和样本取样方式与使用热红外图像和其对应的可见光图4.根据权利要求3所述的基于元学习参数转移的可见光红外视觉跟踪方法，其特征在三可见光适配器及对应位置的第三通用适配器之后输出结果融合到第三通用适配器的第5.根据权利要求3所述的基于元学习参数转移的可见光红外视觉跟踪方法，其特征在外适配器及对应位置的第一通用适配器、第二热红外适配器及对应位置的第二通用适配器，第三热红外适配器输出结果经过降维单元之后融合到第三通用适配器的第二输出端，第三通用适配器的第一输出端和第二输出端的结果融合之后通过第一实例6.根据权利要求1所述的基于元学习参数转移的可见光红外视觉跟踪方法，其特征在47.根据权利要求6所述的基于元学习参数转移的可见光红外视觉跟踪方法，其特征在所述第一实例适配器的全连接层FC6含有softmax层对每个样本特征计算其正负得分：+5集RGBT234测试的性能总比公开数据集GTOT低出很多个点，其中的一部分原因是训练使用晚并且需要成对匹配的信息，这些成对数据集的采集需要专门的相机并且要求人工对齐，[0005]本发明所要解决的技术问题在于现有技术多模态目标跟踪起源偏晚并且需要成6配器与第一通用适配器的一个输入端连接且接收单独的可见光图像或者热红外图像对应见光模态适配器的输出结果叠加到第二通用适配器的第一输出端后输入第三可见光模态[0014]使用热红外图像和其对应的可见光图像形成的多个图像对迭代70次预先训练网7光适配器及对应位置的第一通用适配器、第二可见光适配器及对应位置的第二通用适配可见光图像与图像对对模型继续训练130次，学习率和样本取样方式与使用热红外图像和其对应的可见光图像对迭代70次预先训练[0018]更进一步地，交替输入单独的可见光图像与图像对对模型继续训练130次的过程8[0022](1)本发明在训练多模态视觉跟踪控制模型的过程中，先向模型输入图像对进行[0023](2)本发明先使用热红外图像和其对应的可见光图像形成的多个图像对迭代70次[0025](4)本发明利用现有的单模态数据来提升多模态跟踪的性能，提出了一个元学习[0026](5)本发明通过引入额外的单模态数据来增强可见光模态适配器的特征学习能用了额外的单模态数据并且不需要自己生成其对应的热红外数据集，减少了噪音的输入。[0027]图1为本发明实施例所公开的基于元学习参数转移的可见光红外视觉跟踪方法的[0028]图2为本发明实施例所公开的基于元学习参数转移的可见光红外视觉跟踪方法的[0029]图3为本发明实施例所公开的基于元学习参数转移的可见光红外视觉跟踪方法与[0030]图4为本发明实施例所公开的基于元学习参数转移的可见光红外视觉跟踪方法与[0031]图5为本发明实施例所公开的基于元学习参数转移的可见光红外视觉跟踪方法与其他跟踪器在RGBT234数据集上测试[0032]图6为本发明实施例所公开的基于元学习参数转移的可见光红外视觉跟踪方法与其他跟踪器在RGBT234数据集上测试9[0038]如图1所示，所述多模态视觉跟踪控制模型包括顺序编号的第一通用适配器至第适配器与第一通用适配器的一个输入端连接且接收单独的可见光图像或者热红外图像对可见光模态适配器的输出结果叠加到第二通用适配器的第一输出端后输入第三可见光模[0040]以下详细介绍本发明多模态视觉跟踪控制模型的训练和跟踪过程。训练过程包[0041]使用Imagene-Vid数据集预训练的MDNet网络的前三层和域共享全连接层的参数[0042]通过将标定好目标的可见光红外数据集(可见光图像和其对应的热红外图像)和8帧可见光红外图像，其中包含32个正样本和96个负样本，并激活对应的最后一层全连接参数设定是S+＝1000(IOU≥0.6)，将这些样本设定batchsize＝256大小minibatch进行训ReLU函数和LRN函数，并在前两个卷积层的最后都接有一个大小为5*5的最大值池化函数出特征与各自模态的模态适配器输出特征进行矩阵相加融合，再传入下一级的适配器中，最后将获得两个模态特征图使用concatenate函数进行基于通道维度拼接后得到一个最终个Dropout(随机失活单元)函数的和三个全连接层所组成，各自的维度分别为1024*512、