CN114445461B 基于非配对数据的可见光红外目标跟踪训练方法及装置 （安徽大学）

号基于非配对数据的可见光红外目标跟踪训本发明公开了一种基于非配对数据的可见像作为第二模态特定网络和模态共享模块的输共享模块的输出融合后作为模态自适应注意力2获取不成对的可见光图像和热红外图像，并基于所述态特定网络的输出与所述模态共享模块的输出相加后得到的可见光模态特征作为所述模加后得到的热红外模态特征作为所述模态自适应注意力模所述模态自适应注意力模块包括共享权重的第一全连接层和第二全连述热红外模态特征分别作为所述第一全连接层和所述第二全连接层的输入，进行降维处连接层和所述第四全连接层采用QKV机制分别对降维后的所述可见光模态特征和降维后的所述第一模态特定网络的最后一个卷积层的输出与所述模态共享模块的最后一个卷一个卷积层的输出与所述模态共享模块的最后一个卷积层的输出相加后作为所述模态自个模态对应的可见光模态全连接层和热红外模态可见光模态全连接层和热红外模态全连接层含有softmax层，so利用所述负样本得分值y与得分正值y^产生的交叉熵损失函数对所述可见光红外跟踪通过随机梯度下降法优化所述可见光红外跟3获取模块，用于获取不成对的可见光图像和热红外图像，并基态特定网络的输出与所述模态共享模块的输出相加后得到的可见光模态特征作为所述模加后得到的热红外模态特征作为所述模态自适应注意力模所述模态自适应注意力模块包括共享权重的第一全连接层和第二全连述热红外模态特征分别作为所述第一全连接层和所述第二全连接层的输入，进行降维处连接层和所述第四全连接层采用QKV机制分别对降维后的所述可见光模态特征和降维后的所述第一模态特定网络的最后一个卷积层的输出与所述模态共享模块的最后一个卷一个卷积层的输出与所述模态共享模块的最后一个卷积层的输出相加后作为所述模态自个模态对应的可见光模态全连接层和热红外模态可见光模态全连接层和热红外模态全连接层含有softmax层，so训练单元，用于利用所述负样本得分值y与得分正值y^产生的交叉熵损失函数对所述4[0005]本发明所要解决的技术问题在于如何解决可见光红外目标跟踪性能训练对大规特定网络；所述可见光图像作为所述第一模态特定网络的输入和所述模态共享模块的输5第一模态特定网络的输出与所述模态共享模块的输出相加后得到的可见光模态特征作为输出相加后得到的热红外模态特征作为所述模态自适应注意力[0011]本发明设置第一模态特定网络和第二模态特定网络分别对可见光图像和热红外[0013]所述第一模态特定网络的最后一个卷积层的输出与所述模态共享模块的最后一最后一个卷积层的输出与所述模态共享模块的最后一个卷积层的输出相加后作为所述模[0015]所述可见光模态特征和所述热红外模态特征分别作为所述第一全连接层和所述[0016]通过所述第三全连接层和所述第四全连接层采用QKV机制分别对降维后的所述可模态连接层包括与两个模态对应的可见光模态全连接层和热红外模态[0023]利用所述负样本得分值y与得分正值y^产生的交叉熵损失函数对所述可见光红外[0026]另一方面，本发明提出了一种基于非配对数据的可见光6特定网络；所述可见光图像作为所述第一模态特定网络的输入和所述模态共享模块的输第一模态特定网络的输出与所述模态共享模块的输出相加后得到的可见光模态特征作为输出相加后得到的热红外模态特征作为所述模态自适应注意力模[0031]所述第一模态特定网络的最后一个卷积层的输出与所述模态共享模块的最后一最后一个卷积层的输出与所述模态共享模块的最后一个卷积层的输出相加后作为所述模[0033]所述可见光模态特征和所述热红外模态特征分别作为所述第一全连接层和所述[0034]通过所述第三全连接层和所述第四全连接层采用QKV机制分别对降维后的所述可模态连接层包括与两个模态对应的可见光模态全连接层和热红外模态[0041]训练单元，用于利用所述负样本得分值y与得分正值y^产生的交叉熵损失函数对7[0045](1)本发明设置第一模态特定网络和第二模态特定网络分别对可见光图像和热红[0047]图1是本发明第一实施例中基于非配对数据的可见光红外目标跟踪训练方法的流[0048]图2是本发明第一实施例中基于非配对数据的可见光红外目标跟踪训练方法的整[0050]图4是本发明第二实施例中基于非配对数据的可见光红外目标跟踪训练装置的结特定网络；所述可见光图像作为所述第一模态特定网络的输入和所述模态共享模块的输第一模态特定网络的输出与所述模态共享模块的输出相加后得到的可见光模态特征作为输出相加后得到的热红外模态特征作为所述模态自适应注意力8两层卷积层的输出作为所述模态共享网络后两卷[0060]所述第一模态特定网络的最后一个卷积层的输出与所述模态共享模块的最后一最后一个卷积层的输出与所述模态共享模块的最后一个卷积层的输出相加后作为所述模[0064]所述可见光模态特征和所述热红外模态特征分别作为所述第一全连接层和所述[0065]通过所述第三全连接层和所述第四全连接层采用QKV机制分别对降维后的所述可[0068]具体来说，模态自适应注意力模块由共享权重的两个大小为512的第一全连接层9连接则用于形成模态共享查询集Q，在产生的模态特定注意力矩阵相乘得到两个模态最后[0070]在一实施例中，所述模态适配模块包括依次连接的两个所述模态连接层包括与两个模态对应的可见光模态全连接层和热红外模态2,2的两个全连接层并行组成模态连接层，大小为1024,512的两个全连接层后面加入了dropout(神经元随机激活)的正规化方法来降低过拟合的风险。最后按模态划分的两个个[0077]利用所述负样本得分值y与得分正值y^产生的交叉熵损失函数对所述可见光红外层和ReLU(非线性层)组成，前两个卷积层还增加了LRN(局部相应函数)和MaxPool(最大值[0082](2)使用人工标注好的无需配对的可见光红外数据来训练整个网络，使用高斯分[0083](3)第一阶段随机输入热红外数据或可见光数据训练模态共享模块，使用随机梯热红外数据和可见光数据训练每个模态的其他模块，使用随机梯度算法SGD来更新网络参参数初始化网络模型，得到新的层。此时模态适配模块前两个全连接层学习率设置为集中帧数超过100个则抛弃最早的那些帧的正样本区域，从正负样本集中抽出32个正样本[0092]本实施例分别将本发明方法和现有一些方法在公开的数据集GTOT、RGBT234和特定网络；所述可见光图像作为所述第一模态特定网络的输入和所述模态共享模块的输第一模态特定网络的输出与所述模态共享模块的输出相加后得到的可见光模态特征作为输出相加后得到的热红外模态特征作为所述模态自适应注意力模两层卷积层的输出作为所述模态共享网络后两卷[0101]所述第一模态特定网络的最后一个卷积层的输出与所述模态共享模块的最后一最后一个卷积层的输出与所述模态共享模块的最后一个卷积层的输出相加后作为所述模[0103]所述可见光模态特征和所述热红外模态特征分别作为所述第一全连接层和所述[0104]通过所述第三全连接层和所述第四全连接层采用QKV机制分别对降维后的所述可[0107]在一实施例中，所述模态适配模块包括依次连接