CN116311353B 基于特征融合的密集行人多目标跟踪方法、计算机设备和存储介质 （哈尔滨工业大学）

基于特征融合的密集行人多目标跟踪方法、设计了一种基于混合注意力机制的特征增强网2步骤2、基于步骤1获取的相邻帧基础特征，利用重步骤3.3、将相邻帧中靠前的帧特征用预测出的热图进行加权，作为可变形卷积网络步骤1采用DLA_34特征提取网络结构对输入的相邻视频帧进行基础特征提取处理，其目标除了第一次层卷积层和最后一层卷积层使用1x1卷积核之外，其余卷积层均使用3x33将水平与垂直位移模板Mi,j和Vi,j分别和水平差异概率表示softmax(c⃞,)与垂直差异概率表示softmax(c",)相乘，即可获得当前帧相对于之前帧的位移变化量。对于之前帧的特征图，在可变形卷积输入组成中并非直接进行操表示将r,"与进行逐通道且逐像素叠加通过自适应权重矩阵将之前帧的整合特征与当前帧的基础特征进行相加，其公式如其中，表示当前帧的自适应矩阵，wt_τ表示之前帧的自适应矩性分配算法，获得匹配的索引对集合Sm、未匹配轨迹集合Sum_track、未匹配检测结果集合4将第二次数据关联后仍未能匹配的轨迹，作为临近帧未匹配的轨迹进入对应队列Tlost；对于第一次数据关联中未匹配的检测结果detinesnss,将其与未激5之后使用额外的目标重识别模型提取各检测结果的外观特征或式采用运动模型来对目标6[0018]进一步地，步骤1采用DLA_34特征提取网络结构对输入的相邻视频帧进行基础特[0025]将提取的多帧重识别内嵌模型中的当前帧部分Et与之前帧部分Et_τ进行相关性运[0027]将水平与垂直位移模板Mi,j和Vi,j分别和水平差异概率表示softmax(c⃞,)与垂直差异概率表示softmax(c⃞,)相乘，即可获得当前帧相对于之前帧的位移变化量。7pp应矩阵，其满足关系T表示所使用的之前帧的数量，⊙表示矩阵的Had[0040]步骤4.2.2、进行第一次数据关联，具体包括：对该代价矩阵CIoU使用Jonker_8纳其进入对应队列Tlost；对于第一次数据关联中未匹配的检测结果derinesinsa,将其与[0046]在本发明中，提出了一种基于联合检测与跟踪范式的密集行人检测和跟踪的算9[0079]步骤1采用DLA_34特征提取网络结构对输入的相邻视频帧进行基础特征提取处[0090]将提取的多帧重识别内嵌模型中的当前帧部分Et与之前帧部分Et一τ进行相关性运[0092]将水平与垂直位移模板Mi,j和Vi,j分别和水平差异概率表示与垂[0097]本实施方式中，将帧间差异特征与步骤二输出的位移预测矩阵按照维度进行整这一种分类，表示将与进行逐通值。[0102]本实施方式中，卷积核元素偏移量获得后，作为可变形卷积网络DCN的一部分输一一相乘。对第t_τ帧的操作方式等同于将之前帧对于目标的预测结果以二维高斯分布的[0110]步骤4.2.2、进行第一次数据关联，具体包括：对该代价矩阵CIoU使用Jonker_纳其进入对应队列Tlost；对于第一次数据关联中未匹配的检测结果将其与[0117]本实施例采用和[1]中相同的特至于过大，需要在映射后加入一定的约束条件来限制热图上的目标中心点集合的散落位1][0125]本实施例提出一种不同于[1]中的热图[0127]对于上述三种情况，本实施例设计了一种生成方法来简化这三种情况为一种情[0135]在跟踪过程中，由于目标会由于被遮挡或外观剧变等情循环模块建议控制在4组以内。此外除了第一次层卷积层和最后一层卷积层使用1×1卷积[0139]之后，将提取的多帧重识别内嵌模型中的当前帧部分Et与之前帧部分Et_τ进行相用向量内积计算本量矩阵的方法；式(2_3)对应采用特征通道归一化的向量余弦距离计算向进行最大池化，找出当前帧各个像素点相对于之前帧的水平差异最大值和垂直差异最大值其中和表示第t帧图像上坐标(i,j)处与第[0147]最后将水平与垂直位移模板Mi,j和Vi,j分别和水平差异概率表示softmax(c",)与垂t帧图像坐标(i,j)处的目标相对于第t_τ帧图像上所有位置的水[0152]本实施例设计了一种基于混合注意力机制的卷积神经网络来完成这一映射过程进行逐通道且逐像素叠加的结果。式(3_1)中，⊙表示矩阵的[0156]式(3_1)中对第t_τ帧的操作方式等同于将之前帧对于目标的预测结果以二维高[0157]特征增强部分则是通过自适应权重矩阵将之前帧的整合特征与当前帧的基础特匹配的轨迹队列Tlost，已结束(移除)的轨迹队列Tremoved；通过两个阈值threshlow和匹配的轨迹队列Tlost中所包含的身份标识与已跟踪的轨迹队列Ttracked中的进行比较，将不同的部分划归到已跟踪的轨迹队列Ttracked；对已跟踪的轨迹队列Ttracked中的检测结果dett_,采用卡尔曼滤波的方法，生成滤波器预测的检测结果计算卡尔_的检测结果deria与检测模型输出检测结果dett间的交并比，构成以交并比作为代价的配的检测结果deriesaa,将其与未激活轨迹进行位置相似度计算，并采用Jonker_[0172]算法[1]：ZHOUX,KOLTUNV,KRHENBiHLP.Trackingobjec