CN115760921B 基于多目标跟踪的行人轨迹预测方法及系统 （昆明理工大学）

基于多目标跟踪的行人轨迹预测方法及系统本发明公开了基于多目标跟踪的行人轨迹型输出多个目标行人在每一帧图像中的目标检标跟踪模型的检测器对待跟踪视频的非首帧进的当前位置进行关联，得到目标人体的预测轨2获取待跟踪视频，对视频第一帧的多个目标行人进行标注；所述将待跟踪视频，输入到训练后的多目标跟踪模型中，多目标跟踪其中，检测器对待跟踪视频的非首帧进行目标检测，得到可见跟踪器根据目标人体的坐标框的中心点位置，对目标行人进行所述采用二帧差分法，对目标人体的预测轨迹进行修正，得到修帧的目标β的人体坐标边框高度he和边框宽度w"比较大小，根据数据集设定阈值为;再比较第t-1帧和第t帧中β目标的中心位置和之间的欧则说明前后两帧的检测目标为同一人体坐标框β目标的中心位置的横坐标；表示第t-1帧中，β目标的中心位置%表示第t帧中，p目标的中心位置的纵坐标；s表3所述对可见光模态特征和红外光模态特征进行加权r,表示加权融合后的特征值；表示concat融合函数；表示可见光模态特外光模态特征权重，f"表示对可见光模态特征与红外光模态特征通过NIN网络层维度压的通道注意力机制模块和空间注意力机制模块对融合的特征进行优化，具体优化过程包首先，将加权融合后的特征输入通道注意力机制模块；然后对其中，所述利用空间注意力机制模块对通道注意力机制对整个识别的图像信息特征依次进行最大池化和平均池化，然后其中，目标框位置损失函数IUW表示预测框的定位误差，用于表示中心坐标误差的权4s表示行人特征图像被划分成的网格数；B表示每个网格所预测的框的个数；特征预测框中心坐标的横纵坐标值；wi表示行人特征实际框的长和宽；表示实际置信i所述跟踪器根据目标人体的坐标框的中心点位置，对目标行人进采用卡尔曼滤波算法根据目标人体的坐标框，对下一帧图像中目标行人进行位置预所述将预测的位置与目标人体的当前位置进行关联，得到目标人采用匈牙利算法，将预测的位置与目标人体的当前位置进行关所述得到目标人体的预测轨迹之后，所述对目标人体的预测轨迹5其中，检测器对待跟踪视频的非首帧进行目标检测，得到可见跟踪器根据目标人体的坐标框的中心点位置，对目标行人进行所述采用二帧差分法，对目标人体的预测轨迹进行修正，得到修帧的目标β的人体坐标边框高度he和边框宽度w"比较大小，根据数据集设定阈值为;再比较第t-1帧和第t帧中β目标的中心位置和之间的欧则说明前后两帧的检测目标为同一人体坐标框β目标的中心位置的横坐标；表示第t-1帧中，β目标的中心位置%表示第t帧中，p目标的中心位置的纵坐标；s表6在悄然渗入到各行各业并改变着我们的生活方式。计算机视觉是人工智能领域的重要分视的促进作用。78序当在一个或多个处理器上运行的时候用于实现上备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过9[0049]进一步地，所述检测器，包括：用于特征提取的CAPsNet网络、用于特征融合的表示经过Sigmoid激活函数处理过后的红外光模态特征；W表示经过Sigmoid激活过后的可见光模态特征与红外光模态特征之和；表示外光模态特征权重，fnin表示对可见光模态特征与红外光模态特征通过NIN网络层维度压[0066]多层感知器是针对行人目标与背景而言，在感知器里对不同特征值予以不同权[0067]进一步地，所述利用空间注意力机制模块对通道注意力机制模块输出值进行处[0069]针对CBAM的总体流程图，如图2所示。都是需要输入特征图先经过通道注意力机[0076]目标框位置损失函数Lbox、目标置信度损失函数Lobj和类别损失函数Lcls的求和结obj(c)表示检测到的目标属于该类别的实际概率；p,(c)表示检测到的目标属于该类别的预[0097]计算已跟踪的目标α人体坐标框的高度平均值和宽度平均值记作和将其与第t帧的目标β的人体坐标边框高度hβ和边框宽度wβ比较大小，根据数据集设定阈值为σ∈[0098]再比较第t_1帧和第t帧中β目标的中心位置和之间的欧帧中，β目标的中心位置的横坐标；表示第t_1帧中，β目标的中心位置机械自动控制等领域发挥着重要作用。[0112]此处需要说明的是，上述获取模块和跟踪模块对应