CN113506317B 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法 （北京百卓网络技术有限公司）

一种基于MaskR-CNN和表观特征融合的多本发明提供了一种基于MaskR-CNN和表观矩阵对所述图像中关键区域进行空间结构加强过长短时记忆网络利用所述具有空间注意力加2基于候选区域在特征图上切割出特征作为孪生神经网通过长短时记忆网络利用所述具有空间注意力加权的特征对目标轨迹的历史位置信通过MaskR-CNN主干网络搜索待识别的图像，在MaskR-CMaskR-CNN主干网络采用特征金字塔FPN网络提取特征，将图像作为输入通每个候选区域通过RoIAlign划分为16×16个单元并选取四个标准位置，采用双线性从特征金字塔FPN网络通过上采样融合不同层级的特征得到具有上下文信息的特征矩阵对所述图像中关键区域进行空间结构加强处理，得到具有空间注意力加权的目标特5.根据权利要求1至4任一项所述的方法，其特征在3通过长短时记忆网络利用所述具有空间注意力加权的特征对目标轨迹的历史位置信-12)综合多帧预测结果使用高斯分布函数对目标轨迹之间的运动相似度Λ进行距离度量，空间注意力加权的特征对目标轨迹的历史位置信息进行计算，得到预测的目标位置信息，采用嵌入实例分割网络进行检测跟踪，通过增加掩码的4[0004]目标检测不准确的问题:多目标跟踪针对目标频繁进出视野造成的遮挡或者消失更加依赖检测器的性能。复杂多变的天气和密集的人群都会引起目标检测结果出现误差，[0005]目标的遮挡问题:由于在运动过程中，多个目标通常会出现目标之间移动或者背局或局部匹配的模型方法实现长期跟踪。全局数据关联采用多帧检测结果建立和更新模5[0008]多假设跟踪算法(MultipleHypothesesTracking,MHT)将生成的候选目标都保[0009]基于网络流的多目标跟踪算法将数据关联问题转化成一组已知轨迹片段的匹配[0010]基于条件随机场的多目标跟踪算法将目标运动轨迹关联问题定义为跟踪目标之结果进行的，其主要形式包括两种：基于boundingbox的两步特征提取和基于bounding6[0019]本发明的实施例提供了一种基于MaskR-CNN和表观特征融合的[0022]通过MaskR-CNN网络搜索待识别的图像，获得图像中的目标的候选区域及特征[0023]基于候选区域在特征图上切割出特征作为孪生神经网[0024]通过长短时记忆网络利用所述具有空间注意力加权的特征对目标轨迹的历史位[0031]优选地，所述的基于候选区域在特征图上切割出特征作为孪生[0032]从特征金字塔FPN网络通过上采样融合不同层级的特征得到具有上下文信息的特7[0036]通过长短时记忆网络利用所述具有空间注意力加权的特征对目标轨迹的历史位-12)[0040]综合多帧预测结果使用高斯分布函数对目标轨迹之间的运动相似度Λ进行距离[0042]采用嵌入实例分割网络进行检测跟踪，通过增加掩码的形式8[0048]图1为本发明实施例提供的一种基于MaskR-CNN和表观特征融合的多目标跟踪方[0049]图2为本发明实施例提供的一种基于MaskR-CNN和表观特征融合的多目标跟踪方[0055]图8为本发明实施例提出了一种基于空间注意力网络的抗遮挡多目标跟踪方法的语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该不仅需要预测图像中物体的类别，还需要预测物体的位置(boundingbox)。语义分割(Semanticsegmentation)需要预测出输入图像的每一个像素点属于哪一类的标签。实例9[0065]注意力机制(AttentionNetwork)：由于人通过眼睛的视觉系统观察图像中的内[0067]本发明实施例提出了一种复杂场景下的基于MaskR-CNN和表观特征融合的多目[0068]图1为本发明实施例提供的一种基于MaskR-CNN和表观特征融合的多目标跟踪方[0072]步骤S30：通过空间注意力模块根据所述特征矩阵对所述图像中关键区域进行空[0073]步骤S40：通过长短时记忆网络利用所述具有空间注意力加权的特征对目标轨迹[0076]图2为本发明实施例提供的一种改进的MaskR-CNN主干网络的结构图。本发明实表示相似值(0/1)：[0083]图3为本发明实施例提供的一种基于特征金字塔的特征提取网络的结构图。本发[0084]特征金字塔网络可以提取多尺度的特征，针对图像中目标尺度变化大的视频序[0087]表1展示了目标特征提取网络中R[0088]图4为本发明实施例提供的一种特征关联网络进行数据匹配的处理过程，从特征关联的方法建立关联矩阵，用于目标之间的数据关联。本发明实施例将特征提取分支从[0092]本发明实施例引入掩码交并比进行数据关联，提取细粒度更[0101]其中ρ代表欧式距离度量函数，box代表预测框的中心位置，boxgt代表Groundtruth的中心位置，c代表包围预测框和真实框的最小区域的对角线距离。如公式(2-8)所[0103]分割掩膜的损失函数：本发明采用像素级二值交叉熵损失函数计算预测的掩膜[0107]跟踪特征提取分支主要采用三元组损失和交叉熵损失设置损失函数。在训练阶[0110]本发明实施例提出了一种基于空间注意力网络的抗遮挡多目标跟踪方法的实现块对目标的空间特征进行推理得到空间强化特征，进一步计算空间强化特征的余弦距离，=φi+∑jwijV[0114]本发明实施例提出的一种空间注意力模块的网络结构如图8所示，其中P1表示最特征矩阵DiM或DjM作为空间注意力模块的输入，空间注意力模块输出具有空间注意力加权息中提取运动特征。图9为本发明实施例提出的一种基于深度特征的运动估计模型的结构对目标轨迹之间的运动相似度Λ进行距离度量，运动相似度的计算方式如公式(2-12)所-12)任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变