CN113591527B 一种对象轨迹识别方法、装置、电子设备和存储介质 （腾讯科技（深圳）有限公司）

LocalAggregationforVideoDetection.2020IEEE/CVFComputerVisionandPatternRec频的特性，将对象轨迹识别过程划分为对象检2针对获得的各个视频片段中的各个视频帧，分别执行如下操分别针对所述各个视频片段，将同一对象在同一视频片段针对所述各个对象，将同一对象在不同视频片段内的追踪轨迹进在所述一个视频帧归属的视频片段中，获取所述一个视频帧之基于所述第二互相关度获取所述一个视频帧中与所述至少一个对象相应的对象所在象在同一视频片段内不同视频帧中的各个检测框进行连接，分别获得所述各个视频片段对于同一视频片段内的各个视频帧，逐帧获取所述各个视频对于所述各个对象检测结果中的一个对象检测结果，若所述一个对若所述一个对象检测结果与所有的现存追踪轨迹的特征相似度都低于所述第一预设3对于所述各个对象检测结果中的一个对象检测结果与所述各个现存追踪轨迹中的一素与所述一个现存追踪轨迹对应的特征图中的像素之间将所述响应图中设定数量个幅值最高的区域对应的相似度的均值，检测结果与所述一个现存追踪轨迹之间的特将第一个视频片段内的各个追踪轨迹初始化为查询集，并将剩余视按时间顺序逐个遍历所述检索库中的各个追踪轨迹，分别获取所述检索踪轨迹与所述查询集中的各个追踪轨迹之间的第一轨迹基于所述第一轨迹相似度对各个视频片段内的各个追踪轨迹进若所述对象为人物，则基于人脸识别方法和行人重识别方法，若所述对象为非人物，则基于行人重识别方法，对不同视频片其中，所述第一对象相似度是基于人脸相似度和重识别相似对于所述检索库中的各个追踪轨迹中的一个追踪轨迹，分别获取所述一所述查询集中的各个追踪轨迹之间的第二轨迹基于获取到的所述第二轨迹相似度，从所述查询集中查找与所若所述查询集中的各个第一追踪轨迹与所述一个追踪轨迹查询集中的各个第二追踪轨迹与所述一个追踪轨迹之间的平均相似度的差值大于第二预48.如权利要求1或2所述的方法，其特征在于，所述所述分别针对所述各个视频片段，将同一对象在同一视频片段内不将检测到的检测框与相应的视频片段输入所述重识别模型中的对象述对象追踪部分分别将同一对象在同一视频片段内不同视频帧中的各个检测框进行连接，所述针对所述各个对象，将同一对象在不同视频片段内的追踪轨迹进基于所述重识别模型中的对象重识别部分，将同一对象在不同视其中，所述重识别模型是基于训练样本数据集训练获得的9.如权利要求8所述的方法，其特征在于，所述重识别模型是通过下列方式训练获得根据所述训练样本数据集中的训练样本，对重识别模型分别将所述训练样本中的各个样本视频片段输入重识别模型将检测到的检测框与相应的样本视频片段输入所述重识别模型中的于所述对象追踪部分分别将同一样本对象在同一样本视频片段内不同视频帧中的各个检基于所述重识别模型中的样本对象重识别部分，将同一样本对基于所述各个样本对象各自的运动轨迹构建损失函数，并基于所基于所述至少一个候选对象的运动轨迹，从预设视频集合中获得包5轨迹追踪单元，用于分别针对所述各个视频片段，将同一对象在同一重识别单元，用于针对所述各个对象，将同一对象在不同视67[0017]将所述一个视频帧以及所述一个视频帧之前的视频帧各自对应的局部语义信息、[0018]基于所述局部语义融合特征、所述局部位置融合特征和[0021]基于所述第一互相关度确定所述一个视频帧中与所述目标对象相应的对象所在测框的位置信息，基于所述位置信息确定所述一个视频帧对应的特征图中相应的第二区[0024]基于所述第二互相关度获取所述一个视频帧中与所述至少一个对象相应的对象迹为基于当前视频帧之前的视频帧获得的对现存追踪轨迹对应的对象在所述同一视频片段内的[0030]若所述一个对象检测结果与所有的现存追踪轨迹的特征相似度都低于所述第一[0033]对于所述各个对象检测结果中的一个对象检测结果与所述各个现存追踪轨迹中的一个现存追踪轨迹，基于所述一个对象检测结果的特征和所述一个现存追踪轨迹的特的像素与所述一个现存追踪轨迹对应的特征图中的像素之间8对象检测结果与所述一个现存追踪轨迹之间的特征个追踪轨迹与所述查询集中的各个追踪轨迹之间的第一轨不同视频片段内的同一对象，并将所述同一对象在不同视频片段内的追踪轨迹进行连接，视频片段内的对象的行人重识别特征之间的迹与所述查询集中的各个追踪轨迹之间的第二所述查询集中的各个第二追踪轨迹与所述一个追踪轨迹之间的平均相似度的差值大于第9于所述对象追踪部分分别将同一对象在同一视频片段内不同视频帧中的各个检测框进行[0060]将检测到的检测框与相应的样本视频片段输入所述重识别模型中的对象追踪部有较强的主观色彩。不同的人从同一语法信息中所得到的语义信息和语用信息明显不同。的tau个视频帧对应的局部语义信息进行融合所得到的融合特征。局部位置融合特征指当帧之前的所有视频帧对应的全局语义信息进行融合所交互过程中通过学习策略以达成回报最大化或实[0098]本申请实施例在对视频中的对象进行轨迹识别时，采用机器学习的重识别模在本申请实施例中提出的训练重识别模型的方法可分为两部分，包括训练部分和应用部示意图。该应用场景图中包括两个终端设备110和一个服务器120。终端设备110与服务器即时通讯类软件及网站或者社交类软件及网站的计算机设备。各终端设备110通过无线网[0108]在一种可能的应用场景中，本申请中的训练样本可以采用云存储技术进行存网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用服务器120以通过区块链实现数据的共享，多个服务器120相当于多个服务器120组成的数[0110]对于数据共享系统中的每个服务器120，均具有与该服务器数据共享系统中的每个服务器120均可以存储有数据共享系统中其他服务器120的节点标节点标识对应存储至该节点标识列表中。其中，节点标识可为网络之间互联的协议……[0123]例如上述所列举的，将各个视频片段分别输入到重识别[0127]具体的，将步骤S22中检测到的各个检测框以及与各个检测框相应的视频片段一将第一个镜头内的各个追踪轨迹初始化为查询集(query)，而将剩余的各个追踪轨迹作为[0131]需要说明的是，本申请实施例中跨镜头通用对象重识别个对象完整的运动轨迹(Tracklets)。接下来，还可进一步进行主要物体筛选(MajorObjectSelecting)，筛选其中的主要物体，进而根据这些主要物体的运动轨迹traji∈major(N)(也可进一步参考这些主要物体的特征)进行对象识别检测(IndenticalObject[0136]参阅图4所示，其为本申请实施例中的一种小视频相似物体搜索结果示意图。其个视频片段中检测到的各个对象的检测框时，具体是针对各个视频片段进行单独检测的，分别对同一视频片段中的各个视频帧进行检测，获得各个对象在各个视频片段中的检测帧进行对象检测，分别采用如下操作获得各个视频帧中的各个对象的检测框，参阅图5所当前帧之前的几帧视频帧(例如tau帧)各自对应的局部语义信息进行融合，获得相应的局部语义融合特征；将当前帧以及当前帧之前的几帧视频帧(例如tau帧)各自对应的局部位*-τ至t*这几个时刻的视频帧fs-r至fr输[0150]其中，该子模块中主要是使用前几帧中检测到的对象区域特征(指包含目标对象帧的特征图，N(f:)可表示t*帧的特征图，通过互相关(xcorr)操作计算第一互相关度，Bt-r表示t*-τ帧中的检测框。在实际代码实现中，本申请通过将包示当前帧各区域与目标对象的相似度响应图Attn_ls，从而找到当前帧中相应对象所在的合特征确定中的检测框Bt'.的特征图相应区域通过创建二维汉宁窗的方式，即图中的得到注意力集中于与前几帧中目标对象所在位置相同的区域的注意力图Attn_ll，从而增强该区域的特帧中出现过的主要对象的平均特征{cropn}G，并用这些特征来与当前帧特征图计算互相关[0155]在上述实施方式中，分别确定在各个视频片段中检测到的各个对象的检测框之迹作为该对象检测结果分配给相似度最高的追踪轨迹特征相似度最高的现存追踪轨迹对各个对象检测结果中的一个对象检测结果与各个现存追踪轨迹中的一个现存追踪轨迹之[0165]其中，fdet，ftr分别表示当前帧对象检测结果的特征和现存追踪轨迹的特征，φdet应图中k个幅值最高的区域求均值的方式得到最终的相d表示当前帧的一个对象检测结果的特征图，P11，P12分别表示该特征图中的两个特征所示，RensponseMap表示对应的响应图，其中，将响应图中k个幅值最高的区域求均值将不同镜头内同一对象的追踪轨迹进行拼接，获得待识别视频内各个对象完整的运动轨获取检索库中的各个追踪轨迹与查询集中的各个追踪轨迹之间的第一轨迹相似度；最后，[0169]若检索库中的一条追踪轨迹B1与查询集中的一条追踪轨迹A1两者之间的第一轨过行人重识别获得的不同视频片段内的对象的行人重识别特征之间型作为行人重识别特征提取器，并引用基于附加角度边缘损失的深度人脸识别算法人脸识别算法)模型作为人脸特征提取器。人物的相似度由上述两个模型提取到的特征的和λ2分别是平衡由行人重识别算法计算得到的相似度和由人脸识别算法(ImageNet，一个计算机视觉系统识别项目名称)数据集预训练好的残差网络(ResidualIDX不同的查询集第二追踪轨迹的平均相似度avg(simidiffID)之间的差值大于第二预设阈值Δ,则认为该检索库追踪轨迹B1高度可信地与对应查[0197]本申请实施例使用的对象检测部分主要采用YOLOv3-SPP(YouOnlyLiveOnce则反之则和是模型预测得到的前景[0213]本申请实施例中，对象检测部分采用的优化器为随机梯度下降算法(Stochastic小视频相同搜索目标数据集(ShortVideoDatasetforIdenticalObjectRetrieval，有将近5％的提升，并且与其他视频检测算法在视频对象检测常用评估数据集ImageNetVID上与当前算法相比取得在性能上相当且在速度上更验视频间通用对象重识别实验结果图示例同图[0239]基于第二互相关度获取一个视频帧中与至少一个对象相应的对象所在的第三区[0244]若一个对象检测结果与所有的现存追踪轨迹的特征相似[0247]对于各个对象检测结果中的一个对象检测结果与各个现存追踪轨迹中的一个现[0263]将各个视频片段输入已训练的重识别模型，基于重识别于对象追踪部分分别将同一样本对象在同一样本视频片段内不同视频帧中的各个检测框[0280]与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设[0282]存储器1301可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，RAM)；存储器1301也可以是非易失性存储器(non-volatile[0283]处理器1302，可以包括一个或多个中央处理单元(centralprocessingunit，[0290]显示单元1430还可用于显示由用户输入的信息或提供给用户的信息以及终端设备110的各种菜单的图形用户界面(graphicaluserinterface，GUI)。具体地，显示单元[0291]显示单元1430还可用于接收输入的数字或字符信息，产生与终端设备110的用户[0292]其中，触摸屏1431可以覆盖在显示屏1432之上，也可以将触摸屏1431与显示屏[0296]蓝牙模块1470用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的对象轨迹[0300]本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包[0303]可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的[0308]这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该命令装置实现在流程图一个流程或多个流程和/