CN113744304B 一种目标检测跟踪的方法和装置 （深圳引望智能技术有限公司）

道万科城社区华为公司华为总部办公本申请公开了一种目标检测跟踪的方法和与显著性检测，得到至少N个建议对象信息以及包括所述建议对象在所述图像中的位置以及所议对象在所述图像中的位置与显著性区域之间2通过深度卷积网络对所述图像进行目标检测与显著性检测，得到至少N个建议对象信预测所述建议对象中目标对象的下一步运动轨迹，所述目标对象2.根据权利要求1所述的方法，其特征在于，所述3.根据权利要求1或2所述的方法，其特征根据本次图像检测得到的目标对象更新上一次图像检测得到将上一次图像检测得到的第一目标对象更新为本次图像检测得到的述上一次图像检测得到的第一目标对象为与本次图像检测得到的第一目标对象匹配成功将本次图像检测得到的新目标对象添加到上一次图像检测得到的目将上一次图像检测得到的第二目标对象进行删除，所述第二目标对8.根据权利要求5或6所述的方法，其特征在于，在在所述本次图像检测得到的目标对象的表观特征与所述上一次图像检测得到的目标在所述第一阈值与所述第二阈值的权重不小于第三阈值时根据所述上一次图像检测得到的第三目标对象，预测下一步运动对象为未与所述本次图像检测得到的目标对象成功匹配的3将所述第三目标对象进行粒子滤波预测，得到所述第三目标对象下一确定所述第三目标对象在所述图像中的第一预测位置与所述第三目标对象的显著性在所述重合度不小于第四阈值时，将所述第三目标对象在所述图像中的第一预测位将所述第三目标对象进行粒子滤波预测，得到所述第三目标对象下一确定所述第三目标对象在所述图像中的预测位置与所述第三目标对象的显著性区域在所述重合度小于第四阈值时，将所述第三目标对象将所述第二预测位置确定为所述第三目标对象下一步在所述其中，所述深度卷积网络中使用对抗网络预测显著性图salGANd对生成显著新图进行将所述目标对象下一步的运动轨迹通过车辆中的语音播在根据所述目标对象的下一步运动轨迹确定存危险对象时4将上一次图像检测得到的第一目标对象更新为本次图像检测得到的述上一次图像检测得到的第一目标对象为与本次图像检测得到的第一目标对象匹配成功将本次图像检测得到的新目标对象添加到上一次图像检测得到的目将上一次图像检测得到的第二目标对象进行删除，所述第二目标对在所述本次图像检测得到的目标对象的表观特征与所述上一次图像检测得到的目标在所述第一阈值与所述第二阈值的权重不小于第三阈值时根据所述上一次图像检测得到的第三目标对象，预测下一步运动对象为未与所述本次图像检测得到的目标对象成功匹配的将所述第三目标对象进行粒子滤波预测，得到所述第三目标对象下一确定所述第三目标对象在所述图像中的第一预测位置与所述第三目标对象的显著性在所述重合度不小于第四阈值时，将所述第三目标对象在所述图像中的第一预测位将所述第三目标对象进行粒子滤波预测，得到所述第三目标对象下一确定所述第三目标对象在所述图像中的预测位置与所述第三目标对象的显著性区域在所述重合度小于第四阈值时，将所述第三目标对象将所述第二预测位置确定为所述第三目标对象下一步在所述5其中，所述深度卷积网络中使用对抗网络预测显著性图salGANd对生成显著新图进行将所述目标对象下一步的运动轨迹通过车辆中的语音播在根据所述目标对象的下一步运动轨迹确定存危险对象时所述存储器，用于存储一个或多个程序以及数据信息；其中所述一所述存储器，用于存储一个或多个程序以及数据信息；其中所述一所述收发器，用于与所述车辆中的通讯设备进行数据传输，以及用于所述处理器，用于通过深度卷积网络对所述图像进行目标检测与显著标检测跟踪装置上运行时，使得所述目标检测跟踪装置执行如权利要求1～14中任一所述6[0010]其中，所述数据获取单元可以为安装在智能车辆上的摄像机和/或至少一种具有[0011]所述目标检测单元，用于把输入的所述当前帧图像进行目标检测以及显著性检[0012]所述预处理单元，用于接收所述目标检测单元901输出的所述当前帧图像的初始7[0019]获取至少一张图像；通过深度卷积网络对所述图像进行[0026]在一种可能的实现方式中，所述至少N个建议对象信息还包括所述建议对象的表8一次图像检测得到的第一目标对象成功匹配图像检测得到的第一目标对象为与本次图像检测得到的第一目标对象匹配成功的目标对9得到的目标对象的表观特征与所述上一次图像检测得到的目标对象的表观特征的相似度述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象本次图像检测得到的目标对象的位置与所述上一次图像检测得到的目标对象是述第二预测位置确定为所述第三目标对象下一步在所述图[0051]在一种可能的实现方式中，通过深度卷积网络对所述当前帧图像进行显著性检得安装有芯片系统的目标检测跟踪装置执行上述第一方面或第一方面的任意可能的实现[0071]本申请实施例中所述的传感器可以是光电抄/光敏传感器、超声波/声敏传感器、[0116]方式1：所述交集比例为所述建议对象在所述图像中的位置与显著性区域之间的[0120]方式3：确定所述建议对象对应的建议矩形框的中心位置，以所述中心位置为圆集数据并把连续的图片发送到所述目标检测单元901以及和所述预处理单元元900可以为安装在智能车辆上的摄像机和/或至少一种具有数据采集发送功能的传感器[0134]本申请实施例中所述的传感器可以是光电抄/光敏传感器、超声波/声敏传感器、[0135]所述目标检测单元901，用于把输入的所述当前帧图像同时进行目标检测以及显度卷积神经网络对所述当前帧图像进行显著性检测以及任务。将获取到的所述当前帧图像输入到深度卷积神经网络中，VGG16作为主干网络标区域(regionofinterest，ROI)池(Pooling)在VGG16的Conv4_3层和Conv5_3获取不同小尺寸目标的信息。两分层的RPN的输出的类别和位置框整合后通过网络管理系统一个最后的特征用于最后的目标分类和位置预测。进一步的，所述神经网络模型通过[0150]3)视觉计算理论(computationaltheoryfvision)，是美国人工智能专家马尔[0162]下面基于上述图9所述的目标检测跟踪系统，本申请实施例提供了一种目标检测[0166]步骤1202，所述目标检测单元对接收到的所述图像进行目标检测以及显著性检[0169]步骤1203，所述目标检测单元将所述N个建议对象信息与所述显著性图像发送给[0170]步骤1204，所述预处理单元接收所述目标检测单元发送的所述N个建议对象信息进入所述车辆安全驾驶距离内，即所述目标对象1下一步的位置与所述车辆的距离小于所象的下一步运动轨迹，以及所述目标对象1为危险对象的通知，根据实际情况进行及时调得到的目标对象与所述上一次图像检测得到的目标对象匹配成功，具体并不限于下述几[0205]确定方式1：在所述本次图像检测得到的目标对象的位置与所述上一次图像检测[0206]确定方式2：在所述本次图像检测得到的目标对象的表观特征与所述上一次图像的目标对象与所述上一次图像检测得到的目标对本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹所述第三目标对象为未与所述本次图像检测得到的目标对象成功匹配的目框(boundingbox)的两个矩形框交集和并集的面积之比(IntersectionoverUnion，IOU)[0250]其中，当所述粒子权重更新后，还会继续执行S1902，粒子权重更新；以及执行行如图17所示的S1700_S1705中的方法流程；执行如图18所示的S1800_S1805中的方法流为建议对象在所述图像中的位置与显著性区域之间的交集与并集的[0272]将上一次图像检测得到的第一目标对象更新为本次图像检测得到的第一目标对[0278]在所述本次图像检测得到的目标对象的表观特征与所述上一次图像检测得到的测得到的目标对象与所述上一次图像检测得到[0284]确定所述第三目标对象在所述图像中的第一预测位置与所述第三目标对象的显[0288]确定所述第三目标对象在所述图像中的预测位置与所述第三目标对象的显著性[0293]其中，所述深度卷积网络中使用对抗网络预测显著性图salGANd对生成显著新图[0294]在一种实现方式中，所述预测所述建议对象中目标对象[0296]在一种实现方式中，所述预测所述建议对象中目标对象[0298]上述图21所示的通信模块2100和处理模块2101的功能可以由处理器2000运行存[0303]所述处理器2204，用于通过深度卷积网络对所述图像进行目标检测与显著性检为建议对象在所述图像中的位置与显著性区域之间的交集与并集的[0313]可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块例的执行顺序和各个实施例的步骤之间的执行顺序均不是固定不变的，也不限于图中所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修