CN114072854B 基于异构平台的目标检测方法、终端设备和存储介质 （京东方科技集团股份有限公司）

2020.05.29PCT/CN2020/0930152020.05.28WO2021/237608ZH2021.12.02本申请公开了一种基于异构平台的目标检像中的第N+K帧图像进行目标检测时，可先确定过预处理的第N+K帧图像发送给第二处理器，以使第二处理器协同第一处理器完成该第N+K帧图像的目标检测；当该第N帧图像的目标数量小于目标阈值时，第一处理器可单独对该第N+K帧图2所述第一处理器包括通用计算器和存储有第一目标检测模型的第一存述通用计算器被配置为：接收视频流图像，并对所述视频流图像中第N+K帧图像进行预处所述第二处理器包括存储有第二目标检测模型的第二存储器，其中所述通用计算器还被配置为：通过所述第一存储器从所述第二存储所述通用计算器还被配置为：在判断所述视频流图像中第N帧图像中的目标数量小于计算所述多个检测框中非标准框与所述标准框在面积上框为所述多个检测框中除所述标准框之外的将与所述标准框在面积上的重叠度超过预设阈值的非标准框进行基于所述第一存储器中存储的所述第一目标检测模型对经过预处理的第N帧图像进行根据所述第N帧图像的特征点确定所述第N帧图像中第一存储器将所述目标检测模型和经过预处理的第N帧图像发所述第二处理器还被配置为：从所述第二存储器中读取所述第一存储针对所述第N帧图像的特征点，并将得到的所述第N帧图像的特征点存储至所述第二存储3所述通用计算器还被配置为：通过所述第一存储器从所述第二存储器中读取所述第N6.一种基于异构平台的目标检测方法，其特征在于获取待检测视频流图像，第一处理器对所述待检测视频流图像中第N+K帧图像进行预第一处理器获取所述第二处理器运算处理得到的所述第N若否，则第一处理器对经过预处理的第N+K帧图像进行特征点提计算所述多个检测框中非标准框与所述标准框在面积上框为所述多个检测框中除所述标准框之外的将与所述标准框在面积上的重叠度超过预设阈值的非标准框进行基于第一目标检测模型对经过预处理的第N帧图像进行特征点提取，根据所述第N帧图像的特征点确定所述第N帧图像中获取所述第二处理器运算处理得到的所述第N根据所述第N帧图像的特征点确定所述第N帧图像中4被处理器执行时实现如权利要求6至9中任一项所述的基于异构平台的所述存储器存储有可被所述第一处理器和第二处理器执行的指5同于传统的X86(TheX86architecture，微处理器执行的计算机语言指令集)架构或ARM决利用单个处理器对较多目标的检测时导致处理器[0006]所述第一处理器包括通用计算器和存储有第一目标检测模型的第一存储器，其[0009]所述通用计算器还被配置为：在判断所述视频流图像中第N帧图像中的目标数量[0011]获取待检测视频流图像，第一处理器对所述待检测视频流图像中第N+K帧图像进6程序被处理器执行时实现上述的基于异构平台目标数量大于或等于目标阈值时，第一处理器可将经过预处理的第N+K帧图像发送给第二[0024]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0030]图6是根据本申请实施例的基于目标检测的动态任务部署策略的处理调度流程的78经过预处理的第N+K帧图像发送给第二处[0043]第二处理器20可通过第二存储器21接收第一存储器12发送的预处理后的第N+K帧器20发送读取命令，以将第N+K帧图像的特征点从第二处理器20的第二存储器21中传回到[0044]在本申请实施例中，第一处理器10在判断视频流图像中第N帧图像中的目标数量小于目标阈值时，可基于第一存储器12中存储的第一目标检测模型对经过预处理的第N+K第一处理器和第二处理器协处理)对视频流中后面K帧进行目标检测识别，而当前N帧图像中目标的数量较少时，可采用第一处理器单独对视频流中后面K帧进行目标检测识别。其一个目标附近可能会出现多个检测框，该多个检测框表征其为检测目标的概率大小不一，9覆盖目标2的面积比例为80检测框3覆盖目标3的面积比例为60检测框4覆盖目标4的的特征点；根据第N帧图像的特征点确定第N帧图像中的目标框；根据第N帧图像中的目标行时由第一处理器发送给第二处理器的)存放在第二处理器内置的小型微处理核上。第二目的也是为了能够让存储于第一处理器中的目标检测模型的模型参数搬移到该第二处理完成整个神经网络的推理计算。计算的结果将暂存在第二处理器的内存空间(即第二存储[0059]在本申请的实施例中，上述待检测视频流图像可以是预台的目标检测方法应用于数字智慧广告牌的终端设备上，该终端设备上具有图像采集器，[0061]步骤302，判断视频流图像中第N帧图像中的目标数量是否大于或等于目标阈该第二目标检测模型对图像进行特征点提取，以协助第一处理器完成对图像中目标的检[0065]在本申请实施例中，第一处理器在判断第N帧图像中的目标数量大于或等于目标第二处理器上的第二目标检测模型对该第N+K帧图像进行特征点的提取，并将提取到的特[0067]在本申请的实施例中，当第一处理器接收到来自于第二处理器完成预算的指令可利用第一处理器自身存储的第一目标检测模型对该第N帧图像进行特征点提取。也就是目标数量大于或等于目标阈值时，第一处理器可将经过预处理的第N+K帧图像发送给第二90检测框2覆盖目标2的面积比例为80检测框3覆盖目标3的面积比例为60检测框架构直接处理以实现目标的检测；当任务量较大(即当前场景中的检测目标的数量大于或710和第二处理720通信连接。存储器730存储有可被第一处理器710和第二处理720执行的能够执行本申请上述任一个实施例所述的基于术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介[0098]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序