CN113936240B 确定样本图像的方法、装置、设备及存储介质 （杭州海康威视数字技术股份有限公司）

质本申请实施例公开了一种确定样本图像的漏误报对象为漏分析的目标对象或者误分析的2对视频流进行漏误报分析，以确定第一图像和所述第一图像对应基于所述至少一个漏误报对象的位置信息确定出至少一个空间范基于所述时间范围和所述至少一个空间范围，从所述视频流中获通过多个第一神经网络模型以及第二神经网络模型，对所述视频流中能够对所述任一帧图像中的所有目标对象进行分析通过所述多个第一神经网络模型分别确定所述任一帧图像对应的第通过所述第二神经网络模型确定所述任一帧图像对应的第二分析结果结果包括所述任一帧图像中至少一个目标对象的位置信息和每基于所述多个第一分析结果所包括的目标对象的位置信息和第一标签如果所述多个第一分析结果所包括的目标对象的位置信从所述视频流中获取采集时间位于所述时间范围内、位置位于所述至少3从所述视频流中获取采集时间位于所述时间范围内且不存在前景的图对所述多个图像区域进行聚类，以得到多个第一聚类结果，以从所述多个第一聚类结果中选择多个图像区域作为所述多个前景图像，个第二聚类结果中选择多个第三图像作为所确定所述多个前景图像在所述视频流中所处的一帧图像的采集对所述多个背景图像分别进行语义分割，以确定所述多个背景图像分别确定所述多个背景图像在所述视频流中所处的一帧图像的采基于所述多个前景图像分别对应的采集时间和图像位置，以及所述多个背第一确定模块，用于对视频流进行漏误报分析，以确定第一融合模块，用于对所述多个前景图像和所述多个背景图像进行融第一确定子模块，用于通过多个第一神经网络模型以及述第二神经网络模型为能够对所述任一帧图像中的所有目标对象进行分第二确定子模块，用于如果所述任一帧图像中存在漏第一确定单元，用于通过所述多个第一神经网络模型分4第二确定单元，用于通过所述第二神经网络模型确定所述任第三确定单元，用于基于所述多个第一分析结果所包括的目标如果所述多个第一分析结果所包括的目标对象的位置信从所述视频流中获取采集时间位于所述时间范围内、位置位于所述至少从所述视频流中获取采集时间位于所述时间范围内且不存在前景的图对所述多个图像区域进行聚类，以得到多个第一聚类结果，以从所述多个第一聚类结果中选择多个图像区域作为所述多个前景图像，个第二聚类结果中选择多个第三图像作为所确定所述多个前景图像在所述视频流中所处的一帧图像的采集对所述多个背景图像分别进行语义分割，以确定所述多个背景图像分别确定所述多个背景图像在所述视频流中所处的一帧图像的采基于所述多个前景图像分别对应的采集时间和图像位置，以及所述多个背计算机程序被处理器执行时实现权利要求1_6任5[0002]神经网络模型在对图像进行推理的过程中，需要对图像[0006]对视频流进行漏误报分析，以确定第一图像和所述第一型为能够对所述任一帧图像中的所有目标对象进行分[0012]如果所述任一帧图像中存在漏误报对象，则将所述任一帧图像作为所述第一图6[0014]通过所述多个第一神经网络模型分别确定所述任一帧图分析结果包括所述任一帧图像中至少一个目标对象的位置信息和每个目标对象的第二标[0019]可选地，所述漏误报结果包括所述第一图像中的至少一个漏误报对象的位置信述多个第二聚类结果中选择多个第三图像作为所述7分别对应的采集时间和语义分割信息，对所述多个前景图像和所述多个背景图像进行融述视频流中的任一帧图像进行漏误报分析，以确定所述任一帧图像中是否存在漏误报对至少一个目标对象的位置信息和每个目标对象[0048]可选地，所述漏误报结果包括所述第一图像中的至少一个漏误报对象的位置信8述多个第二聚类结果中选择多个第三图像作为所述分别对应的采集时间和语义分割信息，对所述多个前景图像和所述多个背景图像进行融所述计算机程序被处理器执行时实现上述所述确定样本图像的方9且随着第一神经网络模型的更新，以及该第一神经网络模型学过的目标对象类型的增加，境包括至少一个摄像机101(图1中以一个摄像机示意性表示该至少一个摄像机)和服务器[0082]服务器102中部署有第一神经网络模型，可以通过该第一神经网络模型对摄像机频流中确定存在漏误报对象的图像作为第一图像，同时确定第一图像对应的漏误报结果。[0091]图3是本申请实施例提供的一种确定样本图像的方法的流程图，该方法应用于服训练而成的，该第二神经网络模型为能够对任一帧图像中的所有目标对象进行分析的模[0099]由于该多个第一神经网络模型中的每个第一神经网络模型确定该任一帧图像对[0108]在一些实施例中，漏误报结果包括第一图像中的至少一个漏误报对象的位置信任一空间范围内且为前景的图像区域，进而将这些图像区域进行聚类来确定多个前景图丰富性和多样性，可以从每个第一聚类结果中选择一个或多个图像区域作为多个前景图个背景图像分别对应的采集时间。基于该多个前景图像分别对应的采集时间和图像位置，素点，利用语义分割算法可以将该背景图像中的每个像素点按照表达语义的不同进行分的对象可允许出现的语义分割区域的语义分割信息，以得到至少一个目标语义分割信息。[0126]其中，可以事先存储不同类别的对象可允许出现的语义分割区域的语义分割信该对象的某些部位可以隐藏在目标背景图像中的某个物体之后，从而生成更有价值的图对多个摄像机拍摄的视频流进行处理的实现过程与上述对视频流进行处理的实现过程类[0131]图4是本申请实施例提供的一种确定样本图像的装置的结构示意图，该确定样本神经网络模型为能够对该任一帧图像中的所有目标对象进行分理器501可以采用DSP(DigitalSignalProcessing，数字信号处理)、FPGA(Field-处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing一些实施例中，处理器501可以在集成有GPU(GraphicsProcessingUnit，图像处理器)，[0165]存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申[0167]外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器摄像头融合实现全景拍摄以及VR(VirtualReality，虚拟现实)拍摄功能或者其它融合拍声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路[0172]定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBasedService，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioningSystem，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组[0175]加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大[0176]陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可[0178]指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息用程序614和其他程序模块615的大容量存[0183]基本输入/输出系统606包括有用于显示信息的显示器608和用于用户输入信息的605的输入输出控制器610连接到中央处理单元601。基本输入/输出系统606还可以包括输入输出控制器610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输[0184]大容量存储设备607通过连接到系统总线605的大容量存储控制器(未示出)连接到中央处理单元601。大容量存储设备607及其相关联的计算机可读介质为服务器600提供[0186]根据本申请的各种实施例，服务器600还可以通过诸如因特网等网络连接到网络