CN114998275B 目标对象的状态识别方法和深度学习模型的训练方法 （北京百度网讯科技有限公司）

目标对象的状态识别方法和深度学习模型本公开提供了一种目标对象的状态识别方包含与视频数据相关联的时间信息和与目标对2对所述待识别图像数据进行识别，得到所述目标对象的运动状态和其中，所述待识别图像数据包括第二待识别图像数据，所基于所述第三帧图像的局部和所述第四帧图像的局部之间的差异，将所述第二差值图像、所述第一光流图像和所述第二光流将所述第一帧图像、所述第二帧图像和所述第一差值图像进行组合将所述第五帧图像、所述第六帧图像和所述第七帧图像进行组合3响应于确定所述运动状态包括M1个状态值，确定所述M1个状态值中第一状态值的数量响应于确定所述第一状态值的数量大于等于M2，确定处于两个不相邻的所述第一状态响应于确定所述第二状态值的数量小于等于M3，将所述第二状态值修改为所述第一状基于所述更新后的运动状态包含的所述第一状态值数量或所述第二响应于确定所述遮挡状态包括N1个状态值，确定所述N1个状态值中第三状态值的数量响应于确定所述第三状态值的数量大于等于N2，确定处于两个不相邻的所述第三状态响应于确定所述第四状态值的数量小于等于N3，将所述第四状态值修改为所述第三状基于所述更新后的遮挡状态包含的所述第三状态值数量或所述第四像数据包含与所述历史视频数据相关联的时间信息和与所述目标对象相关联的图像数据，所述样本图像数据包括运动状态标签和遮挡利用待训练深度学习模型处理所述样本图像数据基于所述运动状态识别结果、所述运动状态标签、所述遮挡状态基于所述第三帧图像和所述第四帧图像之间的差异，得到与第将所述第二差值图像、所述第一光流图像和所述第二光流4将所述第一帧图像、所述第二帧图像和所述第一差值图像进行组将所述第五帧图像、所述第六帧图像和所述第七帧图像进行组其中，所述利用待训练深度学习模型处理所述样本图像数利用所述第一后序网络层处理所述前序特征，得到所述目标对象的运动状态识别结利用所述第二后序网络层处理所述前序特征，得到所述目标对象的遮挡状态识别结识别模块，用于对所述待识别图像数据进行识别，得到所述目其中，所述待识别图像数据包括第二待识别图像数据，所第二获得单元，用于基于所述第三帧图像的局部和所述第四帧第三获得单元，用于基于所述第三帧图像的局部和所述第四帧图像的局部之间的差第二组合单元，用于将所述第二差值图像、所述第一光流图516.根据权利要求15所述的装置，其中，所述待识别图像数据包括第一待识别图像数第一组合单元，用于将所述第一帧图像、所述第17.根据权利要求15所述的装置，其中，所述待识别图像数据包括第三待识别图像数20.根据权利要求15-17中任意一项所述的装置第一生成子模块，用于基于所述更新后的运动状态包含6第二生成子模块，用于基于所述更新后的遮挡状态包含第二提取子模块，用于分别对所述多帧图像进行提取，得到第一处理子模块，用于对所述多帧局部图像进行处理，第二处理模块，用于利用待训练深度学习模型处理所述样第三获得单元，用于基于所述第三帧图像和所述第四帧图像之第二组合单元，用于将所述第二差值图像、所述第一光流图第一组合单元，用于将所述第一帧图像、所述第第三提取子模块，用于利用所述前序网络层对所述样本图像数据进第二处理子模块，用于利用所述第一后序网络层处理所述前7第三处理子模块，用于利用所述第二后序网络层处理所述前所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被被处理器执行时实现根据权利要求1-14中任一项所述89介质，所述计算机指令用于使所述计算机执行上述的目标对象的状态识别方法和/或深度述计算机程序/指令被处理器执行时实现上述目标对象的状态识别方法的步骤和/或深度[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0013]图1示意性示出了根据本公开一实施例的目标对象的状态识别和/或深度学习模[0018]图6示意性示出了根据本公开一实施例的目标对象的状态识别方法和深度学习模[0021]图9是用来实现本公开实施例的用于执行目标对象的状态识别和/或深度学习模[0024]在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的[0029]在另一种示例中，可以通过传统的图像处理方法对传送带的运动状态进行识定的面积比值进行比较，以识别传送带是否运动。最大类间方差法是由日本学者大津(NobuyukiOtsu)于1979年提出的一种自适合于双峰情况的自动求取阈值的方法，又叫大尺度不变特征转换(Scale-invariantfeaturetransform，SIFT)、方向梯度直方图(HistogramofOrientedGradient，HOG)等传统图像特征提取方法提取视频数据中相邻[0031]上述的多种方式通常将识别传送带运动状态的任务和识别传送带是否空载(是否[0035]图1示意性示出了根据本公开一实施例的目标对象的状态识别和/或深度学习模[0036]如图1所示，根据该实施例的系统架构100可以包括视频数据采集装置101，网络102和服务器103。网络102用以在视频数据采集装置101和服务器103之间提供通信链路的[0037]视频数据采集装置101可以是具有显示屏并且支持网页浏览的各种电子设备，包[0039]需要说明的是，本公开实施例所提供的目标对象的状态识别方法和/或深度学习别装置和/或深度学习模型的训练装置可以设置于服务器1[0040]在一种示例中，针对视频数据采集装置101采集的与目标对象相关联的历史视频[0043]下面结合图1的系统架构，参考图2～图6来描述根据本公开示例性实施方式的目标对象的状态识别方法和/或深度学习模型的训练方法。本公开实施例的目标对象的状态识别方法和/或深度学习模型的训练方法例如可以由图1所示的服务器来执行，图1所示的~操作S220。像数据包含与视频数据相关联的时间信息和与目标对视频帧中的至少部分。该待识别图像数据中包括时间信息和与目标对象相关联的图像数识别图像数据，对待识别图像数据进行识别可以同时得到目标对象的运动状态和遮挡状322的采集时刻例如在第一帧图像321的采集时刻之后。例如，第二帧图像322为当前帧图因此第一差值图像331包含了与视频数据31[0063]基于第三帧图像323和第四帧图像324，得到与第一方向关联的第一光流图像333的局部，得到与第一方向关联的第一光流图像333和与第二方向关联的第二光流图像334。[0066]另一种方式，多帧图像例如包括第五帧图像325、第六帧图像326和第七帧图像第五帧图像325、第六帧图像326和第七帧图像327包含了与视频数据310相关联的时间信[0078]得到更新后的运动状态[AAAAA]之后，可以确定是否生成第一告警数据。例[0080]如果确定遮挡状态包括N1个状态值，确定N1个状态值中第三~操作S430。据例如包括表征目标对象是否运动的运动状态标签和表征目标对象是否被遮挡的遮挡状频数据采集装置例如包括摄像头。遮挡状态识别结果表征了视频数据采集装置是否被遮色空间变换方式调整图像颜色、通过gamma变换方式对图像的像素值进行非线性映射等色例如包括resnet18模型。待训练深度学习模型例如包括前序网络层510、第一后序网络层[0111]图6示意性示出了根据本公开一实施例的目标对象的状态识别方法和深度学习模道的样本图像数据输入深度学习模型640中进行处理，得到针对当前帧图像的预测结果到三通道的待识别图像数据(第一待识别图像数据、第二待识别图像数据或第三待识别图像数据)，利用经训练的深度学习模型640预测待识别图像数据中电子围栏指示的局部区域，得到针对当前帧图像的预测结果650。将针对当前帧图像的预测结果存储至状态列表[0116]如图7所示，本公开实施例的目标对象的状态识别装置700例如包括处理模块710其中，待识别图像数据包含与视频数据相关联的时间信息和与目标对象相关联的图像数[0118]识别模块720可以用于对待识别图像数据进行识别，得到目标对象的运动状态和[0126]根据本公开实施例，装置700还可以包括第一生成模块和第二生成模块中的至少[0131]第一处理模块810可以用于处理与目标对象相关联的历史视频数据，得到样本图[0132]第二处理模块820可以利用待训练深度学习模型处理样本图像数据，得到目标对[0143]根据本公开实施例，提供了一种存储有计算机指令的非瞬时计算机可读存储介程序/指令被处理器执行时实现上文所描述的目标对象[0145]图9是用来实现本公开实施例的用于执行目标对象的状态识别和/或深度学习模的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执因特网的计算机网络和/或各种电信网络与其他设备交换信标对象的状态识别方法和/或深度学习模型的训练方法可被实现为计算机软件程序，其被全部可以经由ROM902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM903并由计算单元901执行时，可以执行上文描述的目标对象的状态识别方法算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理[0151]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来别装置和/或深度学习模型的训练装置的处理器或控制器，使得程序代码当由处理器或控[0154]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部