CN110807363B 食材管理的方法及装置、冷藏设备 （青岛海尔智能技术研发有限公司）

号司2对所述视频信息中每帧图像进行图像识别，获取每帧第一图像中手将所述图像队列中每个设定关节的位置信息，输入已配置的运动根据所述第一图像中每个手部设定关节的位置信息，确定裁剪食材图像的外接矩形；基于卷积神经网络CNN关键点回归的算法，提取每种已知运动行为的多个训练样本视通过机器学习算法，对所述每个手部设定关节的位置信息进行监督在确定所述冷藏设备中抽屉被拉开的情况下，启动配置的在确定所述冷藏设备中抽屉被关闭的情况下，关闭所述4.根据权利要求1或2所述的方法，其特征在于，所述获取每在当前帧图像包括手部图像的情况下，将所述当前帧图像确在当前帧图像包括手部图像，且所述当前帧图像的前第一设定帧数的图像都3在当前帧图像不包括手部图像，且所述当前帧图像的前第二设整理获取模块，被配置为对所述视频信息中每帧图像进行图像中手部设定关节的位置信息，以及携带所述位置信息的所述第一图像组成的图像队列，信息识别模块，被配置为将所述图像队列中每个设定关所述矩形确定单元，被配置为根据所述第一图像中w4567络CNN关键点回归的算法，提取每种已知运动行为的多个训练样本视频信息中每个手部设网络CNN关键点回归的算法，提取每个视频信息中每帧图像中每个手部设定关节的位置信[0048]可见，同种类运动行为中的每个训练样本视频信息的被步骤102中也可获得了携带位置信息的第一图像组成的图像队列，从而也得到了采集的视8w的情况下根据第一图像中每个手部设定关节的位置信息，确定裁剪食材图像的外接矩形；9[0065]其中，控制处理模块100的控制电路板120监测配置在冰在获取根据位置传感器确定的抽屉被拉开的第一信号的情况下，则通过视频算法处理板110启动摄像头200进行视频信息采集，即控制处理模块100在确定冰箱中抽屉被拉开的情[0066]控制处理模块100中的视频算法处理板110可对摄像头200采集到的视频信息进行[0069]图3是本公开实施例提供的一种获取冰箱中视频信息的流[0071]本实施例中，可通过判断是否获取根据位置传感器确定的抽屉被拉开的第一信[0079]获取了冰箱中抽屉从打开到关闭这一过程的视频信息，则可进行食材的识别可基于卷积神经网络CNN关键点回归的算法，提取每种已知运动行为的多个训练样本视频信息中每个手部设定关节的位置信息Lhi，形成与每个同种类训练样本视频信息对应的特性插值的方式可具体是根据每帧图像的坐标点进行[0080]图4是本公开实施例提供的一种冰箱中食材管理方法的流[0091]步骤411：根据图像队列中每个设定关节的位置信息，获得对应的特征矩阵信息3w若控制处理模块包括控制电路板和视频算法处理板时，上述步骤401-413都可由视频算法理装置包括：信息获取模块510、整理获取模块520、信息识别模块530以及食材管理模块理装置包括：信息获取模块510、整理获取模块520、信息识别模块530以及食材管理模块向量机算法、决策树算法、Boosting算法或bp神经网络分类器算法对每个特征矩阵信息获取模块520可对视频信息中每帧图像进行图像识别，获取每帧第一图像中手部设定关节块520可将当前帧图像的前一帧图像确定为图像队列531可根据第一图像中每个手部设定关节的位置信息，确定裁剪食材图像的外接矩形，这w[0129]处理器(processor)1000和存储器(memory)1001，还可以包括通信接口至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发