CN111798518B 机械臂姿态检测方法、装置和设备及计算机存储介质 （腾讯科技（深圳）有限公司）

少一个机械臂包括的各关节的关节特征数据和特征数据与各连接臂的连接臂特征数据进行姿别根据所述至少一个机械臂中各机械臂的姿态2对所述待检测图片进行关节识别，得到所述待检测图片中所述至各关节的关节特征数据；所述关节特征数据包括对应于J个部位的关节的J个关节特征图，每一关节特征图用于表征所述待检测图片中各像素点为关对所述待检测图片进行连接臂识别，得到所述至少一个机械臂包括根据各关节的关节特征数据与各连接臂的连接臂特征数据进行分别根据所述至少一个机械臂中各机械臂的姿态对各机械臂进行其中，所述关节识别模型是利用多个图片训练样本进行训根据所述初始关节特征，分别确定所述待检测图片上每一像素点为利用已训练的连接臂识别模型，对所述待检测图其中，所述连接臂识别模型是利用多个图片训练样根据所述初始连接臂特征，分别确定所述待检测图片上每一像素点6.如权利要求1～5任一所述的方法，其特征在于，所根据所述J个关节特征图和所述C个连接臂特征图进行姿态组合，3根据所述J个关节特征图，构建J个关节集合，每一个关节集合由所述至少基于所述J个关节集合构建多个姿态集合，每一姿态集合包括由所述J个关节集合的J从所述多个姿态集合中确定出为各所述机械臂的姿态的目标根据所述C个连接臂特征图，确定构成每一姿态的J个关节中任意两基于所述关联度，从所述多个姿态集合中确定出满足预设条件的所述目标姿态集合，根据位于所述任意两个关节之间的各像素的向量，以及所述任意两个关节构成的向根据构成所述每一机械臂的姿态的关节点的坐标，以及训练得到识别单元，用于对所述待检测图片进行关节识别，得到所述待检个关节特征图，每一关节特征图用于表征所述待检测图片中各像素点为关节像素点的概连接臂特征数据，所述连接臂特征数据包括对应于C个部位的连接臂的C个连接臂特征图，姿态组合单元，用于根据各关节的关节特征数据与各连姿态异常检测单元，用于分别根据所述至少一个机械臂中各机械4至少一个图像采集装置，每一图像采集装置用于采集包含所述处理器执行所述计算机程序时实现权利要求1至10任一项所述方该计算机程序指令被处理器执行时实现权利要求1至10任一5[0007]获取所述待检测图片中所述至少一个机械臂包括的各关节的关节特征数据和各[0009]分别根据所述至少一个机械臂中各机械臂的姿态对各机67[0042]根据构成所述每一机械臂的姿态的关节点的坐标，以及训练得到的姿态分布函[0050]本申请实施例中，通过对包含至少一个机械臂的图片进8神经网络能够以较小的计算量对格点化(grid_liketopology)特征，例如像素进行学习，值即为该原始图像中一个区域或者一个像素是一个或者多个二维(2D)向量集合，每一个2D向量集合都会编码一个连接臂的位置和方9一般是依赖于3D摄像头拍摄的3D视频图像进行姿态估计，但是这种依赖3D摄像头的方案，别的机械臂姿态进一步确定机械臂是否异常，从而在出现异常时能够及时对异常进行维[0079]本申请实施例中，采用大量经人工标注的训练样本采用机器学习的方式训练模[0081]本申请实施例提供的方案可以适用于大多数需要进行机臂姿态检测装置41的存储器412中可以存储本申请实施例提供的机械臂姿态检测方法的程序指令，这些程序指令被处理器411执行时能够用以实现本申请实施例提供的机械臂姿态[0086]对于图像采集装置40采集的视频流，机械臂姿态检测装置41可以从中截取视频[0088]图像采集装置40和机械臂姿态检测装置41之间可以通过一个或者多个网络42进[0090]在一种可选的实施方式中，本申请实施例可以采用实体设备结合人工智能检测过程中所涉及到的数据均可通过云端提供的存储资源来人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理(Nature的技术方案主要涉及人工智能的机器学习/深的关节特征图的数量也为J个，每一个关节特征图表示各像素点属于该种类型的关节的关臂的区域中的每个像素，二维向量编码了从连接臂连接的一个关节指向另一个关节的方预处理的步骤在实际应用时可以进行选择是否各的卷积层得到的特征可以作为下一个卷积层的输入，从而逐层得到图片训练样本的特像预处理的步骤在实际应用时可以进行选择是否[0137]具体的，获取待检测图片中至少一个机械臂包括的各连[0145]具体的，定义了一个关节特定义用于表征两个关节是否属于同一机械臂，例如为0时[0149]其中，E是指Lc沿着预测点dj1和dj2两点线段进行线性积分不同灰度的圆点表示不同关节集合中的关节，各圆点之间的连边表示两个关节之间的关[0156]其中，异常检测模型例如可以为高斯分布异常检测(Guassiandistribution可以通过如下公式获取机械臂的各个关节的坐标[0171]具体的，可以根据各机械臂的姿态与预设的姿态数据库位的关节的J个关节特征图，每一关节特征图用于表征待检测图片中各像素点为关节像素[0197]基于J个关节集合构建多个姿态集合，每一姿态集合包括由J个关节集合的J个关[0210]存储器1801可以是易失性存储器(volatilememory)，例如随机存取存储器(random_accessmemory，RAM)；存储器1801也可以是非易失性存储器(non_volatile[0211]处理器1802，用于调用所述存储器1801中存储的计算机程序时执行如图5～图16使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的