CN115533902B 一种基于视觉引导的拆垛方法、装置、电子设备及系统 （杭州海康机器人股份有限公司）

本申请实施例提供了一种基于视觉引导的2针对每一个箱体，提取该箱体的分割区域的图像边缘特征，或提将每个箱体的分割区域映射到由所述深度图转换成的点云数据中针对每一个箱体，根据该箱体的图像边缘特征及点云边缘特征，针对每一个箱体，对该箱体的边缘直线特征进行矩形拼接，得针对每一个箱体，根据该箱体的点云映射区域，分别计算该针对每一个候选矩形框，根据该候选矩形框的投影点云根据各所述候选矩形框的得分、相邻候选矩形框之间的干涉程度，确在所述至少一个点云分类中，选取高度最高的点云分类，得针对每一个箱体，根据该箱体的图像边缘特征及点云边缘特征3计算所述可见光图像的可见光图像坐标系与所述顶层箱体点云区域的顶层箱体坐标针对每一个箱体，根据第一转换关系，将该箱体的分割区域按照该箱体的尺寸范围及预设矩形角度阈值，对该箱体的边缘直线特征进行矩形拼针对每一个箱体矩形框，在所述深度图中确定该箱体在所述可见光图像中确定该箱体矩形框对应的可见光像素区确定该箱体矩形框的深度像素扩展区域及可见光像素扩展区域在相同坐标系下的交获得模块，用于确定所述顶层箱体点云区域在所述可见光图像中对分割模块，用于对所述箱体掩膜区域进行箱体实例分割，第二映射子模块，用于将每个箱体的分割区域映射到由所述4第二选取子模块，用于针对每一个箱体，在该箱体的第一映射子模块，用于将所述第一点云数据映射到所述箱针对每一个箱体，根据该箱体的图像边缘特征及点云边缘特征第一计算单元，用于计算所述可见光图像的可见光图像坐标拼接单元，用于按照该箱体的尺寸范围及预设矩形角度阈值，5第二扩展单元，用于在所述可见光图像中确定该箱体矩形框对应的可见光像素区域，第二确定单元，用于确定该箱体矩形框的深度像素扩展区域及可见所述存储器存储有可被所述至少一个处理器执所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够6云处理等方法确定每一个待拆箱体的6个方向自由度(6DegreeofFreedom，6DOF)的空间于二维图像与点云数据的坐标转换关系，确定二维图像中各箱体在点云数据中的映射区[0008]确定所述顶层箱体点云区域在所述可见光图像中对应的区域，获得箱体掩膜区7[0030]计算所述可见光图像的可见光图像坐标系与所述顶层箱体点云区域的顶层箱体8[0039]在各所述候选矩形框中，选取得分最高的前N个候选矩形框作为种子矩形框，其[0043]针对每一个箱体矩形框，在所述深度图中确定该箱体矩形框对应的深度像素区[0045]确定该箱体矩形框的深度像素扩展区域及可见光像素扩展区域在相同坐标系下9[0083]在各所述候选矩形框中，选取得分最高的前N个候选矩形框作为种子矩形框，其[0122]图1为本申请实施例提供的基于视觉引导的拆垛方法的第一种流程图。如图1所系到垛板平面坐标系转换矩阵的标定可以通过以下两目相机可以采集得到深度图，通过RGB相机可以得到可见光图像，根据RGBD相机的出厂参特征的点云划分成一类，其中，点云分割可以采用凹凸性聚类、法向聚类、迭代RANSAC述箱垛的顶层箱体点云数据转换到RGB相机坐标系下，通过RGB相机内参投影到RGB图像坐所述掩模图中无效像素点对应的RGB信息去除，仅保留顶层箱体点云区域对应的可见光图[0147]通过顶层箱体点云可以去除RGB图中的干扰背景，对可见光图像中只保留顶层箱[0152]步骤S302，获取样本箱垛中保留顶层箱体RGB信息的箱体掩膜图像作为样本图像体的分割区域映射到深度图像坐标系下的第一点云数据中，得到每个箱体的点云映射区[0174]候选矩形框可以基于箱体尺寸及矩形框约束条件得到，在一种可能的实施方式坐标系到顶层箱体点云区域的顶层箱体坐标系的转换矩阵Rb,Tb，作为第一转换关系，其并计算出不干涉边界上8个顶点在局部坐标系下的坐标。再将另一个矩形形心的坐标换算候选矩形框之间的干涉程度越小，该相邻候选矩形框确定为箱体矩形框的概率也就越大。[0215]可以提取箱体矩形框可见光图像边缘一定宽度邻域内等线段与真实的顶层箱体深度边缘距离作为约束条件正的矩形边缘线段与真实的顶层箱体深度边[0221]一个例子中，可以结合可见光图像梯度和深度点云边缘交集区域，可以利用[0222]可以在该箱体矩形框的交集区域中根据预设数量随机或根据像素间隔等间隔地线对应的顶层箱体深度边缘距离的权重与得分值呈[0256]第一选取子模块124，用于在所述至少一个点云分类中，选取高度最高的点云分[0257]通过顶层箱体点云可以去除RGB图中的干扰背景，对可见光图像中只保留顶层箱[0260]第二映射子模块152，用于将每个箱体的分割区域映射到由所述深度图转换成的述顶层箱体点云区域的顶层箱体坐标系的第一转换Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustryStandard