CN114140526B 一种基于深度学习的无序工件三维视觉位姿估计方法 （浙江大学）

一种基于深度学习的无序工件三维视觉位本发明提供一种基于深度学习的无序工件用深度学习算法估计工件的堆叠关系从而确定算法根据分割的工件点云估计工件抓取部位相估计方法可广泛应用于汽车工业、电气电子工2(7)将工件点云输入至构建的位姿估计算法，估计出该工件抓取部位相对机器人基座所述图像实例分割算法由深度卷积网络、特征金字塔网络、结果预测网所述深度卷积网络从彩色图像中提取高维特征向量，由五组卷积层+池化层的复合结所述特征金字塔网络结合卷积操作和上采样操作处理深度卷积网络生成的特征向量，形成特征向量8，特征向量2经卷积操作后与经上采样操作的特征向量8相加形成特征向量后处理模块由非极大值抑制单元和阈值滤波单元组所述堆叠估计算法由多个深度卷积层和多个全连接层串数据前处理模块，所述数据前处理模块对工件点云进行统计滤波和栅格下采样预处类点云融合单元，所述类点云融合单元将预处理后的工件点云与点位姿估计单元，所述位姿估计单元根据类点云向量估计工件2.根据权利要求1所述的基于深度学习的无序工件三维视觉位姿估计方法，其特征在33.根据权利要求1所述的基于深度学习的无序工件三维视觉位姿估计方法，其特征在归一化模块，所述归一化模块将采样模块获取点云分类网络，所述点云分类网络由共享权重的多4.根据权利要求1所述的基于深度学习的无序工件三维视觉位姿估计方法，其特征在5.根据权利要求4所述的基于深度学习的无序工件三维视觉位姿估计方法，其特征在归一化模块，所述归一化模块计算采样模块位置估计网络，所述位置估计网络根据归一化模块计算的向量的均值和输出的浮点6.根据权利要求5所述的基于深度学习的无序工件三维视觉位姿估计方法，其特征在最大池化层和全连接层串联而成，根据归一化模块输出的浮点数形成第一位置估计分量；7.根据权利要求4所述的基于深度学习的无序工件三维视觉位姿估计方法，其特征在归一化模块，所述归一化模块处理采样模块获姿态估计网络，所述姿态估计网络根据归一化模块输出的浮8.根据权利要求7所述的基于深度学习的无序工件三维视觉位姿估计方法，其特征在其中一个网络支路根据归一化模块输出的浮点数估计工件抓取部位相对机器人基座支路根据归一化模块输出的浮点数估计工件抓取部位相对机器人基座坐标系的绕Z轴旋转4[0002]无序工件的精准抓取及上下料一直都是智能工业机器人领域的重点研究课题之觉位姿估计方法，用于估计生产流水线上无序工件相对于机器人基坐标系的位置和姿态。[0007](2)利用构建的图像实例分割算法处理彩色图像，获取目标检测信息和实例分割[0012](7)将工件点云输入至构建的位姿估计算法，估计出该工件抓取部位相对机器人[0013]上述步骤(1)中，采用三维视觉传感器对视野范围内的无序工件进行彩色图像和5[0016]所述深度卷积网络从彩色图像中提取高维特征向量，由五组卷积层+池化层的复[0017]所述特征金字塔网络结合卷积操作和上采样操作处理深度卷积网络生成的特征操作的特征向量6相加形成特征向量7，特征向量3经卷积操作后与经上采样操作的特征向[0025]类点云融合单元，所述类点云融合单元将预处理后的工1.5]；61.5]；1.5]；[0044]其中一个网络支路根据归一化模块输出的浮点数估计工件抓取部位相对机器人网络支路根据归一化模块输出的浮点数估计工件抓取部位相对机器人基座坐标系的绕Z轴[0047]2、本发明的位姿估计方法将三维视觉传感器的三维重建过程与图像实例分割算[0048]3、本发明的位姿估计方法首次提出采用深度学习算法估计工件的堆叠关系从而7[0057]如图1所示，一种基于深度学习的无序工件三维视觉位姿估计方法，包括以下步[0066]特征金字塔网络结合卷积操作和上采样操作处理深度卷形成特征向量8，特征向量2经卷积操作后与经上采样操作的特征向量8相加形成特征向量8各维度的均值并将向量中各个数值映射为[-1.0,1.0部位相对机器人基座坐标系的绕X轴旋转的角度、绕Y轴旋转的角度以及绕Z轴旋转的角度9据归一化模块输出的归一化数值(浮点数)估计工件抓取部位相对机器人基座坐标系的绕Z图像上勾勒每个工件的外轮廓(包括目标检测信息和实例分割信息)，以彩色图像为输入、[0085]2、将彩色图像和深度信息输入至本实施例的基于深度学习的无序工件三维视觉位姿估计方法，获得一个工件抓取部位相对机器人基座坐标系的位姿信息(包含位