CN110580725A 一种基于rgb-d相机的箱体分拣方法及系统 （浙江大学滨海产业技术研究院）

本发明提供了一种基于RGB-D相机的箱体分械臂、用于物体到位检测的光电传感器和工控块。本发明使用RGB-D相机采集传送带上的目标结合彩色图像和三维点云图像的目标箱体位姿21)在分别对RGB-D相机的彩色相机和深度相机进行标定后，根据确定的彩色相机和深2)在将标定板固定在机械臂末端，同时将RGB-D相机固定在传送带上方区域后，使用4)对彩色图像进行箱体的边缘检测，得到建立彩色相机和深度相机的相机模型，将得到的取点的空间位置坐标ft,结合旋转变换矩阵;R,确定目标物体位姿;T;5)结合步骤2中的手眼标定结果:T,及当前机械臂末端的位姿T,通过运动学公式求得机械臂基座标系下的抓取点位姿iT;度相机利用张正友标定板法进行标定；确定彩色相机和深度相机的内部参数和外部参数，将彩色相机所采集的彩色图像由RGB通道转换到HSV通再使用基于梯度的卷积核为5*5的Sobel算子进行4.根据权利要求1所述的方法，其特征在于：在步骤4中对使用PCL中的PassThrough滤波和StatisticalOutlierRemoval滤波算法，滤除背景使用区域增长算法得到所有箱子的点云平面区域，5.根据权利要求1所述的方法，其特征在于：传送带上面的待分拣箱体都以该模板位姿为参考，利姿r,利用机械臂进行抓取。3的坐标转换关系:T;相机和深度相机之间的坐标转换关系，得到目标物体抓取点的空间位置坐标ft,结合位姿机械臂抓取位姿模块，用于结合手眼标定结果获取模块得到的手眼标定结果:T,及当前机械臂末端的位姿:T,通过运动学公式求得机械臂基座标系下的抓取点位姿T;第一滤波模块，用于将彩色相机所采集的彩色图边缘提取模块，用于使用基于梯度的卷积核为5*5的Sobel算子进行箱子的边缘提取，使用轮廓中心矩得到轮廓的质心，使用基于像素坐标排序的方法得到抓取目标物体的质第二滤波模块，用于使用PCL中的PassThrough滤波和StatisticalOutlierRemoval4矩阵获取模块，用于使用有向包围盒算法得到该用伺服原理得到当前抓取点的位姿r,利用机械臂进行抓取。5[0001]本发明属于机器人三维视觉感知领域，尤其是涉及一种基于RGB-D相机的箱体分[0004]而深度视觉中，基于结构光原理的RGB-D相机在室内抓取的环境下可以获得较高里面的对应位置信息都存在的彩色空间坐标映射集中，将最终的RGB图像的抓取点检测结[0007]目前一些基于RGB-D相机的方法得到的结果没有考虑到各种外在因素造成干扰，6[0012]1)在分别对RGB-D相机的彩色相机和深度相机进行标定后，根据确定的彩色相机抓取点的空间位置坐标ft,结合旋转变换矩阵;R,确定目标物体位姿[0017]5)结合步骤2中的手眼标定结果T,及当前机械臂末端的位姿T,通过运动学公[0024]使用PCL中的PassThrough滤波和StatisticalOutlierRemoval滤波算法，滤除7体的模板，利用以上步骤得到的抓取点位姿传送带上面的待分拣箱体都以该模板位姿[0029](1)本发明使用多视角的RGB-D相机采集传送带上的目标箱体彩色图像和深度图箱体的位姿估计具有更高的精度；结合彩色图像和三维点云图像的的目标箱体位姿估计，[0030](2)本发明将通过对彩色图像的处理得到的质心，利用相机模型投影到深度相机据确认的彩色相机和深度相机的参数，计算得到彩色相机和深度相机之间的坐标转换关基座的坐标转换关系:T;8[0039]机械臂抓取位姿模块，用于结合手眼标定结果获取模块得到的及当前机械臂末端的位姿:T,通过运动学公式求得机械臂基座标系下的抓取点位姿[0046]第二滤波模块，用于使用PCL中的PassThrough滤波和StatisticalOutlier取点位姿iT;传送带上面的待分拣箱体都以该模板位姿为参考，利用伺服原理得到当前抓取点的位姿r,利用机械臂进行抓取。9抓取点的空间位置坐标ft,结合旋转变换矩阵;R,确定目标物体位姿;T;[0073]步骤5，结合步骤2中的手眼标定结果T,及当前机械臂末端的位姿T,通过运动学公式求得机械臂基座标系下的抓取点位姿iT;[0075]本发明实施例在步骤1中分别对RGB-D相机4的彩色相机和深度相机利用张正友标[0076]其中，彩色相机内部参数Krgb,畸变系数Distrgb；深度相机内参Kir,畸变系数[0086]这里(x,y)是畸变点在成像仪上的原始位置，r为该点距离成像仪中心的距离，机和机械臂基座的坐标转换关系T,具体方法如下：:H表示摄像机(camera)坐标系相对于机械臂基坐标系(也是世界坐标，[0095]和:h,表示机器人末端(end)TCP坐标系相对于机器人基座坐标系的齐次变换[0104]上式两边同时右乘(;n)"得，[0109]在步骤4中对彩色图像进行箱体的边缘检测，得到抓取的目标物体的质心的方法[0110]步骤41，将彩色相机所采集的彩色图像由RGB通道转换到HSV(Hue-Saturation-[0113]步骤43，使用PCL中的PassThrough滤波和StatisticalOutlierRemoval滤波算为抓取点得空间位置坐标ft;利用以上步骤得到的抓取点位姿iT;传送带上面的待分拣箱体都以该模板位姿为参考，利用伺服原理得到当前抓取点的位姿r,利用机械臂进行抓取。[0136]解算出其中即为伺服的位姿，为模板点的机[0141]Kinectv2相机标定结果为:RGB相机内参k=[0142]RGB相机畸变系数Di-[0143]深度(IR)相机内参K,:T:14.7639575.878293.5890.0087541-0.6947650.7191430.00765978[0153]结合相机模型投影以及公式求得目标待抓取箱体的位姿：[0154]根据公式得到当前图的机械臂伺服之后的箱子抓取位姿T":31.07791075.93308