CN113524194B 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法 （重庆理工大学）

US2019069777A1,2019WO2020142498A1,2020.07.US2020202163A1,2020.06基于多模特征深度学习的机器人视觉抓取本发明公开了一种基于多模特征深度学习相机系统，经过三维立体重构获取工件目标深21.一种基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法，其特征在于：步骤2)：视觉抓取系统控制器控制双目视觉平台的两个相机同时对物料框拍摄照片；步骤3)：视觉抓取系统控制器识别照片中的工件步骤4)：视觉抓取系统控制器根据被抓取步骤5)：视觉抓取系统控制器采用单目手步骤52)：利用步骤51)求得的内参矩阵与外参所述内参数和外参数利用张正友标定法通过拍摄一组棋盘格标定板的照片由C++和yy3步骤521)：按照张正友标定法，利用主点周围其中，(u,v)代表理想无畸变的像素坐标，代表实际0通过相机模型计算出(x,y)；其中D是等式左边的方程的系数矩阵，d是等式右边的步骤524)：将求解得到的畸变参数与理想无畸变rm,)-。"4采用Halcon工业视觉库使用9点法进行手眼标定，通过机器人:H表示摄像机(camera)坐标系相对于机器人基坐标系的齐次变和表示棋盘图(grid)相对于摄像机坐标系的齐次变:H,和:H,表示机器人末端(end)TCP坐标系相对于机器人基座坐标系的齐次变换矩表示棋盘图(grid)相对于机器人末端TC求解经典数学模型AX＝XB得到图像坐标系到机械臂将其变换矩阵由一个旋转矩阵和平移向量组合成3设定在世界坐标系中物点所在平面过世界坐标系5步骤6)：视觉抓取系统控制器结合双目相机系统，卷积神经网络目标识别模型Yolov3对照片组中的工件目标进b,=pre*Pr(object)*IOU)(b,Obje所述要素图featuremap指卷积网xh)为网络学习的相对于先验框(prior,anchor)的offsety)是各个cell的左上点像素坐标；预测边界框相对于原照片的像素坐标实际值等于(bx,by,bw,bh)除以对应的要素图个先验框，通过平移+变换的操作让预测框变回真实框，Yolov3有9种先验框：(10x13)，步骤34)：采用步骤33得到的卷积神经网络目标识别模型Yolov3对照片组中的工件进62.根据权利要求1所述的基于多模特征深度学习的机器人视觉抓取系统的目标抓取方步骤43)：结合所述工件目标的区域中心点像素坐标和所述全卷积神经网络语义分割模型U-net对双目视觉平台拍摄的照片进行工件目标和3.根据权利要求1所述的基于多模特征深度学习的机器人视觉抓取系统的目标抓取方其中利用步骤51)求得外参数进行立体匹配，该立体分配是通过分别对两张图片用单设三维世界坐标的点为X＝[X,Y,Z,1]TX＝[X,Y,Z,1]T，二维相机平面像素0m＝K[R,T]X0m＝K[R,T]X74.根据权利要求1所述的基于多模特征深度学习的机器人视觉抓取系统的目标抓取方8[0010]一种基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法，其关键在9采集系统采集的图像对工件组件进行三维空间精准定位并且计算出被抓取工件的外轮廓，[0024]步骤34)：采用步骤33得到的卷积神经网络目标识别模型Yolov3对照片组中的工练好的卷积神经网络目标识别算法(Yolo[0032]b,=p,e[0039]预测边界框相对于原照片的像素坐标实际值等于(bx,by,bw,bh)除以对应的要素格子预测B个boundingbox，每个boundingbox预测内容包括:Location(x,y,w,h)、ConfidenceScore和C个类别的概率，因此Yolov3输出层的channel数为S*S*B*(5+C)。出层。同样使用了全卷积结构，其中最后一个卷积层的卷积核个数是255：3*(80+4+1)=255，3表示一个gridcell包含3个boundingbox，4表示框的4个坐标信息，1表示是用到了13的featuremap，这应该是对小目标影响最大的地方。从单层预测五种boundingbox变成每层3种boundingb了1对1。当预测的目标类别很复杂的时候，采用logisticregression进行分类是更有效pytorch框架的全卷积神经网络语义分[0052]步骤43)：结合所述工件目标的区域中心点像素坐标和所述全卷积神经网络语义分割模型U-net对双目视觉平台拍摄的照片进行工件目[0055](b)上采样部分会融合特征提取部分的输出，这样做实际上是将多尺度特征融合在了一起，以最后一个上采样为例，它的特征既来自第一个卷积block的输出(同尺度特[0062]对于鱼眼镜头等径向畸变特别大的才需要计算k3相机由于光学透镜的特性使得[0067]利用张正友标定法通过拍摄一组棋盘格标定板的照片由C++和opencv库计算得到yy[0095]通过cholesky分解得到摄相机机的内参阵A，对于外参阵通过下面的公式解得：0式，运用最小二乘法对结果进行优化，通过等式k＝(DTD)-1DTd解得径向畸变参数k＝[k1,第i副图像上的角点Mj在上述计算得到的摄[0126]Levenberg-Marquardt：莱文贝格－马夸特方法(Levenberg–Marquardt到结合高斯-牛顿算法以及梯度下降法的优点，并对两者之不足作改善(比如高斯-牛顿算[0137]:H,和:H,表示机器人末端(end)TCP坐标系相对于机器人基座坐标系的齐次变换[0140]求解经典数学模型AX＝XB得到图像坐标系到机械臂坐Hand(眼在手外)手眼系统的标定技术，对于eye-to-hand模式手眼标定的主要过程可转化[0146]本系统借助Halcon工业视觉库使用9点法进行手眼标定，让机器人的末端去走这以将识别到的物体中心点坐标从像素坐标系转换到基坐标系下完成[0149]其中利用步骤51)求得外参数进行立体匹配，该立体分配是通过分别对两张图片[0150]目的是把两个不同方向的图像平面(下图中灰色平面)重新投影到同一个平面且[0168]采用上述方案，因为单目相机无法获得被抓取工件所在空间点在左右两幅图上成像的横向坐标直接存在的差异)d＝xl-xt求得空间点P离相机的距离工业机器人，对实现机械臂杂乱摆放抓取(bin-picking)的关键技术进行了研究开发。在VisualStudio平台上利用OpenCV计算机视觉库以及Halcon工业视觉库开发自动标定算法图像采集系统采集的图像对工件组件进行三维空间精准定位并且计算出被抓取工件的外割算法(U-net)的目标轮廓分割，平稳的控制机器人反复调节机械手与工件组件之间的相[0186]一种基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法，从图1可以[0199]b,=p,e'[0200]b,=p,e"过计算和统计图像局部区域的梯度方向直方图来构成特征。Yolov3采用了3个不同尺度的[0208]预测边界框相对于原照片的像素坐标实际值等于(bx,by,bw,bh)除以对应的要素[0209]步骤34)：采用步骤33得到的卷积神经网络目标识别模型Yolov3对照片组中的工pytorch框架的全卷积神经网络语义分[0214]采用U-net语义分割网络将目标物体进行分割，将目标物体与周围环境背景分隔使用的对应点相加，并不形成更厚的特征。所以语义分割网络在特征融合时有两种办法：[0226]步骤43)：结合所述工件目标的区域中心点像素坐标和所述全卷积神经网络语义出，利用目标识别网络计算出物体中心点坐标后再通过语义分割网络(U-net)将物体轮廓[0230]所述内参数和外参数利用张正友标定法通过拍摄一组棋盘格标定板的照片由C++yy[0248]径向畸变(k1,k2,k3)：[-0.08773806163805990.153589113078236-0式，运用最小二乘法对结果进行优化，通过等式k＝(DTD)-1DTd解得径向畸变参数k＝[k1,第i副图像上的角点Mj在上述计算得到的摄[0279]:H";H,-:H,";H[0284]:H,和"H,表示机器人末端(end)TCP坐标系相对于机器人基座坐标系的齐次变换[0287]求解经典数学模型AX＝XB得到图像坐标系到机械臂坐[0294]其中利用步骤51)求得外参数进行立体匹配，该立体分配是通过分别对两张图片[0320](2)下方图像显示框为对工件框拍摄的图片经过Yolov3目