基于卷积神经网络的智能抓取系统研究

1、 基于卷积神经网络的智能抓取系统研究 韩毅 郭圆辉 王旭彬Summary：改革开放以来，国内工业蓬勃发展。时至今日，现代工业化进程已经成为未来工业发展的重中之重，而工业化中最为重要的环节即现代工业的智能化、自动化。智能机器人可以高效地完成自动抓取、搬运等工作。笔者研究了基于卷积神经网络的智能抓取系统，使其实现了目标分类、目标定位、目标抓取等功能。首先对需要抓取的目标使用卷积神经网络进行训练，得到识别目标位置与分类信息的卷积神经网络模型;然后利用张正友标定法对深度相机进行标定，得到相机的内参矩阵;随后通过双边滤波对图像进行降噪处理，将处理后的图像输入预先训练的卷积神经网络模型，从卷积神经网络模型

2、中得到目标的位置信息与分类信息;然后通过相机的内外参信息逆向求解得到机械臂需要抓取的位置坐标信息;最后用机械臂完成抓取。在试验的过程中，使用了dobot与realsense d435i进行验证。试验结果表明，该系统定位误差较小，且有效地完成了目标抓取任务。Key：计算机视觉;卷积神经网络;机械臂：TP391.41;TP242.2：A：1003-5168（2021）35-0017-04Study on Intelligent Grab System Based on Convolutional Neural NetworkHAN YiGUO YuanhuiWANG Xubin（Departmen

3、t of Computer Science and Information Engineering， Anyang Institute of Technology， Anyang Henan 455000）Abstract： Since the reform and opening up， domestic industrial construction has flourished. Today， today， the modern industrialization process has become the weight of the future industrial develop

4、ment. The most important part of in？ dustrialization is the intelligent and automation of modern industries. And smart robots can efficiently complete auto？ matic capture， handling， etc. This paper studies intelligent grabbing systems based on convolutional neural networks. Achieve job classificatio

5、n， target positioning， and goal. First， consolidation neural network training is used to identify the target position and classification information. The depth camera is then calibrated with the Zhang Zhengyou cali？ bration method to obtain an interior matrix of the camera. The image is then documen

6、ted by bilateral filtering， and the processed image inputs the pre-training convolutional neural network model. Classification information of the loca？ tion information and the target of the target from the convolutional neural network model. Then， the position coordi？ nate information of the robot

7、arm needs to be grabbed by the internal and external information of the camera. Finally， use the robot arm to accomplish. During the experiment， dobot is used to verify the realsense d435i. The experimental results show that the positioning error is small， and the targets grab task is completed.Keyw

8、ords： computer vision;convolutional neural network;robotic arm在智能工业化飞速发展的今天，智能机器人在工业制造中充当着重要角色，可以高效地替代人工，具有成本低、效率高等优势。但是在机器人的工作流程、施工方式、准确性及效果等方面依然有许多研究难题待攻克。对目前大部分工业制造而言，使用机器人对目标进行抓取时需要采用统一位置、统一移动路线和统一抓取位置，然后按照预先准备的路线进行工作。该方案在实际应用中存在较大的局限性，当外界环境发生改变或对工件进行更换时，需要对系统进行较大的修改，导致其维护成本较高。而戴健春等人提出的基于模板匹配的方法

9、，虽然对工件的模板进行提取和匹配1-3，解決了传统工业制造中固定路线、固定路径的问题，但是在面对场景改变、物件更换等情况时，会出现系统修改困难、模板替换复杂等问题。基于深度学习，将卷积神经网络技术应用于机械臂的抓取中，实现了一种可以对目标进行分类和定位的智能机械臂分拣系统，并通过实验验证了本方法的可行性。1智能抓取系统本设计的智能抓取系统由深度相机（realsense d435i）、机械臂（dobot magician）与PC机（具有深度学习环境的计算机）组成，深度相机与机械臂实物分别如图1、图2所示。机械臂与深度相机都放置于工作台上方，工作台由三部分组成：抓取区域、深度摄像头放置区与机械臂放

10、置区域。其中抓取区域放置一个7格9格的黑白标定板，便于校正摄像头畸变参数;深度摄像头使用支架固定于抓取区域正上方，负责采集抓取场景下的图像数据;机械臂负责完成对目标的抓取。机械臂抓取时，其工作流程如图3所示。首先进行深度相机的标定工作，使用摄像头采集标定板的数据，随后将这些图像通过USB端口上传至PC机，PC机使用张正友标定法对相机进行标定，并建立摄像机位姿数据与标定板位置数据的模型4。然后使用深度相机采集抓取区域的图像数据，并将采集的图像流上传至PC机，PC机通过使用中值滤波对相机图像数据进行调整。随后将调整后的图像信息输入卷积神经网络模型，卷积神经网络模型输出目标在图像中的位姿数据，随后根

11、据通过标定建立起的数学模型计算出目标在标定板的位姿数据。最后将标定板的位姿数据转换为机械臂抓取的位姿数据，并控制机械臂完成抓取任务。2卷积神经网络目标识别使用机械臂抓取不同颜色的立方体，首先要在场景下对目标进行识别，随后根据目标的像素位置计算出目标的抓取位置。采用卷积神经网络对目标进行识别，首先需要进行模型训练，随后根据模型进行目标的识别与定位。图像数据处理算法包含以下几个步骤：卷积神经网络模型的选择;数据集的标定与处理;卷积神经网络模型的训练与测试。2.1卷积神经网络模型的选择目前使用卷积神经网络训练目标识别模型的大致思路有两种：one-stage方法与two-stage方法。其中twost

12、age方法思想为：先生成候选框，随后映射到全连接层进行分类和回归。而one-stage方法的思想为：放弃生成候选框的环节，直接从主干网络中获取目标的类别与位置信息。Two-stage方法的优点是目标识别准确度较高，但其有一个明显的弊端，即算法耗时较长。而本实验中的抓取目标仅为普通的方块，因此one-stage方法足以精确地完成识别工作。此外，目标识别环节耗时较长会直接影响机械臂工作的连续性，因此one-stage方法更适用于本系统。YOLO算法是一个典型的one-stage方法。YOLO_v3框架如图4所示，由相机采集的416 px416 px3 channel的RGB图像作为网络的输入，输出

13、131387与262687的向量矩阵分别为YOLO_v3-tiny对目标预测的分类信息与位置信息5。2.2数据集的标定与处理通过移动摄像头采集了一段时长为10 min的RGBD视频，视频中分别有不同方向与距离下的目标图像数据，按照每2 s为一步的步长进行裁剪，得到300张目标图像。随后，对图像进行标定，使用图像标注软件LabelMe在图像中标记每个目标的位置信息并存储到训练数据中。随后，将图片调整至416 px416 px。通过平移、旋转、裁剪等操作对数据进行增强，得到900张训练数据，部分训练数据如图5所示。2.3卷积神经网络模型的训练与测试选取了80%的數据作为训练数据，20%的数据作为测

14、试数据，批量大小为32，训练次数为500，选择GTX2080 TI GPU进行训练。得到的损失函数曲线如图6所示。从图6的数据表现来看，随着训练次数的增加，损失值已经基本收敛。随后，深度相机的图像数据经过双边滤波处理后作为卷积神经网络的输入6，经过卷积神经网络后，得到目标的位置信息以及分类数据，将分类信息与位置绘制到图像中，如图7所示。3试验结果以四轴机械臂dobot magician作为取机械臂，以intel realsense d435i为抓取场景采集装置，采用配置为Intel i78750H+GTX 1050TI的PC处理图像数据。其中处理平台操作系统为Windows 10，基于Pyth

15、on 3.7与tensorflow 1.14.0开发出基于以上设备的自主抓取程序。3.1相机标定实验使用张正友标定法对相机进行内参矩阵求解，然后通过OpenCV角点提取得到相机与棋盘格的部分坐标信息，最后通过逆矩阵求解得到相机坐标系与机械臂坐标系之间的关系。使用相机从不同方向拍摄棋盘格的图像，然后使用OpenCV求出相机的内参矩阵信息，相机采集的部分标定板图像如图8所示。依照相機标定得到的内参矩阵与外参矩阵，即可得到图像与机械臂之间的点对点关系。3.2目标物体分类定位与抓取实验以不同颜色的物块为定位目标，在不同场景下对物块进行分类、定位。以标定框的中心为抓取中心坐标原点，然后根据深度摄像头的深

16、度距离，计算出实际地面高度并进行转换，得出目标物体的世界坐标，为下一个实验中机械臂的抓取做准备。定位的目标结果如图9所示。如图9所示，共检测出6个不同的目标物体，将欧氏距离的大小作为评价指标，以棋盘格坐标系为实际坐标系，坐标测量结果如表1所示。通过表1数据可知，预测坐标与实际坐标的欧氏距离范围为（0.653 456 46，0.987 980 90），精度良好。随后通过PC机控制机械臂抓取目标物体，每个物体共进行了30次抓取测试，合计180次。在整个实验中，平均抓取成功率为91.33%，具体实验结果如表2所示。4结语在本系统设计中，将深度学习中的卷积神经网络技术引入机械臂的智能抓取中，通过卷积神

17、经网络对待抓取物体进行分类、定位等操作，随后利用张正友标定法求出相机的焦距、变换矩阵等信息，进而求出图像与机械臂的变换矩阵，实现了利用深度学习对物体的分类、定位、抓取。本方法相较于传统方法中利用计算机视觉对物体进行轮廓匹配的方法具有较大的改进，有效地解决了传统方法中不同物体需要不同的匹配方法、计算量较大、编码复杂等问题，对现代工业机械臂抓取、物体分类抓取等应用具有重要意义。Reference：1戴健春.基于RGB-D相机的工业机器人定位抓取技术与系统集成研究D.重庆：重庆邮电大学，2018：1-72.2苗彭.基于视觉的机械臂工件抓取系统研究D.天津：天津理工大学，2019：1-64.3姚启才，汪地，廖茂生.基于机器视觉的机械臂智能抓取系统设计J.计量与测试技术，2020（10）：28-33.4ZHANG Z Y.A flexible new technique for camera calibrationJ.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000（11）：1330-13345REDMON J，FARHADI A.YOLOv3： An