CN114782347B 基于注意力机制生成式网络的机械臂抓取参数估计方法 （杭州电子科技大学）

基于注意力机制生成式网络的机械臂抓取本发明公开了一种基于注意力机制生成式网络的机械臂抓取参数估计方法。本发明利用好的解决机械臂在复杂堆叠环境中的自主抓取步加深了视觉系统对复杂堆叠环境中有效信息2S1利用RGB-D相机获取机械臂当前状态下的作业场景图像，包括RGB图像Irgb和深度图S2依次将每个作业场景图像I输入训练好的基于注意力机制的生成式神经网络，生成图像Gθ,一个二维抓取角度图像Aθ,一个二维抓取宽度图像Wθ和一个二维抓取优先级图像特征提取网络由一个卷积核大小为9×9的卷积层和两个卷积核大小为4×4的卷积层组成，这个阶段每个卷积层后面都紧接着一个BatchNormalization归一化层和一个注意力机制网络由五个注意力模块组成，每个模块由残差部分，Squeeze部分和残差部分分成直接映射和残差映射两部分，直接映射由1×1的卷积核对Ioutput1进行卷归一化层后接着一个RectifiedLinearUnit激活层，Ioutput1经过残差映射后得到RSqueeze部分通过引入GlobalAveragePooling来实现，作用是获得特征图的每个通=Riac(s,u.)=s。·u。(3)将R(Ioutput1)依次输入Squeeze部分和Excitation部分，即可得到经过Squeeze部分和Excitation部分的预测值i.将i(.3生成网络由两个卷积核大小为4×4的反卷积层和一个卷积核大小为9×9的反卷积层组成，两个卷积核大小为4×4的反卷积层后面都紧接着一个BatchNormalization归一化层和一个RectifiedLinear将输入生成网络即可得到包含运动指令向量的二维图像抓取角度预测值i(P,P2…,P,),抓取宽度预测值和抓取顺序预测值j(p,p,,…,p,),其中pn表示二维抓取质量图像Gθ的像素值从大到小排第n个的像素点坐S4对抓取顺序预测值j(P,P…P,)进行排序，选取抓取顺序优先级最高的预测值S5将获得的最佳运动指令向量进行解析，得到2.根据权利要求1所述的基于注意力机制生成式网络的机械臂抓取参数估计方法，其S24将基于注意力机制的生成式神经网络输出包含运动指令向量的二维图像组预测3.根据权利要求1或2所述的基于注意力机制生成式网络的机械臂抓取参数估计方法，S31对预测得到的二维图像组中二维抓取质量图像的像素值进行大小排序，即二维抓取质量图像中每个像素值的大小代表了以该点为中心的44.根据权利要求1任一项所述的基于注意力机制生成式网络的机械臂抓取参数估计方S53将得到的相机坐标系转换后的坐标通过机械臂S54将通过机械臂基座坐标系转换后得到的坐标和抓取宽度、抓取角度信息输入机械5.根据权利要求2所述的基于注意力机制生成式网络的机械臂抓取参数估计方法，其S01基于现有的数据集创建一个用于训练网络的数据集Gtrain；所述Gtrain数据集包括工S04使用数据集Gtrain和二维图像组对基于注意力机制的生成式神经网络进行训练，输5[0005]S1利用RGB-D相机获取机械臂当前状态下的作业场景图像，包括RGB图像Irgb和深[0006]S2依次将每个作业场景图像I输入训练好的基于注意力机制的生成式神经网络，质量图像Gθ,一个二维抓取角度图像Aθ,一个二维抓取宽度图像Wθ和一个二维抓取优先级图n个像素值最大的像素点，即为抓取成功率最高的预测值(P,P2…,P,),根据该预测值可获得抓取角度预测值i(P,P2……P,),抓取宽度预测值和抓取顺序预测值其中pn表示二维抓取质量图像Gθ的像素值从大到小排第n个的像素6[0014]S24将基于注意力机制的生成式神经网络输出包含运动指令向量的二维图像组预[0016]S31对预测得到的二维图像组中二维抓取质量图像的像素值进行大小排序，即二维抓取质量图像中每个像素值的大小代表了以该点为中心的机[0024]S54将通过机械臂基座坐标系转换后得到的坐标和抓取宽度、抓取角度信息输入[0029]S04使用数据集Gtrain和二维图像组对基于注意力机制的生成式神经网络进行训[0033]特征提取网络由一个卷积核大小为9×9的卷积层和两个卷积核大小为4×4的卷积层组成，这个阶段每个卷积层后面都紧接着一个BatchNormalization归一化层和一个7[0036]注意力机制网络由五个注意力模块组成，每个模块由残差部分，Squeeze部分和成，两个卷积层后都紧接着一个BatchNormalization归一化层，第一个BatchNormalization归一化层后接着一个RectifiedLine[0038]Squeeze部分通过引入GlobalAveragePooling来实现，作用是获得特征图的每[0040]Excitation部分通过zc学习到各个通道的权重，由两层全连接层的门机制构成；[0045]将R(Ioutput1)依次输入Squeeze部分和Excitation部分，即可得到经过Squeeze部分和Excitation部分的预测值i.将i(.a-)和残差部分得到的特征图进行拼接即[0047]将Ioutput1输入5个线性连接的五个注意力模块中，即可得到注意力机制网络部分[0049]生成网络由两个卷积核大小为4×4的反卷积层和一个卷积核大小为9×9的反卷积层组成，两个卷积核大小为4×4的反卷积层后面都紧接着一个BatchNormalization归一化层和一个RectifiedLinear8[0054]图2是本发明技术方案实施例中基于注意力机制生成式网络的机械臂抓取参数学[0056]S1利用RGB-D相机获取机械臂当前状态下的作业场景图像，包括RGB图像Irgb和深[0057]S2依次将每个作业场景图像I输入训练好的基于注意力机制的生成式神经网络，像Gθ,一个二维角度图像Aθ,一个二维抓取宽度图像Wθ和一个二维抓取优先级图像Oθ,分别[0060]特征提取网络由一个卷积核大小为9×9的卷积层和两个卷积核大小为4×4的卷积层组成，这个阶段每个卷积层后面都紧接着一个BatchNormalization归一化层和一个[0063]注意力机制网络由五个注意力模块组成，每个模块由残差部分，Squeeze部分和[0064]残差部分可以分成直接映射和残差映射两部分，直接映射由1×1的卷积核对卷积层构成，两个卷积层后都紧接着一个BatchNormalization归一化层，第一个BatchNormalization归一化层后接着一个RectifiedLine9的每个通道的全局信息嵌入，即特征向量。假设uc是大小为W×H，通道为C的特征图，则[0067]Excitation部分通过zc学习到各个通道的权重，由两层全连接层的门机制(gate[0072]将R(Ioutput1)依次输入Squeeze部分和Excitation部分，即可得到经过Squeeze部分和Excitation部分的预测值i.将和残差部分得到的特征图进行拼接即[0074]将Ioutput1输入5个线性连接的五个注意力模块中，即可得到注意力机制网络部分[0076]生成网络由两个卷积核大小为4×4的反卷积层和一个卷积核大小为9×9的反卷积层组成，两个卷积核大小为4×4的反卷积层后面都紧接着一个BatchNormalization归一化层和一个RectifiedLinear十个像素值最大的像素点，即为抓取成功率最高的预测值根据该预测即可获得抓取角度预测