CN119407789A 一种机械臂抓取目标检测方法和系统 （常州大学）

本发明涉及一种机械臂抓取目标检测方法积神经网络模型为基准模型构建改进的生成式残差卷积神经网络模型作为机械臂抓取目标检果对模型的权重进行更新，得到最优的训练权标检测网络模型中得到机械臂抓取目标检测结2S3，以生成式残差卷积神经网络模型为基准S4、利用改进后的损失计算方法计算各输出S6，将测试集输入至所述训练后的机械臂残差卷积神经网络模型为基准模型构建改进的生成式残差卷积神经网络模型作为机械臂步骤S32，搭建主干特征提取网络对原本的5层残差3.根据权利要求2所述的一种机械臂抓取目标层空洞卷积层DconvBNact组成，对输入的图形参数逐步处理后再输出，空洞卷积层3卷积层用于对输入的目标物体图像进行初步下采样，下采样后该层输出的特征图大小为取网络根据扩展因子的不同包括两种不同卷积结构，第一种卷积结构用于扩展因子为1的构由三层卷积核大小不同的转置卷积层ConvT2D构成，并且第一层和第二层使用批归一化步骤S42，从图像标注中获取的抓取实际值为可抓取区域余各lossi使用函数SmoothL1计算n个训练重后的机械臂抓取目标检测网络模型中，根据验证集上的性能指标检测当前模型的性能，4数据集预处理模块，用于采用数据增强的方式对初始数据集改进建模模块，用于以生成式残差卷积神经网络模型为基准模权重训练模块，用于将训练集输入到机械臂抓取目标检测网络模型中进行模型训练，并基于训练结果改进机械臂抓取目标检测网络模型参数得到训练后的机械臂抓取目标检权重更新模块，用于将验证集输入至所述训练后的机械臂抓取目标检测网检测结果生成模块，用于将测试集输入至所述训练后的机械臂抓取5[0010]S3,以生成式残差卷积神经网络模型为基准模型构建改进的生成式残差卷积神经6积层DconvBNact用于对输入的抓取目标图像进行下采样和初步特[0021]其中,xi为卷积DilatedConv2d输出的批量数据的第i维样本数据，μB为xi的平均i[0025]其中，f(x)为经过SiLU激活函数处理后的输出，x为输入到SiLU激活函数的特征[0030]进一步的，所述主干特征提取网络根据扩展因子的不同7第一种卷积结构用于扩展因子为1的情况，输入特征图通过CA注意力模块提取空间位置信并且第一层和第二层使用批归一化BN层和ReLU外其余各损失使用函数SmoothL1计算n个训练样8式残差卷积神经网络模型为基准模型构建改进的生成式残差卷积神经网络模型作为机械臂抓取目标检测网络模型；将训练集输入到机械臂抓取目标检测网络模型中进行模型训[0050]图2为本发明的实施例一提供的改进的机械臂抓取目标检测方法的整体结构示意9速训练过程并提高模型的稳定性的结构。式残差卷积神经网络模型为基准模型构建改进的生成式残差卷积神经网络模型作为机械臂抓取目标检测网络模型；将训练集输入到机械臂抓取目标检测网络模型中进行模型训[0079]下面对本实施方式的一种机械臂抓取目标检测方法的实[0085]所述改进的生成式残差卷积神经网络模型作为机械臂抓取目标检测网络模型包DconvBNact用于对输入的抓取目标图像进行下采样和[0091]其中,xi为卷积DilatedConv2d输出的批量数据的第i维样本数据，μB为xi的平均i[0095]其中，f(x)为经过SiLU激活函数处理后的输出，x为输入到SiLU激活函数的特征[0104]CA模块的输入信息大小为C×H×W为了能够捕获具有精准位置信息的远程空间交为经过CA注意力模块处理后的h方向的输出，g:"(j)为经过CA注意力模块处理后的w方向的[0118]如图2所示，主干特征提取网络由六个FusedConv模块组成，即由FusedConv1~丢掉分支，通过该层后特征图大小变为56*56*128；将FusedConv1层输入的特征图和经过[0121]FusedConv1层的输出特征图大小为56*56*128，输入到FusedConv2层中，该层包丢掉分支，通过该层后特征图大小变为56*56*128；将FusedConv2层输入的特征图和经过[0122]FusedConv2层的输出特征图大小为56*56*128，输入到FusedConv3层中，该层包丢掉分支，通过该层后特征图大小变为56*56*128；将FusedConv3层输入的特征图和经过[0123]FusedConv3层的输出特征图大小为56*56*128，输入到FusedConv4层中，该层包丢掉分支，通过该层后特征图大小变为56*56*128；将FusedConv4层输入的特征图和经过[0124]FusedConv4层的输出特征图大小为56*56*128，输入到FusedConv5层中，该层包丢掉分支，通过该层后特征图大小变为56*56*128；将FusedConv5层输入的特征图和经过[0125]FusedConv5层的输出特征图大小为56*56*128，输入到FusedConv6层中，该层包图和经过Dropout层后的输出进行相加作为FusedConv6层的输出，输出特征图大小为56*第一层和第二层使用批归一化BN层和ReL[0146]原本计算lossw损失时，预测宽度大于实际宽度时和预测宽度小于实际宽度时计[0147]具体而言，所述改进后的损失计算方法计算各输出损失和总损失的具体步骤包外其余各损失使用函数SmoothL1计算n个训练样[0161]其中，Lossall为网络总损失，lossp为位置损失，losscos为旋转角度余弦损失，0.55,γ=0.95。目标检测网络模型获取到了明确的特征信息，可以生成质量热图中置信度更高的抓取姿和本文机械臂抓取目标检测网络模型进行在相同[0183]模型训练及测试配置为Windows11系统，结合Pytorch深度学习框架作为软件平[0184]实施案例选用的样本图像来自深度相机KinectV2拍摄的彩色图像和对应的深度码器替换生成式残差卷积神经网络模型的编码器解决了网络模型前期计算量过大的问题，[0191]如图8所示，本发明的第二实施方式提供机械臂抓取目标检测系统，所述系统包进建模模块203，用于以生成式残差卷积神经网络模型为基准模型构建改进的生成式残差模块206，用于将测试集输入至所述训练后的机械臂抓取目标检测网络模型中得到机械臂提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单[0195]本发明第三实施方式涉及一种网络侧服务端，如图9所示，包括至少一个处理器传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上程序被处理器执行时