CN119515968A 穴盘幼苗最优抓取位姿获取方法 （南华大学）

级移栽设备的二指夹爪；二指夹爪位于穴盘上g=[r,y,p,w];2，数据集构建：以垂直向2将相机固定在穴盘正上方，以垂直向下的视角拍摄穴盘图像，图中心标注在幼苗叶片与茎秆的交汇处；聂.抓取角度垂直于幼苗上的两片最大叶片的重心将所有标记好的图像划分为训练集和验证集，输入实时抓取检测网络进行训练和测3输出头和宽度输出头分别接收特征Fl"，输出每个像素点的抓取角度和每个像素点的抓取率的卷积中提取上下文特征，得到四组特征分支最后分别执行以下两F23x3且膨胀率为3的卷积，式7中的Conv(·)表示一个3x3且膨胀率为5的卷积，式8中的Conv(·)表示一个3x3且膨胀率为8的卷积。特征Fs-l经过两个1x1且膨胀率为1的卷积调整通道数至128后再进行上采样；再将调整通4s-l1为像素注意力引导融合模块中的Sigmoid函数，应像素的向量为浅层特征中对应像素的向量为为像素注意力引导融合模块的输经过上采样后再通过一个3x3且膨胀率为1的卷积调整通道数至256；卷积后的浅层特征层后的结果和Fc输入全局平均池化层后的结果相加，再将相加结果通过一个1x1且膨胀率为1卷积调整通道数至1，然后再通过Sigmoid函数获取卷积后的特征中各通道的重要性权卷积后的浅层特征瓦。和卷积后的深层特征瓦w分别如式11和式12所示；从卷积后的浅层特征瓦。和卷积后的深层特征FW到深度引导融合模块的输出特征F/所经历的操作，式11：FW=comvss(cp(F)且膨胀率为1的反卷积进行上采样，最后经过一个1x1且膨胀率为1的卷积和上采样操作，5得到和原始图像分辨率一致的通道数为1的抓取点特征图，图中包含每个像素点的抓取置且膨胀率为1的反卷积进行上采样，最后经过一个1×1且膨胀率为1的卷积和上采样操作，得到和原始图像分辨率一致的通道数为k的抓取点特征图，图中包含每个像素点的抓取角且膨胀率为1的反卷积进行上采样，最后经过一个1×1且膨胀率为1的卷积和上采样操作，得到和原始图像分辨率一致的通道数为1的抓取点特征图，图中包含每个像素点的抓取宽6[0001]本发明涉及目标位姿识别技术领域，特别是一种穴盘幼苗最优抓取位姿获取方7y,z,p,wlg=[r,y,p,wl];抓取中心标注在幼苗叶片与茎秆的交汇处；聂.抓取角度垂直于幼苗上的两片最大叶片的s所在路径中，Fs和F分别作为深层特征和浅层特征共同输入像素注意力引导融合8ll和F分别作为深层特征和浅层特征共同输入像素注意力引导融合模块学习语义信息，输出特征和F分别作为[0027]膨胀细化模块的实现流程中，四组特征映射{F1，F2，F3，F4}到四组特征分支的Conv(·)表示一个3x3且膨胀率为8的卷积。征F经过一个1x1且膨胀率为1的卷积调整通道数至128，深层特征Fs-l经过两个1x1且膨胀出特征户,户指代或序,Fs-l指代Fs或Fl；σ1为像素注意力引导融合模块中的Sigmoid中对应像素的向量为浅层特征中对应像素的向量为为像素注意力引导融合模9道维度上拼接后得到特征Fc，然后将Fc输入全局最大池化层后的结果和Fc输入全局平均池通过Sigmoid函数获取卷积后的特征中各通道的重要性权重，再将权重值与卷积后的浅层后的浅层特征瓦。和卷积后的深层特征到深度引导融合模块的输出3×3且膨胀率为1的卷积调整通道数至128，再经过一个2×2且膨胀率为1的反卷积进行上3×3且膨胀率为1的卷积调整通道数至256，再经过一个2×2且膨胀率为1的反卷积进行上3×3且膨胀率为1的卷积调整通道数至128，再经过一个2×2且膨胀率为1的反卷积进行上[0053]4.实时抓取检测网络(LRGN)在Jaccard系数从2与预测抓取区域的Jaccard指数设定在35该网络仍能实现大多数情况的抓取位姿准确[0054]5.实时抓取检测网络(LRGN)应用于Cor拆分与对象拆分的数据集划分下均有着较高的准确率，分别为98[0065]图10为实时抓取检测网络(LRGN)和其它网络在穴盘苗数据集上的部分测试结果[0067]如图1_9所示，穴盘幼苗最优抓取位姿获取方法，依托于分级移栽设备的二指夹y,z,p,wly,p,wl两端点为落爪点，落爪点远离穴盘格边沿1cm以上(若小于1cm则基质边缘容易崩坏或脱[0084]将所有标记好的图像按照4：1划分为训练集和验证集，输入实时抓取检测网络[0085]实时抓取检测网络(LRGN)包括编码器和解码器。编码器包括特征提取模块(Mobilenet)、膨胀细化模块(DRM)、像素注意力引导融合模块(PAG)、深度引导融合模块ll和F分别作为深层特征和浅层特征共同输入像素注意力引导融合模块学习语义信息，输出特F23四组结果分别输入不同空洞率的卷积中提取上下文特征，得到四组特征分支[0087]膨胀细化模块的实现流程中，四组特征映射{F1，F2，F3，F4}到四组特征分支后将逐像素点乘结果做逐通道求和，再经Sigmoid函数获取逐通道求和后的特征中各像素σ1为像素注意力引导融合模块中的Sigmoid对应像素(对应像素指深层特征和浅层特征中同一位置的像素)的向量为为像素注至256；卷积后的浅层特征瓦。和卷积后的深层特征FW在通道维度上拼接后得到特征Fc，然后将Fc输入全局最大池化层后的结果和Fc输入全局平均池化层后的结果相加，再将相加结果通过一个1×1且膨胀率为1卷积调整通道数至1，然后再通过Sigmoid函数获取卷积后率为1的卷积和上采样操作，得到和原始图像(整率为1的卷积和上采样操作，得到和原始图像(整率为1的卷积和上采样操作，得到和原始图像(整[0111]实时抓取检测网络(LRGN)的搭建和训练在Pytorch(2.0.1[0114](1)预测的抓取角度与标[0119]在Cornell抓取数据集[LenzI,LeeH,SaxenaA.Deeplearningfordetectingroboticgrasps[J].TheInternationalJournalofRoboticsResearch,2015,34(4‑5):705‑724]上对LRGN进行训练和评估。Cornell抓取数据集包含24用文献[High_PerformancePixel_LevelGraspDetectionBasedonAdaptivep一个像素点生成预测抓取框，在测试时只选取抓取成功概率最大的预测抓取框G(选取抓pp成功概率最大的预测抓取框G)用来评估。将实时抓取检测网络(LRGN)与现有的一些代表p[0124]GG_CNN2来自：MorrisonD,CorkeP,LeitnerJ.Learningrobust,real_time,reactiveroboticgrasping[J].TheInternationalJournalofRoboticsResearch,[0125]AlexNet来自：RedmonJ,AngelovaA.Real_timegraspdetectionusingconvolutionalneuralnetworks[C].2015IEEEinternationalconferenceon[0126]ResNet_50×2来自：KumraS,KananC.Roboticgraspdetectionusingdeepconvolutionalneuralnetworks[C].2017IEEE/RSJInternationalConferenceon[0127]GraspNet来自：AsifU,TangJ,HarrerS.GraspNet:AnEfficientConvolutionalNeuralNetworkforReal_timeGraspDetectionforLow_poweredDevices[C].IJCAI,2018:487[0128]SGDN来自：WangD.SGDN:Segmentation_basedgraspdetectionnetworkforunsymmetricalthree_fingergripper[J].arXivpreprintarXiv:2005.082detectionandsegmentationforroboticgrasping[J].IEEETransactionsonSystems,Man,andCybernetics:Systems,2020,52([0130]GKNet来自：XuR,ChuF_J,VelaPA.GKNet:Graspkeypointnetworkforgraspcandidatesdetection[J].TheInternationalJournalofRoboticsResearch,[0131]AFFGA_Net(ResNet101)来自：WangD,LiuC,ChangF,etapixel_levelgraspdetectionbasedonadaptivegraspingandgrasp_awarenetwork[J].IEEEtransactionsonindustrialelectronics,2021,69(11):11611_和对象拆分上的准确率仅有73.00％和69.00对抓取成功率有着较别为98.96％和98.30证明其具有优良的模型的判别与泛化能力；其推理速度为113张/秒，明显高于大多数现有的抓取检测算法，证明其具有良好的实时性；其参数量仅有[0135]将实时抓取检测网络(LRGN)分别与选取不同的网络(AFFGA_Net、GG_CNN2和GR_[0138]AFFGA_Net(ResNet101)和AFFGA_Net(xception)和AFFGA_Net(drn)和AFFGA_Net[0139]High_performancepixel_levelgraspdetectionbasedonadaptivegraspingandgrasp_awarenetwork[J].IEEEtransactionsonindustrialelectronics,2021,69(11)[0140]GG_CNN2来自：MorrisonD,CorkeP,LeitnerJ.Learningrobust,real_time,reactiveroboticgrasping[J].TheInternationalJournalofRoboticsResearch,[0141]GR_ConvNet来自：KumraS,JoshiS,SahinF.Antipodalroboticgraspingusinggenerativeresidualconvolutionalneuralnetwork[C].2020IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS),2020:9626_[0142]结果表明，实时抓取检测网络(LRGN)在穴盘苗[0143]将实时抓取检测网络(LRGN)和其它网络在穴盘苗抓取数据集上的部分测试结果[0149]W.消融实验是在像素注意力引导融合模块(PAG)后直接添加解码器，表4中的第4横行是在深度引导融合模块(DGFM)后直接添加解码器，表4中的第5横