CN115674192B 一种基于视觉定位的煤矿井下机械臂抓取控制方法 （中国矿业大学）

一种基于视觉定位的煤矿井下机械臂抓取本发明公开了一种基于视觉定位的煤矿井理中心；本发明将采集到的视觉图像导入基于的效果来在包含浮沉雾气等复杂背景中实现对传感器输出的机械臂抓取信息和基于MAE神经网络输出的位置信息输入基于GRU的神经网络，根据每次机械臂抓取的情况对位移与姿态进行自2钻杆装卸机械臂(1)，其为六轴机械臂，且所述钻杆装卸机械臂(1每一节机械臂上的两个加速度传感器(2)相互抵消误差的影响以提高输出钻杆库(4)，其固定于防冲钻孔机器人上用于存放钻杆，且所述述RGBD双目相机(3)安装于钻杆库(4)上方，且RGBD双目相机(3)的最佳视角完全覆盖钻杆数据处理中心，其基于FPGA的运算单元实现对视频流数据的流水线处理和并行计算，并通过接收RGBD双目相机(3)所采集的实时视频数据来获取钻杆空间位置信息，所述数据步骤S2：基于MAE的神经网络预训练：多次采集某一时刻RG步骤S6：根据加速度传感器(2)反馈的数字信号反向解算出机械臂完成抓取任务时的32.根据权利要求1所述的一种基于视觉定位的煤矿井下机械臂抓取控制方法，其特征①将RGBD双目相机(3)采集的井下视频数据转换为图片并制作样本集，将输入的图片②给每一个图像块增加其对应的位置信息后组成向④获得向量信息后将其传入TransformerEnc3.根据权利要求1所述的一种基于视觉定位的煤矿井下机械臂抓取控制方法，其特征②通过Reshuffle将之前随机打乱的图片恢复到原来的顺序，更新图片位置信息的向③获得位置信息的向量后将其传入Transformerdecoder进行特征提取，此时解码器⑤根据分类信息识别出图像中的钻杆，根据图像中的钻杆的位置确定出目标物体X_Y轴的信息，同时叠加深度相机的深度信息获得Z轴信息，得到待抓取钻杆的三维坐标信息4.根据权利要求1所述的一种基于视觉定位的煤矿井下机械臂抓取控制方法，其特征t的权重越大，t5.根据权利要求1所述的一种基于视觉定位的煤矿井下机械臂抓取控制方法，其特征t6.根据权利要求1所述的一种基于视觉定位的煤矿井下机械臂抓取控制方法，其特征4Xt+1表示下一时刻误差输出，zt+1表示下一时刻门控阀值，Xt表示当前时刻误差输出，5[0005]本发明的目的就在于为了解决上述至少一个技术问题而提供一种基于视觉定位模型的实现在井下雾气浮尘等特殊的工作环境实现对钻杆的精准定位，同时将MAE网络模型输出的位置信息同加速度传感器输出的位置信息导入GRU网络模型，通过实时判断误差臂上的两个加速度传感器通过相互抵消误差的影响以提高输6[0019]步骤S7：将视觉定位的钻杆的三维坐标信息S1和机械臂抓取时的该循环，根据误差值相对于实际值方位关系对机械臂控制系统进行调节以抵消误差的影[0021]作为本发明再进一步的方案：构成所述数据处理中心MAE神经网络的编码器结构7[0026]作为本发明再进一步的方案：构成所述数据处理中心MAE神经网络的解码器结构[0028]②通过Reshuffle将之前随机打乱的图片向量恢复到原来的顺序，更新其位置信[0029]③获得向量信息后将其传入Transformerdecoder进行特征提取，此时解码器需[0030]④将Transformerblocks输出的向量通过MLP投影到像素空间，完成图像分类任[0032]作为本发明再进一步的方案：构成所述数据处理中心GRU神经网络的输入具体包[0033]将视觉定位的钻杆的三维坐标信息S1和机械臂抓[0034]作为本发明再进一步的方案：构成所述数据处理中心GRU神经网络的重置门具体tt+1]+br)[0040]作为本发明再进一步的方案：构成所述数据处理中心GRU神经网络的新门具体包t[0045]作为本发明再进一步的方案：构成所述数据处理中心GRU神经网络的候选记忆具[0046]候选记忆由两部分组成，一部分是通过重置门阀值信号决定的过往误差输出Xt，8[0050]作为本发明再进一步的方案：构成所述数据处理中心GRU神经网络的输出具体包[0051]最终输出由更新门控制，一部分是决定从上一时刻误差输出Xt遗忘信息的程度，械臂抓取信息和基于MAE神经网络输出的位置信息输入基于GRU的神经网络，通过GRU网络9的机械臂上的两个加速度传感器2通过相互抵消误差的影响以提高输意到全局信息来提高对图像的识别分类能力，而GRU层可以直接学习输入数据的多个并行视觉定位的钻杆空间位置信息并制作样本集，通过输入大量样本数据得到一个训练好的[0074]步骤S6：根据加速度传感器2反馈的数字信号反向解算出机械臂完成抓取任务时[0075]步骤S7：将视觉定位的钻杆的三维坐标信息S1和机械臂抓取时的该循环，根据误差值相对于实际值方位关系对机械臂控制系统进行调节以抵消误差的影[0085]②通过Reshuffle将之前随机打乱的图片向量恢复到原来的顺序，更新其位置信[0086]③获得向量信息后将其传入Transformerdecoder进行特征提取，此时解码器需[0087]④将Transformerblocks输出的向量通过MLP投影到像素空间，完成图像分类任[0090]将视觉定位的钻杆的三维坐标信息S1和机械臂抓[0092]确定上一时刻误差输出Xt并与当前时刻的误差值Tt+1送入激活函数输出[0,1]范tt+1]+br)t[0102]候选记忆由两部分组成，一部分是通过重置门阀值信号决定的过往误差输出Xt，[0107]最终输出由更新门控制，一部分是决定从上一时刻误差输出Xt遗忘信息的程度，[0109]Xx=(1-zx1)xx+zx环意到全局信息来提高对图像的识别分类能力，而GRU层可以直接学习输入数据的多个并行视觉定位的钻杆空间位置信息并制作样本集，通过输入大量样本数据得到一个训练好的[0118]步骤S6：根据加速度传感器2反馈的数字信号反向解算出机械臂完成抓取任务时[0119]步骤S7：将视觉定位的钻杆的三维坐标信息S1和机械臂抓取时的该循环，根据误差值相对于实际值方位关系对机械臂控制系统进行调节以抵消误差的影[0121]在本发明实施例中，将采