CN114140418B 基于rgb图像和深度图像的七自由度抓取姿势检测方法 （上海交通大学宁波人工智能研究院）

院基于RGB图像和深度图像的七自由度抓取姿本发明公开了一种基于RGB图像和深度图像ResNet_50对RGB图像和X_Y_Z图像的信息进行编码，得到目标分割结果和可行抓取语义分割结2步骤1、通过将深度图像转换为点云数据，并将所述点云数据的坐标投影到二维图像步骤2、使用ResNet_50对RGB图像和所述X_Y_Z图像的信息步骤4、利用所述步骤2中的所述可行抓取语义分割步骤7：结合所述步骤2中的所述目标分割结果，将所述在所述步骤2中，使用多任务语义分割模块对所述RGB图像和所述X_Y_Z图像进行逐像所述目标分割解码网络和所述可行抓取语义分割解码网络使用层数不同的密集上采3所述PENet采用双通道框架，都使用深度卷积神经网络和反卷积的方式构建类似编码度图，接着将得到的所述颜色主导深度图和所述深度主导深度图通过加权的方式进行融使用K近邻算法在所述可行抓取点附近采样K个最近的邻居点形成2.如权利要求1所述的基于RGB图像和深度图在于，在所述方法中采用的抓取器为二指平行抓取器，所述七自由度的抓取参数表示为：g=(x,y,z,⃞,β,y,w)，其中，(x,y,z)表示所述抓取器在世界坐标系下的位置，(,β,y)表示度。3.如权利要求1所述的基于RGB图像和深度4.如权利要求1所述的基于RGB图像和深度图像的七自由5.如权利要求2所述的基于RGB图像和深度以所述可行抓取点的z值为区间中心，采用启发式算法对所述区间中心的两边进行采6.如权利要求1所述的基于RGB图像和深度图像的4使用所述PointNet作为编码器，对生成的所述抓取候选的5[0001]本发明涉及计算机视觉领域，尤其涉及一种基于RGB图像和深度图像的七自由度机或者双目相机等传感器获得的场景信息，以生成机械臂末端需要达到的六自由度姿态。al.GraspNet_1Billion:ALarge_ScaleBenchmarkforGeneralObjectGrasping,CVPR2020”其中，第一类检测方案以单目或者多目的相机传感器捕捉到的RGB图像作为场景中的堆叠目标难以被抓取；第二类检测方案是通过检测目标物的六自由度姿态的变al.LearningDeepNetworkforDetecting3DObjectKeypointsand6DPoses,etal.PointNetGPD:DetectingGraspConfigurationsfromPointSets,ICRA[0004]现有的六自由度的抓取姿势检测方案较少，且没有将RGB数据应用到克服点云数6LiuD,etal.DeepHigh_ResolutionRepresentationLearningforHumanPoseEstimation,CVPR2019”也可以用来预测图像上每个点的抓取旋转矩阵（见“GouM,FangHS,ZhuZ,etal.RGBMatters:Learning7_DoFGraspPosesonMonocular[0009]本发明提供的一种基于RGB图像和深度图像的七自由度抓取姿势检测方法，所述7参数表示为：g=(x,y,z,⃞,β,y,w)，其中，(x,y,z)表示所述抓取器在世界坐标系下的位置，取器的末端宽度。图像进行逐像素的目标分割和可行抓取语义分割；所述目标分割用于检测像素所属的类[0022]所述目标分割解码网络和所述可行抓取语义分割解码网络使用层数不同的密集测到的置信度分数，设置a=1、B=0.1以使标签为可抓取的点的损失所占的权重比例[0033]所述PENet算法采用双通道框架，都使用深度卷积神经网络和反卷积的方式构建8合一个距离所述点集最近的平面，根据拟合出的所述平面得到所述可行抓取点的法线方所述可行抓取点上具有最大曲率和最小曲率的方向作为所述可行抓取点的两个所述主曲[0037]以所述可行抓取点的z值为区间中心，采用启发式算法对所述区间中心的两边进[0040]本发明提供的一种使用RGB数据进行改进的抓取检测方法至少具有以下技术效[0042]2、本发明所提供的技术方案在六自由度的抓取检测算法中引入深度图像补全算9有的六自由度抓取检测方法无法应用于稳定性要求较高的[0052]步骤1、通过将深度图像转换为点云数据，并将点云数据的坐标投影到二维图像[0055]步骤4、利用步骤2中的可行抓取语义分割结果得到的可行抓取点和步骤3中得到[0060]由于RGB图像具有丰富的二维空间中的语义信息和纹理信息，而点云数据具有三[0066]目标分割解码网络和可行抓取语义分割解码网络使用层数不同的密集上采样卷测到的置信度分数，设置a=1、B=0.1以使标签为可抓取的点的损失所占的权重比例[0076]多任务语义分割模块的训练数据来自GraspNet_1Billion数据集。该数据集包含务语义分割模块对RGB图像和X_Y_Z图像进行逐像素的目标分割和可行抓取语义分割。其标分割解码网络和可