CN114863573B 一种基于单目rgb-d图像的类别级6d姿态估计方法 （东南大学）

号一种基于单目RGB-D图像的类别级6D姿态估本发明公开了一种基于单目RGB-D图像的类别级6D姿态估计方法，本方法引入RGB-D图像特征融合机制，通过自注意力机制融合RGB-D图像隐式编码先验来克服同一类别下不同实例物体之间的形状差异。本方法首先对单幅RGB-D图片2根据包含不同类别的物体实例三维模型数据集，获取每个类训练样本通过单幅的RGB-D图片生成特定目标实例的特征空间，结合对应类别的隐式步骤2.6：对应关系矩阵的每一行为一个采样点对应于重建点云的分类one-hot向量，息计算出目标实例采样点的三维坐标，根据目标实例的类别输入对应的类别形状编码先2.根据权利要求1所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在33.根据权利要求1所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在4.根据权利要求2所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在5.根据权利要求1所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在6.根据权利要求1所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在7.根据权利要求6所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在8.根据权利要求7所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在4值，表示在cgt中与x相对应的真实值。9.根据权利要求8所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在;5[0001]本发明属于计算机视觉和场景理解领域，涉及一种基于单目RGB-D图像的类别级[0002]由于模糊性（例如视差的存在基于单目图像的6D姿态估计是一个不适定问题。[0008]训练样本通过单幅的RGB-D图片生成特定目标实例的特征空间，结合对应类别的6对应的隐式特征编码用表示；。[0026]点云自动编码器网络训练时，损失函数为采样点云与重建点云的Chamfer距离误[0030]需要根据深度信息计算目标物体二维像素对应的三维坐标，并随机采样768个坐[0032]网络两个分支分别根据重建点云的误差和坐标预测的误差来进行过反向传播训7[0040]网络两个分支分别根据重建点云的误差和坐标预测的误差来进行过反向传播训预测值，表示在cgt中与x相对应的真实值。[0048]本发明的方法可以通过单目RGB-D图像预测目标物体对应的6D姿态，解除了6D姿[0049]图1为本发明实施例的类别级6D姿态估计方法前置阶段类别形状编码先验的获取[0053]实施例：本实施例的基于单目RGB-D图像的类别级6D姿态估计方法是基于采样点8式编码向量逐元素取平均，得到每个类别的平均隐式编码向量(将其称为类别形状隐式编个Transformer模块将图像特征和点云特征融合，经过MLP和平均池化得到实例的全局特解码器对融合的编码进行解码，得到目标实例的重建点云。根据Chamfer距离计算重建损9张已知相机内参的RGB-D图片就能得到图中各个目标物体相对应的6D姿态。该阶段具体步[0072]步骤2：根据相机内参矩阵和深度信息计算物体可视区域每个像素对应的三维坐[0076]步骤6：对应关系矩阵与重建点云相乘得到每个采样点对应的标准归一化三维模