CN115457128B 一种基于深度学习的6d姿态估计方法和系统 （广东工业大学）

一种基于深度学习的6D姿态估计方法和系统本发明提供了一种基于深度学习的6D姿态全神经网络模型获得目标物体表面完整点云数整点云数据和无标记码图像输入预设的6D姿态优化后的6D姿态估计神经网络模型对待预测目著降低了现有技术中目标物体完整点云数据的2S2：对目标物体的有标记码图像背景和噪声进行分割S3：对目标物体的表面稀疏点云数据进行处理，获S4：将目标物体的无标记码图像和表面稠密云旋转数据P1和目标物体的无标记码图像拼接获S5：将目标物体的3D模型、表面完整点云数据S6：获取待预测的目标物体图像，将待预测的目将若干ARUCO标记码围绕目标物体放置，利用所述单目相机从目标物体的多个方向进物体的有标记码图像中包括至少3个不被遮挡且清晰的A使用PMVS2对目标物体的表面稀疏点云数据进行处理，获取目标物体的表面稠密点云根据所述表面三角网格化数据和纹理映射数据生成目标物体3数据Pc与目标物体的表面点云偏移量向量拼接，获得目标物体表面完整点云数据P3的具体将全局特征向量Vt输入预设的1D卷积层中，得到N维嵌入fpoint，再将N维嵌入所述1D卷积层中，得到目标物体的表面点云偏移量向量以及对应的不完整点云的掩模，将经过不完整点云的掩模选择过的输入缺少部分点云数据Pc与目标物体的表面点云偏移利用基于最优传输理论的距离优化损失函数对所述预设的点云补全神经网络模型进p2是目标物体的全局稠密点云数据中的点。将目标物体的3D模型、表面完整点云数据和目标物体的无标记码图像输之后将编码后的2D图像送入解码模块进行解码，所述解码所述旋转预测头根据编码后的2D图像输出目标物体的2D点云数所述平移预测头根据编码后的2D图像输出目标物体的热力图数据、之后将预测的目标物体旋转矩阵和预测的目标物体平移向量输入数据整合模块进行4利用目标物体的3D模型生成新的训练数据在解码模块的总预测损失函数包括旋转预测头的损失函数和平α和β为第一、第二超参数；其中，LW表示平移预测头的损失函数值，coordy表示目标物体的最终坐标数据，coordw表示目标物体的初始坐标数据，表示目标物体的最终坐标数据对应的归一9.一种基于深度学习的6D姿态估计系统，应用权利要求1_8中任意一项所述的基于深点云分割单元：用来对目标物体的有标记码图点云处理单元：用来对目标物体的表面稀疏点云数点云补全单元：用来将目标物体的无标记码图像和模型优化单元：用来将目标物体的3D模型、表面完整点云数据和目标6D姿态估计单元：用来获取待预测的目标物体图5[0003]工业生产中普遍使用点云和RGB图像信息对目标物体进行6D姿态估计。点云拥有现有技术中的方法虽然能够在一定程度上解决密集2D3D特征提取效率不高以及物体被遮6[0016]用单目相机从目标物体的多个方向进行拍摄，获取一组目标物体的无标记码图[0017]将若干ARUCO标记码围绕目标物体放置，利用所述单目相机从目标物体的多个方[0020]使用PMVS2对目标物体的表面稀疏点云数据进行处理，获取目标物体的表面稠密[0025]S4.3：将目标物体稠密点云旋转数据P1和全局稠密点云数据P2密点云旋转数据P1和目标物体的无标记码图像拼tt7[0030]将全局特征向量Vt输入预设的1D卷积层中，得到N维嵌入fpoint，再将N维嵌入[0032]利用基于最优传输理论的距离优化损失函数对所述预设的点云补全神经网络模和深度图数据，根据目标物体的热力图数据和初始坐标数据获得目标物体的最终坐标数[0043]之后将预测的目标物体旋转矩阵和预测的目标物体平移向量输入数据整合模块8是目标物体的置信度图数据，Mcoor是目标物体的表面完整点云坐标图数据，l1Coordinit表示目标物体的初始坐标数据，表示目标物体的最终坐标数据对应的归一[0055]一种基于深度学习的6D姿态估计系统，应用上述基于深度学习的6D姿态估计方9待预测的目标物体图像输入优化后的6D姿态估计神经网络模型中得到待预测目标物体的[0073]对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解[0086]之后将目标物体的无标记码图像和表面稠密点云数据输入到预设的点云补全神化后的6D姿态估计神经网络模型不仅能够输出目标物体的2D点云数据并与目标物体的表[0088]最后将待预测的目标物体图像输入优化后的6D姿态估计神经网络模型中得到待[0098]所述步骤S1中，分别获取目标物体的无标记码图像和有标记码图像的具体方法[0099]用单目相机从目标物体的多个方向进行拍摄，获取一组目标物体的无标记码图[0100]将若干ARUCO标记码围绕目标物体放置，利用所述单目相机从目标物体的多个方[0103]使用PMVS2对目标物体的表面稀疏点云数据进行处理，获取目标物体的表面稠密密点云旋转数据P1和目标物体的无标记码图像拼[0113]将全局特征向量Vt输入预设的1D卷积层中，得到N维嵌入fpoint，再将N维嵌入[0115]利用基于最优传输理论的距离优化损失函数对所述预设的点云补全神经网络模和深度图数据，根据目标物体的热力图数据和初始坐标数据获得目标物体的最终坐标数[0126]之后将预测的目标物体旋转矩阵和预测的目标物体平移向量输入数据整合模块[0128]所述设置在解码模块的总预测损失函数包括旋转预测头的损失函数和平移预测是目标物体的置信度图数据，Mcoor是目标物体的表面完整点云坐标图数据，l1Coordinit表示目标物体的初始坐标数据，表示目标物体的最终坐标数据对应的归一[0139]应当注意的是，所述目标物体的有标记码图像中包括至少3个不被遮挡且清晰的所拍摄的目标物体无标记码图像和有标记码图像数量至少[0140]本实施例中使用因特尔11代i5处理器和英伟达GTX3060显卡对目标物体的图像和[0141]使用OpenMVG对目标物体的有标记码图像进行稀疏点云重建处理，程序将利用[0142]之后使用PMVS2对目标物体的表面稀疏点云数据进行处理，获得目标物体表面稠所述目标物体的无标记码图像对应的相机姿态相匹配，得到目标物体稠密点云旋转数据输出N×3的目标物体的全局稠密点云数据P2；之后将目标物体稠密点云旋转数据P1和全局减去下采样后的目标物体稠密点云旋转数据P1，得到输入部分点云数据Pf和输入缺少部分稠密点云旋转数据P1和目标物体的无标记码图像拼接获得全局特征向量Vt；之后将全局特征向量Vt输入到1D卷积层中，得到N维嵌入整点云数据和目标物体的无标记码图像输入到预设的6D姿态估计神经网络模型中进行训(".")为坐标空[0162]之后将预测的目标物体旋转矩阵和预测的目标物体平移向量输入数据整合模块[0164]所述设置在解码模块的总预测损失函数包括旋转预测头的损失函数和平移预测是目标物体的置信度图数据，Mcoor是目标物体的表面完整点云坐标图数据，l1Coordinit表示目标物体的初始坐标数据，表示目标物体的最终坐标数据对应的归一[0174]最后将待预测的目标物体图像输入优化后的6D姿态估计神经网络模型中得到待[0181]点云补全单元304：用来将目标物体的无标记码图像和表面稠密点云数据输入到[0184]在具体实施过程中，首先利用图像获取单元301获取目标物体的无标记码图像和有标记