CN114419149B 一种基于深度学习的航天器位姿估计方法 （中国科学院深圳先进技术研究院）

本发明公开了一种基于深度学习的航天器度学习网络预测的位置参数和旋转参数具有较高的精度，且通过最小化航天器CAD模型在图像2归一化预处理后用于训练神经网络模型，然后把测试图像输入到训练好的神经网络模型接着计算图像中每个像素点的加权平均值m以所述位姿标签的归一化和反归一化包括：位姿标签的参数包括平移参数和旋转参数，3outoutout分别是归一化的预测参数，是反归一化后的预测平4旋转矩阵采用基于李群和李代数的旋转矩阵表示方法，设旋转向量为a，则旋转矩阵[a]x＝||a||/(2sin||a||)(R-RT)方法中基于几何残差最小化的航天器位姿参数的a)控制点选择：在航天器CAD模型的投影轮廓上选出若干控制点，然后利用这些控制b)CAD模型投影轮廓与图像像素的匹配：在当前时刻读入一算子方法获得图像的边缘图像，利用控制点从边缘图像中找出属于CAD模型投影轮廓cm的CAD模型的投影轮廓cm：(I)该边缘点的法线与给定控制点的法线之间的夹角小于某个阈点都位于多边形cm的某条边上，该边的直线方程可由所述过g1和g2的直线方程的公式计算5i表示qi与li之间的几何距离；＝(J(s)TJ(s)++ζIn)-1-J(s)Td(s)d)航天器位姿参数优化：以深度学习神经网络模型预测的航天器位姿参数为初始值，6表现而备受关注。深度学习算法基于卷积网络强大的特征提取能力提取图像中的目标特选中的类别即为该输入图像中航天器在该时刻的位姿参数。这种方法分类的准确率比较量级差异较大，导致神经网络在训练时优化的方向倾向于拟合平移参数而忽略旋转参数，习网络预测的位置参数和旋转参数具有较高的精度，且通过最小化航天器CAD模型在图像78,iu,是反归一化后的预量的平移解码器和用于预测旋转四元数的旋转解码器，平移解码器包括两个带有dropout的1×2048的全连接层最后接上1×3的输出向量，旋转解码器包括两个带有dropout的1×是一个单位长度为1的1×4的向量作为旋转四2分别设置为0.9和0.009；[0029]进一步地，所述训练阶段同时最小化平移参数的损失函数和旋转参数的损失函量t描述目标相对于照相机坐标系的位姿，假设空间中某一点在照相机坐标系中的坐标为[0037]旋转矩阵采用基于李群和李代数的旋转矩阵表示方法，设旋9[0043][a]x＝||a||/(2sin||[0052]b)CAD模型投影轮廓与图像像素的匹配：在当前时刻读入一幅航天器的图像使用着把数据集中的训练图像以及对应的位姿标签分别进行归一化预处理后用于训练神经网位姿的神经网络模型对位姿参数进行预处理使得平移参数和旋转参数的分布范围比较接量时间和计算资源用于调整参数使其达到一个较理想近似值，从而使预测结果更加精确。从而保证了位姿估计的精度，算法的姿态角误差大约在2.68度左右，平移相对误差大约[0067]图3为本发明的算法对图像预处理的展示图，其中第一行的图像为数据集中的原[0071]本发明的神经网络模型预测的位姿和优化的位姿效果如图2所示，本发明的算法是神经网络模型预测的位姿对应的投影轮廓，红色轮廓是优化后的位姿对应的投影轮廓，从图2中可以看出本发明通过对位姿参数进行预处理使得平移参数和旋转参数的分布范围[0074]1a)图像归一化：在每一张图像输入神经网络之前，对图像进行局部对比度归一体的效果如图3所示，数据预处理算法可以有效解决位姿参数中平移参数和旋转参数在数[0080]然后计算图像中每个像素点的加权平均值m以及加权标准差其中，p是原图像iw,j,是反归一化后的预[0092]本发明的神经网络模型架构如图4所示，由Pytorch开源框架进行网络模型的设平移解码器是由两个带有dropout的1×2048的全连接层组成，最后接上1×3的输出向量。[0098]在训练阶段，采用公式(8)同时最小化平移参数的损失函数和旋转参数的损失函[0106]本发明目标位姿模型使用旋转矩阵R与平移向量t描述目标相对于照相机坐标系[0119]为了实现航天器位姿参数的优化，首先要在航天器CAD模型的投影轮廓上选出若g1和g2的直线方程为：[0125]算法在当前时刻读入一幅航天器的图像，使用Canny算子方法获得图像的边缘图于某个阈值(推荐值15度)；(II)该边缘点是所有满足(I)的边缘点中距离给定控制点最近的航天器位姿参数估计结果