CN118799393B 双向融合6d物体位姿估计方法 （哈尔滨工业大学）

供一种基于新型transformer架构的双向融合6D物体位姿估计方法：对待估计场景的RGB图像与据；利用特征提取层提取RGB图像中的外观特征在特征提取层的每一个维度内；自适应MOE层根与特征提取层最后输出的外观特征和几何特征2RGB图像和点云数据输入至特征提取层，特征提取层分别提取输6D物体位姿估计层预测出拼接后的特征图像中的每个合层采用基于线性中介注意力机制的新型Transformer求解两种模态的交叉注意力矩阵，制的新型Transformer求解两种模态的交叉注意力矩b对应的矩阵K和V，Wq、Wk、Wv分别为查询矩阵Q、键矩阵K、值矩阵V对应的权重矩阵，Q=FU*wq,K=Fg*WKV=Fg*WVS特征a为外观特征特征b为几何特征注意力权重矩阵AW为一种模态的交叉注意特征a为外观特征特征b为几何特征注意力权重矩阵AW为一种模态的交叉注意将两种模态的交叉注意力矩阵分别输入到前馈网络，前馈网络输出点云到RGB融合特3特征a为外观特征Fa,特征b为几何特征第二个层归一化层的输出点云数据到RGB融特征a为几何特征特征b为外观特征第二个层归一化层的输出RGB到点云数据融4.根据权利要求1所述的双向融合6D物体位姿估计方法，其特征外观特征和几何特征各通过一个MOE模块得到重新分配权重后的MOE外观特征和MOE几利用中心点检测层对分割后图像中的物体进行中心点检测，得到每一个物体的中心采用最小二乘法对预测关键点集与配置文件中每个物体的关键点集CNN特征提取流和PCN特征提取流，分别提取输入RGB图像中的外观特征和点云数据的几何42算机程序被处理器执行时实现如权利要求1至8任一所述双向融合6序实现如权利要求1至8任一所述双向融合5[0001]本发明涉及一种具有MOE基于新型transformer的双向融合二维RGB图像进行网络训练，只能学习到图像中物体的外观特征而丢失掉了重要的几何特题就是如何能够将RGB中外观特征和深度信息具有的几何特征完美融合，从而让网络充分本发明提供一种基于新型transformer架构的双向融合6D物体位6取的相应维度的外观特征Fa和几何特征进行融合，得到点云数据到RGB融合特征p2r和征r2p作为下一个维度几何特征提取时的输入；特征提取层最后输出的外观特征和几何特个物体的预测关键点集，将该预测关键点集与配置文件中每个物体的关键点集进行匹配，Transformer求解两种模态的交叉注意力矩阵，根据两种模态的交叉注意力矩阵获取融合特征p2r和融合特征r2p，基于线性中介注意力机制的新型Transformer求解两种模态的交[0015]特征a为外观特征FZ,特征b为几何特征注意力权重矩阵Aw为一种模态的交叉[0016]特征a为外观特征特征b为几何特征注意力权重矩阵Aw为一种模态的交叉[0017]将两种模态的交叉注意力矩阵分别输入到前馈网络，前馈网络输出点云到RGB融合特征p2r和RGB到点云数据融合特征[0020]特征a为外观特征FZ,特征b为几何特征第二个层归一化层的输出点云数据到[0021]特征a为几何特征特征b为外观特征第二个层归一化层的输出R7[0023]外观特征和几何特征各通过一个MOE模块得到重新分配权重后的MOE外观特征和[0024]特征c同时输入至L个专家模块，L个专家模块的输出依次经过平均值函数和门控像中的外观特征和点云数据的几何特征；CNN特征提取流使用预训练后的ResNet34作为主[0038]本发明的有益效果，FFB6D网络在特征融合的过程中只关注于局部特征之间的联8[0041]图3为本发明基准数据集YCB_Video数据集中常见物体场景图片及其位姿估计结[0054]本实施方式中的标准数据集的处理过程以LineMOD数据集为例，其中包含的物体9[0060]搭建位姿估计网络，网络结构如图1所示。输入为数据集中日常物品复杂场景的经网络(CNN)和点云数据神经网络(PCN)提取RGB数据的外观特征和点云数据中的几何特提取的相应维度的外观特征和几何特征进行融合，得到点云数据到RGB融合特征p2rRGB数据提取到的外观特征和点云数据提取到的几何特征作为输入被送入LMA。两种k[0073]内部多头注意力计算层，外观特征求得的查询矩阵Q首先进行一次全局平均池化少地完成了交叉注意力矩阵的求解，但是Q矩阵经过一次全局平均池化以后丢失掉许多局的同时保留计算精度和权重矩阵的表达能力。最后将求得的点云数据到RGB融合的交叉注止梯度消失，相加后的结果输入至多层感知机(MLP)，该结构可以学习到更抽象的特征表[0080]特征a为外观特征FZ,特征b为几何特征第二个层归一化层的输出点云数据到RGB融合特征p2r；特征a为几何特征特征b为外观特征第二个层归一化层的输出RGB表面深度信息缺失的情况下经过特征融合以后可能会影响正确的外观特征，MOE模块可以[0083]外观特征和几何特征各通过一个MOE模块得到重新分配权重后的MOE外观特征和[0085]特征c同时输入至L个专家模块，L个专家模块的输出依次经过平均值函数和门控[0100]将测试集中对齐好的RGB数据与深度数据一起送入位姿估计网络中，在输入过程位姿与真实位姿下对应点之前的平均欧式距离差异(ADD)。对于对称物体采用对称平均距离差异作为评价指标。计算对称物体上每一个点在预测位姿和真实位姿之间的最短距离。75.859.995.591.896.692.796.