CN114782691B 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 （安徽工程大学）

基于深度学习的机器人目标识别与运动检本发明公开了基于深度学习的机器人目标和位置编码的实例分割网络对潜在动态物体所2步骤S1、通过融合注意力机制和位置编码的实步骤S3，由于相机位姿与物体位姿投影在同一张步骤S4，求出潜在运动物体上所有点运动视差中位数，所述步骤S1中，多注意力模块由通道注意力机制和空间注意力机制两个子网络组成，将输入特征图F分别在通道维度和空间维度进行连接，并将对应获取的通道维度特征图F′意力其主要作用为增加特征图中被遮挡位置像素值权重，经过学习不断调整各个权重值，所述步骤S1中，将H×W×C的输入特征图F输入到通道注意v对输入特征图步骤S1中，还将输入特征图F输入空间注意力机制，通过平均池化和最大池化后进行concat融合形成H×W×2特征图fc，再通过3×3×1卷积层和Sigmoid函数处理得到空间注u将fu与输入特征图F连接得到经空间注意所述步骤S1中提出一种相对位置编码算法，该算法使用j3k为空间静态点投影到Fk中2D像素坐标；)Δ-1Hcexp(hc)]应残差运算所需3D点投影至2D点数量，为前一帧Fk-1中2D像素坐标投影到当前40将物体动态偏差与一个由微分熵引导并随熵缓慢变大的动态阈值Δd＝H(G(x))进行对比，2.根据权利要求1所述的基于深度学习的机器人目标识别与运动检测方法，其特征在处理器执行时实现如权利要求1-2中任一所述的基于深度学习的机器人目标识别与运动检4.一种计算机设备，包括存储器、处理器及存储在存储器5[0001]本发明涉及同步定位与地图创建(SimultaneousLocationAndMapping，SLAM)[0002]同时定位与地图构建(SimultaneousLocalizationandMapping,SLAM)是移动6行concat融合形成H×W×2特征图fc，再通过3×3×1卷积层和Sigmoid函数处理得到空间u与输入特征图F连接得到经空间注意力加权后的空间维度特征图F帧Fk-1k为空间静态点投影到Fk中2D像素坐标；7k-1为相应残差运算所需3D点投影至2D点数量TT可Te"为残于此将物体动态偏差与一个由微分熵引导并随熵缓慢变大的动态阈值Δd＝H(G(x))进行程序被处理器执行时实现如上所述的基于深度学习的机器人目标识别与运动检测方法的8重的多注意力模块以及提取全局特征和提高边界语义信息的融合相对位置编码Transformer模块。主干网络模块在ResNet-101基础上增加特征金字塔网络FPN构建残差-信息的特征图输入到融合相对位置编码Transformer模块，将具有丰富高维特征信息的特态信息完成动态区域剔除后当前帧RGB图像和深度图静态背景修复，并引入信息熵与交叉9机制和空间注意力机制两个子网络组成。将输入特征图F分别在通道维度和空间维度进行连接，并将对应获取的通道维度特征图F'与空间维度特征图F”进行concat融合得到输出[0067]通道注意力机制作用为将特征图中各层通道分配相应权重。本方法将H×W×C特征图F进行逐层通道加权得到通道维度特征图F/。[0070]本方法使用的空间注意力机制主要作用为增加特征图中被遮挡u与输入特征图F连接得到经空间注意力加权后的空间维度特征图Fjj机制无法标记输入元素顺序，因此引入位置编码对Transformer尤为重要。目前Transformer在图像领域位置编码难以表征输入元素之间相关性，无法精确区分遮挡物体z表示输出矩阵维度。相对变换矩阵，SE(3)为李代数矩阵；Ik-1为空间静态点投影到Fk-1中3D点，坐标为(mk-1，[0096]依据相机运动估计物体位姿变换矩阵Hc∈SE(3)，将潜在动态对象建模为一个带k-1点与其真实投影点的像素距离d为动态视觉误差基于此将物体动态偏差与一个由微分熵引导并随熵缓慢变大的动态阈值Δd＝H(G(x))进[0116]下面以结合具体实验对上述基于基于深度学习的机器人目标识别与运动检测方遮挡可见区域的特征表示，同时将提出的位置编码加入Transformer网络增加遮挡物体语[0118]图7为本方法在公开TUM数据集中潜在动态物体运动判断结果验证本方法物体运断三步法，并利用二维图像中动态视觉误差与微分熵相结合确定潜在动态物体运动状态，[0121]图12至图13为本方法算在公开数据集不同序列下的绝对轨迹误差和相对轨迹平移误差柱状图，并采用均方根误差(RMSE)和标准差(S.D.)作为衡量标准，其值越低代表加入ATNET实例分割算法检测场景中潜在动态物体，并利用潜在运动物体三步判断法估计[0135]上述关于计算机可读存储介质中程序执行后实现步骤的具体限定可以参见实施图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统