CN115761734B 基于模板匹配和概率分布的物体位姿估计方法 （福州大学）

基于模板匹配和概率分布的物体位姿估计本发明涉及一种基于模板匹配和概率分布习输入图像像素和匹配模板之间的密集2D_2D对应关系，进而生成图像像素与3D模型之间的2D_2进而生成图像像素与3D模型之间的2D_络SFE，但仅使用其最后一层的特征，并增加一个1X1卷积层，将维数从HXWXD降低到HXW分别利用查询模板的前景和使用步骤S1中预测的分割掩码表示的目标图像中的目标前景来预先计算模板特征t=RI和图像特征f=R0,然后计算f和t之间的sim(f,t)表示f和t之间每像素的相关性，corr表示皮尔逊相关，h和w表示像素坐标，anchor是随机选择目标表面区域的描述符，f+表示与fanchof_表示与fanchor姿势具有不同姿势的模板，u被设置为fanchor和f+中的目标的旋转之间的角最后，在测试时，选择与目标图像中检测到的目标具有最高相步骤S11：从网络上获取公开的位姿估计数据集，得到用于模型整数集，N表示语义分割网络的深度维度；因此，SFE中第k个深度的网络为SP,满足3k和Wk表示第k个深度输入网络的图像宽度和k表示第k个深度维度下分割网络从每个模板提取的特征图，表示物体3D模型的点最后，特征图fk中的每个像素与整个对象描述符ok相匹配，从而产生相关张量其中p和p'分别是图像和模板片中的像素坐标；通过匹配对应于模型的3D坐标系中最4步骤S32：对3D空间差异大的2D_2D对应采用异常步骤S41：从前S个匹配模板中的每一个独立地估计2D_2D对应并从它们估计姿态来生可学习的2D_3D对应参数化的概率分布；在训练期间，使用预测和目标姿态分布之间的5实准确地表示物体的空间状态是必不可少的，其中也包括获取目标物体的位置和位姿信[0003]尽管物体位姿估计技术已经取得很大进步，但是现有的仅使用RGB图像进行位姿[0008]步骤S3：利用深度学习网络学习输入图像像素和匹配模板之间的密集2D_2D对应算网络N个深度维度的特征，这些特征的索引为k，满足{keN]1≤k≤N},其中，N表示非负整数集，N表示语义分割网络的深度维度；因此，SFE中第k个深度的网络为满足k和Wk表示第k个深度输入网络的图像宽度和6[0018]其中，模型描述符ok表示第k个深度维度下从围绕物体的球体上虚拟视点渲染的[0019]最后，特征图fk中的每个像素与整个对象描述符ok相匹配，从而产生相关张量[0024]分别利用查询模板的前景和使用步骤S1中预测的分割掩码表示的目标图像中的目标前景来预先计算模板特征t-RHXWXD'和图像特征f=RXWXD',然后计算f和t之同时惩罚旋转相似性较差的特征，并利用具有动态余量的修改的三重损耗Ltriplets来优化7_表示与fanchor姿势具有不同姿势的模板，u被设置为fanchor和f+中的目标的旋转之间[0035]使用C的逆C_1重新计算关于非标准化目标坐标的对应关系，[0045]步骤S41：从前S个匹配模板中的每一个独立地估计2D_2D对应并从它们估计姿态对应学习前所未有的灵活性；将PnP的输出解释为由可学习的2D_3D对应参数化的概率分8[0059]步骤S3：利用深度学习网络学习输入图像像素和匹配模板之间的密集2D_2D对应算网络N个深度维度的特征，这些特征的索引为k，满足fkeN]1≤k≤N},其中，N表示非负整数集，N表示语义分割网络的深度维度；因此，SFE中第k个深度的网络为满足k和Wk表示第k个深度输入网络的图像宽度和9[0069]其中，模型描述符ok表示第k个深度维度下从围绕物体的球体上虚拟视点渲染的k表示第k个深度维度下分割网络从每个模板提取的特征图，表示物体3D模[0070]最后，特征图fk中的每个像素与整个对象描述符ok相匹配，从而产生相关张量[0075]分别利用查询模板的前景和使用步骤S1中预测的分割掩码表示的目标图像中的目标前景来预先计算模板特征t=RXWXD'和图像特征f=RXWXD',然后计算f和t之同时惩罚旋转相似性较差的特征，并利用具有动态余量的修改的三重损耗Ltriplets来优化_表示与fanchor姿势具有不同姿势的模板，u被设置为fanchor和f+中的目标的旋转之间[0086]使用C的逆C_1重新计算关于非标准化目标坐标的对应关系，[0096]步骤S