CN115661246B 一种基于自监督学习的姿态估计方法 （中山大学）

本发明公开一种基于自监督学习的姿态估2S1、使用公开的图片数据集，基于对比性方法的自S3、以标注了关键点的图片及其对应的标定视S5、获取目标图片的深度图，并将目标图片的关相机坐标系统与世界坐标系统之间的转换关系表示为一个相似变换，该相似变换由标量s所使用的图片数据集包括ImageNet_1K或ImageNe基于对比性方法的自监督学习算法预训练得到视觉主干模型的具对于每个像素特征，通过像素传播模块计算得到其平滑变换后的向j)g(·)是一个变换函数，通过若干个含有批归一化和线性整流函数的线性层进行实例3在非对称的结构设计中，有两个不同的编码器：一个是加载j是第j个像素特征经平滑变换后的向量；该损失在所有正样本对的每个图像平均计基于部分整体关系约束的自监督训练得到部分分割网络的具其中是归一化项，用来将部分响应图转化成为一个空间上的概率分而且这个损失是可导的，这个损失函数鼓励每个k的方差。对于每张训练图像，使用一个限定参数范围的随机的空间变换Ts(·)和外观变异Ta4上式第一项对应的是部分分割的对等约束，上式第二项对应的是部分中心的对等约神经网络的中间层信息具有目标和部分的语义信而保证了相同的部分响应会对应预训练分类特征空间归一化后的部分基向量形式化地将正交约束作为一个作用于上的损失5coneqvbg分别为对应损失函数的均衡系数。6认知理解现实3D世界的重要过程。传统的计算机视觉领域主要关注在2D图像上视觉理解，于现实3D世界的理解也逐渐受到关注。也有研究者关注通过能够获取现实3D世界的传感(2)、当前的计算机视觉的深度学习主干模型均是基于图像标签作为监督[0005]因次，本发明希望构筑鲁棒及可解释的计算机视觉模型来应对这些强对抗性场7定视角特征图和深度图上对应位置的标定视角特征qi和深到：8j)9[0040]其中是归一化项，用来将部分响应图转化成为一个空间上的概k的方差。[0050]形式化地有，给定C一维分类特征vepcxxw,希望能找到K个代到被不同目标实例所共享的部分基向量wk组成的语义字典{wk}，保证了跨实例的语义一致[0053]在训练语义一致性损失的时候，存在不同的部分基对应行为归一化后的部分基向量形式化地将正交约束作为一个作用于上的[0057]利用在其他训练集上预训练得到的显著性检测模型生成显著性图，利用显著性之前的基于某种监督信号进行学习的部分整体关系发现方法产生区别、图像重构、完形填空等；例如自然语言处理领域中的经典模型BERT(Bidirectional定视角特征图和深度图上对应位置的标定视角特征qi和深到：[0090]在本实施例中的步骤S1中，使用公开的大规模的图片数据集如ImageNet_1K、ImageNet_21K等作为训练集，基于对比性方法的自监督学习算法预训练得到视觉主干模j)[0101]其中，Lnisrn表示像素传播损[0110]其中是归一化项，用来将部分响应图转化成为一个空间上的概k的方差。到被不同目标实例所共享的部分基向量wk组成的语义字典{wk}，保证了跨实例的语义一致[0124]在训练语义一致性损失的时候，存在不同的部分基对应过部分分割结果的具体数值为输入，再通过回归学习训练得到一个网络作为关键点估计点、关键点对应的标定视角特征都可以通过少样本上微调得到的关键点估计器生成得到，[0139]在进行姿态估计时，本实施例参考姿态估计的经典工作，发表于ECCV2018的[0150]以下通过具体的示例用于对上述实施例1中的基于自监督学习的姿态估计方法进的动量网络和投影头。像素传播模块(PPM)被应用到常规分支上。采用常规的数据增强策[0155]使用多个损失函数训练部分分割网络和语义部分基，其中包括几何集中损失采用不同的学习率(部分分割网络学习率大于视觉主干模型)同时进行自监督目标部分整体关系上的微调。也并不困难。CAD模型的标定视角可以被定义为目标3D包围框最大的维度缩放到[_0.5,类标记人员将选出与图片内容最接近的CAD模型，在Pascal3D+和ObjectNet3D上作类似的以训练的混合表示的标注都相对容易获取。假设StarMap方法对于深度估计和标定视角特免去了在其他的CAD模型未知的目标上标[0169]所述