CN119516285A 基于预训练扩散模型处理受限数据的高精度姿态估计方法 （江西财经大学）

基于预训练扩散模型处理受限数据的高精本发明提出基于预训练扩散模型处理受限2将基础类别图像和新类别图像进行图像缩放，得到图像缩放结果，并调用函数生成随机嵌入向量，对随机嵌入向量结合噪对注意力头的查询表示与注意力头的键表示进行归一化机制处理，得将预处理的图像对输入至U_Net中的解码器中，取解码器中的残差块的输出作为特征对特征图利用聚合网络进行混合权重的加权处理以得到聚对聚合特征图进行取余弦相似度最高点的操作，得到预处理的图对于无标注的图片类，通过无标注无监督损失和无标注一致性损根据有标注的图片类的学习和无标注的图片类的反向传播训练对模型的权重和参数2.根据权利要求1所述的基于预训练扩散模型处理受限数据的高精度姿态估计方法，;其中，表示U_Net中Transformer的第c个注意力头和第l个线性层计算得到的查询表示，o;()表示U_Net的第c个注意力头，表示数据张量的形状，H表示U_3在将噪声图像输入编码器，并结合关键点提示，分别得到注意;K;表示U_Net中Transformer的第c个注意力头和第l个线性层计算得到的键表Y;表示U_Net中第l个线性层，RO表示数据张在对注意力头的查询表示与注意力头的键表示进行归一化机;其中，M表示全面的交叉注意力图，E.ro表示在第l=7到l=10层之间取平均在对特征图利用聚合网络进行混合权重的加权处理以得;F表示聚合特征图，s表示时间步，l表示线性层的总数，f()表示瓶颈层，表示第l个线性层的第s时间步的特征图，r,表示第l个线性层的第s时间步的混合权重；在对聚合特征图进行取余弦相似度最高点的操作，得到预处理;其中，wn),表示语义对应操作给定输入图像的点n,找到参考图像的对应点,表示从语义对应关系中的两张图像提取出来的其中一个聚合特征，r;表示从对应关系中的两张图像提取出来的另外一个聚合特征，表示取余弦相似度最高点3.根据权利要求2所述的基于预训练扩散模型处理受限数据的高精度姿态估计方法，4利用训练集以迭代的形式重复步骤1至步骤将基础类别图像预测的关键点热图与全面的交叉注意力图，结合预基于匹配完成的预测关键点热图和匹配完成的真实关键点热图将基础类别图像预测的聚合图像特征，结合真实标签进行对称交叉熵损失机制处理，其中，对于无标注的图片类，通过无标注无监督损失和无标注对聚合特征图进行取余弦相似度最高点的操作，并结合全面的交叉注像对预测的关键点热图以及图像对预测的伪标签点，将图像对预测的伪标签点进行转化，基于图像对预测的关键点热图以及转化的高斯热图构建均方误差对预测的关键点热图与高斯热图进行之间进行定位损失计算，以得到其中，根据有标注的图片类的学习和无标注的图片类的反向传对新类别图像预测的关键点热图的定位损失计算结果以及新类别图像的一致性损失对基础类别图像的匹配损失、基础类别图像的对称交叉熵损失一致性损失计算结果以及新类别图像预测的关键点热图的定位损失计算结果进行动态权将基础类别图像的匹配损失、基础类别图像的对称交叉熵损失54.根据权利要求3所述的基于预训练扩散模型处理受限数据的高精度姿态估计方法，;经过匹配函数s()找到的输入图像上第k个预测关键点热图，表示输入图像上第k个真实关键点热图，表示经过匹配函数s()找到的参考图像上5.根据权利要求4所述的基于预训练扩散模型处理受限数据的高精度姿态估计方法，;其中，Lnc表示基础类别图像优化的聚合网络函数，ri表示输入图像的聚合特征图，6.根据权利要求5所述的基于预训练扩散模型处理受限数据的高精度姿态估计方法，;其中，表示参考图像的第k个预测关键点对应的伪关键点坐标的最大值坐标生成6成的高斯热图，corrd表示生成的图像坐标张量，表示参考图像的第k个预测关键点对应的伪关键点坐标，表示输入图像的第个预测关键点对应的伪关键点坐标，7.根据权利要求6所述的基于预训练扩散模型处理受限数据的高精度姿态估计方法，;输入图像的第k个关键点的预测热图，M,[k]表示参考图像的第k个关键点的预测8.根据权利要求7所述的基于预训练扩散模型处理受限数据的高精度姿态估计方法，;个预测关键点对应的伪关键点坐标最大值位置生成的9.根据权利要求8所述的基于预训练扩散模型处理受限数据的高精度姿态估计方法，类别图像一致性损失计算结果以及新类别图像预测的关键点热图的定位损失计算结果进;7β和表示三个互不相同的进行权衡的超参数。10.根据权利要求9所述的基于预训练扩散模型处理受限数据的高精度姿态估计方法，;得值最大的像素点的索引操作，w表示关键点热图在宽度方向的像素坐标，h表示关键8稳定扩散模型的交叉注意力图将文本标记连接到图像中语义相关准确的语义对应关系，语义对应让学习到的关键点提示(keypointsprompts)在每张图像9将预处理的图像对输入至U_Net中的解码器中，取解码器中的残差块的输出作为对特征图利用聚合网络进行混合权重的加权处理以得到聚根据有标注的图片类的学习和无标注的图片类的反向传播训练对模型的权重和2、本发明在只使用少量有标注数据和一些无标注数据的情况下达到较好的姿态[0010]图1为本发明提出的基于预训练扩散模型处理受限数据的高精度姿态估计方法的图2为本发明提出的基于预训练扩散模型处理受限数据的高精度姿态估计方法训[0013]请参阅图1，本发明实施例提出一种基于预训练扩散模型处理受限数据的高精度;;c表示随机采样的噪声。将预处理的图像对输入至U_Net中的解码器中，取解码器中的残差块的输出作为对特征图利用聚合网络进行混合权重的加权处理以得到聚的查询表示与注意力头的键表示，注意力头的查询表示的计算过程对应存在的关系式如;其中，表示U_Net中Transformer的第c个注意力头和第l个线性层计算得到;K;表示U_Net中Transformer的第c个注意力头和第l个线性层计算得到Y;表示U_Net中第l个线性层，RO表示数据张量的形状，N表示token的数;在对特征图利用聚合网络进行混合权重的加权处理以得到聚合特征图的步骤中，;F表示聚合特征图，s表示时间步，l表示线性层的总数，f()表示瓶颈l个线性层的第s时间步的特征图，表示第l个线性层的第s时间步的;n)..表示语义对应操作给定输入图像的点pi找到参考图像的对语义对应关系中的两张图像提取出来的另外一个聚合特征，表示取余弦相似度最根据有标注的图片类的学习和无标注的图片类的反向传播训练对模型的权重和基于匹配完成的预测关键点热图和匹配完成的真实关键点热图构建均方误差损对新类别图像预测的关键点热图的定位损失计算结果以及新类别图像的一致性图像一致性损失计算结果以及新类别图像预测的关键点热图的定位损失计算结果进行动图像一致性损失计算结果以及新类别图像预测的关键点热图的定位损失计算结果进行整[0027]在基于匹配完成的预测关键点热图和匹配完成的真实关键点热图构建均方误差;表示经过匹配函数s()找到的输入图像上第k个预测关键点热图，表示输入图像上第k个真实关键点热图，表示经过匹配函数s()找到的参考图像上;;;其中，表示参考图像的第k个预测关键点对应的伪关键点坐标的最大值坐标生成的高斯热图，表示输入图像的第个预测关键点标生成的高斯热图，corrd表示生成的坐标张量，表示参考图像的第k个预测关键点对应的伪关键点坐标，表示输入图像的第个预测关键点对应的伪关键点坐标，大小利用meshgrid操作和维度调整生成维度为[64,64,2]的图像坐标，高斯图高宽大小其中，表示新类别图像一致性损失函数，v,[k]表示第k个关键点热图M,[k]的可见度作为置信度，VIe]表示第k个关键点热图M,[e]的可见度作为置信度，[0033]在对新类别图像预测的关键点热图的定位损失计算结果以及新类别图像的一致;别图像一致性损失计算结果以及新类别图像预测的关键点热图的定位损失计算结果进行;其中，Lnm表示总体损失的权重分配结果，表示使预测关键点热图去逼近高