CN119478575A 模型训练方法、装置、计算机设备及存储介质 （深圳市欢太科技有限公司）

道高新南一道13号赋安科技大厦B座质算机设备及存储介质，涉及计算机视觉技术领基于预测坐标信息与标注坐标信息之间的差异终三维重建参数预测模型输出的用于三维重建2获取第一样本集，所述第一样本集中的第一样本图像包括人体，将所述第一样本图像输入至参数预测模型，得到所述人体的第一人根据所述人体的第一人手参数、所述第一人体参数以及基于所述三维人体模型，获取所述关节点的坐标信息，作为基于所述预测坐标信息与所述标注坐标信息之间的差异程度，联关节点的相对旋转参数，所述相对旋转参数为关节点相较于对应的父节点的旋转参数，所述关联关节点包括所述人体的关节点中与所述手腕关节点关联在所述基于所述预测坐标信息与所述标注坐标信息之间的差基于所述手腕关节点以及关联关节点的相对旋转参数，预测所述基于所述预测坐标信息与所述标注坐标信息之间的差异程度，基于所述手腕关节点的绝对旋转参数与所述预测绝对旋转参数之基于所述三维人体模型，获取所述关节点的三维坐标信息，将所述关节点的三维预测坐标向预设平面进行映射处理，得到所述所述标注坐标信息包括二维标注坐标以及三维标注坐标，所述基3所述将所述第一样本图像输入至参数预测模型，得到所述人体对所述第一样本图像进行降采样，得到第一目标图像，所述第一目标基于所述手部区域对应的热度图，从所述第一样本图像中获取手部区域利用所述特征融合单元，对所述第一人体特征以及所述第一人手特征进行融合处理，获取第二样本集，所述第二样本集中的第二样本图像均包携带有所述人体的关节点的二维标注坐标信息以及所述基于所述人体的关节点的二维标注坐标信息以及所述手部标注框基于所述第一人体关节点热度图与所述标注人体关节点热度图之将第三样本集中的第三样本图像输入至第二初始特征提取单元，得到第二人手特征，根据所述第三人手参数以及预先训练的人手重建模型基于所述三维人手模型，获取所述手部关节点的坐标信息，4基于所述手部关节点的预测坐标信息以及所述手部关节点的标注坐标信息之间的差训练样本获取模块，用于获取第一样本集，所述第一参数预测模块，用于将所述第一样本图像输入至参数预测模型，得三维重建模块，用于根据所述人体的第一人手参数、所模型训练模块，用于基于所述预测坐标信息与所述标注坐标信及所述第一人手参数与第二人手参数之间的差异程度，对所述参数预测模型进行迭代训一个或多个程序，其中所述一个或多个程序被存储在所述56息与标注坐标信息之间的差异程度，以及第一人手参数与第二人手参数之间的差异程度，[0020]图10是本申请实施例的用于执行根据本申请实施例的模型训练方法的计算机设[0021]图11是本申请实施例的用于保存或者携带实现根据本申请实施例的模型训练方7将结合图1对本申请实施例提供的模型训练方法进行详细阐述。该模型训练方法可以包括[0030]其中，参数预测模型可以用于提取第一样本图像中人体的人体特征以及人手特8测模型进行迭代训练的过程中，除了会基于预测坐标信息与标注坐标信息之间的差异程9面将结合图4对本申请实施例提供的模型训练方法进行详细阐述。该模型训练方法可以包[0050]由于第一样本图像一般是高分辨率图像，若直接基于第一样本图像提取人体特[0057]考虑到第一人体特征是人体特征提取单元从低分辨率的第一目标图像中提取得第一人手特征经过一卷积层后与人体特征在channel维度进行拼接融合，从而得到上述第所述第一人手参数，以及利用所述人体参数回归单元对所述第二人体特征进行参数回归，到所述关节点的三维预测坐标；将所述关节点的三维预测坐标向预设平面进行映射处理，[0075]具体地，可以利用三维预测坐标以及三维标注坐标计算[0081]具体地，可以利用二维预测坐标以及二维标注坐标计算[0084]p产a=(p产a,cn)b表征人体相机参数。[0087]在一些实施方式中，可以对三维预测损失值以及二维预b＝Lb-2d+Lb-3d。[0089]在另一些实施方式中，由于第一样本图像中人体的关节点的二维坐标更容易标gwrw[0093]其中，θ表征人手参数预测单元输出的手腕关节点的绝对旋转参数，FK(θ,Agwrw体参数回归单元预测出的手腕关节点的相对旋转参数去反推手腕关节点的绝对旋转参数，人体人手联合重建的重建精度可以得到较大提升，尤其是在用户使用单目RGB动作捕捉等面将结合图8对本申请实施例提供的模型训练方法进行详细阐述。该模型训练方法可以包也包括第一人手框中心点热度图以及第一人标注手部关节点热度图包括标注人手框中心点热度图以及标注人手框宽高[0123]以及，基于第一人手框宽高热度图以及标注人手框宽高[0141]在实际应用中，基于关节和非刚性变换的人手(handModelwithArticulated[0150]p一a=I(p产a,cn)参数以及人体参数重建的三维人体模型的手腕连接[0165]请参照图9，其中示出了本申请一实施例提供的一种模型训练装置400的结构框[0166]训练样本获取模块410用于获取第一样本集，所述第一样本集中的第一样本图像[0167]参数预测模块420用于将所述第一样本图像输入至参数预测模型，得到所述人体[0168]三维重建模块430用于根据所述人体的第一人手参数、所述第一人体参数以及预[0170]模型训练模块450用于基于所述预测坐标信息与所述标注坐标信息之间的差异程述标注坐标信息之间的差异程度，以及所述第一人手参数与第二人手参数之间的差异程元可以用于基于所述预测坐标信息与所述标注坐标信息之间的差异程度，确定第一损失的第一人体特征以及所述人体的手部区域对应的热度图；基于所述手部区域对应的热度数以及第一人体参数之前，将第三样本集中的第三样本图像输入至第二初始特征提取单请实施例提供的上述方法可以由该计算机设备500执行。该计算机设备可以是具有数据处像专家压缩标准音频层面3)播放器、MP4(MovingPictureExpertsGroupAudioLayer并被配置为由一个或多个处理器501执行，一个或多个程序配置用于执行如前述方法实施编程门阵列(Field－ProgrammableGateArray，FPGA)、可编程逻辑阵列(Programmable实现下述各个方法实施例的指令等。存储数据区还可以存储计算机设备500在使用中所创[0189]请参考图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框算机可读介质(non_transitorycomputer_readablestoragemedium)。计算机可读存储以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。