CN113705297B 检测模型的训练方法、装置、计算机设备和存储介质 （腾讯科技（深圳）有限公司）

本申请涉及一种检测模型的训练方法、装检测的步骤，直至达到训练停止条件时结束训2通过目标检测模型和至少一个参考检测模型，分别对每张待标注图像进行关键点检根据每张所述待标注图像所对应的所述关键点预测结果，确定每张所从多张所述待标注图像中筛选出离散信息量满足目标离散条件的目标图张所述目标图像分别对应的实际关键点信息，所述目标图像的离散信息量高于信息量阈基于包括有所述实际关键点信息的各所述目标图像，对所述目标基于当前轮训练得到的目标检测模型和至少一个参考检测模型根据各套待处理数据的标准差，确定所述待标注图像所对应所述待标注图像所对应的所述至少两组关键点预测结果之间的离从各套待处理数据的标准差中去除最大值和最小值，将剩余的其他各个标准加，得到的总和作为对应的待标注图像所对应的至少两组关键点预测结果之间的离散程对于每套待处理数据，基于相应待处理数据中对应第一方向的第一预测关键点信息，基于相应待处理数据中对应第二方向的第二预测关键点信息按照各所述待标注图像所对应的离散信息量的大小，对多张所述待标注图像进行排3从多张所述待标注图像中筛选出离散信息量高于信息量阈值的待标注图像作为目标所述根据每张所述待标注图像所对应的所述关键点预测结果，确定每基于归一化处理后的每张所述待标注图像所对应的所述关键点预采用包括样本关键点信息的多张初始图像对目标检测模型和至少一个参考检测模型所述基于包括有所述实际关键点信息的各所述目标图像，对所基于包括有所述实际关键点信息的各所述目标图像，以及包从多张所述待标注图像中筛选出满足预设属性条件的多样性图像，获所述基于包括有所述实际关键点信息的各所述目标图像，对所根据包括有实际关键点信息的各所述目标图像，以及包括有实基于所述训练样本集，对所述目标检测模型和至少一个参考确定各所述目标图像和各所述多样性图像分别对应的图像基于所述图像属性类别，从所述目标图像和所述多样性图像中筛选在进行多轮迭代训练过程中，当通过当前轮训练得到的目标检4通过训练好的目标检测模型对每张训练图像进行关键点检测，得将各训练图像作为样本输入，并将相应训练图像的标准检测模块，用于通过目标检测模型和至少一个参考检测模型，确定模块，用于根据每张所述待标注图像所对应的所述关键点处理数据，确定所述待标注图像所对应的所述至少两组关键点预测结果之间的离散程度，筛选模块，用于从多张所述待标注图像中筛选出离散信训练模块，用于基于包括有所述实际关键点信息的各理器执行时实现权利要求1至12中任一项所述的方法56图像中的关键点信息不易检测到。因而基于筛选出的目标图像进行标注以作为样本输入，[0022]图3为一个实施例中通过训练好的目标检测模型对人脸图像进行关键点检测得到[0023]图4为另一个实施例中通过训练好的目标检测模型对人脸图像进行关键点检测得[0024]图5为一个实施例中针对每张待标注图像，确定待标注图像所对应的至少两组关7和便携式可穿戴设备，服务器102可以用独立的服务器或者是多个服务器组成的服务器集8[0041]关键点预测结果是目标检测模型或者参考检测模型对待标注图像进行关键点检[0042]目标检测模型和至少一个参考检测模型中的每个模型对每张待标注图像进行关参考检测模型中的每个模型对应一组关键点预测得到A模型对应的一组关键点预测结果、B模型对应的一组关键点预测结果和C模型对应的[0047]目标检测模型可以是StackedHourGlass模型，也可以是基于热图回归的HRNet(HighResolutionNet，高分辨率网络)模型，还可以是基于坐标回归的ResNet50[0048]参考检测模型可以是基于热图回归的HRNet模型，也可以是基于坐标回归的是基于热图回归的HRNet模型和基于坐标回归的ResNet50，计算机设备通过StackedHour9热图回归的HRNet模型可以是带预训练的模型，基于坐标回归的ResNet50也可以是带预训[0056]步骤S206，从多张待标注图像中筛选出离散信息量满足目标离散条件的目标图[0065]计算机设备将包括有实际关键点信息的各目标图像分别输入目标检测模型和至关键点信息的图像，对目标检测模型和至少一个参考检测模型分别进行当前轮的模型训离散条件的目标图像可以认为是不同的检测模型对这张图像进行关键点检测时结果差异筛选出的带有实际关键点信息的目标图像用于对目标检测模型和至少一个参考检测模型进行模型训练时，目标检测模型和至少一个参考检测模型可以学习到更多的关键点信息，[0076]当目标检测模型是StackedHourGlass(级联沙漏网络)模型时，通过图像时，计算机设备可以对人脸图像中的脸部标记关键点所在的脸部标记进行淡化处理，[0081]至少两组关键点预测结果之间的离散程度是指至少两组关键点预测结果之间的[0082]计算机设备确定待标注图像所对应的至少两组关键点预测结果之间的离散程度[0084]计算机设备基于离散程度确定待标注图像对应的离散信息量的实施方式并不限即目标检测模型和至少一个参考检测模型对于相同关键点预测出的预测关键点信息越不得到的总和作为待标注图像所对应的至少两组关键点预测结果之间的[0105]在一个实施例中，假设模型k(目标检测模型和参考检测模型的其中一个)对每张指定数量的待标注图像后，从筛选的待标注图像中离散信息量最高和最低的待标注图像，大概2万个目标图像即可训练得到关键点检测准确并且稳定性高的StackedHourGlass模一化比较准确的模型。在其他实施例中，归一化模型也可以采用StackedHourGlass或者待标注图像进行归一化处理，可以使得每张待标注图像的关键点预测结果在同一量纲上，化处理得到归一化处理后的待标注图像B，从而更准确地确定各待标注图像分别对应的离[0133]初始图像指的是对目标检测模型和至少一个参考检测模型进行预训练的样本图键点信息指的是初始图像中实际上的关键点[0135]计算机设备采用包括有样本关键点信息的多张初始图像对目标检测模型和至少点的各目标图像、上一轮模型训练的训练图像以及包括有样本关键点信息的各初始图像，[0139]图6为另一个实施例中检测模型的训练方法的流程图。计算机设备从待标注的初注图像池612中获取更新的多张待标注图像，基于当前轮训练得到的目标检测模型和至少每张待标注图像所对应的关键点预测结果，确定每张待标注图像分别对应的离散信息量[0145]训练样本集是对目标检测模型和至少一个参考检测模型进行训练的多个样本的[0146]在另一种实施方式中，计算机设备可以对包括有实际关得到的目标检测模型可以准确地对各种属性的图像进行[0154]例如，预设精度条件可以是目标检测模型的关键点预测结果的精度达到90也应训练图像的标准关键点结果作为样本标签，对应用于终端的线上检测模型进行模型训目标检测模型对训练图像进行关键点预测的结果准确性高，可以作为训练图像的样本标[0161]在一个实施例中，训练好的目标检测模型的网络结构复杂，运行时CPU(central[0163]步骤1：采用包括样本关键点信息的多张初始图像对目标检测模型和至少一个参考检测模型进行预训练，得到预训练的目标检测模型以及预训练的至少一个参考检测模点检测能力比预训练的模型的关键点检测能训练好的目标检测模型可以准确地对不同图像属性类[0181]图7为一个实施例中检测模型的训练方法的时序图。计算机设备中包括有检测模[0184]筛选模块从多张待标注图像中筛选出离散信息量满足目模型分别进行模型训练；基于训练后的目标人脸检测模型和至少一个参考人脸检测模型，频进行物品关键点检测，基于物品关键点检测结果对该物品图像或者物品视频进行处理，图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是[0196]筛选模块806，用于从多张待标注图像中筛选出离散信息量满足目标离散条件的离散条件的目标图像可以认为是不同的检测模型对这张图像进行关键点检测时结果差异筛选出的带有实际关键点信息的目标图像用于对目标检测模型和至少一个参考检测模型图像所对应的至少两组关键点预测结果之间的离散[0205]在一个实施例中，上述筛选模块806还用于按照各待标注图像所对应的离散信息[0206]在一个实施例中，上述筛选模块806还用于从多张待标注图像中筛选出离散信息待标注图像进行归一化处理；上述确定模块804还用于根据归一化处理后的每张待标注图定模块804还用于基于归一化处理后的每张待标注图像所对应的关键点预测结果，确定每预训练的目标检测模型以及预训练的至少一个参考检测模型，通过检测模块802分别对每张待标注图像进行关键点检测；上述训练模块808还用于基于包括有实际关键点信息的各[0210]在一个实施例中，上述筛选模块806还用于从多张待标注图像中筛选出满足预设808还用于根据包括有实际关键点信息的各目标图像，以及包括有实际关键点信息的各多[0211]在一个实施例中，上述筛选模块806还用于确定各目标图像和各多样性图像分别[0213]在一个实施例中，上述训练模块808还用于通过训练好的目标检测模型对每张训[0215]关于检测模型的训练装置的具体限定可以参见上文中对于检测模型的训练方法件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过一种检测模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示