CN114926876B 图像关键点检测方法、装置、计算机设备和存储介质 （黑芝麻智能科技有限公司）

本申请涉及一种图像关键点检测方法、装训练的包括并行设置的回归分支和帧间残差分能够适用于离散帧和连续帧类型图像的关键点2根据所述待检测图像的类型，对所述待检测图像进行对应的预处理图像以及基于所述待检测图像和与所述待检测图像相邻的前一帧图像的灰度图像之差生将所述多通道图像输入预先训练的关键点检测模型中；其中，所4.根据权利要求1所述的方法，其特征在于，当所述待检测图像属于所述连续帧类型获取与所述待检测图像相邻的前一帧图像在输入所述关键点检测模型后回归分支所计算所述直接回归值与所述推测回归值的加权和，作为所36.根据权利要求1至5中任一项所述的方法，其特征所述帧间残差分支包括顺次串行的多个第二卷积神经网络层、展平层所述类型分类分支包括顺次串行的多个第三卷积神经网络层、展平层所述第三全连接层具有第二数量的输出神经元，所述第二数量取决于所获取训练集；所述训练集包括多个离散帧类型的多通道图像和对连续的所述多个连续帧图像中的每一个连续帧图像进行预处理，以根据所述多个连续帧图像与所述单帧图像之间的形变量，并基4所述训练集中每个离散帧类型的多通道图像对应的所述真实值包括所述回归分支的所述训练集中每个连续帧类型的多通道图像对应的所述真实值包括所述回归分支的所述回归分支具有第一损失函数，所述第一损失函数用于表征所述回所述帧间残差分支具有第二损失函数，所述第二损失函数用于表征所述类型分类分支具有第三损失函数，所述第三损失函数用于表征14.根据权利要求13所述的方法，当使用所述离散帧类型的多通道图像训练所述关键型的所述总损失函数基于所述第一损失函数、所述第二损失函数和所述第三损失函数确所述多色彩通道图像以及基于所述待检测图像和与所述待检测图像相邻的前一帧图像的关键点确定模块，用于当所述待检测图像属于所述离散帧类型时，被处理器执行时实现权利要求1至14中任一项所述的5键点检测模型包括并行设置的回归分支和帧间[0010]当所述待检测图像属于所述离散帧类型时，获取所述回归分支输出的回归预测6键点检测模型包括并行设置的回归分支和帧间[0021]当所述待检测图像属于所述离散帧类型时，获取所述回归分支输出的回归预测键点检测模型包括并行设置的回归分支和帧间[0027]当所述待检测图像属于所述离散帧类型时，获取所述回归分支输出的回归预测7[0044]随着深度学习的流行，越来越多的关键点检测算法开始使用卷积神经网络来实少有算法能够自适应的兼顾对离散帧图像和连续帧图像两种图像的可以在例如其他终端或服务器等外部设备上执行，并在得到训练好的关键点检测模型后，8将训练好的关键点检测模型从其他外部设备中加载到终端100上以备使用。在训练好的关作为灰度残差图像，将多色彩通道图像组合灰度残差图像以生成连续帧类型的多通道图实施例中，多色彩通道图像也可以是例如色相、饱和度、亮度(Hues，Saturation，以包括其他图像模式的图像基础上组合灰度残差图像所形是离散帧类型还是连续帧类型。离散帧类型的图片是指与其他图片不具有显著关联的图9像素值全为0的112×112分辨率的零值图像，并确定该零值图像的第一灰度图像作为灰度关键点检测模型包括并行设置的回归分支和帧[0061]在检测阶段开始之前，可以在终端100或外部设备上预先训练得到关键点检测模完成后生成的用于检测阶段的关键点检测模型中可以删去类型分类分支而仅保留回归分支输出的回归预测值Hloc和帧间残差分支输出的残差预测值Hdiff来综合确定关键点的坐106个第二二维坐标可顺次对应人脸中预定义的106个关键点，如此，人脸中预定义的106的坐标可以是根据对应的一个第一二维坐标和一个第二二维坐标综合确定的第三二维坐前帧的回归分支输出的回归预测值Hloc，而当前帧的推测回归值则可通过前一帧的回归分支输出的回归预测值Hloc加上当前帧的帧间残差分支输出的残差预测值Hdiff得到。具体计使得包括离散帧类型或连续帧类型的不同类型的待检测图像可以具有统一格式的多通道[0082]在执行例如人脸等对象的关键点检测时，如果对象的关分支和类型分类分支但是仅需使用回归分支和帧间残差分特征提取得到中间特征图，然后将该中间特征图分别输入不同分支执行不同的预测运算，[0086]在一个实施例中，上述回归分支包括顺次串行的多个第一卷积神经网络层[0088]在一个实施例中，第一全连接层和第二全连接层均具有为二元交叉熵损失函数(BinaryCrossEntropyLoss)时，第三全连接层具有单个输出神归一化层等等其他层。示例地，骨干网络可以包括轻量级网络V2(MobileNetV2，参见MobileNetV2:InvertedResidualsandLinearBottlenecks，MarkSandler,et.al.,TheIEEEConferenceonComputerVisionandPatternRecognition(CVPR),2018,对待检测图像进行初步特征提取，并使得输出的特征图的尺寸和通道数与后续的回归分112分辨率的四通道图像输入骨干网络后，可以输出一张7×7分辨率的256通道图像(可以通道图像。然后该一张1×1分辨率的256通道图像经过展平层展平后得到一个1×256的一中同理地，一张7×7分辨率的256通道图像输入帧间残差分支后，经过两个第二卷积网络[0099]前向传播(ForwardPropogation)和反向传播(BackwardPropogation)是神经网键点检测模型的训练过程包括如下步骤S1010-S1的多通道图像和每个连续帧类型的多通道图像道的第一灰度图像作为灰度残差图像，将Fcur的多色彩通道图像组合灰度残差图像生成一实值GTloc以及类型分类分支的分类真实值G全连接层输出的分类预测值Hcls包括单个输出神经元的输出值、且该单个输出神经元的输前后关联的多个连续帧图像，多个连续帧图像中的每个连续帧图像中均包括感兴趣对象，的残差真实值GTdiff以及类型分类分支的分类真实值续帧类型的多通道图像对应的灰度残差图像的残差真实值GTdiff＝GTloc-GThis；在图第三全连接层输出的分类预测值Hcls包括单个输出神经元的输出值、且该单个输出神经元多个连续帧类型的多通道图像和每个连续帧类型的多通道图像对训练数据对关键点检测模型执行前向传播计算总损失函数以及反向传播更新层权重的迭[0128]对于单个批次而言，类型分类分支的第三损失函数Lcls可以为二元交叉熵损失函[0134]其中Lloc用于保证关键点检测模型预测的精度，Ldiff用于保证关键点检测模型在对连续帧类型的待检测图像进行预测时的稳定性，Lcls用于使关键点检测模型可以自动判采用不同的总损失函数执行训练，这可能需要关键点检测模型在例如步骤S1030之前获知数为Sigmoid激活函数，损失函数为二元交叉熵损失函数(BinaryCrossEntropyLoss)检测模型即为训练好的关键点检测模型。可以将该训练好的关键点检测模型存储于终端[0139]在一个实施例中，在上述步骤S1011中的获取离散帧集合之后且生成多通道图像[0147]关于图像关键点检测装置1200的具体限定可以参见上文中对于图像关键点检测计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM