CN111797264B 图像增广与神经网络训练方法、装置、设备及存储介质 （北京京东尚科信息技术有限公司）

本发明实施例提供一种图像增广与神经网述三维图像由所述目标对象的二维图像重建获目标对象的所述设置关键点的与所述设定角度点的转换坐标与姿态对应关系对所述缺损二维2获取携带有目标对象的设置关键点标注的三维图像，其中所述三获取所述三维图像旋转设定角度后投影所对应的缺损二维图括所述目标对象的所述设置关键点的与所述设定角度对应基于训练后的神经网络对所述缺损二维图像进行特征提取，基于所述基于所述修复图像得到所述目标对象的增广将所述缺损二维图像输入训练后的生成对抗网络，通过生成网络将所述生成后的二维修复图像和所述二维图像输入对抗网络，确定获取所述目标对象的二维图像，基于所述二维图像以及三维标基于所述目标对象的所述设置关键点的与所述设定角度对应的转换获取所述目标对象的原始二维图像作为待增广图像基于包含目标对象的二维图像重建获得三维训练图像，所述三获取基于所述三维训练图像旋转不同设定角度后分别投影所对应的多个二维训练图3将所述二维训练图像输入初始的生成对抗网络，通过生成网络基转换坐标与姿态对应关系获得对应的生成后将所述二维训练图像和所述训练修复图像输入所述对抗网络，基于所述判别结果对所述生成对抗网络进行单独交替迭代，直采用如权利要求1至7中任一项所述的图像增广方法获得目标对象的增所述目标对象的二维图像和所述增广图像集形成训练样将所述训练样本集输入神经网络模型进行训练，直至所述神经网络获取模块，用于获取携带有目标对象的设置关键点标注的三维图投影模块，用于获取所述三维图像旋转设定角度后投影所对缺损二维图像包括所述目标对象的所述设置关键点的与所述设定角度对应第一处理模块，用于基于训练后的神经网络对所述缺损二维图将所述缺损二维图像输入训练后的生成对抗网络，通过生成网络将所述生成后的二维修复图像和所述二维图像输入对抗网络，确定样本生成模块，用于采用如权利要求1至7中任一项所述的图像增广方法训练模块，用于将所述训练样本集输入神经网络模型进其中，所述处理器用于运行所述计算机程序时，实现权利4特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述图像增广方5征提取，基于所述设置关键点的转换坐标与姿态对应关系对所述缺损二维图像进行修复，6成模块，用于采用本发明任意实施例所提供的图像增广方法获得目标对象的增广图像集，[0012]本发明上述实施例中，通过获取携带有目标对象的设置7将三维人脸模型旋转一定角度以及进行106点关键点采样后的投影，得到不同角度下的包8损二维图像包括所述目标对象的所述设置关键点的与所述设定角[0038]获取所述三维图像旋转设定角度后投影所对应的缺损二维图像是指基于获取的[0039]所述目标对象的所述设置关键点的与所述设定角度对应的转换坐标是指建立不[0045]本发明上述实施例中，通过获取携带有目标对象的设置9[0048]二维图像是指用于重建获取三维图像所拍摄或者绘制的包含目标对象的原始图3D变形的人脸模型由m个人脸模型组成，其中每一个人脸模型都包含相应的Si和Ti两种向[0053]其中表示平均脸部形状模型，Si和ei分别表示形状和表情的主成分分析二维图像中对应的像素点确定三维图像中每一关键点的对应在三维标准模型中的索引值，像包含了所述目标对象的所述设置关键点的与所述设定角度对述三维图像旋转设定角度后所述目标对象对应的姿态，基于所述姿态确定对应的投影矩确定第一姿态对应的投影矩阵确定对应的缺损二维图像以及对应的所述目标对象的所述[0062]在一实施方式中，所述获取携带有目标对象的设置关键[0063]获取所述目标对象的原始二维图像作为待增广图像，对所述待增广图像进行处理，得到处理后的所述目标对象的二维图像；其中所述处理包括缩放处理和/或归一化处键点的转换坐标与姿态对应关系获得生成后的[0068]生成对抗网络(GAN,GenerativeAdversarialNetworks)是一种深度学习模型。模型通过框架中(至少)两个模块：生成模型(GenerativeModel)和判别模型键点的转换坐标与姿态对应关系获得生成后的二维修复图像是指通过生成网络基于所述设置关键点的转换坐标与姿态对应关系生成纹理修复后的图像，即生成后的二维修复图二维修复图像和所述二维图像的判别结果是指基于所述生成后的二维修复图像和所述二[0072]在一实施方式中，所述获取携带有目标对象的设置的关键点标注的三维图像之[0074]获取基于所述三维训练图像旋转不同设定角度后分别投影所对应的多个二维训[0076]获取基于所述三维训练图像旋转不同设定角度后分别投影所对应的多个二维训练图像的二维训练图像集是指通过对所述三维训练图像按照不同设定个角度进行旋转并[0078]在一实施方式中，所述获取携带有目标对象的设置的关键点标注的三维图像之[0081]基于所述判别结果对所述生成对抗网络进行单独交替迭代直至设置的损失函数是指通过再采样得到的二维训练图像更新生成网络参数，重新获得生成后的训练修复图络和训练后的对抗网络，利用训练后的生成对抗网络来修补由于旋转而造成的纹理空洞，所提供的图像增广方法获得的目标对象的增广图[0094]这里，基于目标对象的二维图像形成对应的增广图像集作为神经网络的训练样[0097]投影模块32，用于获取所述三维图像旋转设定角度后投影所对应的缺损二维图[0098]第一处理模块33，用于基于训练后的神经网络对所述缺损二维图像进行特征提于所述姿态确定对应的投影矩阵；基于所述投影矩阵确定与所述姿态对应的缺损二维图图像旋转不同设定角度后分别投影所对应的多络进行单独交替迭代直至设置的损失函数满足收敛条件，获得训练后的所述生成对抗网[0107]可选地，所述第一处理模块33还用于根据对抗损失函数理器210并非用于指代处理器的个数为一个，而是仅用于指代处理器相对其他器件的位置述三维图像旋转设定角度后所述目标对象对应的姿态，基于所述姿态确定对应的投影矩[0119]获取所述目标对象的原始二维图像作为待增广图像，对所述待增广图像进行处理，得到处理后的所述目标对象的二维图像；其中所述处理包括缩放处理和/或归一化处影所对应的多个二维训练图像的二维训练图程只读存储器(PROM，ProgrammableRead-OnlyMemory)、可擦除可编程只读存储器(EPROM，ErasableProgrammableRead-OnlyMemory)、电可擦除可编程只读存储器磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccess静态随机存取存储器(SRAM，StaticRandomAccessMemory)、同步静态随机存取存储器(SSRAM，SynchronousStaticRandomAccessMemory)、动态随机存取存储器(DRAM，DynamicRandomAccessMemory)、同步动态随机存取存储器(SDRAM，SynchronousDynamicRandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，储器211旨在包括但不限于这些和任意其它适合类型[0133]本发明实施例中的存储器211用于存储各种类型的数据以支持发送端的操作。这[0134]本实施例还提供了一种计算机存储介质，例如包括存储有计算机程序的存储器述三维图像旋转设定角度后所述目标对象对应的姿态，基于所述姿态确定对应的投影矩[0142]获取所述目标对象的原始二维图像作为待增广图像，对所述待增广图像进行处理，得到处理后的所述目标对象的二维图像；其中所述处理包括缩放处理和/或归一化处影所对应的多个二维训练图像的二维训练图[0165]这里，获取二维图像106点关键点坐标是指基于设置关键点的三维坐标和对应的增广图像集是指将每一所述缺损二维图像修