CN114663274B 一种基于gan网络的肖像图像头发去除方法及装置 （浙江大学）

ConferenceonComputer一种基于GAN网络的肖像图像头发去除方法本发明公开了一种基于GAN网络的肖像图像中对隐码进行随机采样获得头发隐码-分数数据HairMapper模型；步骤5、通过性别分离边界与MaleHairMapper模型编辑得到女性光头隐码；2步骤1、在styleGAN隐空间中对隐码进行随机采样获得隐码集，对隐码集中的隐码进步骤3、通过头发分离边界对头发隐码-分数数据集中用语义扩散细化优化得到头发隐码-分数数据集中的男性有头发隐码对应的男性光头隐辑男性隐码去除肖像图像中的头发，并保持肖像图像面部特征不变的MaleHairMapper模2.根据权利要求1所述的基于GAN网络的肖像图像3.根据权利要求1所述的基于GAN网络的肖像4.根据权利要求1所述的基于GAN网络的肖像图像头发去除方3失，为隐码损失的权重，Lnesr为头发区域的像素级损失，为头发区域的像素损失的5.根据权利要求1所述的基于GAN网络的肖像4[0001]本发明涉及肖像编辑技术领域，尤其涉及一种基于GAN网络的肖像图像头发去除图像中头发的存在给数字发型设计和人脸三维重建造成了重大挑战。在数字发型设计方[0003]传统除去头发的方法，通过是对实际的男女图像进行修[0004]学术文献InterpretingtheLatentSpaceofGANsforSemanticFaceEditing.(InAdvancesinNeuralInformationProcessingSystems33(2020):pages[0005]学术文献Styleclip:Text-drivenmanipulationofstyleganimagery.(InProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2021.,pages2085-2094,2021)公开了一种CILP语言-图像预训练模型，通过在但是该方法不能很好的处理头发去除问题，因为StyleGAN不存在女性-光头这一组合的语5过性别边界解决了StyleGAN隐空间中不存在女性-光头这一组合的语义信息的问题；更进进行标注获得有头发标签与光头标签，并将隐码集与标注标签组合成头发隐码-分数数据[0011]步骤3、通过头发分离边界对头发隐码-分数数据集中的男性有头发隐码进行编辑，采用语义扩散细化优化得到头发隐码-分数数据集中的男性有头发隐码对应的男性光性有头发隐码，将转换后的男性有头发隐码输入至训练好的MaleHairMapper模型中获得的女性光头隐码与对应的女性有头发隐码组成数据集，输入至预先构建的头发去除模型[0018]步骤2.1、基于头发隐码-分数数据集中的男性有头发隐码与对应的男性光头隐6[0024]优选的，所述步骤6中的头发去除模型在迭代训练时，采用目标损失函数公式如用于对输入的肖像图像进行编码获得对应的隐码，经过计算编辑后获得对应的光头隐码，所述图像生成器基于获得的光头隐码生成去除头[0028]优选的，所述步骤7中的融合拼接，是将待除去头发的肖像图像脸部特征通过Poissonediting操作与编辑计算获得的光头隐码输出的肖像图像进行无缝融合，获得去7进行标注获得有头发标签与光头标签，并将隐码集与标注标签组合成头发隐码-分数数据[0051]步骤1.3、将上述D0数据集的隐码及对应的头发分数组成头发隐码-分数数据集hair：[0055]步骤2.2、根据式(VII)使用StyleFlow随机ofstylegan-generatedimagesusingconditionalcontinuousnormalizingflows.8[0062]步骤3、通过头发分离边界对头发隐码-分数数据集中的男性有头发隐码进行编辑，采用语义扩散细化优化得到头发隐码-分数数据集中的男性有头发隐码对应的男性光得到没有头发并且保持面部特征不变的肖像图像的隐码[0081]步骤4.1、基于步骤3中得到的成对的有头发和没有头9[0099]步骤4.8、利用不断迭代优化Mm的参数，降低总损失L，得到训练完成的MaleHairMapper模型；该MaleHairMapper模型用于直接编辑男性隐码从而去除肖像图像中的性有头发隐码，将转换后的男性有头发隐码输入至训练好的MaleHairMapper模型中获得[0101]步骤5.1、采用性别分离边界编辑隐码wj,所述为D0和Dnoise中对应的女性肖与构成成对的有头发和没有头发的女性隐码。的女性光头隐码与对应的女性有头发隐码组成数据集，输入至预先构建的头发去除模型[0122]步骤6.1、基于步骤3中得到的成对有头发和没有头发的男性隐码与步骤5中的得到的成对有头发和没有头发的女性隐码砂"与构成数据集H：[0126]其中，识别模块包括编码器，该编码器用于对输入的肖像图像进行编码获得在StyleGAN隐空间中对应的隐码，并输入至头发去除模块，其中编码器选用DesigninganX,沉es)(CI)anencoderforStyleGANimagemanipulation提供的投影器对输入的肖像图像进行编,根据公式(XCIX)对隐码wsr编辑计算获得对应[0139]⃞sr=wtsr+BXM(wts)