【《面部表情图像转换技术的实现案例分析》2200字】_第1页
【《面部表情图像转换技术的实现案例分析》2200字】_第2页
【《面部表情图像转换技术的实现案例分析》2200字】_第3页
【《面部表情图像转换技术的实现案例分析》2200字】_第4页
【《面部表情图像转换技术的实现案例分析》2200字】_第5页
已阅读5页,还剩5页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

面部表情图像转换技术的实现案例分析目录TOC\o"1-3"\h\u11504面部表情图像转换技术的实现案例分析 1143031.1实验环境 1281381.2实验数据集 1100371.3实验预处理与训练 323721.4实验结果展示 51.1实验环境本实验是在个人电脑(LenovoLegionR7000P)上进行数据的预处理和模型的训练。硬件配置为:CPU(AMDRyzen74800HwithRadeonGraphics2.90GHz),16G内存,6144MB显存(NVIDIAGeForceRTX2060)。软件配置为:Anaconda3-1.7.2(Python3.8.5),PyTorch1.8.0,CUDA10.2。1.2实验数据集本实验的任务是针对多种人脸情绪进行转换,在训练前期需要收集大量不同情绪的数据集。由于人们在社交网络上对于负面情绪(生气、厌恶、哭泣)的表达比较少,收集到的数据集只有几百张,达不到很好的训练效果。因此本实验完成的情绪转换机制主要是微笑、悲伤、惊讶以及露齿笑这几种情绪。对于笑脸主要是使用香港中文大学开放提供的CelebA数据集(CelebFacesAttribute)。CelebA数据集是一个大约20万张且有40个属性注释的大型人脸属性数据集[35]。本实验用到Smiling属性和Mouth_Slightly_Open属性。通过脚本把下载完整的数据集分类放在不同的文件夹。并通过微笑时是否露出牙齿,将其细分为微笑和露齿笑。图4-1CelebA数据集在收集数据集的过程中,曾考虑过使用ExpW数据集,其包含使用Google图像搜索下载的91793张人脸图像。每个人脸图像被手动标注为七种基本表情类别之一。但是这个数据集并不理想,存在含有大量非人脸数据,图片大小不一致、人脸占比例不同等问题。所以这个数据集只使用很小一部分。图4-2ExpW数据集实验中用到的惊讶表情属性主要来源于CK+数据集。这个数据集是CK数据集的扩展。这个数据库是一个包含593个连拍得到的图像序列,并且含有动作标签和情感标签。因为人物表情丰富,且各种标签注释准确,这个数据库被广泛运用于面部表情识别的训练中。图4-3CK+数据集收集到的数据集还要经过处理,将图像大小调整为178*218,使其人脸居中,占据图像的三分之一左右,并剔除其中表情属性不明显以及个别表情标签错误的图像。1.3实验预处理与训练预处理模型实验中用固定的像素训练及测试图片。图片预处理时,调用PyTorch框架中的torchvision[35],其中torchvision.transforms函数对图像做归一化(normalize),尺寸剪裁(resize),翻转(flip)。transforms.ToTensor()是将一个PIL图像转换为张量tensor。即将(H*W*C)范围在[0,255]的PIL图像转换为(C*H*W)范围在[0,1]的torch.tensor。transforms.Normalize用均值(0.5,0.5,0.5)和标准差(0.5,0.5,0.5)对图像做归一化处理。torch.optim是各种优化算法的包,并且支持训练中大多数常用的方法和更容易集成的接口的通用性。torch.optim.lr_scheduler模块能够根据训练次数epoch来调整学习率(learningrate)[37]。通常epoch和学习率成反比时训练效果能更好。当完整样本遍历一次循环结束,设置初始的lr=0.0001作为学习率。在遍历迭代过程中,设置学习率下降乘数因子gamma。每一次遍历中学习率都变为初始学习率的gamma倍。训练模型将所有的模型参数梯度设置为0,对不同的情绪进行分开训练。以训练生成器netN2P为例:通过生成模型netN2P把数据集中的非笑脸图片转换为生成的微笑图片和原图片的掩膜,再进行逆操作通过反向生成器netP2N把这张生成的微笑图片生成虚假的非笑脸。把生成的微笑图片和任意选的一张真实的笑脸图片成对输入判别器,并通过优化器来执行单个优化步骤。由于不同情绪的数据集规模大小不完全一致,其训练次数、batch值不尽相同。每200次batch循环训练就输出一次进展:两个判别器的损失值,笑脸图片转非笑脸图片真实情况的损失值以及非笑脸图片转笑脸图片虚假情况的损失值。存储模型将优化后的模型存储在netDN.Pth、netDP.Pth、netN2P.Pth、netP2N.Pth中,并经过100次循环训练就输出最新一次的损失值。还存储最近生成的掩膜和生成图片的情况,以便能及时直观地观察到当前训练的效果。图4-4当前训练效果1.4实验结果展示1.1.1主界面展示运行程序后的主界面如图4-5所示,共含有五个功能模块。最上方是选择图像按钮和被选择图像所在的文件路径,用户可以根据需要选择需要转换的图像。被选择的图像将会显示在主界面的左半部分,而转换后的图像相对显示在主界面的右半部分,两者形成对比,更好地展示人脸情绪的转换效果。中间是情绪转换功能模块,分别实现微笑、露齿笑、惊讶和悲伤四种情绪的转换。点击所需的情绪按钮,用户输入的原始人脸图像也就被转换成对应的情绪。主界面的右下角的一组按钮中,保存按钮能实现对输出图像的保存,其保存路径在对应的主程序文件夹中;帮助按钮是对用户使用该程序的一个使用帮助指南;退出按钮则是实现终止程序的功能。图4-5程序主界面图4-6帮助提示框1.1.2转换结果展示露齿笑转换由图4-7和图4-8可以看出,不管输入的人物图像是悲伤或者微笑,都能被很好地转换成露齿笑的表情。图像中人物的面部内容(包括头部姿势,发型,发色,面部轮廓,配饰,背景等)已确定的内容并没有发生很大的改变,很好地维持了与原图人物在语义内容上的一致性。而且生成的图像面部笑容十分明显,嘴角弧度上扬角度较大,而且能清楚地看到人物的牙齿。图4-7露齿笑转换图图4-8露齿笑转换图微笑转换相对于露齿笑转换而言,微笑转换效果根据输入图片嘴角弧度的不同,转换效果有所差异。若输入的图像嘴角略微上扬,可近似看成微笑时,转换后的图像可能并没有发生较明显的转换。若输入一张悲伤表情的图像,转换效果相对更好。但是由于训练时的数据集分类不够规范,转换后的图像可能是露出些许牙齿的微笑。图4-9微笑转换图图4-10微笑转换图惊讶转换由于训练时的惊讶标签的数据集规模较小,转换效果并没有得到预期的效果。转换后的图像中人物嘴巴微微张开,脸部长度略微拉长,可认为是惊讶情绪。但也有一部分输出图

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论