基于卷积神经网络的U-net模型的人像分离工具

基于卷积神经网络的U-net模型的人像分离工具portraitseparationtoolofu-netmodelbasedonconvolutionalneuralnetwork

内容摘要图像信息是人类视觉感知信息的重要部分，随着计算机、电子技术日益进步，大规模运算和信息的数-模转换走入现实，由此催生出分为图像识别、分割、重建等领域的数字处理技术蓬勃发展。作为图像分割的典型应用场景，人像分割是进行人像美化、背景处理、人脸识别等领域的重要前提。因此通过人像分割从图像中精确且完整地提取出人像目标，对后续处理有必要作用。本文以深度学习中的卷积神经网络为基础，研究如何利用U-Net模型在人像照片较有限的情况下达到人像分离合格的准确率。最终实现模型的IOU在92.1%左右，Dice系数在95.7%左右。对比早期的分割方法，卷积神经网络U-Net模型通过类似编码器—解码器的“U”型结构实现更简便、稳定地提取数据的特征，且能更加有效的提高分割的准确度。关键词：深度学习；人像分割；U-Net模型AbstractImageinformationisanimportantpartofhumanvisualperceptioninformation.Withthedevelopmentofcomputerandelectronictechnology,large-scaleoperationanddigital-to-analogconversionofinformationcomeintoreality,Therefore,thedigitalprocessingtechnologyincludingimagerecognition,segmentationandreconstructionhasbeendevelopedvigorously..Asatypicalapplicationsceneofimagesegmentation,isanimportantpremiseofimagebeautification,backgroundprocessing,facerecognitionandsoon.Therefore,itisnecessarytoextracttheimageobjectaccuratelyandcompletelyfromtheimagebyportraitsegmentationInthispaper,basedontheconvolutionalneuralnetworkindeeplearning,westudyhowtousetheU-Netmodeltoachievethequalifiedaccuracyrateofhumanimageseparationunderthelimitedsituationofhumanimage.TheIOUofthefinalmodelisabout92.1%,andtheDicecoefficientisabout95.7%.Comparedwiththeearliersegmentationmethods,TheconvolutionalneuralnetworkU-Netmodelextractsthefeaturesofdatamoreeasilyandstablythrougha"U"-likestructureintheencoder-decoder,It’scanimprovethesegmentationaccuracymoreeffectively.Keywords：deeplearning;portraitsegmentation;U-Netmodel广东东软学院本科生毕业设计（论文）1目录TOC\o"1-3"\h\u第一章绪论 第三章基于Tensorflow的神经网络搭建3.1系统环境配置3.1.1配置tensorflow实验环境TF环境是进行本次课题研究的基础。安装tensorflow：下载安装好Anaconda。Anaconda是一个iDE及环境管理工具，可以按照IDE、配置环境、安装所需工具包等，大大减少了用户使用难度。配置好tensorflow环境。图3-1Anaconda主界面本次实验的环境是基于python3.7的tensorflow-cpu版本。安装实验所需工具包：在Anaconda中安装工具包是一件很容易的事，打开anaconda软件,切换到要用到的环境，点击首页左侧的环境,就可以配置tensorflow的环境了。图3-2安装工具包3.2数据集选择我们本次选择的是CelebA—HQ数据集，但囿于计算能力，我们仅使用前两千张图片及其对应的掩膜（Mask），该数据集介绍如下：CelebA—HQ是大规模人脸图像数据集，包含三万张高分辨率人脸图像(从CelebA数据集选择而来)及人脸属性分割蒙版。CelebA是CelebFacesAttribute的缩写，意即名人人脸属性数据集，为了为人脸语义分割和属性操作打下更好的研究基础，研究人员在CelebA的基础上构建了包含30000张高分辨率512×512的人脸图片，包含了面部19类详细的信息标注。针对被部分遮挡的面部区域，标注员还进行了推断补全了语义标签。到此可以了解到对应蒙版细分到头发耳眼鼻眉嘴等人脸属性，所以需要在数据预处理时进行合成。图3-3数据集图像3.3数据预处理3.3.1Mask（掩膜)合并处理及转换数组形式打开mask文件夹可以看到许多不同的人脸属性掩膜。图3-4Mask文件夹图像在代码中，我们新建一个convert_image类，包含两个函数read_images和to_npy，read_images函数用来读取图像及对图像对应的各人脸属性掩膜合成并读取图3-5read_images函数代码将图片和掩膜转换成数组形式并作长久保存。图3-6to_npy函数代码3.3.2训练集验证集划分训练集验证集按照8:2划分，也就是训练集验证集分别是1600和400张图像及对应掩膜。训练集的功能是通过设置分类器的参数来训练模型。当与验证集结合训练验证时，将选出同一参数的不同值以分别拟合出多个分类器。验证集：用训练集训练出的多个模型来对验证集进行预测，记录下各个模型的准确率，最后选出最好的模型及其对应的参数，用来逐渐调整模型参数。测试集：是模型在前面训练验证一直没接触过的数据，是用来测试训练出来的最佳模型的性能。设置训练集、验证集、测试集主要是防止训练的模型逐渐过拟合。图3-7训练集验证集划分代码3.4搭建u-net卷积神经网络U-Net模型由FCN结构发展而来，因其整体结构似字母U而得名，在医学图像领域应用广泛。它由左半部分的下采样的部分（特征提取部分），右半部分的上采样部分组成。通过反复的卷积获得输入图像的特征信息，并且将其映射到高维使得图像最丰富的特征信息存在于整个模型的高维。不同于FCN，u-net模型不直接对与原始图像大小相同的输出图像进行池化，反而通过反卷积，将特征从高纬重新映射到低维。图3-8构建U-Net模型部分代码3.5模型训练与结果在模型进行训练之前，还需用compile设置一些学习条件。本次研究中主要需设置的参数有两个：（1）优化器我们知道，通过训练以不断调整模型的参数，使得每次变换后参数对输入作非线性变化以逐渐拟合输出，最后求得最佳的参数也就是最佳模型。而优化器也就是更新参数的算法。本次研究选用的优化算法是adam。（2）损失函数损失函数也是本次模型训练中的必备参数。在训练过程中通过loss可以明了模型的好坏。本次实验选择的激活函数是sigmoid函数，损失函数选用二元交叉熵函数（binary_crossentropy）。关于训练块（batch_size）的大小，经过多次尝试，最终选择了4，迭代100次.本文实验使用的训练函数是fit_generator（）。相比fit（）函数，fit_generator（）函数通过“边生成边训练”的方法，让该网络与生成器将一起执行，大大地节省了内存。经过训练后。最终的模型验证集准确率在85%左右。图3-9模型损失函数图像第四章人像分割的设计与实现4.1加载模型及测试集加载之前训练好并保存的模型读取测试集数组及掩膜图4-1模型加载及读取数据代码4.2测试开始测试并计算出测试每张图片用时，用cpu跑的，可以看到测出单张图片将近0.8秒。图4-2测试代码4.3预测图片呈现图4-3部分预测图片4.4计算IOU及Dice系数人眼只能大概感知分割效果如何，那么如何理性地准确量化呢？本实验采用IOU和Dice系数两种指标来评价模型最终的分割效果。所谓的分割效果也就是分割结果与标准Mask之间的相似程度。IOU和Dice系数计算公式分别如下图4-4IOU计算公式图4-5Dice系数计算公式IOU(IntersectionOverUnion，交并比)在本实验中即分割出来的人像部分与Mask二者的交集除以二者的并集。Dice系数（dicesimilaritycoefficient）相当于在IOU分子分母上同时加了一个二者的交集。最后算出本模型的IOU在92.1%左右，Dice系数在95.7%左右。图4-6计算IOU及Dice系数代码

五．总结与展望5.1总结为了解放全人类，即让人从必要而自身不感兴趣的任务中逐渐解放出来，能够让机器像人一样学习、思考、决策、行动一直是部分人的梦想。而机器做到这一切之前的前提就是他能像人一样感知，即能够解读得到的信息。图像信息就是其中一部分，而学会图像分割是必要的。就像人的眼睛一样，首先要通过锁定整个视觉中的目标物体，然后才能精准地进行下一步行动。本文首先编写了课题的研究背景与国内外研究现状、研究目的和意义，然后介绍了卷积神经网络、U-Net模型及框架等理论知识以及基于Tensorflow构建U-Net模型，最后描述了如何通过训练好的U-Net对测试集图片进行预测。最终实现模型的IOU在92.1%左右，Dice系数在95.7%左右。对比早期的分割方法，卷积神经网络U-Net模型通过类似编码器—解码器的“U”型结构实现更简便、稳定地提取数据的特征，且能更加有效的提高分割的准确度。5.2展望与不足通过本次课题的研究，让我对卷积神经网络、U-Net模型、图像分割以及tensorflow框架等都有更进一步的了解。囿于自身能力、实验时间、硬件能力等原因，对于人像分割的研究实现还有如下改进空间：由于使用的CelebA-HQ训练集有部分掩膜标注不十分准确，可以更换其他更合适人像数据集以改进模型。因为电脑硬件原因，只能使用tenflowcpu版，训练的图片量有限，之后可以升级硬件以改进模型。由于时间有限，往后希望可以把模型加载进一个小程序或软件或网站，呈现一个更完善的人像分割系统。

参考文献[1]赵明君李杰毛明禾.基于标签传递的人像分割[J].数据采集与处理,2019(01):179-186.

[2]王泽荣.移动端实时人像分割算法研究[J].现代计算机：中旬刊,2018(3):4-4.[3]魏秀参《解析深度学习：卷积神经网络原理与视觉实践》2018.11[4]U-Net:ConvolutionalNetworksforBiomedicalImageSegmentation,