【《基于迁移学习的人脸识别方法的研究》15000字（论文）】

[4]。3.2.3激励函数常见的激励函数有三种。他们的公式如下所示。 f(x)=1 f(x)=tanh⁡(x f(x)=max(a)(b)(c)图3-SEQ图3-\*ARABIC1sigmoid函数、tanh(x)函数、ReLU函数（1）sigmoid函数我们观察sigmoid的图像如图3-1(a)可以看出，该函数的函数范围在0到1之间。也就是说，当输入从负无穷到正无穷变化时，输出从一个无限接近0的数逐渐增加到一个无限接近1的数，并且趋势从平缓到陡峭到平缓。在负无穷时最接近0，在正无穷时最接近1，单调增长。Sigmoid函数是早期神经网络训练的激励函数，人们认为，sigmoid可以很好的反应神经元在被刺激后是否被激活，如果未被激活，就是0；如果完全被激活就是1。但近几年人们不再采用这种激活函数是因为它有很多弊端。比如：Sigmoid函数在梯度下降时，非常容易饱和并且停止传递。计算梯度是反向传播算法的一个重点过程。当输入的函数是一元函数时，有性质表明，此时函数的梯度斜率是一致的。读取图像信息可以看出，当输入一个非常大的信号值（不论正负），输出值应该趋近于0或1，而此时图像是平行于坐标轴的那么可以退出斜率是0，梯度也同样是0。这种局部梯度值为0的情况会直接导致最终梯度值也变成0,到了残差回传的时候，网络就因为sigmoid函数饱和失效。极端情况下，初始权重设置的不合适，在神经网络全部选择sigmoid函数作为激励函数的情况下，神经元可能全部饱和那么网络就会直接停止训练。Sigmoid函数还有一个问题是没有0中心化。假设输出的值非0并且保持一直是正数或负数，那么经过反向传播算法后，回传到权重的梯度值的符号是不会变的，非正即负。这会影响梯度下降的训练，会导致训练的权值呈现齿状变化，不能进行平稳的迭代运算这是我们不希望看到的。（2）tanh(x)函数如图3-1(b)所示为tanh(x)函数。这种与sigmoid相似的数值分布的结果是，在输入很大或者很小的值时，tanh(x)同样容易饱和，但是tanh(x)优于sigmoid函数的地方在于它具备0中心化的特点，这也是tanh(x)应用更为广泛的原因。（3）ReLU函数修正线性单元(TheRectifiedLinearUnit)简称ReLU，ReLU的图像如图3-1(c)所示。相比前两种函数，它的应用更广泛一般取得的效果更好。因为它有以下两点优势：收敛速度快。梯度计算简单。基于ReLU函数是线性函数，在梯度计算过程中会更简单。ReLU也不是没有缺点，如果我们将学习率设置的太高，那么在训练过程中，会有相当一部分比例的ReLU单元失效。所以使用ReLU函数主要要求我们初始化一定要做的合理，否则效果可能也不会很好。3.3优化框架Adam优化算法，是一个寻找全局最优点的优化算法，引入了二次方梯度校正。Adam是自适应估计的简称（AdaptiveMomentEstimation），是梯度下降算法的一种变形，Adam会将每次迭代的参数限制在一个范围内，不允许参数自己更新，这就可以保证不会因为梯度很大而导致步长也变得很大，反过来影响参数的大小。Inception-v3默认使用RMSprop作为优化算法，而Adam优化性能是优于原来的优化函数，这在于前文提到的不仅基于一阶矩均值计算适应性参数率还同时充分利用了梯度的二阶矩阵均值（即有偏方差）。Adam在深度学习领域被大量运用，主要是因为它很快就能实现优良的结果，具有高效性。Adam在参考文献中的建议参数设定为：alpha=0.001、beta1=0.9、beta2=0.999和epsilon=10E−8。其中，alpha为学习率或步长因子，它控制权重的更新比率，这个值大了会有更快的初始学习，小了会令训练收敛到较好的性能，所以可以根据需求调整这个参数；epsilon是为了防止在实现中除以0一般数值非常小。Adam的默认数值就能取得良好的效果，可以处理大多数分类问题。3.4基于迁移学习的卷积神经网络人脸识别算法3.4.1算法思想YannLeCun教授于1988年提出了第一个在数字识别问题上实现成功应用的网络模型LeNet-5模型。这个模型有两个卷积层，两个池化层和三个全连接层。2014年被首次提出的Inception-v3模型，也是我们这篇论文想采用的模型有46层，由11个Inception模块构成，共有96个卷积层。对比这两种模型，我们可以清楚的感受到卷积网络不断发展，不论是层数还是复杂度都发生了巨大的变化。模型越来越复杂，层数越来越多要训练好一个有实用价值的网络就需要大量的有标签的数据。但这项任务耗时费力成本很高。为了解决有标签的数据和训练时间的问题，我们提出了在卷积神经网络实现人脸识别的基础上融合迁移学习的思想。如图3-2就是思想示意图，我们下载已经预训练完毕的Inception模型，我们就获得了训练好的所有层参数，然后将最后一层的全连接层进行替换。我们知道Inception本来是1000分类网络，经过替换后我们希望实现对我们自定义的数据集进行12分类。通常在训练样本数据足够多的情况下，通过迁移学习训练的模型的分类结果可能不如对数据进行重新训练。但是如果在模型性能相差较少的情况下，迁移学习所需要的训练时间短和训练样本数据量小的优势就体现出来了，大大降低了我们训练网络需要的成本。图3-SEQ图3-\*ARABIC2思想示意图3.4.2算法流程本部分内容是对本文提出的迁移学习在人脸识别中的应用研究的算法的流程解释。如图3-3是本算法的流程图。步骤一，下载预训练好的inception-v3模型，保存各层的权重和么一个节点取值的计算方法。步骤二，将保存的inception-v3模型的前几层保留，用已经保存的参数去对带有标签的目标数据训练，从而获得目标数据的特征向量。步骤三，利用步骤二训练好的特征向量重新构建全连接层，全连接层满足12分类的目的，并且利用softmax对结果进行更好地分类。图3-SEQ图3-\*ARABIC3算法流程图4．结果分析4.1实验环境本论文主要是迁移学习在人脸识别的应用研究的算法，为了构建算法，采用了python语言，python语言有丰富的服务于机器学习的库，它们都具备非常丰富的处理能力。本算法的应用环境是tensorflow，还有PIL、numpy、matplotlib.pyplot、random、sklearn等。实验环境配置如下表。表4-1实验配置环境配置项配置参数操作系统Windows10x64ITSB内存16GBCPUIntel(R)Core(TM、i5—7300HQCPU主频2.5GHZ实现语言Python3.6.5主要环境Tensorflow2.5.04.2实验结果经过迁移学习后，因为有已经预训练过的模型，我们的训练时间很短5000步训练用时大概10分钟，如果我们重头开始训练一个新的Inception-v3网络需要这个时间的20倍不止，而经过5000步训练，最终acc值为0.852349，最终loss值为0.0004840932。而将测试图片输入测试程序后，显示它的图像标签并且输出预测的准确率，准确率大概在0.75。这个准确率并不十分理想，我认为与训练次数还不够多有关系，网络还未饱和还有上升空间，还有就是带标签的目标样本数据较少，所以造成准确率不够高的结果。实验成果如下图

5．结论目前，卷积神经网络在计算机视觉方面已经得到了广泛的应用，并且也相应的取得了辉煌的成果。卷积神经网络发展至今出现了更深更复杂更精巧的结构，同时在条件允许的情况下，识别的准确率越来越高。但同时，训练一个可信度高的模型要求也越来越高，这需要大量的带标签的数据，对计算机的硬件要求也极高，也需要大量的时间，这对我们的实际应用来说都是不小的挑战。而迁移学习是解决这一问题的良方，本文的研究围绕迁移学习在人脸识别中的应用研究展开。成果如下：（1）叙述了人脸识别和迁移学习的研究背景，分别介绍了它们的研究意义和国内外研究现状。（2）介绍了卷积神经网络和迁移学习的相关理论和研究方法。从基础结构开始介绍卷积神经网络叙述神经网络各层的作用。同时简介了GoogLeNet为后文引入Inception-v3打下了基础。叙述了迁移学习的基本概念和类别，引入了本文要采用的方法fine-tune。（3）详细介绍了本文采用的方法和实现本文算法需要的各项参数。首先介绍了我们要迁移的模型Inception-v3的结构和特点。然后详细叙述了参数的初始设置这也是训练网络的重要步骤，再介绍为了取得更好地分类效果采用的优化框架。最后展示了本文的算法思想和流程。（4）给出了依据前文思路得到的实验成果，输入测试图像进行分类并得到预测的准确率为0.75，得出的结果低于模型训练的acc。但还是体现了深度迁移学习这一思想的可行性。文章还是有很多不足的地方，首先是最后的结果不尽如人意，效果并不是非常好。本文的算法只是对迁移学习在人脸识别的应用研究的一次简单尝试，应该寻找更有效迁移学习算法应用到人脸识别中；其次，对网络参数的设置基本都是默认值并未调整对比观察对实验结果的影响应该调试参数取得更好的效果；最后，并未在主流的人脸识别库上测试本模型的效果，得出的结果并不十分可靠。在未来的学习工作中希望有机会改正。

参考文献鲍睿栋,赵敏.基于卷积神经网络的人脸识别研究综述[J].软件导刊,2018,17(04):6-8.arlWeiss,TaghiM.Khoshgoftaar,DingDingWang.Asurveyoftransferlearning[J].JournalofBigData,2016,3(1).张琦.基于迁移学习的单样本人脸识别[D].哈尔滨工程大学,2016.张秋颖.基于迁移学习的人脸识别方法研究[D].哈尔滨工程大学,2018.黄振文，谢凯，文畅，等.迁移学习模型下的小样本人脸识别算法[J]

.长江大学学报(自然科学版)，2019，16(7):88~94.付双晨.基于迁移学习的小数据集人脸识别[D].四川:西南财经大学,2017.陈超,齐峰.卷积神经网络的发展及其在计算机视觉领域中的应用综述[J].计算机科学,2019,46(3):63-73.DOI:10.11896/j.issn.1002-137X.2019.03.008.王科俊,段胜利,冯伟兴.单训练样本人脸识别技术综述[J].模式识别与人工智能,2008,21(05):635-642.AlimuinRyann,DadiosElmer,DayaoJonathan,ArenasShearyl.Deephypersphereembeddingforreal-timefacerecognition[J].TELKOMNIKA(TelecommunicationComputingElectronicsandControl),2020,18(3).徐镇.基于LBP和CNN的人脸识别算法研究[D].重庆大学,2019.周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017,40(06):1229-1251.WangMeiandDengWeihong.Deepfacerecognition:Asurvey[J].Neurocomputing,2021,429:215-244刘鑫鹏,栾悉道,谢毓湘,等.迁移学习研究和算法综述[J].长沙大学学报,2018,32(05):33-36+41.HeK,ZhangX,RenS,etal.DeepResidualLearningforImageRecognition[J].IEEE,2016.SzegedyC,LiuW,JiaY,etal.Goingdeeperwithconvolutions[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2015:1-9.KingmaDP,BaJ.Adam:Amethodforstochasticoptimization[J].arXivpreprintarXiv:1412.6980,2014.庄福振,中国科学院智能信息处理重点实验室,庄福振,等.迁移学习研究进展[J].软件学报,2015,26(1):26-39.李新叶,龙慎鹏,朱婧.基于深度神经网络的少样本学习综述[J].计算机应用研究,2020(8).卢宏涛,张秦川.深度卷积神经网络在计算机视觉中的应用研究综述[J].数据采集与处理,2016(1):1-17.刘建伟,刘媛,罗雄麟.Researchanddevelopmentondeeplearning[J].计算机应用研究.薛晨兴,张军,邢家源.基于GoogLeNetInceptionV3的迁移学习研究[J].无线电工程,2020,050(002):118-122.DeviMS,SagarA,ThapaK,etal.ActivationLayersImplicationofCNNSequentialModelsforFacialExpressionRecognition[J].IOPConferenceSeriesMaterialsScienceandEngineering,2021,1074(1):012030.Yanhua,Guo,Lei,etal.AlgorithmResearchonImprovingActivationFunctionofConvolutionalNeuralNetworks[C]//第31届中国控制与决策会议.0.杨观赐,杨静,李少波,等.基于Dopout与ADAM优化器的改进CNN算法[J].华中科技大学学报:自然科学版,2018,v.46；No.427(07):122-127.张慧.深度学习中优化算法的研究与改进.北京邮电大学,2018.张翠平,苏光大.人脸识别技术综述[J].中国图象图形学报,2015(11):7-16.Hyeon-Joo