基于卷积神经网络的口罩遮挡条件下人脸识别技术研究

1、PAGE PAGE - 8 -基于卷积神经网络的口罩遮挡条件下人脸识别技术研究颜继东李艳生摘要：为了解决戴口罩人脸识别率不高的问题，开展基于卷积神经网络的研究。本研究所用的数据集均为戴口罩的人脸图像，总共1016张图片，其中测试样本为305张，训练样本为711张。本研究采用对比试验的方法，在初始卷积神经网络模型结构不变的情况下，修改每一个卷积层的卷积核数量，从后往前进行对比，得出本研究最佳模型，人脸检测准确率约为99.74%。通过试验可以看出，卷积神经网络对戴口罩的人脸有很好的识别能力。关键词：人脸识别;卷积神经网络;深度学习中图分类号：TP391文献标志码：A文章编号：1003-5168（2

2、022）7-0010-05DOI：10.19968/ki.hnkj.1003-5168.2022.07.002Abstract：Inordertosolvetheproblemoflowfacerecognitionratewithmaskintheepidemicenvironment.Thisstudyistheconvolutionneuralnetworkbasedstudyoftheproblem.Thedatasetsusedinthisexperimentallusemaskfaces，withatotalof1016pictures，including305testsample

3、sand711trainingsamples.Theresearchprocessadoptsthemethodofcomparativeexperiment.Undertheconditionthatthestructureoftheinitialconvolutionneuralnetworkmodelremainsunchanged，modifythenumberofconvolutioncoresofeachconvolutionlayer，compareitfrombacktofront，andgetthebestmodelinthisexperiment.Theaccuracyof

4、facedetectionisabout99.74%.Throughthisexperiment，itcanbeseenthattheconvolutionalneuralnetworkhasagoodabilitytorecognizethefacewearingmask.Keywords：facerecognition;convolutionalneuralnetwork;deeplearning0引言神经网络是通过模仿人类大脑神经元之间的生物信号传递机制而诞生的计算机交叉科学12。随着技术的不断发展，神经网络从浅层网络发展到如今深度学习领域常用的卷积神经网络3。卷积神经网络在训练过程中是

5、通过反向传播算法4来实现学习的。反向传播算法的提出，提高了卷积神经网络的使用率，促进人工智能领域有了新的突破。在某些特定的任务上，人工智能表现出了几乎超出人类极限水平，如人工智能程序AIphaGO在围棋领域击败了世界围棋冠军柯洁。深度学习的大规模应用，使人工智能学科快速崛起，进而诞生了一系列基于深度架构的网络模型，如LeNet、AlexNet、ZFNet、VGG、GoogLeNet、ResNet、DPRSNet、MobileNet等5-12一些非常不错的网络模型。卷积神经网络可以解决传统编程难以完成的任务，如人脸识别13、医疗行业问题14-15、自动驾驶问题等。目前，人脸识别是不同场合下应用率

6、最高的技术之一。随着新型冠状病毒肺炎疫情的持续，在转乘火车等公共交通工具时，乘客会在闸机口反复摘下口罩进行人脸识别，以完成身份认证，而这极大地增加了感染病毒的可能性。因此，本研究在传统人脸识别技术的基础上，研究如何设计并实现戴口罩的人脸识别的深度学习模型。1卷积神经网络卷积神经网络与传统神经网络的不同之处在于，卷积神经网络模型是由卷积层、池化层、全连接层和输出层组成。本研究在此基础上增加了BN层和Dropout层，用来提高模型性能。1.1卷积层卷积层是利用多个卷积核对图像进行特征提取，卷积核的感受野越小，计算机运算量越小，计算速度就越快。卷积运算就是卷积核圈住部分图像后，从左往右每层依次滚动进

7、行矩阵运算。图1是通过单通道对一个33卷积核的特征提取过程。1.2池化层池化层采用局部相关性原理，从局部采样得到新的元素值。本研究采用的池化方式为MaxPooling16，最大采样是采样局部最大的一个值。本研究采用的池化核为22，将图像切分为22的小块，再从中取最大值。图2是一个44的矩阵进行池化核为22的最大采样运算。1.3Dropout层Dropout层通过随机断开神经网络中的连接，可以提高模型性能，提高模型的泛化能力。本研究采用的随机断开概率为0.5。Dropout层的实际作用如图3所示。2CNN模型设计为了方便试验测试，模型的所有卷积层初始核心数都设置为64，卷积核设置为33，激活函数

8、设置为ReLU函数17，池化层设置为最大池化。先设计一个由2个卷积层和1个池化层组成的基本结构。本研究试验模型的主要结构是通过重复以上的基本结构得到的。本研究主结构一共有6个卷積层、3个池化层，再接入Flatten层和Dense层用作输出分类，最后适当添加BN层18和Dropout层，得到准确率更高的模型。本研究得到的最佳模型结构如图4所示。2.1数据采集本研究采用的是自建数据集，一共5组人脸图片，其中4组人脸图片均来自网络，1组用OpenCV软件库调用电脑摄像头抓取获得。剔除无效数据后共1016张图片，即每一组200张左右。部分样例数据如图5所示。2.2数据集处理将较大图片全部剪切为64pp

9、i64ppi的图片;原尺寸小于64ppi64ppi的图片，将其短边填充，使其成为64ppi64ppi的正方形;并将所有图像改为灰度图像。3试验过程及结果分析本研究的试验环境为Windows10、Python3.8、tensorflow2.4.1，CPU是Intel（R）Core（TM）i5-9500，内存为8G，显卡为Intel（R）UHDGraphics630。数据集总共1016张64ppi64ppi图片，用其中的一部分当作测试集，即测试样本为305张，训练样本为711张。学习率为0.001，batch为32，训练次数为130次。试验中，通过更改各个卷积层的卷积核数量，训练对比后得出适用于本

10、数据集的最佳模型。初始模型6个卷积层的卷积核数量都是64，就用6464-6464-6464来表示。本试验从最后一位卷积层，即第6位卷积层开始进行对比。用到的模型有6464-6464-6464、6464-6464-6496、6464-6464-64128。第一次试验对比，其他卷积层的参数保持不变，只更改最后一个卷积层的卷积核数量，分别为64、96、128。训练后的准确率（TestAccuracy）和损失值（TestLoss）如图6所示，其他数据见表1。通过对比，找到准确率（TestAccuracy）最高、损失值（TestLoss）最低的一个模型，即模型6464-6464-6464。保留此模型数据

11、，用来进行第二次对比试验。第二次对比试验，对第5位进行对比。以此类推，只保留每一位对比后数据最佳的卷积层，直到筛选到第1位为止。第六次对比试验，从第1位卷积层开始进行对比，用到的模型有6464-64128-9664、9664-64128-9664、12864-64128-9664。第六次试验对比其他卷积层的参数保持不变，只更改第1个卷积层的卷积核数量，分别是64、96、128。训练后的准确率（TestAccuracy）和损失值（TestLoss）如图7所示，其他数据见表2。通过对比，找到准确率（TestAccuracy）最高、损失值（TestLoss）最低的一个模型，即模型6464-64128

12、-9664为本研究所有对比试验的最佳模型。在试验过程中，增加了一些BN层和Dropout层，加速模型的收敛。通过更改模型卷积层的卷积核数量，发现在第1个卷积层和第4个卷积层中，当卷积核数量是图像像素倍数时，会有良好的收敛效果，否则可能会出现过拟合现象。4结语试验通过调整卷积核数量、加入Dropout层、修改学习率等操作，得到了准确率为99.74%、损失值为0.01的最佳模型。通过OpenCV调用电脑摄像头发现，此模型不仅对戴口罩人脸有较高识别率，对无口罩人脸也有良好的识别能力。通过上述试验可以看出，深度学习模型对本研究中的数据集有较好的分类能力，卷积神经网络对戴口罩的人脸有很好的识别能力，对戴

13、口罩人脸的识别具有一定的参考价值，其模型可移植到树莓派、手机等便携式设备。參考文献：1MCCULLOCHWS，PITTSW.AlogicalcalculusoftheideasimmanentinnervousactivityJ.Thebulletinofmathematicalbiophysics，1943（4）：115-133.2ROSENBLATTF.Theperceptron：AprobabilisticmodelforinformationstorageandorganizationinthebrainJ.PsychologicalReview，1958（6）：386-408.3季长

14、清，高志勇，秦静，等.基于卷积神经网络的图像分类算法综述J/OL.计算机应用，20222022-03-24.http：/kcms/detail/51.1307.TP.2-021092-7.1733.024.html.4RUMELHARTDE，HINTONGE，WILLIAMSRJ.Learningrepresentationsbyback-propagatingerrorsJ.Nature，1986（6088）：533-536.5HEK，ZHANGX，RENS，etal.Spatialpyramidpoolingindeepconvolutionalnetworksforvisualrecog

15、nitionJ.IEEEtransactionsonpatternanalysisandmachineintelligence，2022（9）：1904-1916.6KRIZHEVSKYA，SUTSKEVERI，HINTONGE.ImagenetclassificationwithdeepconvolutionalneuralnetworksJ.Advancesinneuralinformationprocessingsystems，2022，25：1097-1105.7ZEILERMD，FERGUSR.Visualizingandunderstandingconvolutionalnetwo

16、rksJ.CoRR，2022.abs/1311.2091.8SIMONYANK，ZISSERMANA.Verydeepconvolutionalnetworksforlarge-scaleimagerecognitionJ.CoRR，2022.abs/1409.1556.9SZEGEDYC，LIUW，JIAY，etal.GoingdeeperwithconvolutionsC/2022IEEEConferenceonComputerVisionandPatternRecognition.IEEE，2022：1-9.10HEK，ZHANGX，RENS，etal.Deepresiduallearn

17、ingforimagerecognitionC/2022IEEEConferenceonComputerVisionandPatternRecognition.IEEE，2022：770-778.11YAMADAY，IWAMURAM，KISEK.DeeppyramidalresidualnetworkswithseparatedstochasticdepthJ.CoRRect，2022.abs/1612.01230.12HOWARDAG，ZHUM，CHENB，etal.Mobilenets：Efficientconvolutionalneuralnetworksformobilevisiona

18、pplicationsJ.arXiv，2022.abs/1704.04861.13謝志华，江鹏，余新河，等.基于VGGNet和多谱带循环网络的高光谱人脸识别系统J.计算机应用，2022（2）：388-391.14ZHANGL，WANGX，YANGD，etal.GeneralizingdeeplearningformedicalimagesegmentationtounseendomainsviadeepstackedtransformationJ.IEEEtransactionsonMedicalImaging，2022（7）：2531-2540.15孔令军，王茜雯，包云超，等.基于深度学习的医疗图像分割综述J.无线电通信技术，2022（2）：121-130.16GRAHAMB.Fractionalmax-poolingJ.CoRR，2022.abs/1412.6071.17KRIZHEVSKYA，SUTSKEV