（毕业论文）基于深度学习的人脸遮挡检测技术研究

浙江工业大学硕士学位论文Inordertoevadesurveillancecamerasarrangedinthepublicsecurityfield,manysuspectsinthecrimeareusuallyinappearancedisguise,suchaswearingsunglassesorwearingmasks,forobscuringthefaceinformation.Thisbehaviorbringsgreatdifficultiesforthepolicementocatchthecriminalsuspect.Therefore,ifawarningissenttothemonitoringcenterandthussomeactionsareadoptedwhenthesurveillancesystemautomaticallydetectstheoccludedfaceofacustomer,thecrimeislikelytobeBasedonthepowerfulabilityoffeaturerepresentationandadaptivelearningabilityofdeeplearning,thisthesisexploresthefaceocclusiondetectionbasedondeeplearning,andproposesacascadedconvolutionalneuralnetworkbasedfaceocclusiondetectionalgorithm.Becauseeyesandmouthareoftenoccludedformanysuspectsinthecrime,threecascadedconvolutionalneuralnetworkaredesignedfordetectingthehead,eyesandmouthwithocclusion,respectivelyintheproposedalgorithm.Foreachkindofconvolutionalneuralnetworkstrainedinthispaper,twoconvolutionalneuralnetworksarecascadedtoimplementcoarse-to-fineocclusiondetection.Ourfaceocclusiondetectionalgorithmachievessatisfactoryresultsintwofacedatabaseusedinourexperiments.Furthermore,anattendancerecordsystemisdesignedandimplementedwhichintegratestheproposedfaceocclusiondetectionalgorithmandconvolutionalneuralnetworksbasedfacerecognitionalgorithm.Theattendancerecordsystemcandetecttheoccurrenceoffaceocclusionduringtheprocessofcheckingattendanceandgiveanalarmtotheattendancepersonnelwithocclusion.KeyWords:FaceOcclusionDetection,Facerecognition,ConvolutionalNeuralNetwork,Caffeji浙江工业大学硕士学位论文 iABSTRACT 11.1论文研究背景 11.2研究现状 41.3论文研究内容 61.4论文组织结构 7第2章卷积神经网络介绍 9 9 2.3本章小结 第3章基于级联卷积神经网络的人脸遮挡检测方法 3.1算法框架 3.2人头检测的级联网络 3.3眼睛检测的级联网络 3.4嘴巴检测的级联网络 20-3.5级联网络训练库 3.6测试结果 24-3.7本章小结 26-第4章智能人脸考勤系统 27-4.1系统设计……………27-浙江工业大学硕士学位论文—2—4.2人脸识别模块 4.2.3实验结果 4.3系统实现 4.4本章小结 第5章结论与展望 37-5.2展望…………………38-39-42-攻读学位期间参加的科研项目和成果………43-浙江工业大学硕士学位论文1.1论文研究背景人脸识别技术以其主动性、非侵犯性、用户友好性、非接触性、不易察觉性和唯一性等优点，具有重要的学术研究价值以及广阔的应用前景[1]。人脸识别技术在近几十年中得到了飞速的发展，在中国就已广泛的应用于公安、安全、海关、金融、军队、机场、边防口岸、安防等多个重要行业及领域，以及智能门禁、门锁、考勤、手机、数码相机、智能玩具等民用市场。然而，在实际应用中，人脸识别依然面临着诸多的挑战。现有的人脸识别算法通常在室内可控环境下可以达到满意的结果。然而，在实际应用中，人脸认证系统对于人脸图像的采集一般均在非配合的环境下进行，并且人脸很容易受到光照、遮挡及表情等诸多因素的影响。这些干扰因素导致所获取的人脸图像之间存在较大的差异，给人脸识别带来了极大的困难，使其识别率难以达到理想水平。因此，随着人脸识别应用需求的不断增长，人脸识别这一课题还存在很多地方值得深入研究，特别是无约束环境下如何增强人脸识别系统的鲁棒性得到了广泛的关注和研究，已经成为当前研究的热点。遮挡是众多影响人脸识别性能的因素中非常重要也是不可避免的一个因素，特别是在安全领域中尤其突出。造成遮挡的原因是多种多样。随着人们日常生活中佩戴眼镜的比例增大，由眼镜遮挡造成的问题也就越来越普遍；环境污染造成了出门佩戴口罩也越来越普遍了；在实际应用中，比如智能门禁、视频监控、保安系统、罪犯识别等，基本均在非配合的环境下进行人脸图像的采集，易被其他人或者物所遮挡。此外，环境、饰物、刘海或胡须等均可造成遮挡现象的出现。图1-1给出了常用人脸数据库LFW数据库l²1和AR人脸数据库[3]中给出的部分遮挡的人脸图像样本，图1-2给出了一些日常生活中的遮挡实例4。造成遮挡的这些干扰因素使得成像设备获取的人脸数据不完整，引起人脸部分信息甚至全部信2图1-1人脸遮挡样本图1-2实际生活场景中的遮挡实例浙江工业大学硕士学位论文3如何有效检测和去除遮挡物的影响，成为了人脸检测与识别技术中亟待解决的关键问题。特别是在安防领域，为了逃避安防系统中监控摄像头的监视，进而实现其逃避法律处罚的目的，很多违法犯罪嫌疑人使用墨镜、围巾、口罩或者直接蒙面的方式来刻意遮挡自己的人脸特征(如图1-3所示),这种情况下的遮挡给嫌疑人抓捕和案件侦破带来了困难。如果能够利用人脸遮挡检测算法及时发现不法人员，然后自动向监控中心等部门报警，构建预警机制，则可以有效的阻止犯罪，降低犯罪率。尤其是报警并阻止蒙面人进入银行、政府区域、商场或者其他公共场所，能有效的阻止犯罪。针对安防领域中人脸遮挡问题而提出的、面向应用的课题，是指用视频智能分析的方法检测出视频场景中是否有戴墨镜、戴围巾、戴口罩、戴面具、蒙面等遮挡物遮挡而不能被识别或者分类的人脸。通常，人脸遮挡检测系统利用监控摄像机连续的采集场景中的监控图像，利用计算机视觉技术检测监控图像中的人脸，并分析人脸上的器官是否不全(比如因为蒙面等原因使五官部分或全部被遮挡起来),如果是则向监控中心报警。人脸遮挡检测最初是基于银行大厅[6]、ATM机[7-14]的自动监控系统提出来的，旨在实现监控的智能化，及时发现不法人员并自动向监控中心报警。现在，人脸遮挡检测技术已经被扩展应用到其他安防领域，例如智慧社区的访客系统，基于人脸识别的移动支付等领域。本文针对人脸识别在实际应用中所存在的遮挡问题，以安防领域为研究背景，进行深入的探讨和系统的研究，结合信号表示与处理理论的最新发展，把深度学习理论应用到人脸遮挡检测问题，提高人脸识别系统在实际应用过程中的可操作性。因此，本文的研究既有一定的理论意义，也具有较强的实际应用价值。1.2研究现状目前，相关文献中已经提出了一些人脸遮挡检测方法，这些方法一般可分为(1)基于特定遮挡类型的人脸遮挡检测方法：该类方法只检测特定的遮挡类型，例如戴头盔、戴墨镜、戴口罩、戴围巾等，遮挡物也相对固定。基于特定遮挡类型的检测方法通常根据不同种类的遮挡物利用HOG[15]、LBP[16]、SIFT等特征提取方法来提取特征信息，然后基于这些提取到的特征信息利用支持向量机(SVM)[20]、AdaBoost[21]、神经网络l²2]等机器学习方法训练相应的分类模型，再使用训练出的分类模型来判断是否为异常人脸以及属于哪种异常类型。文献[5]提出了基于颜色统计的墨镜检测方法，基于直线检测和颜色统计结合的口罩检测方法。文献[6]在序列图像的人头定位的基础上，依据正常人脸与异常人脸特征的差异来定位和识别异常人脸，实现了基于人脸中心线检测的墨镜检测、基于区域灰度分布特征的眼部区域的墨镜检测和基于直线检测的口罩检测。在文献[23-25]中，针对犯罪嫌疑人经常使用安全头盔遮挡人脸的情况，分别利用改进的霍夫变换、Canny检测和Gabor滤波提出了针对佩戴安全头盔的人脸遮挡检测方法。文献[26]利用提取简单小波特征来实现遮挡物为眼镜的人脸遮挡检测。在文献[29]中，人脸遮挡被分为口罩围巾类的矩形遮挡和墨镜类的椭圆遮挡，然后利用基于自相连神经网络的分类器来检测输入人脸图像的遮挡区域。基于特定遮挡类型的人脸遮挡检测方法通常能稳定的检测具有这些特定遮挡物的遮挡人脸。然而，在实际的应用当中，由于遮挡物的多变性，使得佩戴同样类型遮挡物的不同人脸表现出来的特征也不完全一样，例如同样是戴墨镜类型的异常人脸，墨镜的形状是多种多样的，可以是圆的、方的、扁的，墨镜的颜色种类也非常多，例如黑色的、褐色的、红色的等，再加上使用场景中光照因素的影响，墨镜表现出的特征也不尽相同。另外，在实际的监控应用场景中，还可能会出现非预期的遮挡物情况，使得该类方法具有很大的局限性。浙江工业大学硕士学位论文5(2)基于肤色的遮挡检测方法：该类方法主要利用遮挡物和人脸中的重要器官的位置、肤色之间的差异来确定遮挡人脸，将不同颜色空间下不同肤色模型应用到人脸检测中来。按照经验，通过分区域计算肤色比来判断是否遮挡，可以适应多样化的人脸遮挡情况。但该类方法通常对光照比较敏感。文献[10]用基于YCbCr颜色空间椭圆模型检测算法对区域人脸进行检测，以预先定义的异常行为语义来判断是否出现蒙面或脸部遮挡伪装取款的情况。文献[11]通过在YCbCr颜色空间中定义一系列非线性变换的规则，将肤色范围拟合到一个椭圆区域内，然后通过分区域的方法进行遮挡判定。文献[12]在定位人脸后通过计算皮肤面积比来确定人脸是否被遮挡。文献[14]利用基于经验规则的人脸定位方法和自适应的椭圆拟合法来两步定位人脸，然后利用AdaBoost来连接皮肤色彩检测和人脸模板匹配，最终实现ATM监控下的异常人脸检测。文献[31]利用基于B样条的主动轮廓法和椭圆拟合方法来估计人脸位置，然后利用测量到的不同区域的肤色比来确定遮挡类型。(3)基于正面裸露人脸的检测方法：该类方法根据眼睛、嘴部、鼻子、眉毛等正常人脸的特征检测正常的人脸及五官，如果发现已知有人的场景中检测不到人脸或五官，再根据不同种类的特征判断是否为异常人脸以及是何种异常[5]。该类方法把人脸遮挡检测问题转变成正常人脸检测和非正常人脸条件下的异常种类判断问题。文献[7]提出基于与或图技术的多通道人脸检测技术来定位人脸区域，然后依据眼睛、鼻子、嘴等局部特征是否缺失来确定是否是异常人脸。文献[8]将人脸区域分为眼部区域和嘴部区域两部分，训练了基于Haar特征的人眼分类器来判断眼部是否存在遮挡，采用基于Hough变换的水平直线检测结合分类器搜索的方法来检测嘴部区域的异常。文献[9]提取Harr-like特征表示人脸，采用“积分图”方法提高计算速度，采用基于Adaboost算法进行正常人脸和异常人脸的分类。文献[11]提出了基于Adaboost的人脸部件检测器的遮挡判定方法，使用降级后的正面人眼检测器和嘴巴检测器，通过分区域的方法进行遮挡判定。文献[13]利用人脸器官局部区域识别能力和人脸的全局表征来双重确定是否是遮挡人脸，然后通过训练特定的遮挡检测器来提高检测精度。在文献[27]中，Yoon和Kee第一次针对ATM机的安防需求，提出遮挡人脸的概念，并利用集成主成份分析(PCA)和SVM的方法来区分正常人脸和遮挡人脸。文献[30]通过AdaBoost浙江工业大学硕士学位论文检测器检测两只眼睛和嘴巴，使用神经网络分类正常或者非正常的人脸。在实际应用场景中，人脸的检测通常是采用提取五官信息特征的方法来进行检测，但是当出现异常人脸情况时，五官往往是被遮挡住的，这样就给人脸检测带来困难，由于视频是动态的，在这种情况下也比较难定位出精确的人脸位置，从而给异常人脸类型的判断带来困难。1.3论文研究内容近两年，深度学习的出现使人脸识别取得了突破性进展[32-34]。深度学习的初衷是模拟人脑的认知机理。在某些重要的人脸识别测试集上，深度学习模型已经达到甚至超出了人类的识别水平。这启发我们未来可以在更广的范围内更深入地研究这些模型中神经元响应的性质，并与认知科学的研究成果相结合，相互印证和启发。人脸识别的最新研究成果[35]表明，深度学习得到的人脸特征表达具有手工特征表达所不具备的重要特性，例如它是中度稀疏的、对人脸身份和人脸属性有很强的选择性、对局部遮挡具有良好的鲁棒性。这些特性是通过大数据训练自然得到的，并未对模型加入显式约束或后期处理。这说明深度学习并非单纯拟合数据集，其计算单元有清晰的语义含义，其高识别率可以通过这些特性来解释。在2014年国际计算机视觉与模式识别会议(CVPR2014)上，两个采用深度学习的团队--来自脸谱的团队[36]和香港中文大学的团队[371,在允许利用有标签外部数据且非限定的测试条件下，在LFW数据库[2]上分别报告了97.35%和97.45%的平均分类精度，比高维LBP特征方法的分类错误率降低了50%。上述两个团队均采用了卷积神经网络(ConvolutionalNeuralNetwork,CNN)的变种架构。其中，脸谱的DeepFace方法[361强调前端的人脸3D对齐和虚拟正面化预处理，以削弱姿态变化的影响；而香港中文大学的DeepID方法[37则强调采用多个人脸区块分别训练卷积神经网络，并最终融合形成人脸特征表示。最近，该团队进一步开发了DeepID2+系统[35],在上述测试环境下取得了99.47%的正确分类精度，错误率比DeepID降低约80%。Google推出的FaceNet³8]再次刷上人脸验证的效果记录。目前关于人脸遮挡检测对于人脸的拍摄角度、采集过程中的光照、遮挡物类型的多变性以及场景的复杂性等鲁棒性较弱，无法同时兼顾多种影响因素，很难满足实际要求。深度学习在人脸识别领域中得到了广泛的研究与应用，并取得浙江工业大学硕士学位论文7了很大的进展，但并没有相关工作把深度学习和人脸遮挡检测结合起来，因此，本文引入深度学习技术来研究异常人脸识别问题，利用深度学习强大的特征表达能力和学习能力来实现人脸遮挡检测。事实上，在本文的写作过程中，发现已有文献[39]在2015年8月召开的模糊系统与知识挖掘国际会议(201512thInternationalConferenceonFuzzySystemsandKnowledgeDiscovery,FSKD15)上提出了结合多任务学习和卷积神经网络，实现基于多任务卷积神经网络的人脸遮挡检测方法，该方法所用的深度神经网络结构如图1-4所示。文献[39]的出现在很大程度上表明了本文提出的利用深度学习技术解决人脸遮挡检测思路的可行性和创新性。和文献[39]不同，本文利用Caffel401框架将深度学习应用到遮挡人脸的识别中，提出了一种先利用级联人头卷积神经网络进行人头定位，然后再基于眼睛级联卷积神经网络和嘴巴级联卷积神经网络进行人脸眼睛、嘴巴部位的遮挡检测方法，进而设计和实现了一个具有人脸遮挡检测功能的基于人脸识别的智能考勤系统。图1-4基于多任务卷积神经网络(CNN)的人脸遮挡检测39]Fig1-4Faceocclusiondetectionbasedonmulti-taskconvolutionneuralnetwork全文共分五章，具体内容如下：第1章：绪论，阐述了课题的研究背景和意义，总结了国内外关于人脸遮挡检测的现状。第2章：深度学习理论介绍，介绍了卷积神经网络相关深度学习理论和Caffe深度学习框架的结构。第3章：基于级联卷积神经网络的人脸遮挡检测，介绍了本文提出的基于级联卷积神经网络的人头检测和基于眼睛和嘴巴的级联卷积神经网络进行人脸遮挡检测方法的具体实现过程。第4章：智能人脸考勤系统，介绍了集成了本文提出的基于级联卷积神经网络的人脸遮挡检测算法的智能考勤系统的系统框架设计和实现。第5章：结论与展望，总结了本文的主要工作，指出了系统设计部分存在的不足和有待改进的地方，并对下一步工作进行了展望，提出了有待解决的问题。第2章卷积神经网络介绍卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一种深层神经网络模型。卷积网络最初是受视觉神经机制的启发而设计的，是为识别二维形状而设计的一个多层感知器。这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。1962年Hubel和Wiesel41]通过对猫视觉皮层细胞的研究，提出了感受野的概念；1984年Fukushima[42]基于感受野概念提出的神经认知机模型，可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。神经认知机将一个视觉模式分解成许多子模式，然后进入分层式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。神经认知机能够利用位移恒定能力从激励模式中学习，并且可识别这些模式的变化。在其后的应用研究中，Fukushima将神经认知机主要用于手写数字的识别。随后，国内外的研究人员提出了多种卷积神经网络形式，在邮政编码识别、车牌识别和人脸识别等方面得到了广泛的应卷积神经网络作为深度学习框架是基于最小化预处理数据而产生的，它通过共享局部权值有效降低了网络结构的复杂度，具有局部连接和权值共享特性。卷积神经网络(CNN)已经是现代智能识别语音和图像等信息的研究热点。它的局部连接和权值共享的网络结构使之更类似于生物神经网络，降低了网络模型的复杂度(对于很难学习的深层结构来说，这是非常重要的),减少了权值的数量。尤其在多维图像和大图像中该优点表现最为突出，可以直接将图像输入到网络中，不需要做更多的麻烦的传统特征提取和数据重建。2.1卷积神经网络CNNCNN是第一个真正成功训练多层网络结构的学习算法。它利用权值共享来达到减少学习参数以用来提高BackPropagation(BP)算法的训练性能。CNN是一个最小化预处理要求下的深度学习框架。在CNN中，图像的一部分(局部感受区域)作为层级结构的最底层的输入，信息再依次传输到不同的层，每层通过一浙江工业大学硕士学位论文—10—个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允许神经元或者处理单元可以访问到最基础的特征，例如定向边缘或者角点。卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平C3C3图2-1卷积神经网络的概念示范图2-1展示了卷积神经网络概念示范：输入图像通过和三个可训练的滤波器和可加偏置进行卷积，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和、加权值、加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素值被光栅化，并连接成一个向量输入到传统的神2.1.1卷积层神经网络中的每个层有多个特征映射，每个特征映射通过一种卷积滤波器提取输入的一种特征，然后每个特征映射有多个神经元。卷积运算一个重要的特点就是，通过卷积运算，可以使原信号特征增强，并且降低噪音。假设第1层为卷积层，则第1层第j个特征映射的计算公式如(2.1)所示。浙江工业大学硕士学位论文上面的*号实质是让卷积核k在第1-1层所有关联的特征映射上做卷积运算，然后求和，再加上一个偏置参数，取Sigmoid得到最终激励值的过程。2.1.2子采样层对于子采样层来说，有N个输入特征映射，就有N个输出特征映射都变小了。采样公式如(2.2)所示。x/=f(β'down(x/-)+b/)个输出特征映射，只是每down(.)表示一个下采样函数。典型的操作一般是在输入特征矩阵中不同n×n的块中取均值或最大值。这样输出图像在两个维度上都缩小了n倍。每个输出map都对应一个属于自己的乘性偏置β和一个加性偏置b。2.1.3稀疏连接卷积网络通过在相邻两层之间强制使用局部连接模式来利用图像的空间局部特性，在第m层的隐层单元只与第m-1层的输入单元的局部区域有连接，第m-1层的这些局部区域被称为空间连续的接受域。可将这种结构描述如下：设第m-1层为视网膜输入层，第m层的接受域的宽度为3,也就是说该层的每个单元仅与输入层的3个相邻的神经元相连，第m层与第m+1层具有类似的链接规则，如图2-2所示。图2-2稀疏连接示意图可以看到m+1层的神经元相对于第m层的接受域的宽度也为3,但相对于输入层的接受域为5,这种结构将学习到的过滤器限制在局部空间模式。从图2-2也可以看出，多个这样的层堆叠起来后，会使得过滤器逐渐成为全局的。例如上图中第m+1层的神经元可以对宽度为5的输入进行一个非线性的特征编码。浙江工业大学硕士学位论文—12—2.1.4权值共享在卷积网络中，每个稀疏过滤器通过共享权值都会覆盖整个可视域，这些共享权值的单元构成一个特征映射，如图2-3所示。○○○图2-3特征映射在图2-3中，有3个隐层单元，他们属于同一个特征映射。同种颜色的链接的权值是相同的，可以使用梯度下降的方法来学习这些权值，只需要对原始算法做一些小的改动，这里共享权值的梯度是所有共享参数的梯度的总和。一方面，重复单元能够对特征进行识别，而不考虑它在可视域中的位置。另一方面，权值共享能更有效的进行特征抽取，因为它极大的减少了需要学习的自由变量的个数。通过控制模型的规模，卷积网络对视觉问题可以具有很好的泛化能力。Softmax回归其实就相当于多类别情况下的逻辑回归，对比如下。(1)逻辑回归的假设函数(hypothesis)公式(2.3)给出了逻辑回归的假设函数。整个逻辑回归模型的参数就是θ,题，找出最合适的θ便是最重要的步骤，这是最优化问题。一般通过定义代价函数，然后最小化代价函数来求解，逻辑回归的代价函数如公式(2.4)所示。(2)Softmax的假设函数—13—公式(2.5)给出了Softmax的假设函数。逻辑回归里将-O*x作为sigmoid函数的输入，得到的是0或者1,两个类别。而Softmax有k个类别，并且将-0*x样做就实现了归一化，使得输出的k个数的和为1,而每一个数就代表那个类别出现的概率。因此，Softmax的假设函数输出的是一个k维列向量，每一个维度的数就代表那个类别出现的概率。Softmax的代价函数如公式(2.6)所示：本质上跟逻辑回归是一样的，采用代价函数NLL,如果加上权重衰减项(正则化项),则为：最小化代价函数，同样可以采用简单而有效的梯度下降，需要提到的是，在程序实现中，一般采用批量随机梯度下降，即minibatchStochasticGradientDescent(MSGD),简单来说，就是每遍历完一个batch的样本才计算梯度和更新参数，一个batch一般有几十到几百的单个样本。2.2Caffe架构Caffe[51]是一个清晰而高效的深度学习框架，在处理图像方面有着独具一格是纯粹的C++/CUDA架构，支持命令行、Python和MATLAB接口；可以在CPU和GPU直接无缝切换。浙江工业大学硕士学位论文(1)上手快：模型与相应优化都是以文本形式而非代码形式给出。Caffe¹40给出了模型的定义、最优化设置以及预训练的权重，方便立即上手。(2)速度快：能够运行最棒的模型与海量的数据。Caffe与cuDNN结合使用，测试AlexNet模型，在K40上处理每张图片只需要1.17ms。(3)模块化：方便扩展到新的任务和设置上。可以使用Cafe提供的各层类型来定义自己的模型。(4)开放性：公开的代码和参考模型用于再现。(5)社会好：可以通过BSD-2参与开发与讨论。Caffel40]主要分为四个大类：Blob,Layer,Net,Solver。低到高，贯穿了整个Caffel40]。(1)Blob:是基础的数据结构，是用来保存学习到的参数以及网络传输过程中产生数据的类。(2)Layer:是网络的基本单元，由此派生出了各种层类。修改这部分的人主要是研究特征表达方向的。(3)Net:是网络的搭建，将Layer所派生出层类组合成网络。(4)Solver:是Net的求解，修改这部分人主要会是研究DL求解方向的。浙江工业大学硕士学位论文人…上thread√ConvLayerFig2-4FlowchartofCaffe图2-4展示了Caffel40工作的流程。基本上，Caffel40]遵循了神经网络的一个简单假设——所有的计算都是以层的形式表示的，每层做的事情就是获取一些数据，然后输出一些计算以后的结果。比如说卷积，就是输入一个图像，然后和这一层的参数过滤器做卷积，然后输出卷积的结果。每一层需要做两个计算：前向反馈是从输入计算输出，然后反向反馈是从上面给的梯度来计算相对于输入的梯度。只要这两个函数实现了以后，就可以把很多层连接成一个网络，这个网络做的事情就是输入数据(图像或者语音或者其它的),然后来计算需要的输出(比如说识别的标签)。在训练的时候，可以根据已有的标签来计算损失和梯度，然后用梯度值来更新网络的参数。这个就是Caffel40]的一个基本流程。2.3本章小结卷积神经网络是一种深层神经网络模型，已经是现代智能识别语音和图像等信息的研究热点。本章首先简要介绍了卷积神经网络CNN相关理论，然后介绍了本文所采用的深度学习工具Caffe[40]的基本框架。浙江工业大学硕士学位论文第3章基于级联卷积神经网络的人脸遮挡检测方法现有的人脸遮挡检测算法通常需要事先设计人头检测或拟合算法来定位人头，然后利用各种特征提取方法提取特征，将空间域像素信息映射到高层次，以更抽象的形式进行表征，然后利用不同的机器学习算法训练分类器，最终利用训练好的分类器判断输入的图像是否包含遮挡的人脸。在这个过程中人脸遮挡检测算法的精度通常取决于所设计的人头定位算法的精度、所抽取的特征对遮挡检测的有效性。深度学习本质上是一种特征学习方法，把原始数据通过一些简单的、非线性的模型转变成为更高层次的、更加抽象的表达，进而强化输入数据的判别能力，同时削弱不相关因素。此外，深度学习另一个优点是各层的特征都不是利用人工工程来设计的，而是使用一种通用的学习过程从数据中学到的，从而避免了在人脸遮挡检测过程进行特征抽取算法的选择。因此，利用深度学习技术来提高人脸遮挡检测的精度是一种可行的思路。然而相关研究工作还没有引起关注，在本文写作过程中才检索到一篇基于多任务卷积神经网络进行人脸遮挡检测的论文[39]。3.1算法框架脸部局部特征中比较明显的部位有眼睛、鼻子和嘴，由于这些特征的形状、大小和结构上的差异使得人脸千差万别。这些局部特征可作为人脸检测的重要特征。而眼睛和嘴巴是最经常被遮挡的器官，因此，本文主要考虑检测人脸部眼睛和嘴巴的遮挡。本章提出通过级联卷积神经网络来定位人头，在此基础上分别利用眼睛和嘴巴的级联卷积神经网络来检测人脸遮挡情况，有效利用深度学习结构的自主学习能力，克服单一低层特征判别力较差的缺点。本章基于Caffel40]框架的人脸遮挡检测采集静态二维图像进行级联网络的人头检测，同时以卷积神经网络自主学习眼睛和嘴巴特征，分别进行眼睛检测和嘴巴检测。为了加快检测速度和检测准确率，本章各个部分的检测网络均有两个浙江工业大学硕士学位论文卷积神经网络级联而成，其中第一级网络主要是清除大部分虚警区域，确定检测的目标区域。眼睛检测第一级人头检测第一级人头检测人头检测第二级人头检测第一级眼睛检测第一级嘴巴检测第二级眼睛检测第二级嘴巴检测图3-1遮挡检测算法框架嘴巴检测Fig3-1Algorithmframewor3.2人头检测的级联网络人头检测的级联网络如图3-2所示，此网络结构输入图像为灰度图，为了快速排除非人头区域，第一级网络输入样本大小为16×16,经过一个卷积层和一个池化层以及一个全连接层，最后进行人头/非人头的两类分类；而第二级网络为了准确定位人头区域，其网络结构较之第一级网络较为复杂，其输入图像大小为32×32,在第一级网络的基础上增加了一个卷积层，为了兼顾图像的全局特征和局部特征，池化层与第二个卷积层同时连接至全连接层，具体主要处理过程包括第一级人头检测和第二级人头检测。(1)输入16×16错误!未找到引用源。的灰度图像进入网络；(2)对图像进行3×3错误!未找到引用源。大小、步长为1的卷积操作，得到16个14×14错误!未找到引用源。的特征图；(3)以Relu函数进行激活操作，并对激活操作后的特征数据进行归一化处理进行4×4错误!未找到引用源。大小、步长为2的池化操作，得到16个6×6错浙江工业大学硕士学位论文(4)与128个神经元全连接；(5)128个神经元进行Relu方法激活，最后进行Softmax二类分类。这样可以快速有效地排除虚警区域，大致定位到人头区域。3.2.2第二级人头检测过程经第一级筛选得到的区域，进入第二级网络进行进一步判断，其具体过程是：(1)为了对人头区域的准确定位，其输入图像会比第一级网络稍大些，第一级人头检测网络以大小为32×32错误!未找到引用源。的灰度图像为输入；(2)对图像进行5×5错误!未找到引用源。大小、步长为1的卷积操作，得到20个28×28错误!未找到引用源。的特征图；(3)以Relu函数进行激活操作，随后进行4×4错误!未找到引用源。大小、步长为2的池化操作，得到20个13×13错误!未找到引用源。的特征图；(4)对归一化处理后的采样数据进行5×5错误!未找到引用源。大小、步长为2的卷积操作，得到40个5×5错误!未找到引用源。的特征图；(5)为了有效提取图像的全局特征和局部特征，将池化层输出与第二层归一化处理后的特征同时与64个神经元全连接；(6)得到128维特征，并对激活操作后的特征进行二类分类。全连接分类6池化Pooling卷积激活Relu(a)第一级人头检测网络RelulRelul5归一化Norm25卷积卷积*13归一化Norml*13输入全连接输入全连接激活分类Relu2Pooling(b)第二级人头检测网络浙江工业大学硕士学位论文图3-2人头检测的级联网络Fig3-2Cascadednetworkofheaddetection3.3眼睛检测的级联网络眼睛检测网络结构如图3-3所示，其中(a)为眼睛检测的第一级网络，(b)为其第二级网络，可以发现第二级网络是在第一级网络的基础上再增加了一个卷积和池化组合。为了加快对检测到人头的眼睛检测，眼睛检测均在归一化为[120,120]的人头图像中进行，其中为了增加网络提取到更多的眼睛特征信息，以大小为25×25的彩色眼睛图像作为输入眼睛检测网络的样本，具体主要处理过程包括第一级眼睛检测网络和第二级眼睛检测网络。3.3.1第一级眼睛检测过程(1)对输入图像进行5×5错误!未找到引用源。大小、步长为2的卷积操作，得到9个11×11错误!未找到引用源。的特征图；(2)以Relu函数进行激活操作，并对激活操作后的特征数据进行归一化处理，进行3×3错误!未找到引用源。大小、步长为1的池化操作，得到9个9×9错误!未找到引用源。的特征图；(3)与96个神经元全连接；96个神经元进行Relu方法激活，最后进行Softmax二分类。这样可以快速有效地排除虚警区域，大致定位到眼睛区域。输入卷积激活归一化Norm1池化分类全连接激活分类全连接(a)眼睛检测第一级网络浙江工业大学硕士学位论文池化Pooling13池化6归一化6激活Relul卷积6卷积Relul归一化Norm1全连接2Relu3(b)眼睛检测第二级网络图3-3眼睛检测的级联网络Fig3-3Cascadednetworkofeyedetection3.3.2第二级眼睛检测过程经第一级筛选得到的区域，进入第二级网络进行进一步判断，为了准确检测给定人头中是否存在未遮挡的眼睛，第二级网络在第一级网络的基础上增加了一个4×4大小、步长为1的卷积操作，并且对卷积后的特征进行Relu函数进行激活以及归一化操作，然后以2×2大小、步长为2对特征进行采样操作，最终采样后的特征与96个神经元进行全连接，进行Softmax二分类。3.4嘴巴检测的级联网络类似于人头检测和眼睛检测的级联网络，为了判断检测得到的人头是否存在嘴巴遮挡，采用的策略是检测给定的检测人头中是否有未遮挡的嘴巴，如图3-4所示为嘴巴检测网络，其网络结构类似于人头检测网络。全连接激活4卷积2分类输入(a)第一级嘴巴检测网络浙江工业大学硕士学位论文53输入卷积池化卷积池化卷积Conv1Pooling1Conv2PoolingConv3全连接分类(b)第二级卷积神经网络图3-4嘴巴检测的级联网络Fig3-4Cascadednetworkofmouthdetection3.5级联网络训练库由于训练卷积神经网络需要较大数量的样本，本文在训练人头网络时主要采用CACD2000数据库以及中科院的AR公开人头数据库，根据其给定的特征标定点，截取训练所需的人头样本，负样本主要为网络上搜索得到的自然风景、古迹、植物图片，以及动物世界视频中截取的图片，第二级网络的负样本为第一级网络测试得到的误判样本。同样的，眼睛和嘴巴网络的正样本为CACD2000数据库中根据特征点截取的眼睛和嘴巴作为训练样本，其第二级网络的负样本均来自第一级网络测试人头图片后得到的误判样本组成，所有的训练样本均根据训练网络要求进行归一化处理。图3-5、3-6、3-7分别给出了训练三个级联检测网络的正样本和负样本的实例。人头检测级联网络中，第一级检测网络中正样本根据给定的特征标定点进行裁剪，并归一化到16×16,其中对中科院AR公开数据库裁剪得到的人头样本进行了左右翻转，负样本则对网络上搜索得到的自然风景、古迹、植物图片，以及动物世界视频中截取的图片进行随机裁剪并进行归一化处理，最终得到人头检测训练库，共计正样本141038例，负样本128253例；第二级检测网络中正样本与第一级训练样本不同之处在于对裁剪的图像归一化至32×32,负样本为第一级网络测试自然图像后得到的误判样本，共计负样本1532667例。浙江工业大学硕士学位论文(a)两级人头检测网络训练正样本样例(b)第一级人头检测网络训练负样本样例(c)第二级人头检测网络训练负样本样例图3-5人头检测级联网络训练正、负样本样例Fig3-5Samplesofcascadednetworkofhead浙江工业大学硕士学位论文(a)两级眼睛检测网络训练正样本样例(b)第一级眼睛检测网络训练负样本样例浙江工业大学硕士学位论文(c)第二级眼镜检测网络训练负样本样例图3-6眼睛检测级联网络训练正、负样本样例Fig3-6Samplesofcascadednetworkofeyedetection(a)两级嘴巴检测网络训练正样本样例(b)第一级嘴巴检测网络训练负样本样例图3-7嘴巴检测级联网络训练正、负样本样例Fig3-7Samplesofcascadednetworkofmouthdetection眼睛检测级联网络中，第一级检测网络中正样本根据给定的特征标定点进行裁剪，得到左眼和右眼，并归一化到25×25,负样本则对网络上搜索得到的自然风景、古迹、植物图片，动物世界视频中截取的图片以及小部分对人脸非眼睛区域随机截取的图片和眼睛遮挡图片，同样对截取的图片进行归一化处理，最终得到第一级眼睛检测训练库，共计正样本154056例，负样本240558例；第二级检测网络中正样本与第一级训练样本相同，负样本则为第一级网络测试得到的误判样本组成。嘴巴检测级联网络中训练样本与眼睛检测网络类似，其中第一级检测网络中正样本根据给定的特征标定点进行裁剪，并归一化到32×64,负样本为随机截取网络上搜索得到的自然风景、古迹、植物图片并进行归一化处理，最终得到第一浙江工业大学硕士学位论文级嘴巴检测训练库，共计正、负样本201876例；第二级检测网络中正样本与第一级训练样本相同，负样本则为第一级网络测试得到的误判样本组成。3.6测试结果图3-8为人脸遮挡检测流程图，如图所示，首先获得视频图像。将图像归一化，并且复制两份，一份用于人头检测，另一份根据人头检测出的人脸区域，截取出人脸，对此人脸进行眼睛和嘴巴的检测。先进行人头检测，将图像做灰度处理，并且判断亮暗，做适当的均衡化处理，然后以滑动窗口的形式将窗口输入人头检测级联网络检测人头。对检测到的人头窗口做聚类分析得出最佳的人头窗口区域。将此区域坐标传给第二份原图像(彩色图),截取出人头区域，对此区域进行亮暗判断，若过亮或过暗，做Gamma变换，然后分别进入眼睛级联网络与嘴巴级联网络检测眼睛和嘴巴。若没检测到眼睛或者嘴巴，则认为眼睛或者嘴巴被遮挡。开始开始视频图像获取图像归一化图片2灰度化人头截取并归一化判断全局亮度RGB2HSV过亮或过暗?均衡化处理没检测到人头否人头?坐标聚类分析是寸亮度判断过亮或过暗?是Gamma变换眼睛?嘴巴?是嘴巴被遮挡眼睛被遮挡图像1否否浙江工业大学硕士学位论文图3-8人脸遮挡检测流程图Fig3-8Flowchartoffaceocclusiondetection表3-1为AR库上算法测试结果。AR库人脸图片总数为1899张，其中眼睛被遮挡图片数量459张，嘴巴被遮挡数量547张，其余人脸图片无遮挡。由表3-1可见，与文献[50]和文献[51]比较，本文算法在一定程度上提高了准确率。文献[50]对AR库将近两千张图片都进行了测试，文献[51]随机抽选AR库中100张图片进行测试，只针对眼睛遮挡进行了检测。表3-1AR库测试结果算法名称眼睛检测准确率嘴巴检测准确率人脸遮挡检测准确率本文算法投影灰度差算法[51]表3-2自建人脸库测试准确率算法名称人头检测准确率嘴巴检测准确率人脸遮挡检测准确率本文算法表3-2为实验室自建人脸数据库，总数为515张人脸图片，包括148张无遮挡人脸图片，117张眼睛遮挡图片，139张嘴巴被遮挡图片，111张眼睛和嘴巴都被遮挡图片。自建人脸数据库与AR库不同的是，自建数据库均为彩色图像，且拥有大量背景信息，口罩和墨镜样式多种多样，拍摄为现实场景，检测流程比在AR库上多了先检测人头的步骤，然后进行人脸遮挡检测。自建人脸库样本举例如图3-9所示。人脸遮挡检测准确率与在AR库上相似，说明本文遮挡检测算法就较强的鲁棒性，可适应多种复制场景，且单张图片检测平均速度为1112ms,可投入实际场景使用。浙江工业大学硕士学位论文图3-9自建人脸测试库3.7本章小结本章详细叙述了基于卷积神经网络的人脸遮挡检测算法，该检测流程首先对采集图像进行人头检测，然后对检测到的人头检测进行眼睛和嘴巴检测，以判断采集的图像是否存在遮挡情况。在用于检测人头、眼睛和嘴巴的级联网络中，第一级网络主要是清除大部分虚景区域，确定检测目标的大致范围；第二级网络对第一级筛选得到的区域再次进行判断，得到真正的目标区域。从实验结果上看在不同的场景不同款式的墨镜口罩，不同的拍摄工具也可以取得不错的识别率，具有一定的通用性。浙江工业大学硕士学位论文第4章智能人脸考勤系统4.1系统设计人脸遮挡检测技术通常作为智能监控系统或其他应用系统的一部分，本章把本文提出的人脸遮挡检测技术集成到智能人脸考勤系统中，实现了一个基于人脸识别的智能考勤系统。该智能人脸考勤系统分为人脸遮挡检测和人脸识别两个主要功能模块，如图4-1所示。基于人脸识别的智能考勤系统主要用于身份认证，防止陌生人和其他非法用户的入侵，同时可以免去繁琐的密码输入，交互更加快捷方便。此软件需配合摄像头使用，要使用人脸认证。注册前，用户需打开摄像头，此时摄像头采集的实时画面会显示在软件画面上，当画面中有人脸时智能考勤软件会将人脸图像用方框框出。用户使用时需先进行注册，注册时用户需输入姓名。·D信息，然后正面面对摄像头，采集人脸图像存入数据库供今后认证时比对使用，注册过程大约会持续5-10秒。人人脸识别模块人脸遮挡检测模块图4-1智能人脸考勤系统功能模块图Fig4-1Intelligentfaceattendancesystem浙江工业大学硕士学位论文注册时可以适当增加人脸表情变化，适当调整面对摄像头的角度，以增加人脸认证的成功率。进行人脸认证时用户正面面对摄像头，采集人脸图像进行认证。假如识别到人脸有遮挡则会提示人脸有遮挡，然后要求用户重新采集认证人脸图像。基于人脸识别的智能考勤系统考勤系统流程如图4-2所示。用户登记人脸人脸遮挡检测否人脸识别是考勤成功考勤失败结束重新登记图4-2智能人脸考勤系统流程Fig4-2Flowchartofintellig4.2人脸识别模块对于一张自由拍摄的人脸图像，在获取人脸特征之前，需要首先根据人脸对图像进行归一化操作，包括平移、旋转、缩放等，将人脸置于一个相对固定的角浙江工业大学硕士学位论文度和位置，去除因拍摄条件引起的干扰。使用经过归一化操作的图像作为深度网络的输入训练，也可以减小样本空间的自由度，防止网络容量不足而导致不收敛的情况。进行人脸归一化操作，通常利用人脸关键点的定位算法。首先得到图像中人脸关键点部位的坐标，用这些坐标以及一组标准化的关键点坐标，将人脸归一化到标准化的坐标上。本文使用了Dlib开源库[44]中程序计算人脸检测和人脸归一化，归一化之后的图像直接作为深度网络的输入，归一化前后的图像如图4-3所(a)归一化前图4-3人脸归一化Fig4-3Facenormalization4.2.1基于深度学习的人脸识别算法特征提取的网络如图4-4(a)所示，主要包括4个卷积层以及相应的激活和池化层。输入为110×110的RGB彩色图像，第1层卷积层采用了步长为2的方式，并且在激活层之后带有一个5×5尺寸的归一化操作，归一化参数为α=0.0001,β=0.75。最后计算特征时将第3层的特征和第4层的特征进行串联并输入一个全连接层，这样得到的特征同时带有最深层和较深层的特征信息，这一点对于人脸图像这种带有不同层次特征的图像有非常好的效果。最后的输出特征为1024维训练特征的网络如图4-4(b)所示，同时使用分类信号和验证信号。分类信号浙江工业大学硕士学位论文用特征层连接一个全连接层和一个Softmax回归层，从而进行一个多分类任务训练，其中每一个分类为同一个人的人脸，分类信号下得到的代价函数为分类代价输入串联步长2Conv3全连接Fc激活Relu激活Relu激活Relu激活Relu特征层(a)特征提取的网络示意图人脸图像1人脸图像1输入1代价函数代价函数特征网络1024回归回归全连接全连接人脸图像2特征网络代价函数比对标签特征1输入2特征2(b)训练特征的网络示意图图4-4训练网络示意图验证信号使用Siamese网络训练结构，同时输入两个图像样本，两个特征以及比对标签一起输入到Contrastive_Loss层，得到的代价函数为验证代价函数Loss_verify。浙江工业大学硕士学位论文—32—总的代价函数为分类代价函数和验证代价函数的综合，如公式(4.1)所示。其中λ是一个可调的超参数，用以控制分类代价函数和验证代价函数的权重，本实验中λ取值为1。4.2.2PCA降维PCA是一种将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。PCA算法的基本思想是设法将原来众多具有一定相关性的变量，重新组合成一组新的互相无关的综合指标来代替原来的变量。通常数学上的处理就是将原来的多个变量作线性组合，作为新的综合变量。PCA算法的基本步骤如下：4.2.3实验结果训练样本选用中科院提供的互联网人脸库，共包含10575人的49万张人脸图像样本，每个人的样本个数为10到200张不等。从中取出样本个数最多的7000浙江工业大学硕士学位论文个人用于深度网络的训练，剩余的样本用于PCA训练，最终结果在LFWl²1库上进行准确度测试。测试标准使用LFW库[2]上非限制外部带标签数据的测试标准，测试集分为10组，每一组包含300对正样本和300对负样本，每一对样本为两张图片，用交叉验证的方法，对于每一组，使用其他9组的样本选取一个使准确率达到最大的最佳阈值，并用该阈值对当前组进行准确度测量。准确度的计算公其中TP为识别结果正确的正样本个数，TN为识别结果正确的负样本个数，S为全部样本个数。实验测试了不同相似度方式使用和不使用PCA下的测试结果，测试结果列于表4-1中。算法性能的另一个度量指标是ROC曲线，ROC曲线即为虚警率-击中率曲线，其中虚警率FPR表示被错误判断为正的负样本，击中率TPR表示正确判断为正的正样本，通过改变阈值得到一系列的FPR和TPR的对应关系并作出的曲图4-5所示，AUC结果列于表4-1中。表4-1准确度和AUC无PCA降维，欧氏距离无PCA降维，余弦距离PCA降维，欧氏距离PCA降维，余弦距离精确度Accuracy(%)AUC(%)浙江工业大学硕士学位论文图4-54.3系统实现系统有人脸注册、签到功能。为了方便描述，将本章所述的智能人脸考勤系统简称为“人脸通”,该系统具体使用说明如下：(1)系统主界面图4-6为人脸通主界面图，该系统分为两个功能，一个注册，写入个人信息和注册人脸信息，注册完之后可以签到，签到则为认证人脸。在使用系统时请用户尽量保持画面背景简单，如果画面背景过于复杂可能会引起人脸的误判。图4-6人脸通主界面浙江工业大学硕士学位论文(2)人脸注册陆洋陆洋否置为管理类确定获取取消确定图4-7人脸通注册图4-7为注册前输入个人信息图，写入姓名·身份证号码，身份证号码将做真实性校验，还可以设置管理员。点击获取则可以通过刷身份证读卡器获得姓名输入个人信息后开始人脸注册，此界面为注册时界面。人脸注册时注意正面面对摄像头，并且在左上角人脸关键点显示位置准确然后确定保存图片，如图4-8所示。图4-8人脸注册界面图浙江工业大学硕士学位论文(3)人脸认证签到图4-9签到界面图Fig4-9FaceauthenticationofFacePassSystem用户点击签到按钮则进入人脸认证，认证成功则提示验证到的注册人姓名··好。并且将考勤时间和人脸数据记录到后台数据库中，如图4-9所示。假如签到时人脸被墨镜遮挡则会提示墨镜遮挡，此时认证不能通过，如图4-10所示。假如签到时人脸被口罩遮挡则会提示口罩遮挡，此时认证不能通过，如图4-11所示。以上就是系统的全部功能，可以用作考勤机使用，后期可以完善后台，方便统计考勤信息等。图4-10人脸被墨镜遮挡Fig4-10Faceoc浙江工业大学硕士学位论文图4-11人脸被口罩遮挡4.4本章小结本章详细叙述了一个智能人脸考勤系统，该系统集成了本文所阐述的基于级联卷积神经网络的人脸遮挡算法。当前该系统能够实现基于人脸认证的考勤功能，能够检测认证过程中考勤员工的遮挡现象，并给予相关处理。浙江工业大学硕士学位论文第5章结论与展望在安防领域，为了逃避安防系统中监控摄像头的监视，进而实现其逃避法律处罚的目的，很多违法犯罪嫌疑人使用墨镜、围巾、口罩或者直接蒙面的方式来刻意遮挡自己的人脸特征，这种情况下的遮挡给嫌疑人抓捕和案件侦破带来了困难。如果能够利用人脸遮挡检测算法及时发现不法人员，然后自动向监控中心等部门报警，构建预警机制，则可以有效的阻止犯罪，降低犯罪率。尤其是报警并阻止蒙面人进入银行、政府区域、商场或者其他公共场所能有效的阻止犯罪。目前关于人脸遮挡检测对于人脸的拍摄角度、采集过程中的光照、遮挡物类型的多变性以及场景的复杂性等鲁棒性较弱，无法同时兼顾多种影响因素，很难满足实际要求。由于深度学习得到的人脸特征表达具有手工特征表达所不具备的重要特性，例如它是中度稀疏的、对人脸身份和人脸属性有很强的选择性、对局部遮挡具有良好的鲁棒性[35],因此，本文利用深度学习技术来研究人脸遮挡检测问题，主要工作包括：(1)提出了一种基于级联卷积神经网络的遮挡人脸检测算法，该检测流程首先利用人头级联卷积神经网络对采集图像进行人头检测，然后对检测到的人头分别利用眼睛和嘴巴级联卷积神经网络检测进行眼睛和嘴巴检测，以判断采集的图像是否存在遮挡情况。在用于检测人头、眼睛和嘴巴的级联网络中，第一级网络主要是清除大部分虚警区域，确定检测目标的大致范围；第二级网络对第一级筛选得到的区域再次进行判断，得到真正的目标区域。所实现的卷积神经网络在CACD2000数据库和中科院的人头数据库上取得了令人满意的效果。(2)设计并实现了一个集成基于级联卷积神经网络的遮挡人脸检测算法和基于卷积神经网络的人脸识别算法的智能考勤系统，能够实现基于人脸认证的考勤功能，能够检测认证过程中考勤员工的遮挡现象，并给予相关处理。本文所设计并实现的基于深度学习的人脸遮挡检测和识别算法在实验数据集上取得了显著效果。但当前所实现的算法只是对眼睛和嘴巴进行遮挡检测。而在实际应用中，遮挡类型多样、位置随机、大小不确定，导致目前所实现的基于深度学习的遮挡人脸检测和识别算法还需要进一步改善以满足实际应用。依托本文所设计并实现的人脸通考勤系统目前功能还比较简单，需要进一步完善与丰富系统的功能。浙江工业大学硕士学位论文[1]刘丹.分块SRC算法在遮挡人脸图像识别中的应用研究[D].[2]GaryB.Huang,ManuRamesh,TamaraBerg,andErikLearned-Miller.Labeledfthewild:adatabaseforstudyingfacerecognitioninunconstrainedenvironments.UniveofMassachusetts,Amherst,TechnicalReport07-49,October,2007.[4]欧卫华.基于稀疏表示和非负矩阵分解的部分遮挡人脸识别研究[D].武汉：华中科技大学，[6]袁宝华.异常人脸的定位与识别[D].南京：南京理工大学，2005[7]吴雪平.基于与或图的异常人脸检测技术研究[D].北京：北京理工大学，2011[9]陈琼.基于计算机视觉的ATM操作的异常行为检测[D].西安电子科技大学，2012[10]宋丙菊.基于ATM机的用户异常行为识别的研究[D].兰州理工大学，2012[12]DawTungLin,MingJuLiu.Faceocclusionsurveillance[C].ProcofFirstPacificRimSymposiumAdvancesinImageandVideoapplicationswithexceptionalocclusionhandling[C].ProcofIEEEComputerSocietyCononComputerVisionandPatternRecdetectioninATM[C].2014InternationalConferenceonAudio,Languageand[16]TimoOjala,MattiPietikainen,DavidHarwood.Acomparativestudyoftexturemeasureswithclassificationbasedonfeatureddistributions.PatterinternationalconferenceonComputerVision,1999:1150-1157JournalofComputerVision,2004,60(2):91-110[19]PaulA.Viola,MichaelJ.Jone[20]ChristopherJ.C.Burges.ATutorialonSupportVectorMachinesfor浙江工业大学硕士学位论文DataMiningandKnowledge[21]YoavFreund,RobertE.Schapire.Adecision-theoreticgeneralizationofon-linelearningandanapplicationtoboosting[J].Journalofcomputerandsystemsciences,1997,55(1):119-139.[22]MartinT.Hagan,HowardB.Demuth,MarkH.Beale,OrlandoDeJesús.Neuralnetworkdesign[M].Boston:PWSPublishingCompany,2014[23]CheYenWen,ShihHsuanChiu,JiunJianLiaw,ChuanPinLu.ThesafetyhelmetdetectionforATM'ssurveillancesystemviathemodifiedHoughtransform[C].SecurityTechnologyIEEE37thAnnual2003InternationalCarnahanConference,2003:364-369.[24]Chen-ChungLiu,Jhen-SyunLiao,Wen-YuanChen,andJi-HongChen.Thefullmotorcyclehelmetdetectionschemeusingcannydetection[C].18thIPPRConferenceonComputerVision,GraphicsandImageProcessing(CVGIP).2005:1104-1110.[25]BoWu,HaizhouAi,RanLiu.Glassesdetectionbyboostingsimplewaveletfeatures[C].The17thInternationalConferenceonPatternRecognition,2004,1:292-295.[26]C.Wen,S.Chiu,Y.Tseng,C.Lu.TheMaskDetectionTechnologyforOccludedFaceAnalysisintheSurveillanceSystem[J]JournalofForensicScience,2005,50(3):1-9.[27]S.Yoon,S.Kee.Detectionofpartiallyoccludedfaceusingsupportvectormachines[C].IAPRConferenceonMachineVisionApplications,2002:546-549.[28]JieChen,ShiguangShan,ShengyeYang,XilinChen,WenGao.ModificationoftheAdaBoost-basedDetectorforPartiallyOccludedFaces[C].18thInternationalConferenceonPatternRecognition,2006,2:516-519.[29]T.Kurita,M.Pic,T.Takahashi.Recognitionanddetectionofoccludedfacesbyaneuralnetworkclassifierwithrecursivedatareconstruction[C].IEEEConferenceonAdvancedVideoandSignalBasedSurveillance,2003:53-58.[30]InhoChoi,DaijinKim.Facialfrauddiscriminationusingdetectionandclassification[C].6thInternationalSymposiumAdvancesinVisualComputing,2010:199-208[31]GahyunKim,JaeKyuSuhr,HoGiJung,JaihieKim.FaceocclusiondetectionbyusingB-splineactivecontourandskincolorinformation[C].The1lthInternationalConferenceonControlAutomationRobotics&Vision(ICARCV),2010:627-632.[35]YiSun,XiaogangWang,XiaoouTang.Deeplylearnedfacerepresentationsaresparse,selective,androbust[C].ProceedingsofIEEEComputerSocietyConferenceonCom