多目标人脸检测方法研究模板

多目标人脸检测方法研究资料内容仅供参考，如有不当或者侵权，请联系本人改正或者删除。摘要随着信息技术的飞速发展,人脸检测是计算机机器视觉的重要研究领域,视频安全监控系统中一般需要针对多个目标的人脸图像进行检测,因此社会发展生产生活离不开多目标人脸检测技术。多目标人脸检测技术在生物检测识别技术迅猛发展的今天,应用尤为广泛。多目标人脸检测是指输入图像内包含多个人脸图像,基于人脸图像进行人脸特征点定位构造几何特征向量进行人脸图像的进一步验证和匹配识别。人脸的几何特征可用于人脸检测,是一种稳定的面部特征,对于多目标的人脸检测技术具有实用的价值和研究意义。本文针对多目标人脸检测方法进行深入研究,基于视频序列图像研究人脸检测,人脸特征点定位,几何特征向量的人脸匹配识别的方法。首先基于视频序列的连续帧图像采用AdaBoost检测算法实现多目标人脸图像的粗定位,包括个数、位置及大小,分析人脸检测算法适用的人脸图像的分辨率、左右旋转角度、上下仰俯角度以及视频序列人脸图像的漏检与误检情况;其次基于灰度统计和面部结构的分布规律进行人脸的特征点定位,包含眼睛、鼻子及嘴等特征点,特征点定位进一步验证人脸检测的准确性;最后根据特征点间连线的距离值构造几何特征向量,特征向量能够全面反映人脸的比例关系以及器官属性,经过计算人脸几何特征向量的加权欧氏距离进行身份识别。采用多目标人脸检测技术在视频图像进行实验,能够达到良好的多目标检测效果。实验表明,多目标人脸检测方法能够有效的对视频序列中不同光照、姿态、表情的人脸图像进行检测,对连续帧图像的多目标人脸图像进行动态分析,有较高的检测率和较好的鲁棒性。关键词:多目标,人脸检测,特征点定位,几何特征向量,相似度判断AbstractWiththerapiddevelopmentofinformationtechnology,facedetectionistheimportantresearchfieldofcomputervision,videosecuritymonitoringsystemusuallyneedtodetectmulti-faceimages.Sothedevelopmentofsocietyproductionandlivinginseparablefrommulti-facedetectiontechnology.Themulti-facedetectiontechnologyinthebiometricidentificationtechnologyrapiddevelopmenttoday,iswidelyapplied.Multi-facedetectionreferstocontainmorethanonefaceimagewithintheinputfaceimage,basedonthefacialfeaturepointslocationandgeometriceigenvectorsoffaceimagefurtherverificationrecognitionandmatching.Facialfeatureinformationandgeometricalcharacteristicscanbeusedforfacedetection,isastablefacialfeatures.Thegeometricalcharacteristicsofthehumanfaceformulti-facedetectiontechnologyhasthepracticalvalueandsignificance.Thispapermakesadeepresearchformulti-facedetection,involvedinfacedetectionandfacialfeaturepointslocalizationandtherecognitionofthefacialgeometriceigenvectorsbasedonvideosequence.First,thispaperpresentsthefacedetectionbasedonAdaBoostalgorithmtodetectmanyfaces,includethesizeandlocationinformation.Throughlotsoffaceimagesinvideosequence,itcanfindthatAdaBoostfacedetectionalgorithmiseffectivetodetectthefacialimageswiththeresolution,rotationangleinleftandrightside,pitchingangleandsoon.Aswellasanalysisoffacedetectionalgorithmthemostsuitableoccasion.Secondly,thefeaturepointspositioningbasedongraystatisticandthedistributionofface,realizethefacialeyeandnoseandmouthfeaturelocation.Facialfeaturepointslocationresultsdirectlyverifytheaccuracyoffacedetection.Finally,thegeometriceigenvectorscomposedofthedistancebetweenthefacialfeaturepoints,itcancomprehensivereflectthefacialproportionrelationshipbetweenorgansandproperties.BycalculatingweightedEuclideandistancebetweenthefacialgeometriceigenvectors,itisusedtoidentifythemulti-faceimagesofvideosequence.Toexperimentonvideoimagewithmulti-facedetectionmethoddiscussedabove,achievedagoodmulti-facedetection.Extensiveexperiencesandanalysisillustratesthatthesemethodscanbeapplieddifferentexpressionsandrotationangleandsizeoffacedetection,realizethedynamicanalysisofsuccessiveframesmulti-faceimage.Multi-facedetectioncanbeeffectivelyrealizedfacedetectionwithhighdetectionrate,speed,strongrobustness.KeyWords:Multi-objective,Facedetection,Facialfeaturepointslocalization,Geometriceigenvectors,Similarityjudgment目录TOC\o"1-3"\h\u24078摘要 I6976Abstract II6640第1章绪论 1229441.1人脸检测方法研究的目的及意义 1327501.2多目标人脸检测方法研究动态 2304261.2.1多目标人脸检测的研究现状 2181121.2.2多目标人脸检测研究内容 488281.3本文工作概述和结构 512465第2章基于AdaBoost人脸检测方法研究 7222172.1AdaBoost人脸检测算法原理 750042.1.1积分图与矩形特征 8114052.1.2分类器的设计 1077722.2人脸检测算法分析 11211052.2.1人脸检测算法适用条件 1166182.2.2视频序列人脸检测算法漏检与误检分析 14225472.3基于AdaBoost算法人脸图像的粗定位 15250192.4本章小结 1912988第3章人脸特征点定位方法研究 2012743.1人脸特征点的选取 20207153.2眼睛特征点定位 21117223.3鼻子特征点定位 24314993.4嘴的特征点定位 25137903.5人脸特征点定位结果与分析 26294573.6本章小结 3012837第4章人脸几何特征向量的匹配识别 3145654.1人脸几何特征向量的构造 31228284.2特征向量相似度的计算 32226274.3特征向量的相似度分析 374484.4本章小结 3923697第5章视频序列多目标人脸检测实验与结果分析 4091045.1基于视频序列多目标人脸检测 40296075.2视频序列多目标人脸检测结果与分析 41209525.3本章小结 4721207第6章结论 4810327参考文献 5023760在校研究成果 539513致谢 54第1章绪论1.1人脸检测方法研究的目的及意义人脸检测是生物检测技术的一个重要方向,因其操作简单、直观、非接触等特点作为选取生物特征主要考量的关键,信息系统的安全保障性主要利用人脸的视觉特征信息进行检测、识别以及分析,由于人脸图像蕴含着丰富的信息,因此多年来一直受到研究者的青睐,投入大量的精力深入探索。人们日常的生活生产以及社会的发展离不开学科技术对人脸图像的研究,特别随着对人脸检测技术的研究不断深入,提取和处理简单环境和复杂环境下的人脸图像成为计算机视觉系统中重要的研究领域[1]。单目标的人脸检测系统是最初的应用领域,以往单目标的人脸检测是模式识别以及图像处理领域的主流研究课题[2]。单目标的人脸检测(FaceDetection)即判断图像中人脸的存在,确定人脸的数量,位置及大小,并从背景中分离出来。人脸的唯一性决定人脸检测技术在隐私性、安全性强的邻域有着更为广泛的应用,与其它的生物特征相比,例如掌纹、指纹、静脉、虹膜等生物特征人脸具有非接触性的强大优势,更易于被各领域所接受[3]。访问限制、司法领域、电子商务、视频监控等都在个人身份识别应用范围之内[4]。随着技术的不断深入改革,单目标的人脸图像检测无法满足社会科技的发展,单目标已无法满足科研者的需要,多目标的人脸检测技术更是成为研究的热点。多目标人脸检测成为一个亟待深入挖掘的生物检测领域,多目标的人脸检测技术不但应用在国际公共安全防护系统;在日常身份验证、公安抓捕罪犯、金融持卡人安全防护等重要的各个领域中有着极其现实的应用价值,多目标的人脸检测速率和准确率都是主要的研究方向。多目标的人脸检测是指待检测的图像中包含多幅人脸图像,将检测出的人脸部分提取出来,与此同时人脸图像检测的结果与提取图像的质量直接关系到人脸检测技术的整体水平[5]。其次,基于人脸部分的检测结果进行人脸特征点定位检验,特征点定位能够展现面部的特征信息。人脸的特征点定位不但能够应用在人脸姿态与表情分析,还能够对图像中的人脸实时跟踪[6]。最后利用提取的几何特征信息进行匹配识别,对人脸图像的特征数据进行变换找到能够反映本质的特征。由人脸检测、人脸特征点定位以及人脸几何特征向量匹配结合的多目标人脸检测方法,不但系统有着易于大众接受、操作方便、方便进行检查与验证等优点,同时还能够实现视频序列中多目标的人脸图像的动态分析。总体来说,多目标的人脸检测技术将图像处理、模式识别、计算机视觉以及数学等诸多学科融为一体,具备十分广泛的应用价值。由此可见,经过大量的资料研究得出多目标的人脸检测方法的研究课题具有现实的研究意义、必要的技术研究、学术价值以及无限的前景,必将成为信息技术发展炙手可热的研究课题,因此多目标人脸检测方法的研究题目的选择具有研究的价值和必要性。1.2多目标人脸检测方法研究动态1.2.1多目标人脸检测的研究现状多目标的人脸检测的方法研究中,人脸检测是首要的技术步骤也是人脸图像处理、人脸识别、人脸特征提取、人脸追踪的必要工作,检测技术能够作为单独的一项研究也能够与识别、跟踪相结合应用[7]。多目标人脸检测是实现单目标人脸检测的并行计算。人脸检测方法的研究蓬勃发展于20世纪90年代,在人脸检测领域取得了卓越的学术成果[8]。该技术主要是利用计算机对人脸图像进行分析并提取人脸的位置、姿态等信息,利用不同的提取特征的方法深入分析生物特性。随着计算机硬件和软件水平整体提高,人脸检测系统中鲁棒性这一性能成为技术发展的关键之举[9]。20世纪90年代以来,人脸图像的整体检测和部件单独分析相结合的研究方法成为各研究人员关注的热点,主要利用人脸的各类特征信息,结合人脸的结构特征、分布规律、统计规律等等提出众多新的人脸检测的算法[10]。M.H[11]采用稀疏逼近的窗口网络的学习方法、Sung采用特征矢量训练出判断人脸的方法、S.C等人基于二维离散余弦变换的方法实现人脸检测。在人脸检测技术开始向现实领域拓展,将人脸检测的领域不断应用在实际的生产生活中[12]。当前多目标的人脸检测领域主要有两个研究方向:第一种是1991年Turk和AlexPent-land[13]采用K-L变换的方法提取人脸的整体生物特性,将主成分分析(PrincipalComponentAnalysis)引入到人脸检测系统中[14]。PCA主要是对矩阵做变换和投影提取人脸的代数特征。如Bledsoe[15]提出了一种基于人脸特征间距、比例的半自动下的人脸检测和识别系统。Sung等提出了人脸图像样本到各类中心距离训练的学习方法;第二种是基于特征分析,描述脸部特征的形状参数或者类别参数等组成人脸检测与识别向量,能够保留人脸图像之间的拓扑关系。经过对部件分析提取局部特征信息以及灰度统计规律,实现部件的检测[16]。基于部件特征提取局部的轮廓和灰度信息的算法不断推陈出新。Lam[17]提出一种基于整体分析与局部分析相结合的人脸检测方法。针对视频序列的多目标人脸检测是视频监控对图像序列的视觉分析过程,主要的任务是分析视频序列中目标的行为特征。视频序列的多目标人脸检测的方法能够有很多种类,介绍3种基于视频序列的多目标人脸检测方法,主要分为光流法、背景减差法、帧差法[18]。光流法光流法是传统的视频序列连续目标的检测算法之一,由于视频序列是连续帧的静态图像,人脸图像在每一帧图像上不断的运动,相应的人脸亮度模式也在变化。光流法的检测原理基于变化的人脸图像随时间变化的光流特性,利用位移向量的光流场定位人脸的外部轮廓,基于外部轮廓实现多目标的人脸检测。基于光流法的多目标检测打破视频帧间的运动干扰,能够处理间隔很大的位移,不过光流法的计算量很大,比较复杂同时噪声影响很大,无法实现多目标的实时检测。背景减差法静止背景下的多目标检测的常见方法是背景减差法。背景减差法的核心思想是将帧图像与背景作差,选取阈值判断差分的图像是否是运动目标,检测出多目标的位置、大小及形状特征信息。背景减差法的优点在于操作简单、计算量较低、检测速度比较快,然而却容易受到光照的影响,降低检测率。因此,背景减差法对背景的更新机制有更为严格的要求。帧差法帧差法最直接的应用是检测视频序列中连续帧之间多目标图像变化情况。帧差法采用计算两帧图像之间对应像素点间的灰度差分,计算阈值提取目标。三帧差法改进了帧差法中检测目标过大的现象,将第k帧图像与第k-1帧、第k+1图像与第k帧图像分别作差用二值差分图像。帧差法实现视频序列的多目标检测对场景的光照情况不敏感,有较好的鲁棒性,检测效果稳定,可是无法提取具体的特征像素,容易产生空洞现象,特别图像之间间隔过大,目标运动速度过快会造成检测不准确。多目标人脸检测技术应用广泛,针对多目标下各种姿态都能够实现快速有效的实时人脸检测。当前针对多目标人脸检测方面的研究国内外学者取得大量的研究成果。在现实的应用方面,现今流行一些数码产品,例如相机、手机等能够再拍摄过程自动实现人脸进行对焦,美国Visionics公司提出了一整套基于局部特征分析(LocalFeatureAnalysis)算法的人脸检测系统;VisageGallery身份验证系统;国外手机操作系统基于Eigenface技术推出手机人脸解锁的功能。在国内研究学者的不懈努力下,中国在多目标人脸检测技术的研究领域也取得巨大的成就。辽宁省大连市使用人脸识别技术作为机场安检防护手段、公安部采用人脸识别技术作为追捕逃犯、防止恐怖势力和维护国家安全的重要手段;同时在学术研究方面,以北京大学、清华大学和中科院为首的许多科研人员都在从事人脸检测研究,关于图像处理、计算机模式识别、生物识别的国际高质量的论文发表情况也是令人自豪的[19]。1.2.2多目标人脸检测研究内容多目标的人脸检测方法的研究主要包括如下内容:(1)人脸检测当前以不同视角和背景下的人脸检测为主流研究课题,人脸检测主要是受光照、姿态、表情的影响,人脸检测的精确度是研究过程中的重要指标,研究者提出各类算法的最终目的是提高人脸检测精度。从人脸检测技术的发展方向来看,大致可将检测技术分为基于特征的方法和基于图像的方法两大类[20]。人脸的肤色、对称性、结构特性都是人脸模式特征的主要因素,肤色特征是能够迅速定位到人脸的一种方法,不考虑人脸面部的细节特征,从而对面部表情的多姿态变化有着更好的鲁棒性,高斯肤色模型、混合高斯肤色模型[21]以及直方图肤色模型是建立肤色模型的主要三种肤色模型,还包括基于神经网络的肤色模型、基于贝叶斯的方法肤色模型,肤色模型与色彩空间息息相关;另一方面基于图像的方法进行人脸检测,检测的实质是统计模型的建立,经过选取不同的统计方法进行二分类,基本思路是采用小窗口扫描搜索人脸区域[22]。无论是基于特征还是图像都有各自的优点或缺点,基于特征的方法有较好的检测速度,而基于图像的方法更为可靠。基于人脸检测的发展之下,Govindaraju等提出基于检测椭圆来进行人脸检测,经过边缘检测、提取边缘曲线特征和评估人脸曲线来检测人脸;Lee等利用建立肤色模型将人脸从复杂的背景中检测和分离出来;Zabrodsky等基于检测圆形区域的方法提出对称连续检测[23],判断人脸的存在与否;Marques采用分割投影实现人脸检测;P.Viola提出的AdaBoost人脸检测算法是当前人脸检测研究的关键,应用最为广泛。(2)人脸特征点定位基于人脸准确检测之下,提取人脸的特征主要包括几何特征、代数特征提取方法。几何特征能够反映人脸器官几何联系和器官的本身属性,人脸特征点之间的欧氏距离、长度、面积、角度以及曲率都是几何特征主要参数。针对人脸的局部特征点定位包括基于轮廓检测的眼睛定位算法[24]、基于区域投影的人眼精确定位算法[25]、基于改进型抛物线Hough变换的眼睛特征点定位等等[26],主要涉及双眼定位、眼睛区域分割、人眼特征提取三个方面,一种彩色空间分布的嘴巴定位,基于纹理分布特征的虹膜识别算法以及基于Gabor小波的人脸特征提取等等,由于局部定位是针对部分人脸器官,因此人脸特征点的数量有限,不能全面的满足人们对特征点的需求。全局的特征点定位方法能够定位多个特征点,将输入的人脸图像视作整体的变量,经过分析建模提取目标特征信息,包括人工神经网络(ANN)、支持向量机(SVM)等统计模型算法,可是一般此类方法的缺点是计算量大、系统耗时长。Kanada[27]最早提出对二值图像使用积分投影函数提取人脸指定的特征点,Poggio和Brunelli[28]又对算法进行了改进,使算法对光照的适应性增强;Feng等提出利用特征方向上的像素灰度值方差提取特征,算法对复杂背景下的人脸特征提取鲁棒性增强;MohamedRizon采用边缘信息、色度和谷算子进行人眼定位,可是受光照和速度的影响很大,不够稳定,运算量比较大。(3)人脸识别人脸识别技术的应用范围很宽阔,包括表情识别、姿态分析、脸部合成、人脸融合等方面,人们提出不同的算法提取出的人脸特征信息,按照一定的分类策略与各个人脸的特征信息进行对比[29]。人脸识别的种类也是多种多样的,包括复杂背景和简单背景、静态动态图像、彩色灰色图像等等。人脸识别是人脸图像处理的复杂任务,起始于20世纪60年代涌现出许多人脸识别的方法和思路,发展阶段历经人脸正面的识别过程、多表情多姿态的识别、动态跟踪人脸识别、人脸的三维识别[30]。ZhaoHT提出一种改进的优化子空间的线性判别分析方法,在人脸数据库中进行测试取得较好的识别率[31];Cottrell等使用级联BP(BackPropagation)神经网络对受损的人脸图像、光照影响严重的人脸图像进行人脸识别;Jonsson提出支持向量机分类能够识别不同的人脸,但支持向量机方法求解过程复杂、耗时无法预测甚至无法执行程序[32];Lai将小波变化、傅里叶变换以及平面几何变换相结合的方法识别人脸。随着现代计算机视觉技术不断成熟和完善,人脸识别技术已向三维方向发展,由此人脸技术的发展空间很大[33]。当前人脸识别方法的实现常常需要训练人脸样本,可是样本的采集和建立都是复杂的过程,耗费大量的时间和精力。随着信息技术的不断发展,多目标的人脸检测基于选取的图像作为模板,大大的缩短了时间,是人脸识别的重要研究方向之一。1.3本文工作概述和结构本文主要针对多目标人脸检测方法的研究。首先将视频序列转换为一帧帧连续的静态图像,对选取的第一帧图像进行人脸的粗定位,包括位置及大小,基于第一帧的人脸图像作为多目标人脸检测的模板;其次利用灰度统计和五官分布规律结合的方法定位双眼瞳孔、眼角点、鼻尖、嘴角点以及嘴中线点等10个特征点提取人脸的特征信息构造特征向量;最后基于几何特征向量的人脸识别方法构造7个人脸几何特征向量,计算该图像的几何特征向量与模板人脸图像特征向量之间的加权欧氏距离,选取最优阈值作为匹配的依据,对后面输入图像中的人脸图像进行检测以及定位。本文结构安排如下:第一章介绍多目标人脸检测方法研究的目的、意义以及国内外研究动态,介绍了多目标人脸检测研究内容包括人脸检测、人脸特征点定位以及人脸匹配识别的研究方法进行分析,最后介绍了本文的研究内容和结构安排。第二章介绍基于AdaBoost算法实现多目标人脸检测的粗定位。首先介绍AdaBoost算法以矩形特征为基础分类器的构造;其次针对视频序列的人脸图像对AdaBoost检测算法进行分析,分析检测人脸图像的适用条件以及视频序列人脸检测出现的漏检与误检分析;最后结合视频序列对多目标人脸图像的检测结果与分析。第三章介绍基于人脸图像粗定位基础之上,实现人脸的特征点定位。首先基于AdaBoost实现人脸图像的粗定位,人脸特征点的选取;其次介绍眼睛、鼻子以及嘴特征点定位的方法以及结果,而且基于特征点定位的结果进行验证与分析;最后结合ORL人脸数据库与视频序列图像给出人脸特征点定位的检测结果。第四章介绍基于人脸几何特征向量的匹配识别方法。首先介绍人脸几何特征向量的构造方法以及选取理由;其次对几何特征向量的相似度进行计算与分析;最后经过计算几何特征向量间的加权欧氏距离,结合人脸数据库选取最优阈值实现多目标人脸匹配结果。第五章基于视频序列多目标人脸检测的实验结果与分析。经过拍摄的视频序列,结合人脸检测的粗定位、人脸特征点定位、几何特征向量的匹配识别,整体运行多目标的人脸检测的算法,对目标人物进行动态分析,对人脸图像在视频序列中的检测及定位给出准确的结果。采用多目标人脸检测方法给出的实验结果,证明方法的有效性。第六章对论文整体工作进行总结。第2章基于AdaBoost人脸检测方法研究随着人脸检测算法的不断成熟,人脸检测所涉及的范围十分广泛,能够提出一系列的检测算法。多目标的人脸检测方法指输入图像中包含若干个人脸图像,提取人脸图像部分进行人脸的特征点定位,构造几何特征向量用于多目标的人脸图像的匹配识别,多目标人脸检测方法研究的领域涉及多个方面。多目标人脸检测的整体流程图如图2.1所示。图2.1多目标人脸检测流程图Fig.2.1Flowchartofmulti-facedetection如图2.1多目标人脸检测的流程图所示,人脸图像的粗定位作为多目标人脸检测的首要步骤,同时多目标人脸检测的结果直接影响后续特征点定位以及几何特征向量的构造,因此本文采用AdaBoost人脸检测算法判断图像中存在人脸的位置、大小、个数等,这是人脸检测所需要的必要数据。AdaBoost算法的提出使人脸检测的研究更加深入,高效率和高性能等优势成为在人脸检测领域最前沿的方法之一。Freund和Schapire提出AdaBoost算法的实质是经过迭代方法不断调整样本的权重实现的[34-36]。本章将对人脸检测算法的原理、人脸检测算法适用条件以及基于视频序列图像进行人脸检测结果的分析。2.1AdaBoost人脸检测算法原理为了区分人脸和非人脸,AdaBoost人脸检测算法的关键在于采用积分图的计算方法,积分图能够快速计算矩形特征。由于矩形特征是作为分类的基础,因此计算矩形特征的方法成为关键。积分图在样本集中提取矩形特征,一个弱分类器表示一个矩形特征,不同的矩形特征产生了不同的弱分类器,人脸检测算法的目的在于弱分类器组合成强分类器,同时级联强分类器用于人脸的精确检测。2.1.1积分图与矩形特征矩形特征(Haar-like特征)[37]是由Papagcorgiou提出用于区分人脸与非人脸,能够描述人脸的特征信息。有人脸灰度分布规律可知,眼睛周围区域的颜色比眼睛浅、鼻子的颜色比鼻子两侧周围浅、嘴唇周围区域的颜色同样浅于嘴唇等等。人脸检测的核心问题在于提取矩形特征,矩形特征的形式如图2.2所示。a2-矩形特征b3-矩形特征c4-矩形特征图2.2矩形特征Fig.2.2Featuresofrectangular由图2.2能够看出,矩形特征都是由形状大小相同的矩形组成的,能够反映人脸图像的特征信息。主要包括2-矩形特征、3-矩形特征、4-矩形特征这三种类型的矩形特征。2-矩形特征:由2个大小形状相同的矩形组成,有相邻和垂直两种形式代表图像的边缘特征信息。3-矩形特征:明显的由3个相同的水平或者垂直放置矩形组成,与2-矩形特征不同的是它代表着线性特征。4-矩形特征:由4个大小相同矩阵组成,包含对角线特征。所谓矩形特征的特征值将白色矩形内的所有像素灰度值减去黑色矩形内的所有像素灰度值。如图2.2中的三种矩形特征,2-矩形的特征值是两个大小相同的黑色和白色矩形的像素值之和作差;3-矩形特征特征值是两个白色矩形的所有像素值之和与黑色矩形的所有像素值之和作差;4-矩形特征值是对角线上两个矩形内部所有像素和与另外一条对角线上两个矩形内部的所有像素和作差值得到的。对于不同大小的检测窗口来说,检测窗口越大,相应的特征矩形的数量就越庞大,计算量就越大。不同大小检测窗口中对应的矩形特征的数量如表2.1所示。表2.1检测窗口大小与矩形特征对应关系Tab.2.1Thenumberofrectanglefeatureindifferentdetection-window检测窗口大小 16×1620×2024×2430×3036×36矩形特征3238478460162336394725816264由上述表2.1能够看出,对于一个30×30大小的检测窗口来说,包含394725个矩形特征,远远大于检测窗口中的像素个数。因此快速计算特征值成为人脸检测的核心问题。Voila等人提出用积分图来解决矩形特征的计算问题,提升了检测窗口的运行速度如图2.3所示。AAAAAAa像素点A的积分值b矩形区域的积分计算图2.3像素点A和矩形区域的积分图像值Fig.2.3ComputetheintegralvaluefortheregionandpointA积分图的思想:计算图像中任意一点的图像积分等效于图像上该点左上方所有像素灰度值的和。特征点的积分值直接决定矩形特征值的大小,与其它任何因素无关。计算像素点的积分值就能够很快的计算矩形区域的积分图像值。如图2.3a所示,图中黑色阴影部分代表A的积分值,即点A左上方区域所有像素灰度值进行求和。图2.3b中的矩形区域的积分图像值求解方法为:点1的积分图像值(f1)=矩形A区域像素灰度值之和;点2的积分图像值(f2)=矩形A区域像素灰度值总和+矩形B区域像素灰度值总和;点3的积分图像值(f3)=矩形A区像素域灰度值总和+矩形C区域像素灰度值总和;点4的积分图像值(f4)=矩形A+B+C+D区域所有像素灰度值总和;由此可见,矩形区域D的积分图像值=f4+f1-f2-f3即可。采用积分图的思路计算矩形特征的方法使人脸检测迈向新的阶梯,主要的贡献是提高计算速度,能够有效的避免重复计算。人脸检测主要是结合矩形特征的一些信息,矩形特征能够存在人脸图像的任意区域,大小一定不能超过人脸图像的尺寸,开始时设置较小的矩形特征的初始值,遍历整个图像过程中不断放大,直到检测出人脸图像的位置及大小之后结束检测。如图2.4所示,人脸图像中眼睛的亮度低于鼻梁和脸颊的亮度;鼻梁的亮度低于两侧的脸颊亮度;嘴的亮度低于周围区域的亮度,上述的矩形特征充分反映出人脸的灰度分布特点。检测人脸的过程需要大量的不同大小、类型、位置的矩形特征,总体得出结论,检测人脸的关键点在于寻找图像中的矩形特征。图2.4矩形特征与人脸结合Fig.2.4TheintegrationofHaarfeatureandface2.1.2分类器的设计采用矩形特征的人脸检测方法核心是AdaBoost算法,目的是将分类能力一般的弱分类器经过特定的方法叠加变成分类能力强的级联分类器。弱分类器的构建与矩形特征密不可分,每个矩形特征代表着一个弱分类器,弱分类器的分类效果(最强分类效果为1)略大于0.5,在弱分类器的基础之上按照一定的规则组合成一个分类精度高的强分类器。弱分类器主要考虑矩形特征值、阈值、指示不等号因素的影响,具体定义公式为:(2.1)其中fi(x)代表检测窗口x的第i个特征值;Pi代表指示不等号即决定不等号的方向;为分类器的阈值。首先选取人脸图像和非人脸图像作为训练样本,对其权重初始化、归一化处理;其次对积分图中计算出的特征值构建弱分类器,选取误差最小化的阈值和指示不等号;最后最优弱分类器重新更新样本权重使错误样本的权值逐渐增大,将非人脸图像凸显出来。弱分类器的目标是选取误差率最低矩形特征。多个弱分类器构成强分类器,人脸与非人脸样本的分类效果明显增强。强分类器将多次迭代训练的弱分类器,对错误率最小的最优弱分类器加权求和,构造出强分类器,强分类器的表示式如2.2所示。(2.2)充分考虑到人脸检测方法需要更强的实时性,因此级联分类器的提出大大的提升人脸检测的精确度和速度。例如设计一个20组的分类器,每组包含10分类器,这样就能够有效的取代由200个分类器。级联分类器由AdaBoost算法训练出来的强分类器组合而成,待检测的图像需要需要经过层层筛选,任何一个强分类器判断为非人脸窗口,就无法送至下一层强分类器,只有经过全部的强分类器最终判定为人脸窗口[38]。级联分类器的设计重点在于赋予前几层的较少的弱分类器而后面几层较多的弱分类器,这样设计能够加快非人脸窗口图像的排除、提升检测精确度、给予后面检测窗口更精密的检测,输入图像的检测过程如图2.5所示。图2.5级联分类器Fig.2.5Cascadeclassifierstructure 经过级联分类器能够看出,在多层分类器的共同作用下有效的区分人脸图像和非人脸图像,如果结果为‘YES’直接传递给下一层分类器;如果判定结果为‘NO’直接作为淘汰检测窗口。同样最终的误检率和检测率与每一层分类器的误检率、检测率相关。经过测试能够改变每一层分类器的检测率、误检率,使最终的检测检测率达到99%以上即可停止运算。一个包括M层的级联分类器是由M个强分类器组成的,最终的检测率等于每一个强分类器的检测率的累积,同样误检率也是M个强分类器的误检率的累积,由此可见,级联分类器的作用就是提高检测率、降低误检率、加快运行速度。2.2人脸检测算法分析2.2.1人脸检测算法适用条件输入的人脸图像中包括的人脸个数从1个到14个不等,最少的人脸图像中包含1个人脸而最多的人脸图像中包含14个人脸;随着人脸的数量不断增加导致人脸的分辨率逐渐减小,这样导致人脸检测算法无法从复杂背景中提取人脸图像,针对AdaBoost人脸检测算法从光照因素、人脸分辨率、人脸左右旋转角度、上下仰俯角度以及水平旋转角度方面分析检测效果。分别选取四组不同的人脸图像进行人脸检测,第一组选取视频拍摄图像大小为320×240的包含不同光线照射的人脸图像,检测结果如a图所示;第二组选取ASM人脸数据640×480大小,包含人脸左右不同旋转角度的人脸图像,检测结果如图b所示;第三组同样选取ASM人脸数据库640×480大小的包含人脸上下仰俯角度的人脸图像,检测结果如图c所示;第四组选取720×480大小的人脸图像,包含不同尺度的人脸检测结果如图d所示;基于AdaBoost人脸检测算法在不同条件下检测人脸的整体结果如图2.6所示。a不同光照b不同旋转角度c不同仰俯角度d不同分辨率图2.6不同条件下人脸检测结果Fig.2.6Thedetectionresultsindifferentcondition基于视频序列图像和ASM人脸数据库中人脸图像进行人脸检测,如图2.6a所示,在正常光照下能够实现较高的检测率,图2.6能够检测人脸有一定的左右旋转角度,图2.6c能够检测人脸有一定的水平旋转角度,图2.6d能够看出人脸检测算法能够检测不同分辨率大小的人脸图像,解决了人脸图像在视频序列中由于距离拍摄镜头的远近造成的人脸图像的多尺度的问题。人脸检测算法的矩形特征使得检测结果对光照不敏感;在光照条件昏暗时,人脸图像中的眼睛、鼻子灰度值与周围区域差异变小,特征值不明显导致强分类器的分类能力减弱,出现漏检、误检的情况,经过不断的测试能够找到人脸检测图像的基本属性。人脸检测的基本条件如下:(1)检测人脸图像分辨率要大于或者等于20×20;(2)检测人脸图像左右侧面旋转角度小于或者等于20度;(3)检测人脸图像上下仰俯角度小于或者等于20度;(4)检测人脸图像水平旋转小于或者等于15度。一般情况下夸张的动作幅度会影响矩形特征构造的人脸检测器,就会影响人脸的检测结果,可是在安全监控系统中一般不会有夸张的动作和面部表情,能够直接淘汰掉这样的图像。综合上述影响人脸检测结果的因素,满足正常光线完全能够进行人脸检测。对于人脸检测的场景包括室内场景、室外停车场、电梯厅等等一系列能够应用人脸检测算法检测人脸图像。由此可见,人脸检测中的人脸图像的分辨率最小的临界值为20×20,小于20×20大小的图像早已无法分清面部的五官特征,即使能够进行人脸检测的初步定位也无法进行人脸的特征点定位,就无法实现人脸的匹配识别,最终也将淘汰图像,无法作为多目标人脸检测的关键素材。多目标的人脸检测方法主要是针对视频的连续图像进行人脸检测,如果遇到人脸的分辨率太小无法进行人脸特征点定位的情况,能够继续对下一帧图像进行人脸检测,持续对人脸图像进行追踪定位。2.2.2视频序列人脸检测算法漏检与误检分析人脸检测算法在现实生活中应用受到许多因素的影响,包括场景障碍物、目标配饰、人脸面部表情等等,会出现误判、漏检的情况。经过对电梯、停车场一些安全监控系统中经常出现的场景进行测试,基于AdaBoost人脸检测算法针对视频序列中包含不同光照、表情、姿态有较好的检测率,而误检和漏检的情况也会出现,不能检测出人脸图像的情况如图2.7所示。图中没有检测出人脸图像包括由于视频中人脸动作幅度过大,导致视频转换成帧图像比较模糊;光线太暗,人脸图像的灰度信息不明显;人脸仰俯动作夸张等因素导致无法检测人脸的矩形特征,造成检测器失效。图2.7没有检测出的人脸图像Fig.2.7Theimageswithoutdetectedface综合上述图2.7中漏检与误检的出现情况:(1)人脸图像刚出现时;(2)人脸图像上下晃动明显;(3)视频中人脸图像发型遮挡脸部严重;(4)人脸图像移动距离过大;(5)某一帧图像出现漏判后会有一系列的误判;(6)新的人脸图像刚出现前几帧出现漏判。基于上述人脸检测对漏检和误检情况的分析,由于视频拍摄的图像一般能够达到每秒10帧到30帧的图像,而且每秒内图像的变化不会很大,因此在进行视频序列的人脸检测与定位的过程中,如果出现上述的几种情况,能够紧接着对后面连续几帧图像进行检测,起到一个验证的作用,同时采用特征点辅助定位也能够更加准确的实现多目标人脸的检测及定位。2.3基于AdaBoost算法人脸图像的粗定位多目标人脸检测方法首先基于AdaBoost算法检测出输入图像中所有人脸部分,包括人脸图像的位置、大小;在此基础之上进行人脸的特征点定位,提取人脸的特征信息;最后构造人脸的几何特征向量进行匹配识别。人脸图像的粗定位准确性为人脸的特征点定位及几何特征向量的人脸识别打下坚实的基础。从连续的视频序列的第一帧图像开始,基于AdaBoost检测算法提取人脸,中心校正后特征点构造几何特征向量逐一放入自建人脸库中,视频序列自建人脸库包括整个视频序列中出现的所有人脸图像,在后续图像中新进入拍摄镜头的人脸图像由于无法与初始的人脸库中的人脸图像匹配则自动将新目标加入视频人脸库中。作为多目标人脸检测的首要步骤,基于AdaBoost人脸检测的精确度直接影响后续的检测结果,由于AdaBoost是一种采用的权值更新的方法以及级联分类器相结合的人脸检测算法,使得在检测过程中对人脸图像的夸张的面部表情、风格迥异的发型、衣物装饰品的鲁棒性很强,准确率不会受到影响,在一些现实生活场景中具有较高的检测效果。输入任意一张图像,扫描整个图像,AdaBoost人脸检测的详细步骤如下:(1)输入图像分辨率为M×N,扫描窗口为m×n,系数窗口不断变大;(2)扫描窗口遍历整个输入图像;(3)标记检测为人脸的矩形扫描窗口的位置和大小;(4)不断更新扫描窗口,直到无法变大,退出检测系统,输出检测结果。实验基于AdaBoost算法实现人脸检测,基于简单的背景和复杂的背景多目标人脸的粗定位结果如图2.8所示。a复杂背景下2个人人脸检测结果b多目标的人脸检测结果图2.8人脸图像的粗定位Fig.2.8Thefirstlocalizationoffacialimage由图2.8能够看出a为复杂背景下2人的人脸检测结果以及2人以上多目标人脸检测结果,实验结果表明基于AdaBoost人脸检测算法能够对头部有轻微倾斜、头部有少量遮挡、佩戴眼镜的情况下准确检测出人脸部分,证明AdaBoost人脸检测算法检测效果能够应用于多目标的人脸检测方法研究。实验经过摄像头采集640×480大小的图像,包括表情、光照、分辨率、左右旋转角以及水平旋转角差异的多目标人脸图像,共计拍摄5组视频序列图像,选取每组视频的20帧图像,采用AdaBoost人脸检测算法进行粗定位,视频序列图像的多目标人脸粗定位的结果如表2.2所示。表2.2视频图像多目标人脸检测结果Tab.2.2Thedetectionresultsofmultiplefaceinvideoimages视频图组总帧数人脸总数正确检测检测率误检数漏检数第一组20帧585696.5%11第二组20帧767396%21第三组20帧989495.9%22第四组20帧15915396.2%24第五组20帧20019095%64基于实验结果能够看出,AdaBoost人脸检测算法对于视频图像的检测效果有较强的适应性和鲁棒性,在实际拍摄的现实场景的应用范围较广泛;同时人脸检测率在第五组视频检测中,每帧图像包括10个人脸图像的检测率能够达到95%,而无法检测的人脸图像主要发生于人脸图像仰俯幅度过大、旋转角过大的情况之下导致矩形特征人脸检测的分类器失效。2.4本章小结文章介绍一种基于AdaBoost人脸检测算法实现多目标人脸检测的粗定位。经过积分图对矩形特征快速计算出特征值,基于特征值构造弱分类器进行分类,不断更新权重将人脸图像与非人脸图像差异化的分离,将若干个弱分类器组合成分类效果更好的强分类器和级联分类器实现人脸检测。经过对ASM人脸数据库和视频序列图像进行人脸检测,分析AdaBoost人脸检测算法适用条件,面对不同的光照、不同表情、不同姿态的检测结果,同时分析视频序列人脸检测算法不能够检测出人脸图像的原因。第3章人脸特征点定位方法研究3.1人脸特征点的选取人脸特征点是构造人脸几何特征向量的关键,依据脸部器官的属性和相互位置关系选取能够反映特征信息的特征点,特征点分布在人脸的外部轮廓、眉毛、眼睛、鼻子、嘴等器官区域之中[39]。基于灰度统计和五官结构分布规律方法进行人脸特征点的定位能够提升人脸检测的结果,提高多目标人脸检测的精度。人脸的特征点选取主要考虑的因素有:(1)提取特征点的个数。特征点的数量既要能够包含脸部足够的特征信息又不能太过于繁琐,因为复杂的特征点会增加算法的时间维度,降低运行速度,降低准确率。(2)特征点的选取对表情变化的鲁棒性。即人脸特征点对表情变化不敏感,不影响特征点定位的精确度,能够进行人脸的有效识别。综上所述,特征点的选取对于后续的检测正确性与否起到极其重要的作用。综合上述的考虑因素,因此本文选取了10个人脸的特征点,它们分别是双眼的瞳孔点、双眼的左右眼角点、鼻尖、左右嘴角点以及嘴中线点,特征点能够全面反映脸部特征信息如图3.1所示。根据特征点的角度不变性的优点,与此同时与其它测量方法比起来,本文选取的特征点更容易从人脸图像中提取出来而且加以测量和计算,为后续的构造几何特征向量打下坚实的基础,增加算法精确度。图3.1人脸特征点选取示意图Fig.3.1Schematicdiagramoffacialfeaturepoints由于瞳孔的间距受光照和表情的影响比较小,作为特征点的选择比较稳定,特别在人脸识别中瞳孔点的选择是必不可少的;眼睛、鼻子、嘴等各个面部器官的形状和相互关系是作为人脸识别的重要依据。由于现实中视频图像的拍摄受到光照、摄像技术以及人物动作表情的影响,因此在特征点定位之前,一般需要对人脸图像进行预处理。首先要将彩色的RGB的图像转换为灰度图像;同时,灰度化的图像要保持图像的本身不能失真,失真的人脸图像会影响特征点的提取,降低人脸检测的准确性。良好的灰度化图像是特征点定位的基础,既能够提高特征点定位的精确度又降低定位的难度。图像的预处理过程具体包括图像祛除噪声、彩色图像转换灰度图像、图像二值化等等,图像均衡化处理消除光照对图像的影响。3.2眼睛特征点定位眼睛位于人脸特殊的区域,人与人之间能够经过眼睛传达不同的讯息,因此眼睛特征点必不可少。由于双眼瞳孔之间的距离受外界因素的影响非常小,因此特征点比较稳定。眼睛特征点定位是全部特征点定位的第一步,直接影响鼻子、嘴的特征点的准确性[40]。基于人脸面部器官的分布规律能够粗略提取眼部区域,与此同时人脸图像中眼睛的灰度值一般较周围区域偏小,利用该特征统计提取的人眼区域水平方向和垂直方向的灰度值之和能够实现眼睛特征点的定位,眼睛特征点定位的流程图如图3.2所示。 图3.2眼睛特征点定位流程图Fig.3.2Flowchartofeyesfeaturepointspositioning根据五官的分布规律,人脸结构遵循着一定的结构标准。眼睛区域的高度是人脸图像从上到下的1/5-1/3,宽度从左到右为人脸图像的1/5-4/5,粗略提取眼睛区域,根据上述的方法提取眼睛的区域能够避免眉毛对眼睛特征点定位的精确度;统计水平方向和垂直方向上灰度值,分别求出两个方向上所有灰度值的和,找到水平方向和垂直方向上灰度值的波谷点,确定双眼的瞳孔特征点如图3.3所示a眼睛区域的提取b水平灰度c垂直灰度d瞳孔点定位结果。a眼睛区域的提取b水平灰度c垂直灰度d瞳孔特征点定位图3.3瞳孔特征点定位结果Fig.3.3Localizationresultsofpupilfeaturepoints采用灰度统计和人脸分布规律定位眼睛特征点,基于双眼瞳孔特征点定位的基础之上,划分双眼区域进行眼角点特征点定位。由于受到眼睑、眼白、鱼尾纹的影响无法直接提取外部轮廓,因此眼角的定位采用Canny边缘检测算子,转化为有边缘轮廓的二值图像,灰度值起伏变化大的地方为边缘,Canny算子的检测的关键在于阈值的选择,选取不同的阈值边缘的提取效果不同,因此经过灰度值的统计选取最优的阈值;双眼边缘检测的结果如图3.4所示,二值化的图像如图3.4中a与b图,对二值化后的图像从左向右逐列扫描,找到第一个出现‘1’的点为左眼角点,从右向左逐列扫描确定右眼角点。a左眼b右眼图3.4双眼边缘检测结果Fig.3.4Edgedetectionresultofeyesregion眼睛特征点定位结果如图3.5所示,眼睛特征点定位算法基于ORL人脸数据库中不同人物的眼睛特征点定位结果如图3.6所示。图3.5眼睛特征点定位结果Fig.3.5Theresultofeyesfeaturepoints图3.6ORL数据库中眼睛定位结果Fig.3.6EyespointspositionresultsofORLdatabase由于眼睛特征点定位的作为人脸特征点定位的首要步骤,直接影响鼻子和嘴的特征点的定位结果,因此眼睛特征点定位结果的准确率是重要的研究依据。针对ORL人脸数据库得到的眼睛的特征点的结果如表3.1,从中能够看出眼睛的特征点的准确率能够达到97%,定位效果最好的是右眼瞳孔点达到100%。眼睛特征点的方法能够有效应对表情的变换、达到一定的准确率。同时基于人脸图像检测的粗定位需要对人脸图像进行中心校正,基于双眼瞳孔的位置的连线与图像的水平方向旋转,因此眼睛的特征点定位是整体特征点定位过程中的核心步骤,基于灰度分析和面部结构结合的眼睛特征点定位方法能够应用与多目标人脸检测。表3.1眼睛特征点精确定位结果Tab.3.1Theeyefeaturepointslocalizationresultsofthehumanface人脸特征点图片总数正确定位准确率左眼瞳孔点400幅395幅98.75%右眼瞳孔点400幅400幅100%左眼左眼角400幅387幅96.75%左眼右眼角400幅389幅97.25%右眼左眼角400幅393幅98.25%右眼右眼角400幅398幅99.50%3.3鼻子特征点定位鼻子是人脸中最亮的部位,最能体现人脸的凹凸感,鼻子既位于人脸的中间位置又位于眼睛的下方,基于眼睛特征点定位的结果之上提取鼻子的区域进行鼻子特征点定位。一般情况下,人脸的左右旋转角度在一定的范围之内,鼻尖特征点的横坐标即双眼瞳孔坐标点横坐标的中点;计算鼻子区域垂直方向的灰度值之和,灰度曲线的波谷点即为鼻尖特征点的纵坐标,鼻子的特征点定位结果如图3.7所示a鼻子区域提取b鼻子特征点定位结果以及c数据库中鼻子特征点定位结果。a鼻子区域提取b鼻子特征点定位c数据库中鼻子特征点定位结果图3.7鼻子特征点定位结果Fig.3.7Nosefeaturespointpositionresults一般,由于人脸数据库或者视频序列的人脸图像受到人脸图像的分辨率、光照、以及鼻子左右摆动幅度的影响,本文所采用的方法实现鼻子特征点定位能够对鼻子有轻微的倾斜和仰俯角度的人脸图像进行定位,基于人脸的五官结构分布和灰度统计的方法能够有效的实现鼻子的特征点定位,因此鼻子的特征点研究方法具有现实意义。3.4嘴的特征点定位在人脸的面部器官中,嘴的特征点提取的重要性仅次与眼睛特征点的提取,正是由于人类的嘴部轮廓多种多样、各不相同,才能将嘴的特征考虑加入到人脸识别中。嘴的位置位于鼻子的正下方,嘴角点能凸显出嘴部轮廓的整体曲线,嘴的特征点在人脸识别中占有重要的地位。由于生活中人们受到各种因素的影响,夸张的面部表情导致嘴的轮廓变形,因此嘴的特征点定位的准确性较眼睛、鼻子等特征点偏低,这也是人脸特征点定位的难点之一。主要的难点在于有些图像的分辨率过小,导致提取的嘴的区域过小、嘴的轮廓线不够清晰;其次受到面部表情的影响,嘴的轮廓变形严重,如图3.8所示。图3.8嘴轮廓变形的图像Fig.3.8Mouthcontourdistortionimages

首先基于人脸图像提取出嘴的轮廓区域图像,在嘴的特征点定位之前,需要对嘴的图像进行预处理。根据每个图像的灰度值,统计出最优的阈值进行Canny边缘检测,阈值的选取是将小于阈值的灰度值赋0,相反大于阈值的灰度值用1来表示,阈值选取的越精确,嘴的轮廓越明显,这样使得特征点的定位更加准确并对图像采用中值滤波祛除图像中一些孤立的点,经过二值化处理得到边缘轮廓线,如图3.9所示。 图3.9嘴部边缘检测结果Fig.3.9Edgedetectionresultofmouth由边缘检测的连续性,对预处理后的二值图像从左向右依次逐列搜索,首次出现的坐标点即为左嘴角点;从右向左逐列扫描,首次出现的坐标点为右嘴角点,这样就确定出嘴角点;嘴中线纵坐标为嘴区域灰度值求和的波谷点,横坐标为脸部中线。经过ORL人脸数据中人脸图像的嘴的特征点定位结果如图3.10所示。图3.10ORL数据库中嘴部特征点定位结果Fig.3.10MouthfeaturepointspositionresultsofORLdatabase一般情况下,嘴的特征点定位受到表情变化的影响,还要考虑到胡子和遮挡物的一些因素干扰,特征点定位的精确度会降低,经过本文对微笑的面部特征(嘴唇分离状态)、有胡须遮挡嘴的轮廓的人脸图像进行了嘴的特征点定位,图3.10所示实验结果表明能够实现对有面部表情和少许遮挡的嘴部进行特征点定位。3.5人脸特征点定位结果与分析采用人脸的五官分布规律和灰度统计相结合的人脸特征点定位算法,与其它的特征点定位的方法相比能够更快、更精确、更实用的实现特征点的定位。由于特征点定位的精确度直接影响构造几何特征向量的、人脸匹配识别的结果,因此在特征点定位之后,需要对结果进行相互的验证,进一步提升人脸特征点定位算法的准确度。以ORL人脸数据库作为测试目标,ORL人脸图像的分辨率为92×112大小,一般地瞳孔的大小宽度为6个像素大小,介于眼睑周围对瞳孔有少许的遮挡,因此本文将双眼瞳孔形状看作近似6×6大小的正方形,以瞳孔6×6大小的正方形中心为基准,双眼瞳孔模型示意图如图3.11所示。两个像素一个像素眼睛轮廓图3.11双眼瞳孔示意图Fig.3.11Schematicdiagramofpupil求出2个瞳孔点及4个眼角点特征点定位结果与标准人脸特征点的距离值,基于ORL人脸数据库中人脸眼睛特征点定位结果如表3.2所示。人脸特征点定位结果在2个像素值以内,能够进行后面几何特征向量的构造和人脸的匹配识别;超过2个像素值的特征点定位结果,则需要进行重新定位甚至是淘汰数据结果。如表3.2所示,眼睛共计6个特征点,1个像素值最高为右眼瞳孔点,能够达到100%,最低的为左眼左眼角点为96.75%;2个像素值之上的数值全部为0%,1个像素值和2个像素值的情况不会影响后续几何特征向量的构造的实验结果。表3.2人脸眼睛特征点定位结果Tab.3.2Theresultsofeyesfeaturepointspositioning人脸特征点图片1个像素2个像素2个以上左眼瞳孔点400幅98.75%1.25%0右眼瞳孔点400幅100%0%0左眼左眼角400幅96.75%3.25%0左眼右眼角400幅97.25%2.75%0右眼左眼角400幅98.25%1.75%0右眼右眼角400幅99.50%0.5%0根据上述表的数值能够反映出人脸特征点定位结果的精确度,证明基于灰度统计和五官分布规律相结合的人脸特征点定位方法能够实现较高的特征点定位结果,为构造几何特征向量的分析打下坚实的基础,避免由于特征点定位结果的偏差影响多目标人脸检测的整体检测率,因此人脸特征点定位的方法比较稳定、实用能够适用于多目标人脸检测;鼻子及嘴的特征点定位结果如表3.3所示。表3.3鼻子及嘴的特征点定位结果Tab.3.3Theresultsofnoseandmouthfeaturepointspositioning人脸特征点图片1个像素2个像素2个以上左嘴角400幅98.25%1.75%0嘴中线400幅97.75%2.25%0右嘴角400幅99%1.00%0鼻子400幅98.50%1.5%0图3.12鼻子特征点校验Fig.3.12Thecalibrationofnosefeaturepoints经过试验数据分析,眼睛的特征点定位结果的最大距离为2个像素大小,由图3.12能够看出,分别以正确的坐标点和有2个像素点的坐标点提取鼻子的区域,实验证明,双眼瞳孔点的实验数据不影响鼻子区域的提取过程,意味着不不会干扰几何特征向量的构造过程,同时鼻子的特征点定位在1个像素内为98.50%,其余1.5%为2个像素,实验数据均可采纳。根据表3.2和3.3中的数据能够明确的看出,人脸特征点定位的结果都在2个像素值以内,均不影响构造人脸几何特征向量,实验证明人脸的特征点定位数据全部能够采纳,具有实际意义,准确度达到标准。基于特征点的初步定位的结果,对其进行数据校验,能够起到相互验证的作用,提升算法的精确度,维持特征点定位算法的稳定性,人脸特征点定位的整体结果如图3.13所示。图3.13ORL人脸数据库特征点定位结果Fig.3.13ThefeaturelocationresultsofORLdatabase拍摄的人脸图像大小为640×480进行人脸特征点定位结果如图3.14所示。图3.14视频序列人脸图像特征点定位结果Fig.3.14Thefeaturelocationresultsofvideofaceimages经过选取视频序列图像,选取200幅人脸图像进行特征点定位结果如表3.4所示。表3.4视频序列人脸特征点精确定位结果Tab.3.4Thefacialfeaturepointslocalizationresultsofthevideo人脸特征点图片总数正确定位准确率左眼瞳孔点200幅195幅97.5%右眼瞳孔点200幅200幅100%鼻尖点200幅197幅98.5%嘴部中点200幅194幅97%左嘴角点200幅197幅98.5%右嘴角点200幅198幅99%左眼左眼角点200幅196幅98%左眼右眼角点200幅200幅100%右眼左眼角点200幅198幅99%右眼右眼角点200幅195幅97.5%由表3.4的实验结果能够看出,基于视频序列的人脸图像进行人脸的特征点定位,其中右眼瞳孔点与左眼的右眼角点的准确率达到100%;左嘴角点的准确率为99%;鼻尖和左嘴角点的准确率达到98.5%;嘴部中点的准确率达到97%,嘴受表情的影响比较大,微笑导致上下嘴唇分开因此特征点的定位难度较大;左眼瞳孔点和右眼的右眼角点的准确率为97.5%。实验结果表明采用灰度统计和人脸结构分布规律的人脸特征点算法能够有效的对视频序列的人脸图像特征点定位,有较好的准确率能够达到97%以上,对于有面部表情、佩戴眼镜、嘴唇分开、有胡须遮挡的人脸图像能够准确的进行定位。3.6本章小结本章基于AdaBoost人脸检测算法粗定位人脸部分,采用灰度统计和面部规律结合的人脸特征点定位的方法,根据人脸几何特征向量匹配识别的需要选取人脸的10个特征点。首先介绍人脸特征点的选取,分别为双眼瞳孔点,左右眼睛的眼角点,鼻尖,嘴中线以及嘴角点;其次采用局部特征点定位的方法实现人脸的特征点定位,并对人脸特征点的定位结果进行分析和验证;最后根据ORL人脸数据库和拍摄图像能够实现人脸的特征点定位,具有较好的准确性,能够稳定的在现实场景进行应用。第4章人脸几何特征向量的匹配识别4.1人脸几何特征向量的构造人脸的几何特征向量是基于人脸特征点定位进行构造,对选定的特征点之间连线构造的距离值。基于特征点构造的几何特征向量能够精确的体现出脸部的比例关系以及各个器官的本身属性[41]。将人脸之间的差异等价于几何特征向量之间的差异,人脸图像的匹配等价于几何特征向量之间的匹配识别[42]。每个人脸图像都会构造一组几何特征向量,经过计算两个几何特征向量的相似性,从而判断人脸图像的匹配性。特征向量的选取既要全面的反映人脸的特征信息又不能过于复杂造成多目标人脸检测计算量增加,因此根据几何特征的角度以及尺度不变性,基于10个特征点选取7个距离特征值,构造的人脸几何特征向量如图4.1所示。图4.1人脸特征向量Fig.4.1Thefacialeigenvectors特征向量的选取是为凸显人脸的面部特征,易于实现人脸图像的匹配及识别[43]。根据特征点的选取构造7个几何特征向量,其中特征向量d1代表的是双眼之间的距离,即双眼瞳孔之间的连线。由于双眼的距离在一般情况下对光照、表情姿态的鲁棒性极强,因此特征向量d1是构造人脸几何特征向量的经典向量之一,与此同时双眼之间的距离能够反映出每个人脸部的宽度比例。特征向量d2、d3、d4分别体现的人脸器官之间的比例关系。d2代表眼角与嘴角之间的距离,能够反映人脸的外部轮廓,同时d2的数值能够反映出脸部高度这一特征;d3表示眼睛和鼻尖之间的距离,折射出眼睛与鼻子之间的区域对人脸整个区域的分配比重。特征向量d6、d7分别代表眼睛的宽度和嘴的宽度,构造的几何特征向量进行标准化变换,因此待检测的图像中人脸都在同一大小和位置上,只需比较器官的特征大小即可反映不同人脸的面部差异。由于人脸的眼睛和嘴容易受到表情的影响,导致眼睛和嘴的轮廓变形,经过构造眼睛和嘴的宽度,能够充分体现出人脸器官的比例。几何特征向量的关键设计在于特征向量d5的选取,由图4.1可知,特征向量d6已经反映嘴的器官属性,而特征向量d5是嘴中线到嘴角的距离,由于受到图像的分辨率和表情的影响,与眼睛和鼻子相比,嘴的变形更为严重。正常情况下,在没有表情的干扰下特征向量d6的大小应近似等于特征向量d5的2倍,而受到表情的影响,这种数量关系就此改变,因此d5的选取就是为了更好的与d6进行验证,增加几何特征向量的准确性,排除人脸表情、分辨率等其它因素对几何特征的影响。4.2特征向量相似度的计算基于人脸的特征点定位的结果,选取两个特征点的坐标p1(x1,y1)和p2(x2,y2),则两点之间的直线距离为构造的特征向量,公式即为:(4.1)根据几何特向量的构造方法,构造几何特征向量的人脸图像如图4.2所示。图4.2构造几何特征向量的人脸图像Fig.4.2Constructgeometricfeaturevectorsoffaceimages基于图4.2中构造几何特征向量的人脸图像,描述人脸的几何特征的特征向量的数值如表4.1所示。表4.1几何特征向量Tab.4.1Geometricfeaturevectors特征向量图像1图像2图像3图像4图像5均值M方差VT10.95401.01600.97600.97101.0540T21.02650.99550.95571.04870.8926T31.03840.86071.02701.01011.2241T40.48740.46120.42360.43300.5509T50.40750.47320.39200.44480.5043T60.85060.98170.89750.93751.0174T70.50590.43780.48040.46880.5216根据几何特征向量能够凸显人脸的面部比例,以及人脸图像之间的差异。由于在其它的人脸图像中构造图像的大小不同导致几何向量的