三维人脸模型的识别研究

摘要生物识别是最能体现计算机智能的特征之一，它在科研工作和日常生活应用方面都引起了巨大的轰动。在所有生物特征里面，人脸特征是最普遍和最容易获取的，所以，人脸识别一直都是模式识别和图像处理领域最热门的课题之一。为了减弱光照、表情、姿态、摄像视角、外貌例如头发、眼睛等变化对识别的影响，提高三维人脸识别准确性，本文针对光照、姿态、表情等影响三维人脸识别的因素进行了研究。使用基于球面谐波基图像的光照补偿算法减弱光照对人脸识别的影响，利用三维形变模型和部件技术相结合的人脸识别方法进行多姿态人脸的识别，针对表情变化带来的塑性变形采用基于泊松方程完成非中性人脸网格模型向中性模型的变形，提高带表情模型与同类中性模型之间的相似度。这三种算法在提高三维人脸识别的性能上都有一定的帮助，对于三维人脸识别系统的研究有了一定的理论基础。关键词人脸识别；三维人脸识别；光照；姿态；表情ABSTRACTBIOMETRICSISONEOFTHEBESTEMBODIESTHECHARACTERISTICSOFCOMPUTERINTELLIGENCE,ITSRESEARCHWORKANDDAILYLIFEAPPLICATIONSHAVECAUSEDAGREATSENSATIONINALLTHEBIOLOGICALCHARACTERISTICSOFWHICH,FACIALFEATUREISTHEMOSTCOMMONANDMOSTEASILYACCESSIBLE,SO,FACERECOGNITION,PATTERNRECOGNITIONANDIMAGEPROCESSINGHASBEENTHEHOTTESTTOPICINTHEFIELDINORDERTOWEAKENILLUMINATION,FACIALEXPRESSIONS,GESTURES,CAMERAANGLE,APPEARANCEEGHAIR,EYESANDSOTHEIMPACTOFCHANGEONTHERECOGNITIONANDIMPROVETHEACCURACYOFTHREEDIMENSIONALFACERECOGNITION,THISPAPERLIGHT,GESTURE,FACIALEXPRESSIONANDOTHERFACTORSAFFECTINGTHE3DFACERECOGNITIONSTUDYSPHERICALHARMONICSBASICIMAGEBASEDILLUMINATIONCOMPENSATIONALGORITHMREDUCEDTHEINFLUENCEOFLIGHTONFACERECOGNITIONUSING3DDEFORMABLEMODELANDPARTSISCOMBINEDWITHMULTIPOSEFACERECOGNITIONFACERECOGNITION,FORTHEEXPRESSIONOFCHANGESINTHEPLASTICDEFORMATIONPOISSONEQUATIONBASEDONTHECOMPLETIONOFNONNEUTRALFACIALMESHMODELDEFORMATIONTOTHENEUTRALMODEL,INCREASEDWITHTHESAMENEUTRALEXPRESSIONMODELANDTHESIMILARITYBETWEENMODELSTHETHREEDIMENSIONALFACERECOGNITIONALGORITHMTOIMPROVETHEPERFORMANCEOFALLHAVESOMEHELP,FOR3DFACERECOGNITIONSYSTEMFORACERTAINTHEORETICALBASISKEYWORDSFACERECOGNITION3DFACERECOGNITIONILLUMINATIONATTITUDEEXPRESSION目录摘要IABSTRACTII第1章绪论311本文工作的来源312目的和意义313国内外进展4131国外进展4132国内进展414本文工作的主要内容5第2章光照对三维人脸识别影响算法的研究621基于球面谐波基图像的人脸图像光照估计6211球面谐波基图像模型6212人脸的球面谐波基图像近似7213光照估计922人脸图像光照补偿10221纹理图像10222差图像11第3章姿态对三维人脸识别影响的算法研究1331三维形变模型1332基于ASM的三维人脸分片1533基于三维部件技术的人脸识别16第4章表情对三维人脸识别的影响的研究2041算法思想2142GUIDANCEBASEDCONSTRAINTDEFORMATIONGCD模型23结论26参考文献27致谢28外文科技资料翻译29英文原文29中文译文38第1章绪论人脸识别是当前生物特征识别研究的热点之一，目前的人脸识别方法主要集中在二维图像方面，由于受到光照、姿势、表情变化的影响，识别的准确度受到很大限制。针对人脸识别的难点，一个较好的办法是利用三维信息进行人脸的识别。本文主要研究基于三维数据模型的人脸识别问题，旨在通过提取有效并且鲁棒的三维特征完成识别；同时针对三维数据模型本身的大数据量、高复杂度的特性，探讨如何在保证识别正确率的基础上，提高识别过程的效率。11本文工作的来源导师指定题目。12目的和意义自美国发生911恐怖袭击事件以后，世界各国对如何防范恐怖分子、保障民众安全异常关注，不断积极寻找有效的身份鉴定方法。另一方面，全球范围内电子商务已迅速兴起，网络信息安全问题也伴随而来，安全可靠的网上购物和交易是电字商务进一步发展的核心问题。传统的安全方式如密码、个人识别码PIN、磁卡和钥匙经常被非法盗用或者滥用，因此只能提供有限的保障。为了保障身份鉴定方法更加有效和安全，因此提出了身份鉴别的研究。目前用于身份鉴别的生物特征有脸像、声纹、指纹、虹膜、笔迹、步态、耳型、视网膜、手形、掌纹、足迹、红外温谱图等。其中人脸识别是生物特征鉴别技术的一个重要方向，多年来一直受到许多研究者的关注。和其他生物特征识别相比，人脸识别具有主动性、非侵犯性和用户友好等许多优点。同时鉴于二维识别的局限性，三维信息能更精确地描述人的脸部，提取的某些特征具有刚体变换不变性，并且不易受化妆和光照的影响。鉴于人脸识别具有主动性、非侵犯性等优势，如果成功地实现三维人脸识别的话，那么安全、金融、法律、人机交互等领域具有广阔的应用前景，将对身份的鉴别作出重大的贡献，同时对世界的安全也有积极地影响。13国内外进展三维人脸识别越来越受到研究人员的重视。国内外都兴起了对三维人脸识别技术研究的浪潮。131国外进展在世界，国际生物特征识别领域权威机构IBG的统计数据显示，近年来全球人脸识别的增长趋势非常强劲，年均增长率超过80，大大超过了全球整体生物特征识别市场30的年均增长率。人脸识别，作为全球生物特征识别的一个市场热点，越来越受到人们的普遍关注，并展示了其美好的应用前景。国外研究机构和公司从事自动人脸识别的研究与实践较早，在美国、德国、日本等发达国家已经有相关产品问世。1996年美国的FERET研究机构对现有的各种人脸识别算法进行了测试，结果表明，比较成熟的识别算法对于数千人的图像进行识别检索，识别率可达到90以上。现在FERET研究机构已经成为国际权威的人像检测和识别理论和算法的评估机构。“911事件”以后，美国更加大了人脸识别技术的研究力度，正在着手建立国家级的重点犯罪人口和恐怖破坏分子的人脸数据库。132国内进展作为国内企业奋起直追，突破国外技术垄断，推出性能稳定、价格适中产品的代表，汉王科技对于“汉王人脸通”的成功研发，无疑给国内人脸识别大规模商用的产业化注入了一针兴奋剂。从2007年便开始经历迅速的发展，而且发展的脚步越来越快。由于科技界和社会各个方面都认识到人脸识别技术的重要性，国家政策对人脸识别技术研究给予了很大支持，使得我国人脸识别技术取得了很大进展。2008年，更是我国安防市场迅速扩张的一年。随着政府推动的“平安城市”建设、城市报警与监控系统（“3111”工程）的深入展开，加之奥运会、世博会等大型活动的带动，全国进入了安防设施建设的高潮期，安防行业持续保持了快速的增长。而且，除了传统的考勤、门禁等应用外，各种新的应用需求的不断涌现，也极大地推动了这一市场的发展。14本文工作的主要内容本文针对二维人脸识别技术的局限性，提出了三维人脸识别技术。主要研究了三维人脸模型的识别，以及识别前所需进行的一系列的其他处理。对于光照、姿态、表情这些方面，针对以往的方法中存在的问题，提出了可能的解决方案。本文的主要研究内容可概括如下（1）光照对三维人脸识别影响的算法研究提出了一种基于球面谐波基图像的光照补偿算法，用以在任意光照条件下进行人脸识别。算法分两步进行光照估计和光照补偿。根据光照估计的结果，提出了两种光照补偿方法纹理图像和差图像。纹理图像为输入图像与其光照辐照图之商，与输入图像的光照条件无关。差图像为输入图像与平均人脸在相同光照下的图像之差，通过减去平均人脸在相同光照下的图像，减弱了光照的影响。（2）姿态对三维人脸识别影响的算法研究针对多姿态人脸识别问题，提出了一种三维形变模型和部件技术相结合的人脸识别方法。该方法提取人脸三维部件作为识别特征，在一定程度上克服了人脸姿态变化对识别的影响。在识别过程中结合人脸的局部特征和全局特征，根据单个部件的识别率确定其在整体分类中的权值。基于整脸信息进行识别，进一步改善了识别效果。（3）表情对三维人脸识别影响的算法研究针对表情变化带来的塑性变形，GUIDANCEBASEDCONSTRAINTSDEFORMATIONGCD模型基于泊松方程完成非中性人脸网格模型向中性模型的变形，有助于提高带表情模型与同类中性模型之间的相似度；同时，将一个刚性约束无缝地融合到变形线性系统中，以保持类间的区别特征。因此，GCD模型有效地提高了表情变化的三维人脸识别的性能。第2章光照对三维人脸识别影响算法的研究人脸识别经过近40年的发展，对于均匀光照下的中性表情的证明人脸图像起识别率已经很高，然而在一些更加复杂的情况下，现有的多数系统的识别性能还是受到光照变化的影响特别大，这是因为当人脸的光照发生变化时候，人脸图像的外观也会随之发生很大的变化。本章针对这个问题，提出了基于球面谐波基图像的光照补偿算法，用以在任意光照条件下进行人脸识别。算法份两步进行光照估计和光照补偿。21基于球面谐波基图像的人脸图像光照估计球面谐波子空间理论表明，在各向同性远光源假设条件下，朗伯凸表面的任意图像均可表示为该凸表面9个球面谐波基图像的线性组合，这9个线性组合的系数反映了该图像拍摄时的光照情况。而对于任意给定的2D图像，如果能够估计出对象的3D形状和表面反射系数，则可以解析地计算出9个球面谐波基图像，然后就可以通过最小二乘法解出9个光照系数。本节首先简单介绍球面谐波子空间理论，然后给出粗略估计人脸3D形状和表面反射属性进而计算给定人脸球面谐波基图像的策略，最后给出了基于最小二乘的光照系数估计方法。211球面谐波基图像模型本章的工作是基于BASRI等1和RAMAMOORTHI2提出的球面谐波理论而发展出来的，因此本节首先简单介绍球面谐波基图像模型。假设物体为朗伯凸表面，光源为各向同性远光源，则其辐照度E为COS,DLEII21,RII，其中为表面法线方向的球坐标表示，为入射光场，积分区间为物体表,L面法线方向的上半球，为一个旋转操作，将局部坐标转换成全局坐标，R,I。,I式21实际上是一个旋转卷积，因此很适合在空间频域中分析。球面上的信号处理工具为球面谐波函数，类似2D平面上的傅立叶级数。朗伯表面的反射方程在空域中积分区域很大上半球，根据HEISENBERG测不准原理，则其在频域中一定局限在低频范围。因此辐照度E在频域中用球面谐波函数展开为2,10L22,0MLLLLYLAE其中为朗伯反射函数的球面谐波系数，为光照的4,32,1LMLL球面谐波系数，为球面谐波函数。式22的详细推导请参考文献1,2。ML假设人脸为朗伯凸表面，用表示人脸图像中某点的反射率，,YX,YX表示该点的法线方向，则其亮度为,YX,EI2011,LMLLMYXYAYXL（2,201BLL3）其中（24）,1YXYAYXMLML为人脸的球面谐波基图像。球面谐波基图像可以看作是人脸在谐波光照下的图像，谐波光照为只含有一个谐波成分的虚拟光照环境。这样，人脸图像可表示为其9个球面谐波基图像的线性组合，这9个线性组合的系数为光照系数。MLBMLL212人脸的球面谐波基图像近似为了利用球面谐波基图像模型进行分析，我们需要知道人脸的球面谐波基图像，MLB即需知道人脸的反射率和法线，其中法线又与3D形状相关。9D,YX,YX线性子空间方法7利用已知的人脸3D结构计算球面谐波基图像，ZHANG3等假设人脸谐波基图像每点的分布符合高斯分布，再融合输入人脸的信息，用MAP估计得到输入人脸的谐波基图像在本文中，输入人脸的反射率图和法线图也是通过“人脸类”的先验知识得到。但我们所用的人脸类的先验知识的表示有所不同。人脸的形状大致相同，该假设已用于很多视觉算法中4,5,6。由于表示光照的参数只有9个，相对图像的像素数目很少，因此可以将图像的分辨率降低。而分辨率降低之后,不同人脸的形状差异就更小了。且光照对图像的影响是全局的，因此微小的形状偏差不会对光照估计造成严重影响。但为了尽可能地减小输入人脸形状与平均人脸形状的差别，本文采用基于特征点的变形技术，将平均3D人脸形状变形到输入人脸，以得到尽可能与输入人脸相似的3D形状。本文中我们用一种改进的AAM模型7来定位人脸图像上的关键特征点。在输入人脸图像的特征点与平均3D人脸形状的特征点对齐之后，其它的顶点我们采用KRIGING插值，将平均3D人脸形状变形到输入人脸,得到输入人脸的3D形状。有了输入人脸的形状，其姿态也可以根据特征点的相对位置确定，则我们可以很容易地计算输入人脸的法线。图21给出了本文采用的平均人脸形状、输入人脸图像的特征点及其经过对齐后的特定人脸形状和法线图。图21平均人脸形状及输入人脸的形状光照变化对特征点的精确定位仍然是一个巨大的挑战。在光照条件很恶劣的情况下，自动定位的特征点不太准确。在本文实验部分我们比较了只用两个眼睛位置对齐平均人脸形状模型和输入人脸图像的结果，以观察系统对配准精度的敏感性。关于反射率，我们假设人脸表面各点的反射率近似相等。更准确地，我们假设人脸的反射率图中除了直流分量外不包含其它低频分量。虽然人脸表面并不严41L格满足上述假设，我们发现在实际应用中还是取得了很好的效果。人眼观察到的人脸皮肤颜色大致相同也证明了这一点。由于光照参数的维数很少，在实际应用中，为了使输入更符合这一点,我们将图像的分辨率可以降得很低，这样各点的反射率更接近，且反射率与皮肤差别较大的区域，如眉毛、眼睛、鼻子和嘴巴部分不参与光照估计运算。给定任意输入人脸图像，通过上述方法估计其反射率和法线方向后，即可根据式24计算其球面谐波基图像。213光照估计给定一幅人脸图像维列向量，为图像中的像素个数，并通过212节中的INN方法计算该人脸的球面谐波基图像B，则式23中的未知数只有9个光照系数，因MLL此，光照估计就是估计式23中的光照环境的9个低频球面谐波系数。0L这可以通过解下述最小二乘问题得到（25）|MINARGIBLL其中为谐波基图像的矩阵形式，是一个9的矩阵，矩阵的每一列为一个谐波N基图像。,YXBML需要指出的是，根据式25估计出的光照系数与真实的光照系数之间相差MLLMLL常数倍，即，其中为反射率图的直流系数。0MLL0L022人脸图像光照补偿在光照估计的基础上，本节我们讨论人脸图像光照补偿。光照补偿是期望将输入人脸图像经过处理后得到一个与光照无关或至少对光照变化不敏感的表示，从而使得人脸识别变得更容易。这可以用一个统一的计算模型来表达26ITF其中表示原始图像，是削弱光照变化影响的变换，是变换后的特征表示，TF可以是图像或者其它特征。本节我们讨论两种光照补偿方式纹理图像和差图像。221纹理图像如式23所示，其中,YXEYXI。这种表示形式的一个好处是可以将人脸图像,10YALYXEMLLL对纹理的依赖与形状和光照的依赖分开，其中图像对形状和光照的依赖关系用,辐照度表示。估计出了光照条件并已知人脸的法线方向，我们可以根据式22计算该人脸的辐照度度。这样,给定输入图像及其对应的辐照度，根据式23，,YXE,YXI,YXE我们得到输入人脸的纹理图像为原图像与其辐照度之比，即27,YXI纹理图像只包含纹理信息，与形状无关，也与光照无关。但是由于计算纹理图像时涉及除法，当辐照度中的像素亮度值较低时，会引入噪声。为了抑制纹理图像中E的噪声，在识别时我们再对式27做对数变换，得到28,LOG,L,LOGYXYXIYX作为式26中对光照变化不敏感的特征。F纹理图像中虽然没有形状信息，但辐照度度E的计算还需要知道输入人脸的形状。与光照估计的全局过程不同，光照补偿是对图像中每个像素单独进行是一个局部过程，因此在计算输入人脸的形状时，对特征点定位精度有一定敏感性。222差图像光照变化对特征点的准确定位至今仍是一个很大的挑战，因此本小节我们考虑另外一种光照补偿方式，既能保留输入人脸的形状和纹理信息，同时又对配准精度不敏感。根据，辐照度依赖于光照和输入人脸的形状。辐照,YXEYXI,YXE度中只包含低频信息，滤去图像中的低频信息就能将光照的影响去掉。进行滤波操作E最合适的方法是将中的乘法变成LOG域中的加法。对式23两,I边进行LOG运算，也可以得到式28的纹理图像。由上面的讨论我们知道计算E还需要知道输入人脸的形状，因此对配准有一定要求。由于输入人脸的精确形状很难得到，所以在下面的差图像光照补偿算法中我们不显式地使用输入人脸的形状，只利用编码在输入图像中的形状信息。另外我们希望在处理之后的图像中不同输入人脸形状的信息还能得到保留。用平均人脸模型来代替式28中的输入人脸的形状是一个很好的选择29,LOG,L,LOGYXEYXIYXAV其中是平均人脸在输入光照下的辐照度。由于的低频性质和E类似，上式AVEAVGE中的受光照的影响也很小。不同的是，上式中是用平均人脸形状计算的，,LYX所以最后处理得到的图像中，不仅包含了输入人脸的纹理信息，同时输入,LOGYX人脸形状同平均人脸形状的差异也得到了保留。上式一个直观的解释是将输入图像LOG域减去一个只与光照有关的成分平均人脸在输入光照下的辐照度，最后得到的结果图像中光照的影响得到了减弱，同时输入人脸的形状和纹理信息没有丢失。需要指出的是，当粗略配准时只有两个眼睛位置给定，式28与式29是等价的。当输入光照对应的辐照度亮度过低时，式28的会随变化AVGE,LOGYXEAVAVG有较大变化，带来噪声。为了抑制噪声，我们退而求其次，用图像域中的减法来代替式29中LOG域的减法，得到210,YXEYXIAVGDIF如果将平均人脸的纹理看成为常数1，则可以看成为，为平均人脸在,YXEAVGAVGI输入光照下的图像。这样将211,YXIIYXIAVGDIF定义为差图像，作为式26中对光照变化不敏感的特征F。由于两幅图像在相同光照下，通过对两幅图像做差，减弱了光照变化对人脸图像的影响，从而达到光照补偿的目的，同时又保留了用于识别的输入人脸与平均人脸的差别。该差别既包括由纹理引起的差别，也包括由形状引起的差别。第3章姿态对三维人脸识别影响的算法研究一种三维形变模型和部件技术相结合的多姿态人脸识别方法。该方法有效地对姿态问题进行了很好地处理。首先利用ASM对三维形变模型建立过程中的分片进行优化，使原型人脸的对齐是以人脸的特征区域为基础；然后利用形变模型重建三维人脸，依据分片原则将三维人脸划分为各个部件，把部件的几何信息和纹理信息作为识别的特征。在分类中，采用两层分类方法，第1层以每个部件作为弱分类器，统计其识别率；第2层根据每个部件的识别率决定其在整体分类中的权值，基于整脸信息进行识别。作者是在三维上实现人脸识别，增加了深度信息，结合部件对姿态的鲁棒性，在一定程度上克服了姿态变化的影响。在分类识别算法中，把人脸的局部特征和全局特征结合起来，取得了很好的识别效果。31三维形变模型形变模型使用一类对象中若干典型样本张成该类对象的一个子空间，使用子空间基底的组合近似表示该类对象的特定实例。使用形变模型进行三维人脸重建分为2个过程1建立模型，获取人脸数据并建立人脸的对应和组合模型；2针对特定人脸图像，进行模型匹配，实现三维人脸重建。三维人脸库中的原型人脸可用几何向量和纹理向量统一表示ITISINIIIIZYXS,1（31）TIINIIIBGRT1式中，；表示人脸的数量；表示三维人脸模型中顶点的个数；N,2N是和顶点对应的R、G、B颜色值。则形变模型可由线性组合,IJIJBGR,IJIJZYX给出，其中（32）ININSAININTB1NIIBA式中，表示变形生成的几何向量；表示变形生成的纹理向量。对于给定的人NSNT脸图像，模型匹配是将三维人脸模型变形，使得变形后的模型人脸与给定人脸图像最为匹配。由于三维人脸与二维图像的误差不能直接度量，因此可将三维人脸投影到图像空间进行比较。对于特定的人脸图像及模型人脸的投影图像，用2副图像对应像素点颜色纹理的参差来定义它们之间的误差332,YXIIEMYXI式中，表示输入图像上的像素点，表示投影图像上的像素点。可采I,YXIM用随机梯度下降法优化式33的目标函数，得到形变参数。给定1副或几副人脸照片，进行匹配优化，即可得到三维特定人脸见图31。图31不同姿态的人脸重建结果32基于ASM的三维人脸分片形变模型的关键是原型人脸间稠密点集的对齐，对齐的准确度直接影响线性组合的结果。针对三维原型人脸的数据特点，GUCHUNLIANG等提出了一种基于分片重采样的三维对应技术8，得到的所有三维原型人脸具有统一的拓扑结构。但该方法在分片过程中，需要人工交互定义一些特征点和线，采样点密度有限，分片与特征区域并未达到很好的对应，作者提出的人脸识别方法以三维部件为特征，而三维部件是以分片为基础，分片的准确性将影响到部件提取的质量。原型人脸包含形状信息与纹理信息2部分数据，利用ASM在纹理图上标定特征点，以所有特征点的连线作为分片边界，将纹理图分割成不同的区域9。然后根据纹理映射图，将分片结果映射到三维人脸上，完成对三维人脸的分片见图32。图32特征点的标定结果与分片结果重采样要求分片时尽量保证特征点与特征区域的一致，眼睛、眉毛、鼻子和嘴是人脸的主要特征，作者增加了上述部位的特征点数，更大限度地保证每个分片是以人脸的特征区域为基准，同时由于ASM自动定位特征点的特性，实现了自动化分片。分片完成后，利用重采样方法实现三维原型人脸对齐，建立形变模型。33基于三维部件技术的人脸识别在二维多姿态人脸识别中，相对于整脸，基于部件技术的人脸识别方法可以达到较好的识别效果，但该方法需要采集大量样本，当目标人脸照片跟库中样本的姿态差别较大时，识别率较低；在分类中，把部件的整体组合作为识别特征，不能反映各个部件的局部特性。作者采用三维形变模型和部件技术相结合的方法解决多姿态人脸问题纹理数据与几何数据是一一对应的，根据任意姿态照片建的三维人脸，都可以与正面照片重建的三维人脸直接比较，一定程度上能克服姿态对人脸识别的影响。在分类中，采用2层分类方法，把人脸的局部特征和全局特征结合起来进行识别。331特征提取本文的三维形变模型采用了基于分片重采样的三维人脸对齐方法，所有的三维人脸具有统一的拓扑构。分片是以人脸的特征区域为准则，各个部件以分片的区域为基础划分，整个三维人脸定义为所有部的组合，表示人脸的全局特征；每个部件代表着人脸不同的区域特征，表示人脸的局部特征，对于姿态的化具有一定的鲁棒性。图33中不同姿态的人脸照片差异较大，提取三维部件后，对主要部件而言，差异对较小图3D，识别中可以增加这些部件的权重，降低受姿态影响较大的部件的权重。图33不同姿态的人脸对应的主要三维部件每个三维部件用几何向量和纹理向量表示IC，NTINIIIIRZYXS321,21MI，（34）IIIIBGRT1式中，为部件的数目；为几何坐标值；为纹理坐标值；为部件MZYX、BGR、N的点数。训练过程中，给定张二维正面人脸照片，利用形变模型重建每张照片对应的三N维人脸，提取各个，得到其几何向量和纹理向量JICJISJIT，NTJINJIJIJIJIIRZYXZYS3211,21,21NJM，JIJIJIJIJIJIIBGRBTI，（35）为了简化计算，作者利用PCA10算法，分别对纹理向量和几何向量进行降维，JITJIS得到几何投影矩和纹理投影矩阵,并将TSMSSI,21TTMTTI,121、分别在和作投影JISJITITIJISISJISJITITJI（36）每个部件表示为JIC,121SJMSJJSJI2TJTJTJTJI（37）式中，为相应部件的几何向量维数；为纹理向量维数。12每个人脸最终表示为,21SKMSKKCC,SS38,21TKMTKTKT332分类方法以部件的整体为分类器，容易忽略人脸的局部特征，仅以某个部件作为分类器，分类效果会很差，作者考虑将2种方法有效地结合起来，采用两层分类方法第1层分类，将每个三维人脸部件作为一个弱分类器，统计其识别率；第2层把这些弱分类器组合成一个强分类器，根据每个部件的识别率，确定各个部件在强分类器中的权值，改善了识别效果。在识别过程中，用多姿态人脸照片重建三维人脸，提取每个部件，得到IC几何向量和纹理向量，根据式333分别向和作投影变换后，得到人脸C最ISITSITI终表示,21SMS（39）TTT每个部件的分类判别式为310INTKITISKIIIKCG式中，1，2，；1，2，。MN综上所述，可以确定每个部件的识别率，根据该识别率确定每个部件在整体强分类器中的权值，后整体分类器的分类公式为I（311）IN1MIKIKDCG式中KITKITISKISI第4章表情对三维人脸识别的影响的研究3D人脸模型具有显式的形状，与2D图像相比较而言，对姿态、光线、化妆、皮肤颜色等因素不敏感，因而3D人脸识别技术在这些方面相比2D人脸识别有天然的优势，这大大拓展了人脸识别的应用空间。然而，正如人脸表情将会影响2D图像的表观，从而大大降低2D人脸识别算法的性能一样11，人脸表情也将改变3D人脸模型的形状，造成人脸局部区域产生塑性变形，如图41，塑性变形造成了人脸形状的较大改变。尽管这种改变是表情造成的，而不是个体差异造成的，但是，由于无法区分差异的原因，因而没有理由认为两张表情造成的形状不同的3D人脸来自于同一个人，因而表情也降低3D人脸匹配算法的性能。因此，如何克服或降低表情的影响是3D人脸识别中一个关键的问题和挑战，在本章中，我们将讨论如何建立一个3D人脸的弱表情模型，在匹配之前对人脸网格应用该模型，从而降低表情对算法的性能损害。图41表情带来的人脸塑性扭曲41算法思想本节我们首先定义3D人脸识别中的表情问题，以将求解的问题明确化，然后分析可行的解决方案。3D人脸识别问题和确认问题都包含一个库，每人至少在库中登记了一个GALERY模型，正如我们上一节所述，一个人登记多个模型会造成运算规模变大而缺乏实用，我们规定中每个人都只有一个模型，且是中性表情模型。问题定义为GALERY中登记了多个身份人每人一个的中性表情模型，对输入的一个带表情的模型，L如何实现正确的分类。定义两个相似度，类间相似度，是指不同人对应的模型之间的相似度，类BSIM内相似度，是指同一个人不同模型之间的相似度。表情的引入自然降低了类WSIM内相似度，使得同类模型从匹配结果上看如同异类一样。如图42，A类的由于PROBE表情改变了3D形状，使得它距离A类较远，而距离非A类较近，造成匹配错误。考虑对进行变换，图42中有9条变换方向，分别编号为19，图中1、2、9三条PROBE变换方向有助于拉近与A类之间的距离，其它变换方向都不利于正确分类，因PROBE为它们使得与A类更不相似。在1、2、9这条变换方向中，2号变换方向同时拉进与A类和非A类的距离，依然不利于分类。L号变换方向是最佳的，拉进与APROBE类距离的同时保持着与非A类的差别。这正是我们的解决表情问题的方向，即，对3D人脸识别中的表情问题，由于我们是面向识别性能这个目标，我们并不需要建立一个统一的表情生成和转变模型，只需建立一个变换，该变换能提高类内相似度，而保持类间的差别度，如式41。41BWELBWSIMIGALRYPROESIMMOD，图42表情引起的类内相似度变化示意图假设我们有一种自由变形技术，可以将给定的带表情的在其自身拓扑条件约PROBE束下尽可能地向另外一个模型进行变形，利用中模型的信息，假设中存GALERYGALERY在一个模型与来自于同一个人，总能变形成与非常相似。但MPROBEPOBM会向每一个中的模型变形，这就造成了与其它非同类的模型也变PROBEGALYR得相似，这是图42中2号变换线的变换方向。改进的想法是，我们不对的全部PROBE区域进行变形，假设可以分为两部分和，前者是表情相对不变的区域，后PROBEAPB者是表情影响大的区域，我们只对部分向中的模型变形，此时，由于部分BGALERYAP与的对应部分依然很相似，经部分的变化，仍有机会变成总体与很相似。MPOBM这就拉近了类内模型的相似度，同时，当向其它非同类模型变形时，由于部分RA保留使得不会拉近与其它模型的相似度，这就实现了保持类间模型仍然具足够PROBE差别的目的。现在去掉中存在的假设，由于缺少正确的变形向导，无GALERYMPROBE法变形成它自身中性模型的模式，但它依然保持了与中其它模型的区别度，即GALERY保持了类间差别度。按以上的思路，我们提出了一个基于变形的弱表情模型，GCD模型GUIDANCEBASEDCONSTRAINTDEFORMATION。42GUIDANCEBASEDCONSTRAINTDEFORMATIONGCD模型GCD模型基于网格变形技术，其目的是为了减小输入模型的曲面塑性扭曲，PROBEGCD模型是3D人脸识别匹配前对输入模型的中间处理步骤。本节我们首先描述GCD模型的框架和相关的理论背景，然后对该模型的核心步骤，基于向导的变形和变形刚性约束进行详细描述。43GCD模型的框架421模型框架正如前所述，GCD模型要完成两项关键操作，一是将PROBE在自身拓扑结构的约束下向GALLERY中每一个模型进行变形操作，其次操作是给定两个人脸网格MP和MG，将MP向MG变形，我们称之为基于向导的变形技术GUIDANCEBASEDDEFORMATION；二是保证只变形MP中的刚性部分，这一步操作我们通过一个刚性约束完成，称之RIGIDCONSTRAINT。图43描述了GCD模型的主要框架。422理论背景按网格流形的严格定义，3D人脸曲面可以表示为一个2D流形网格，KVM，图44显示了一个1环的网格；在3D人脸网格上，我们定义以下概念图44一环网格L离散标量场DISCRETESCALARFIELDS和离散矢量场（DISCRETEVECTORFIELDS）网格上定义的离散标量场，可以表示为M42II其中是一个分段线性基函数，在上点值为1，其它顶点位置值为0，因此，IMIV标量场在处的值为。网格上点的坐标的三个分量都满足标量场的定IIZYX，义，可以看作是定义在网格上的三个标量场。上离散矢量场的定义类似于标量场，如下M43VNTKK其中是分段常基函数PIECEWISECONSTANTBASISFUNCTION，在三角形片内部为KT1，外部为0；表示与顶点邻接的所有三角面片集。标量场的梯度场是网格KTV上的一个矢量场。2离散梯度运算子DISCRETEGRADIENTOPERATOR网格上离散标量场的梯度运算子定义如下44VTII其中是顶点依附的三角形，它的三个顶点为，按逆时针排序。V210V，45213132IITIVA其中表示三角形的面积，是求模运算符，表示将向量沿的法向逆时TVVT针旋转90度。标量场经梯度运算，可以得到一个梯度向量场，在内部，梯度是一个V常量。3离散散度运算子（DISCRETEDIVERGENCEOPERATOR）给定网格上的向量场，散度运算子定义为12M（46）KINTIIAVK，其中表示向量点乘运算。，4离散拉普拉斯运算子（DISCRETELAPACEBELTRAMIOPERATOR）标量场上的拉普拉斯算子在1环网格上可以表示为下式，参考图44中角度的符号。（47）COTT21JIIINJIV其中表示顶点的邻接顶点。IIV结论本文通过分别对光照、姿态、表情对三维人脸识别的影响的算法进行了研究，实验还是比较成功，但对还是有些方面不足。基于球面谐波理论，本文提出了两种对任意光照下的人脸图像进行光照补偿的算法。我们首先估计输入人脸图像的光照条件，即光照环境的9个低维球面谐波系数。在光照估计的基础上，我们提出了两种光照补偿的方法纹理图像和差图像。本文还讨论了光照估计和光照补偿对对齐精度的敏感性，这对我们构造实用的人脸识别系统也很重要。基于不精确的特征对齐进行3D形状估计进而对光照进行估计影响不是太大，但准确的特征点定位有助于得到更准确的3D形状，进而提高人脸识别率。因此下一步工作是提高特征点定位的准确性，尤其是在光照条件不佳时。另外降低光照补偿中的噪声也是下一步工作之一。针对多姿态人脸识别的问题，提出了一种三维形变模型与部件技术相结合的识别方法，利用三维形变模型重建三维人脸，将三维人脸划分为36个部件，把三维部件的几何向量和纹理向量作为识别的特征，由于增加了深度信息，同时结合部件对姿态变化的鲁棒性，在一定程度上克服姿态变化的影响；两层分类方法把人脸的局部特征和全局特征有效地结合起来，在二维和三维条件下都可以达到较好的识别效果。提出了一个克服表情影响的GCD模型。该模型的出发点是通过变形提高类内三维人脸的相似度，同时保持类间模型的区别。借助网格变形技术，非中性人脸向中性向导的变形有助于提高类内相似度，同时，刚性约束条件保证了类间相似度不会提高。GCD模型是表情不变的三维人脸识别领域的重要工作，国外同行对该算法给予了较高的评价。实验也表明，GCD模型显著提高了表情变化下的三维人脸识别的性能。对光照、姿态、表情对三维人脸识别的影响都进行了研究，有所欠缺的是没有把这些算法实践到具体的系统中。参考文献1卿来云,山世光,陈熙霖等基于球面谐波基图像的任意光照下的人脸识别J计算机学报,2006,2957607682柴秀娟,山世光,卿来云等基于3D人脸重建的光照、姿态不变人脸识别J软件学报,2006,1735255343胡峰松,林亚平等应用于人脸识别的基于CANDIDE3特定人脸三维重建J湖南大学学报,2008,351169734刘小军,王东峰,张丽飞等一种基于奇异值分解和隐马尔可夫模型的人脸识别方法J计算机学报,2003,2633403445柴秀娟,山世光,高文等基于样例学习的面部特征自动标定算法J软件学报,2005,1657187266宋枫溪,杨静宇,刘树海等基于多类最大散底差的人脸表示方法J自动化学报,2006,3233783857潘纲,三维人脸识别若干技术研究D,杭州浙江大学,20038叶剑华,刘正光,基于3DLBP和核判别分析的三维人脸识别J,天津大学学报,2008,41（3）3443489张文超,山世光,张洪名等,基于局部GABOR变化直方图序列的人脸描述与识别J,软件学报,2006,17122508251710山世光,人脸识别中若干关键问题的研究D,北京中国科学院,200411刘瑾,人脸识别中的大样本集问题及多模式图像融合方法的研究D,天津天津大学,200612叶剑华,三维及多模态人脸识别研究D,天津天津大学,200813王跃明,表情不变的三维人脸识别研究D,浙江,浙江大学,2007致谢本论文是在我的指导导师杜杏菁老师的精心指导下完成的。在毕设期间，杜老师言传身教，从技术路线直至许多具体细节，都给予了我至关重要的指导和帮助。杜老师严谨的治学态度、渊博的理论知识、开阔的思维方式、永远高昂的工作激情都给我留下了深刻的印象，永远是我学习的榜样。杜老师在理论和工程两个方面的严格要求，使我不仅学到了扎实的理论知识，而且获得了丰富的实践经验。在工作和为人两方面，从杜老师身上学到的一切东西都将使我的一生受益无穷。再次感谢杜老师，她的指导陪伴我度过了四年的大学生涯，杜老师踏实的作风、深邃的思维、广博的知识，总让我羡慕不已，可以说，我的每一点成长与进步，都与杜老师有关，杜老师对我的影响必将持续到我未来的生活、工作和家庭中去。感谢我的室友文成志和郝佳奇，和他们一起共同努力渡过大学生活，非常快乐。他们在学习和生活中给予了我大量的帮助，曾与我一起分享许多快乐的时光。最感谢我最敬爱的父母，在我多年的求学过程中，他们一直在背后默默无闻地支持我、帮助我，使我对生活永远充满信心，我要用我的全部来报答他们。感谢所有给予我指导、帮助、关心和支持的人们。外文科技资料翻译英文原文RESEARCHONAFACERECOGNITIONSYSTEMBYTHEGENETICALGORITHMCOMPUTERVISIONANDRECOGNITIONISPLAYINGANINCREASINGLYIMPORTANTROLEINMODERNINTELLIGENTCONTROLOBJECTDETECTIONISTHEFIRSTANDMOSTIMPORTANTSTEPINOBJECTRECOGNITIONTRADITIONALLY,ASPECIALOBJECTCANBERECOGNIZEDBYTHETEMPLATEMATCHINGMETHOD,BUTTHERECOGNITIONSPEEDHASALWAYSBEENAPROBLEMINTHISARTICLE,ANIMPROVEDGENERALGENETICALGORITHMBASEDFACERECOGNITIONSYSTEMISPROPOSEDTHEGENETICALGORITHMGAHASBEENCONSIDEREDTOBEAROBUSTANDGLOBALSEARCHINGMETHODHERE,THECHROMOSOMESGENERATEDBYGACONTAINTHEINFORMATIONNEEDEDTORECOGNIZETHEOBJECTTHEPURPOSEOFTHISARTICLEISTOPROPOSEAPRACTICALMETHODOFFACEDETECTIONANDRECOGNITIONFINALLY,THEEXPERIMENTALRESULTS,ANDACOMPARISONWITHTHETRADITIONALTEMPLATEMATCHINGMETHOD,ANDSOMEOTHERCONSIDERATIONS,AREALSOGIVEN1INTRODUCTIONIFWESEARCHONTHEWEBORINACONFERENCEPROCEEDINGSABOUTINTELLIGENTCONTROL,LOTSOFPAPERSANDAPPLICATIONSAREPRESENTEDAMONGTHEM,IMAGEPROCESSINGANDRECOGNITIONOCCUPYAVERYLARGEPERCENTAGETHEHIGHERTHEDEGREEOFINTELLIGENCE,THEMOREIMPORTANTTHEIMAGEDETECTIONANDRECOGNITIONTECHNOLOGYFORCONTROLLINGANINTELLIGENTSYSTEMAUTONOMOUSMOBILEVEHICLE,ROBOT,ETC,THEMOSTIMPORTANTELEMENTISTHECONTROLSTRATEGY,BUTBEFOREAUTOMATICALLYMAKINGITMOVE,IMAGERECOGNITIONISNEEDEDFORANINTELLIGENTCONTROLSYSTEM,ITISNECESSARYTOACQUIREINFORMATIONABOUTTHEEXTERNALWORLDAUTOMATICALLYBYSENSORS,INORDERTORECOGNIZEITSPOSITIONANDTHESURROUNDINGSITUATIONACAMERAISONEOFTHEMOSTIMPORTANTSENSORSFORCOMPUTERVISIONTHATISTOSAY,THESYSTEMENDEAVORSTOFINDOUTWHATISINANIMAGETHEENVIRONMENTOFTHEROBOTTAKENBYTHECAMERATRAFFICSIGNS,OBSTACLES,GUIDELINES,ETCTHERELIABILITYANDTIMERESPONSEOFOBJECTDETECTIONANDRECOGNITIONHAVEAMAJORINFLUENCEONTHEPERFORMANCEANDUSABILITYOFTHEWHOLEOBJECTRECOGNITIONSYSTEM1THETEMPLATEMATCHINGMETHODISAPRACTICABLEANDREASONABLEMETHODFOROBJECTDETECTION2THISARTICLEGIVESANIMPROVEMENTINTHEGENERALTEMPLATEMATCHINGMETHODINADDITION,INORDERTOSEARCHFORTHEOBJECTOFINTERESTINANIMAGE,LOTSOFDATANEEDTOBEPROCESSEDTHEGENETICALGORITHMGAHASBEENCONSIDEREDTOBEAROBUSTANDGLOBALSEARCHINGMETHODALTHOUGHITISSOMETIMESSAIDTHATGACANNOTBEUSEDFORFINDINGTHEGLOBALOPTIMIZATION3HERE,THECHROMOSOMESGENERATEDBYGACONTAININFORMATIONABOUTTHEIMAGEDATA,ANDTHEGENETICANDEVOLUTIONOPERATIONSAREUSEDTOOBTAINTHEBESTMATCHTOTHETEMPLATESEARCHINGFORTHEBESTMATCHISTHEGOALOFTHISARTICLETHISTHOUGHTEMERGEDFROMTHEFEATURESOFTHEGA,ANDTHENEEDTORECOGNIZETHEFACESOFPEOPLEEASILYANDQUICKLYBYANINTELLIGENTSYSTEMTHESINGLECONCEPTANDFEATURESOFIMAGEPROCESSINGANDTHEGAWILLNOTBEINTRODUCEDHE