山世光——人脸识别技术概述.ppt

1,人脸识别技术概述,山世光中科院计算所,2,引子,人世间找不两张完全一样的脸！人脸是人类赖以区分不同人的基本途径谁决定了你的长相？基因+成长环境双胞胎夫妻相世间一切尽在脸上！,3,提纲,相关背景人脸识别的基本原理人脸检测典型方法人脸识别的典型方法开放问题及讨论,4,无处不在的身份验证,如何证明你的身份？设想你被警察拦下.传统方法Whatyouhave身份证，暂住证，结婚证，工作证，银行卡，钥匙.WhatyouknowPassword，information(去清华).Whatyouare/howyoudo一种新的技术手段Biometrics,5,传统方法有什么问题？,卡、钥匙丢失青年公寓的钥匙牌.密码危机密码遗忘纽约每天1000人以上忘记密码密码被猜中生日、电话号码、车号、宿舍.Heavywebusershaveanaverageof21passwords;81%ofusersselectacommonpasswordand30%writetheirpasswordsdownorstoretheminafile.(2002NTAMonitorPasswordSurvey)损失2002年，仅美国330万人次的身份盗用；670万信用卡诈骗案,6,一种新的技术手段,生物特征识别技术Biometrics什么是Biometrics?Bio生物Metrics测量事实含义通过人体自身的生理特征(whatyouare)或行为特征(howyoudo)进行身份验证的技术,7,Biometrics,生理特征(whatyouare)Finger,face,palm,hand,foot,iris,vein.行为特征(howyoudo)步态，声音，敲击键盘，签名.,人人拥有，人各不同！,8,生物特征识别技术(Biometrics),9,Biometrics孰优孰劣？,Universality(alluserspossessthisbiometric)Uniqueness(variesacrossusers)Permanence(doesnotchangeovertime)Collectability(canbemeasuredquantitatively)Performance(Lowerrorratesandprocessingtime)Acceptability(isitacceptabletotheusers?)Circumvention(canitbeeasilyspoofed?),10,Biometrics比较,11,为什么要做人脸识别？,多学科领域的挑战性难题模式识别：最典型、最困难的模式识别问题人工智能：人类智能的基本体现计算机视觉：实现人眼的功能下一代人机交互让计算机不再“熟视无睹”让计算机具有人类的情感广泛的应用前景人脸识别相比其他生物特征识别的优势,12,13,人脸识别相关研究内容,生物特征识别人脸、指纹、虹膜、视网膜、掌纹、人机交互(HCI)人脸图像编码/压缩表情分析，情感计算人脸动画faceanimation人脸属性分类种族、性别、年龄Attractiveness判别,14,与其他生物特征识别的比较,生物特征识别：未来的身份验证方法！生物：指纹、虹膜、人脸、掌纹、手形、视网膜、红外温谱行为：笔迹、步态、声纹人脸识别的优点可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用非接触式采集，没有侵犯性，容易接受方便、快捷、强大的事后追踪能力符合我们人类的识别习惯，可交互性强，无需专家评判人脸识别的不足不同人脸的相似性大安全性低，识别性能受外界条件的影响非常大,15,技术挑战,16,Fromthesameperson?Yes?No?,17,没有想象的那么简单！,Howmanyindividualsinthispicture?,18,没有想象的那么简单！,Howmanyindividualsinthispicture?,19,人脸识别的基本原理及其计算模型探讨,20,我们人类靠什么识别？,天赋的能力还是后天获得的？脸形，面部器官结构国田由用，目甲风申皮肤和肤色光滑/粗糙，黝黑/白皙局部特性黑痣，刀疤，鹰勾鼻子，独眼龙动态特征酒窝，皱纹,21,人类视觉识别系统特性简介及其借鉴意义,人脸识别是否是一个特定的过程？证据：“人脸识别能力缺失症（Prosopagnosia）”患者的存在，患有此症的人可以正常的识别其他物体，甚至可以正确的识别鼻子眼睛和嘴巴等面部器官，但是就是不能认出熟悉的人脸，因此有理由怀疑其人脸识别功能区遭到了破坏。全局特征与局部特征孰轻孰重？全局特征主要包括人脸的肤色特征（比如白皙、黝黑）、总体轮廓（比如圆脸、鸭蛋脸、方脸、长脸等）、以及面部五官的分布特征（比如，在绘画界就有“国田由用，目甲风申”8种脸形之说），中医也将人脸按照总体结构特征划分为“金木水火土”五行（侧重人脸3D结构和肌肉凸凹情况）而局部特征则主要指面部五官的特点，比如浓眉毛、丹凤眼、鹰勾鼻、大豁嘴、八字胡须、尖下巴等，以及面部的一些奇异特征，比如黑痣、伤痕、酒窝等等二者对识别都是必要的，但全局特征一般用来进行粗略的匹配，局部特征则提供更为精细的确认。,22,局部特征vs全局特征,明星漫画：夸大了独特之处问题：Howtofindthesesalientfeaturesautomatically?,23,平均脸,24,局部特征vs全局特征,ThatcherIllusion,25,人类视觉识别系统特性简介及其借鉴意义,面部特征对识别的重要性分析不同的面部区域对人脸识别的重要性是不同的，一般认为面部轮廓、眼睛和嘴巴等特征对人脸识别是更重要的，人脸的上半区域对识别的意义明显比下半区域重要；鼻子在侧面人脸识别中的重要性要高于其他特征异族人脸识别困难现象这涉及到识别算法的适应性和泛化能力问题，一方面可能需要尽可能大的学习集，另一方面也需要学习集必须具有较大的覆盖能力性别和年龄阶段对于识别性能的影响女性要比男性更难识别；年轻人比老年人更难识别频域特性与人脸识别的关系低频分量其实更多的是对人脸图像外观总体分布特性的描述，而高频分量则对应局部的细节变化要想保留某人面部的一颗黑痣的信息，高频分量是无能为力的，必须保留足够的高频分量才可以,26,Mark,27,人类视觉识别系统特性简介及其借鉴意义,特异度对人脸识别的影响最“漂亮的”、最“丑陋的”、最“奇异的”的人脸都是最容易被记住的，而大众化的人脸则不太容易被记住“大众脸”并不等于“平均脸”，大众脸是指经常可以见到的“脸”，而“平均脸”并不多见光照变化与人脸识别反相照片（负片）的识别时很困难的；下方光源人脸图像难以识别姿态不变性不变性？运动人脸图像序列提供了更多的信息,28,人脸识别的分类,传感器可见光模拟眼睛红外主动被动3D人脸识别输入模式静态照片动态视频序列,29,基于可见光的人脸识别,通常我们所说的人脸识别是基于可见光人脸图像的身份识别与验证的简称光学人脸图像（以下简称人脸图像）是外界光源（包括太阳光、室内人造光源和其他物体表面反射而来的光线）发出的光线照射在人脸上，经人脸表面反射后传输到摄像机传感器的光线强度的度量。,入射光,反射光,30,简化的人脸成像模型,Lambert反射模型（漫反射模型）分别为物体表面点漫反射系数，法向量方向，光源的方向，二者夹角；k为入射光强度与视点无关（区别镜面反射）,31,人脸图像的生成要素,人脸图像实际上是三大类关键要素共同作用的结果人脸内部属性F人脸3D形状（表面法向量方向）包括人脸表面的反射属性（包括反射系数等，通常简称为纹理）人脸表情、胡须等属性的变化；外部成像条件L包括光源（位置和强度等）其他物体或者人体其他部件对人脸的遮挡（比如眼镜、帽子、头发）等。摄像机成像参数C包括摄像机位置（视点）、摄像机的焦距、光圈、快门速度等内外部参数,对识别人脸无益的干扰因素！,32,理想的识别模型,从人脸图像中剥离出人脸稳定不变的本质属性（3D形状与表面反射率）外界条件及其摄像参数变化导致的图像变化然后，从3D形状与表面反射率属性中提取不同人脸的差异信息，馈入到后端的判别分类器中进行识别,遗憾一个病态问题！,33,退而求其次,目前的多数系统采用的人脸建模方法仍然停留在图像层面上，并没有显式地分离出3D形状和纹理的步骤而是直接通过从“图像”中提取人脸表示特征并进行分类来完成识别2D结构信息基于几何结构的人脸特征出现了少量利用3D信息进行识别的方法：Morphablemodels2D图像灰度数据统计特征如模板匹配,Eigenface,Fisherface2D图像变换特征如Gabor,DCT,FFT2D图像的低维子空间分布线性：子空间，光照锥非线性：Kernel学习，流形等主流：Appearance-basedmethods,34,从“图像”中识别的道理何在？,“图像”中包含什么？亮度变化(影调，shading)、阴影等反应了3D形状Albedo()：表面反射率表面反射率表面皮肤材质特别是五官区域,35,问题分解,人脸识别/确认,X=(x1,x2,xn),36,FaceDetection,37,自动人脸识别系统,38,FaceRecognition,39,基于几何特征的例子,建模：用面部关键特征的相对位置、大小、形状、面积等参数来描述人脸人脸图像f特征向量vv=(x1,x2,xn)对所有已知人脸提取同样描述的几何特征D=v1,v2,.,vp待识别的人脸f提取的几何特征为vf计算vf与D中所有vi的相似度s(vf,vi)(比如欧式距离、cosine(.)等)，进行排序根据相似度最大的已知人脸的身份即可判断待识别人脸的身份信息,40,国内外研究现状及其分析,41,国内外研究现状研究机构,国外研究机构情况以美欧为主，各知名大学、研究所、企业研究院均设立了与人脸识别相关的研究组大学：CMU,MIT,UMD,USC,MichiganStateUniversity,UCLA,UniversityofManchester,UniversityofSurrey评测：FERET(94-97),FRVT(2000/2002/2006),(X)M2VTS,FVC国内研究机构简况大学：清华大学3家，哈尔滨工业大学，中山大学，南京理工大学，南京大学，上海交大，浙大，北交大研究所：计算所，自动化所等,42,人脸识别的最高学术水平,1997FERET测试结果测试类(训练/测试数)最高识别率(大学，方法)所有参评方法的平均识别率FB(1196/1195)96%(UMD,PCA+LDA)83%FC(1196/194)82%(USC,EBGM)30%DI(1196/722)59%(USC,EBGM)40%DII(864/234)51%(USC,EBGM)21%#数据来源：2000年P.J.Phillips的PAMI文章*说明（四种测试类均为正面人脸照片，略有表情变化，无眼镜等饰物）：FB：训练、测试集同一采集过程中在严格控制的光照条件下采集，略有表情变化，视觉效果上与训练集数据相差不大；FC：训练、测试集同一采集过程中不同摄像头，有光照变化；DI：训练、测试集同一年内，不同时间采集，有光照变化DII：一年后，不同摄像头，不同光照条件,43,人脸识别的最高学术水平,FERET测试(大于等于1196人的人脸库上测试)*在同一摄像条件下采集的正面图像识别中，典型的识别率为95%以上而对用不同的摄像机和不同的光照条件采集的正面测试图像，典型的识别率骤降为80%以下而对一年后采集的正面测试图像，最大的准确率也仅仅接近50%*来源于2000年发表在PAMI上的文章，实际测试在1997年进行,性能下降很快！,44,从评测看当前人脸识别技术的研究水平,FERET1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右FRVT2002较理想条件下（37437人(121,589幅图像)的正面人脸签证照）人脸识别(Identification)最高首选识别率73%人脸验证(Verification)的等错误率大约为5%-7%错误接收率为0.01%时，最低错误拒绝率30%左右错误接受率为0.1%时，最低错误拒绝率18%左右错误接受率为1%时，最低错误拒绝率10%左右,45,从评测看当前人脸识别技术的研究水平,FERET1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右FRVT2002较理想条件下（37437人(121,589幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)Gallery:787人正面中性表情，室内为白炽灯光源室外同一天Probe库包括435人(444幅图像)，首选识别率54%室外152-505天之间的Probe库包括103人(145幅图像)，首选识别率46%,46,从评测看当前人脸识别技术的研究水平,FERET1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右FRVT2002较理想条件下（37437人(121,589幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照)87人正面图像作为Gallery左转45度：40%右转45度：55%抬头30度：47%低头30度：55%,47,从评测看当前人脸识别技术的研究水平,FERET1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右FRVT2002较理想条件下（37437人(121,589幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照时间跨度问题对大约3年后的照片，在错误接受率为1%时最高首选识别率60%左右而错误拒绝率为15%,48,从评测看当前人脸识别技术的研究水平,FERET1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右FRVT2002较理想条件下（37437人(121,589幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照时间跨度问题其它结论对视频序列图像的识别效果并不比对静态图像的识别效果好?数据库的规模每增加一倍，总体性能下降大约2到3个百分点男性比女性更易于识别年轻人比老年人难识别,49,国际研究现状,在比较良好的环境条件情况下，对1000人左右基本正面人脸进行识别的性能：首选识别率：95%以上等错误率：2%以下在环境比较糟糕的情况下，对基本正面人脸进行识别的性能：首选识别率：80%以下等错误率：10%以上,50,WhoiswhoinFRcommunity,SimonBaker,0.5;0.25等,迭代上述过程直到|dg|不再发生变化为止,136,AAM：基于合成的图像分析,3D人脸,2D人脸图像,Analysis,Synthesis,统计外观模型SAM,图像表示,模型参数c*,137,AAM优化搜索过程实例,138,AAM总结与评价,优点不仅利用了全局形状约束，还考虑了纹理约束，因为定位可以更精确；基于合成的分析技术，有明确的优化目标函数，最优值附近满足局部凸性质，从而可以基本保证收敛到局部最优解；采用了基于纹理差预测模型参数变化的启发式参数优化过程，提高了搜索速度缺点尽管采用了启发式参数优化方法，但优化过程仍然速度较慢；由于利用了纹理差与模型参数变化的线性假设，这种线性假设在纹理差别很大时并不存在，因而可能出现陷入局部极小；没有利用特征点的局部纹理，因而局部匹配能力较低，个别点的定位难以足够精确,139,基于面部几何结构的人脸识别基于模板匹配的人脸识别方法,140,基于几何特征的例子,建模：用面部关键特征的相对位置、大小、形状、面积等参数来描述人脸人脸图像f特征向量vv=(x1,x2,xn)对所有已知人脸提取同样描述的几何特征D=v1,v2,.,vp待识别的人脸f提取的几何特征为vf计算vf与D中所有vi的相似度s(vf,vi)(比如欧式距离、cosine(.)等)，进行排序根据相似度最大的已知人脸的身份即可判断待识别人脸的身份信息,141,基于模板匹配的例子,建模2D灰度矩阵，按行向量化为1D向量所有图像均表示为这样的向量识别计算输入图像的向量与已知人脸库中所有向量的相似度，排序即可给出识别结果,2004-07-05,Eigenface,PCAPrincipalComponentAnalysis也称为Hotteling变换或者Karhunen-Loeve变换（KLT）.寻求一个正交的坐标系统，使得不同坐标轴之间的相关性最小！,143,Eigenface人脸识别方法,x为输入图像y作为提取的特征S(x1,x2)=S(y1,y2)可以采用欧式距离也可以采用Cosine,144,EigenfacesEigenvectorsoftheCovariancematrix,可视化的“特征脸”Leading8D:validsignalLast8D:DifferenceandNoise,145,EigenFace-basedfacerecognitionmethod,DFFS,146,Fisherface：子空间线性判别分析,EigenfaceandFisherfaceEigenface:PCAorKLTTurk&Pentland,(MIT)1991最佳的描述特征MostExpressiveFeatures(MEFs)FisherfaceBelhumeur,Hespanha&Kriegman,1997,TPAMIFisherLinearDiscriminantAnalysis最佳的判别特征MostDiscriminatingFeatures(MDFs),147,Fisher判别分析Fisherface,PCAsproblem!,148,基本思想,FLD选择一种最优的投影变换，满足:,类间散度矩阵,类内散度矩阵,149,FDA的计算,优化分析表明，满足上述最大化的W是下述方程的解：进一步假设是非奇异的。则可以通过求解下面的广义特征值问题来得到W如果Sw是奇异的，怎么办？,150,Bayesian方法,类内差别（）相同个体的多幅图象之间的差别，即包含了表情、不同光照条件、不同姿态等差别；类间差别（）不同人的人脸图象之间的差别，包含了身份变化的信息；,151,基于双子空间分析的Bayesian方法,贝叶斯方法两张图象的相似度可以表示为它们之间的差属于类内差别的概率其中,152,类内差别与类间差别(3),传统的方法假设类内差别与类间差别的分布为正态分布，则类条件概率密度为,153,类条件概率密度的计算,对协方差矩阵做特征分解:,154,类条件概率密度的计算,其中的取值为：,DIFS,DFFS,155,类条件概率密度的计算,156,Bayesian方法的实现,形成两类模式空间和的训练集合分别进行PCA分析分别得到变换矩阵和对角阵（特征值）通过下式计算两幅人脸图像的相似度,或者,MAP,ML,157,若干值得关注的技术趋势,3D可变性模型方法光照锥方法商图像法基于Gabor特征的人脸识别技术Sphericalharmonicsforilluminationmodelingbasedonlinearsubspaces基于流形学习的非线性建模方法ICA,Principalcurvesandsurface,kernellearning,ISOMAP,LLE,158,局部特征与全局特征的融合,单独的slides,159,基于3D变形模型的人脸建模：Analysis-by-Synthesis技术的一个应用,3DWorld,图像,图像表示,160,基于3D变形模型的人脸建模,输入图像,Modeler,结果,161,基于3D变形模型的人脸建模,3D形状,纹理,162,3DMorphableModel,ExtrinsicparametersmodeledusingPhysicalRelations:-Pose:3x3Rotationmatrix-Illumination:PhongshadingaccountsforcastshadowsandspecularHlightsNoLambertianAssumption.,163,Photo-realisticimagesrenderedusingComputerGraphics,164,ModelFitting,IterativeModelFitting,ModelRendering,165,非线性数据建模方法,166,IndependentComponentAnalysis,167,PrincipalCurvesandSurfaces,168,ISOMAP测地距离映射算法,一种全局最优的非线性降维方法确保渐进的收敛很灵活，可以学习一大类非线性流形分布适宜解决SwissRoll问题,169,ISOMAP算法的基本思路,测地距离是良好的“不相似性”度量，但需要解决非邻域远点的测地距离计算问题这个问题可以通过邻域点扩展计算得到（最短路径问题）计算距离矩阵，可以构造出最佳的保持原非线性流形本质几何分布特征的内嵌子空间，从而达到降维的目的,170,ISOMAP算法的结果图示,蓝线：子空间降维后的距离（3D2D）红线：实际距离,171,局部线性内嵌子空间分析(LLE),基本思想非线性流形中的任意一点及其邻域点所在的流形面片可以近似为线性；高维到低维空间的映射应该具有下述性质每个数据点与其邻域点的相对关系具有一定的不变性这种不变性通过局部线性子空间投影系数（权值）体现出来,172,局部线性内嵌子空间分析(LLE),保持局部邻域线性关系的非线性映射图示,173,LLE用于人脸分析和合成,下面的图像为沿图中右上实线合成的具有不同面部表情属性的图像，可以看出LLE具有良好的姿态和表情内插能力,174,少量个体高度合作成像条件一致,QuoVadis?,当前水平,开放问题,高度不合作,成像条件任意,海量个体,175,QuoVadis?,3D信息的获取与利用单目视觉SFS方法融合先验知识?3DMorphablemodels多目视觉？流形学习，非线性建模非线性数据集合的有效建模与分析技术，考虑姿态问题从海量数据中进行判别特征的学习与分类序列图像分析基于序列的识别超分辨率恢复,姿态问题3DmodelbasedLearning光照模型SphericalharmonicsbasedLdimensionalsubspaceVariantsofthePhotometricStereo,illuminationconesRelightingbasedonREM室外环境光照建模传感器改进,176,总结,人脸识别革命尚未成功，吾辈尚需努力！可能在未来10年内有所突破！知识储备Mathisking,dataisqueen!计算机视觉、图形学知识非常重要！欢迎有兴趣的同学与我联系探讨有关问题！sgshan,177,Relax,测试：找找看有多少人脸？,178,从模式识别到人脸识别,对于即将从事模式识别相关研究的同学，模式识别课程非常重要比喻：就像要去打仗，手中没有精良的武器是不行的，有了武器不会用等于没有，对它们性能和使用的熟练程度不同也会在很大程度上影响成败实践上需要具体情况具体对待比喻：用手枪去射击500米外的目标，或者用洲际导弹去轰炸500米外的敌人都是非常愚蠢的。,179,从模式识别到人脸识别,一般到特殊，归纳与演绎，理论与实践应用模式识别的基本原则到人脸识别中去从人脸模式的先验知识、具体情况和特定约束条件（“脸情”）出发，依据模式识别各模块的基本设计原则，选择、应