人脸识别授课课件

人脸识别人脸识别2人脸识别的意义与感性认识人脸识别的现状人脸识别的关键问题人脸识别的过程人脸识别的方法2人脸识别的意义与感性认识人脸识别的感性认识人脸识别是一个活跃的研究领域，是人类视觉最杰出的能力之一。虽然人脸识别的准确性要低于虹膜、指纹的识别，但由于它的无侵害性和对用户最自然、最直观的方式，使人脸识别成为最容易被接受的生物特征识别方式。人脸识别的感性认识人脸识别是一个活跃的研究领域，是人类视觉最人脸识别是人体生物认证技术的一种，首先我们谈谈人体生物认证技术人体生物的生物特征包括生理特征和行为特征两大类。

⑴人体的生理特征主要包括人脸、指纹、掌纹、掌形、虹膜、视网膜、静脉、DNA、颅骨等，这些特征是与生俱来的，是先天形成的；⑵而行为特征包括声纹、签名、步态、耳形、按键节奏、身体气味等，这些特征是由后天的生活环境和生活习惯决定的。这些生物特征本身固有的特点决定了其在生物认证中所起的作用是不同的.人脸识别是人体生物认证技术的一种，首先我们谈谈人体生物认证技生物特征识别：人脸脸部热量图指纹手形手部血管分布虹膜视网膜签名语音生物特征识别：人脸脸部热量图指纹手形手部血管6基于生物特征的身份认证生物特征=生理特征+行为特征生理特征(whatyouare?)与生俱来，如DNA、脸像、虹膜、指纹等行为特征(whatyoudo?)后天习惯使然，如笔迹、步态等6基于生物特征的身份认证生物特征=生理特征+行为特征7常用生物特征的比较生物特征普遍性独特性稳定性可采集性性能接受程度防欺骗性人脸HighLowMediumHighLowHighLow指纹MediumHighHighMediumHighMediumHigh手形MediumMediumMediumHighMediumMediumMedium虹膜HighHighHighMediumHighLowHigh视网膜HighHighMediumLowHighLowHigh签名LowLowLowHighLowHighLow声音MediumLowLowMediumLowHighLow［A.Jain,L.HongandS.Pankanti.“Biometrics:PromisingFrontiersforEmergingIdentificationMarket”，CommunicationACM,2000］生物特征普遍性独特性稳定性可采集性性能接受程度防欺骗性人脸HighLowMediumHighLowHighLow指纹MediumHighHighMediumHighMediumHigh手形MediumMediumMediumHighMediumMediumMedium虹膜HighHighHighMediumHighLowHigh视网膜HighHighMediumLowHighLowHigh签名LowLowLowHighLowHighLow声音MediumLowLowMediumLowHighLow7常用生物特征的比较生物特征普遍性独特性稳定性可采集性性能接人脸识别的意义BillGates:以人类生物特征进行身份验证的生物识别技术，在今后数年内将成为IT产业最为重要的技术革命人脸识别的意义BillGates:以人类生物特征进行身份9人脸识别的军事应用导弹基地、军火库房等要地的门禁或通道控制核能设施等重要军事装备的启动控制中国人民银行规定所有的金库安防监控系统都要有人脸识别功能9人脸识别的军事应用导弹基地、军火库房等要地的门禁或通道控制研究现状国际上对人脸及人脸面部表情识别的研究现在逐渐成为科研热点。国内外很多机构都在进行这方面的研究,尤其美国、日本。进入90年代,对人脸表情识别的研究变得非常活跃,吸引了大量的研究人员和基金支持,EI可检索到的相关文献就多达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中MIT、CMU、Maryland大学、Standford大学、日本城蹊大学、东京大学、ATR研究所的贡献尤为突出。国内众多大学和研究所都有人员从事人脸及人脸表情识别的研究

研究现状人脸识别的关键问题1.人脸面部形态（面型、眼睛、鼻子）2.人脸识别中的视觉特征（早期MARR理论框架3个层次计算理论、算法、实现机制；现多层次）3人脸识别中的光照问题4.人脸识别中的姿态问题人脸识别的关键问题1.人脸面部形态（面型、眼睛、鼻子）人脸识别的过程人脸识别的过程13人脸识别的过程登记过程识别过程一对一的验证过程一对多的辨别过程13人脸识别的过程登记过程14登记过程14登记过程15一对多的辨别过程15一对多的辨别过程本征脸（eigenface）方法是人脸识别的基准技术，并已成为事实上的工业标准该方法基于主成分分析（PCA）PCA是将分散在一组变量上的信息集中到某几个综合指标（主成分）上的数学方法，实际上起着数据降维的作用，并保证降维过程最大化保留原数据的差异这对最大化类间差异（即不同人之间的差异）并最小化类内差异（即同一人的不同图像间的差异）很有效用PCA将2维数据降到1维的例子，绿色点表示二维数据，PCA的目标就是找到这样一条直线，使得所有点在这条直线上的投影点之间的平均距离最大。也就是最大化地保留了原数据的差异性本征脸（eigenface）方法是人脸识别的基准技术，并已成本征脸方法直接计算C的本征值和本征向量是困难的，可以通过对矩阵做奇异值分解间接求出m值的选择：如果将本征向量恢复成图像，这些图像很像人脸，因此称为“本征脸”[M.Turk&A.Pentland,JCN91]本征脸方法直接计算C的本征值和本征向量是困难的，可以通过对本征脸vs.本征特征本征脸利用全局特征，本征特征利用局部特征，二者各有优势待识别图像本征脸识别结果本征特征识别结果[A.Pentlandetal.,CVPR94]本征脸vs.本征特征本征脸利用全局特征，本征特征利用局部本征脸vs.本征特征(2)(1)(3)(4)难题——能否自动确定：该用哪些特征？（眼睛？鼻子？嘴？……）特征的确切位置在哪儿？（从哪儿到哪儿算眼睛？……）将二者结合，可以得到更好的识别效果同样，这实际上相当于：为若干重要的特征建立本征空间，然后将多个本征空间集成起来由于嘴部受表情影响很严重，因此未考虑嘴部特征本征脸vs.本征特征(2)(1)(3)(4)难题——能否几种人脸识别的方法1

基于几何特征的人脸识别方法2

基于相关匹配的方法3

基于神经网络的方法4

弹性图匹配方法5基于三维模型的方法几种人脸识别的方法1基于几何特征的人脸识别方法

基于几何特征的方法是早期的人脸识别方法之一。常采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征。脸型特征以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的一些先验知识。识别所采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，本质上是特征矢量之间的匹配。1

基于几何特征的人脸识别方法基于几何特征的方法是早期的人脸识别方法之一。1基2

基于相关匹配的方法基于相关匹配的方法包括模板匹配法和等强度线方法。①模板匹配法：Poggio和Brunelli专门比较了基于几何特征的人脸识别方法和基于模板匹配的人脸识别方法。②等强度线法：等强度线利用灰度图像的多级灰度值的等强度线作为特征进行两幅人脸图像的匹配识别。2基于相关匹配的方法基于相关匹配的方法包括模板匹配法和等3

基于神经网络的方法Gutta等提出了混合神经网络、Lawrence等通过一个多级的SOM（自组织映射）实现样本的聚类，将卷积神经网络CNN用于人脸识别、Lin等采用基于概率决策的神经网络方法；Demers等提出采用主元神经网络方法提取人脸图像特征，用自相关神经网络进一步压缩特征，最后采用一个MLP（多层感知器）来实现人脸识别。Er等采用PCA（主成分分析）进行维数压缩，再用LDA（线性判别分析）抽取特征，然后基于RBF进行人脸识别。Haddadnia等基于PZMI特征，并采用混合学习算法的RBF神经网络进行人脸识别。神经网络的优势是通过学习的过程获得对这些规律和规则的隐性表达，它的适应性较强。3基于神经网络的方法Gutta等提出了混合神经网络、Law4

弹性图匹配方法Lades等提出采用动态链接结构(DLA，DynamicLinkArchitecture)的方法识别人脸。它将人脸用格状的稀疏图表示如图所示。图中的节点用图像位置的Gabor小波分解得到的特征向量标记4弹性图匹配方法Lades等提出采用动态链接结构(DLA，5基于三维模型的方法该类方法一般先在图像上检测出与通用模型顶点对应的特征点，然后根据特征点调节通用模型，最后通过纹理映射得到特定人脸的3D模型。Tibbalds基于结构光源和立体视觉理论，通过摄像机获取立体图像，根据图像特征点之间匹配构造人脸的三维表面5基于三维模型的方法该类方法一般先在图像上检测出与通用总结与展望人脸自动识别技术已取得了巨大的成就，随着科技的发展，在实际应用中仍然面临困难，不仅要达到准确、快速的检测并分割出人脸部分，而且要有效的变化补偿、特征描述、准确的分类的效果。下一个大师在哪里？总结与展望人脸自动识别技术已取得了巨大的成就，随着科技人脸识别人脸识别28人脸识别的意义与感性认识人脸识别的现状人脸识别的关键问题人脸识别的过程人脸识别的方法2人脸识别的意义与感性认识人脸识别的感性认识人脸识别是一个活跃的研究领域，是人类视觉最杰出的能力之一。虽然人脸识别的准确性要低于虹膜、指纹的识别，但由于它的无侵害性和对用户最自然、最直观的方式，使人脸识别成为最容易被接受的生物特征识别方式。人脸识别的感性认识人脸识别是一个活跃的研究领域，是人类视觉最人脸识别是人体生物认证技术的一种，首先我们谈谈人体生物认证技术人体生物的生物特征包括生理特征和行为特征两大类。

⑴人体的生理特征主要包括人脸、指纹、掌纹、掌形、虹膜、视网膜、静脉、DNA、颅骨等，这些特征是与生俱来的，是先天形成的；⑵而行为特征包括声纹、签名、步态、耳形、按键节奏、身体气味等，这些特征是由后天的生活环境和生活习惯决定的。这些生物特征本身固有的特点决定了其在生物认证中所起的作用是不同的.人脸识别是人体生物认证技术的一种，首先我们谈谈人体生物认证技生物特征识别：人脸脸部热量图指纹手形手部血管分布虹膜视网膜签名语音生物特征识别：人脸脸部热量图指纹手形手部血管32基于生物特征的身份认证生物特征=生理特征+行为特征生理特征(whatyouare?)与生俱来，如DNA、脸像、虹膜、指纹等行为特征(whatyoudo?)后天习惯使然，如笔迹、步态等6基于生物特征的身份认证生物特征=生理特征+行为特征33常用生物特征的比较生物特征普遍性独特性稳定性可采集性性能接受程度防欺骗性人脸HighLowMediumHighLowHighLow指纹MediumHighHighMediumHighMediumHigh手形MediumMediumMediumHighMediumMediumMedium虹膜HighHighHighMediumHighLowHigh视网膜HighHighMediumLowHighLowHigh签名LowLowLowHighLowHighLow声音MediumLowLowMediumLowHighLow［A.Jain,L.HongandS.Pankanti.“Biometrics:PromisingFrontiersforEmergingIdentificationMarket”，CommunicationACM,2000］生物特征普遍性独特性稳定性可采集性性能接受程度防欺骗性人脸HighLowMediumHighLowHighLow指纹MediumHighHighMediumHighMediumHigh手形MediumMediumMediumHighMediumMediumMedium虹膜HighHighHighMediumHighLowHigh视网膜HighHighMediumLowHighLowHigh签名LowLowLowHighLowHighLow声音MediumLowLowMediumLowHighLow7常用生物特征的比较生物特征普遍性独特性稳定性可采集性性能接人脸识别的意义BillGates:以人类生物特征进行身份验证的生物识别技术，在今后数年内将成为IT产业最为重要的技术革命人脸识别的意义BillGates:以人类生物特征进行身份35人脸识别的军事应用导弹基地、军火库房等要地的门禁或通道控制核能设施等重要军事装备的启动控制中国人民银行规定所有的金库安防监控系统都要有人脸识别功能9人脸识别的军事应用导弹基地、军火库房等要地的门禁或通道控制研究现状国际上对人脸及人脸面部表情识别的研究现在逐渐成为科研热点。国内外很多机构都在进行这方面的研究,尤其美国、日本。进入90年代,对人脸表情识别的研究变得非常活跃,吸引了大量的研究人员和基金支持,EI可检索到的相关文献就多达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中MIT、CMU、Maryland大学、Standford大学、日本城蹊大学、东京大学、ATR研究所的贡献尤为突出。国内众多大学和研究所都有人员从事人脸及人脸表情识别的研究

研究现状人脸识别的关键问题1.人脸面部形态（面型、眼睛、鼻子）2.人脸识别中的视觉特征（早期MARR理论框架3个层次计算理论、算法、实现机制；现多层次）3人脸识别中的光照问题4.人脸识别中的姿态问题人脸识别的关键问题1.人脸面部形态（面型、眼睛、鼻子）人脸识别的过程人脸识别的过程39人脸识别的过程登记过程识别过程一对一的验证过程一对多的辨别过程13人脸识别的过程登记过程40登记过程14登记过程41一对多的辨别过程15一对多的辨别过程本征脸（eigenface）方法是人脸识别的基准技术，并已成为事实上的工业标准该方法基于主成分分析（PCA）PCA是将分散在一组变量上的信息集中到某几个综合指标（主成分）上的数学方法，实际上起着数据降维的作用，并保证降维过程最大化保留原数据的差异这对最大化类间差异（即不同人之间的差异）并最小化类内差异（即同一人的不同图像间的差异）很有效用PCA将2维数据降到1维的例子，绿色点表示二维数据，PCA的目标就是找到这样一条直线，使得所有点在这条直线上的投影点之间的平均距离最大。也就是最大化地保留了原数据的差异性本征脸（eigenface）方法是人脸识别的基准技术，并已成本征脸方法直接计算C的本征值和本征向量是困难的，可以通过对矩阵做奇异值分解间接求出m值的选择：如果将本征向量恢复成图像，这些图像很像人脸，因此称为“本征脸”[M.Turk&A.Pentland,JCN91]本征脸方法直接计算C的本征值和本征向量是困难的，可以通过对本征脸vs.本征特征本征脸利用全局特征，本征特征利用局部特征，二者各有优势待识别图像本征脸识别结果本征特征识别结果[A.Pentlandetal.,CVPR94]本征脸vs.本征特征本征脸利用全局特征，本征特征利用局部本征脸vs.本征特征(2)(1)(3)(4)难题——能否自动确定：该用哪些特征？（眼睛？鼻子？嘴？……）特征的确切位置在哪儿？（从哪儿到哪儿算眼睛？……）将二者结合，可以得到更好的识别效果同样，这实际上相当于：为若干重要的特征建立本征空间，然后将多个本征空间集成起来由于嘴部受表情影响很严重，因此未考虑嘴部特征本征脸vs.本征特征(2)(1)(3)(4)难题——能否几种人脸识别的方法1

基于几何特征的人脸识别方法2

基于相关匹配的方法3

基于神经网络的方法4

弹性图匹配方法5基于三维模型的方法几种人脸识别的方法1基于几何特征的人脸识别方法

基于几何特征的方法是早期的人脸识别方法之一。常采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征。脸型特征以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的一些先验知识。识别所采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，本质上是特征矢量之间的匹配。1

基于几何特征的人脸识别方法基于几何特征的方法是早期的人脸识别方法之一。1基2

基于相关匹配的方法基于相关匹配的方法包括模板匹配法和等强度线方法。①模板匹配法：Poggio和Brunelli专门比较了基于几何特征的人脸识别方法和基于模板匹配的人脸识别方法。②等强度线法：等强度线