课件：人脸识别的特征提取概论.pptx

人脸识别的特征提取概述,主要内容,1.人脸识别的意义。 1. 特征提取在人脸识别中的重要性。 2. 特征提取的各种方法简单介绍。,人脸识别是人体生物认证技术的一种，首先我们谈谈人体生物认证技术,人体生物的生物特征包括生理特征和行为特征两大类。 人体的生理特征主要包括人脸、指纹、掌纹、掌形、虹膜、视网膜、静脉、DNA、颅骨等，这些特征是与生俱来的，是先天形成的； 而行为特征包括声纹、签名、步态、耳形、按键节奏、身体气味等，这些特征是由后天的生活环境和生活习惯决定的。 这些生物特征本身固有的特点决定了其在生物认证中所起的作用是不同的.,4,生物特征识别技术(Biometrics),5,为什么要做人脸识别？,多学科领域的挑战性难题 模式识别：最典型、最困难的模式识别问题 人工智能：人类智能的基本体现 计算机视觉：实现人眼的功能 下一代人机交互 让计算机不再“熟视无睹” 让计算机具有人类的情感 广泛的应用前景 人脸识别相比其他生物特征识别的优势,人脸识别,人脸识别是一个活跃的研究领域，是人类视觉最杰出的能力之一。虽然人脸识别的准确性要低于虹膜、指纹的识别，但由于它的无侵害性和对用户最自然、最直观的方式，使人脸识别成为最容易被接受的生物特征识别方式。,人脸识别的商业前景,Bill Gates: 以人类生物特征进行身份验证的生物识别技术，在今后数年内将成为IT产业最为重要的技术革命,人脸识别系统,所谓人脸识别系统，是指不需要人为干预，能够自动获取人脸图像并且辨别出其身份的系统 一个人脸识别系统至少要包含三个部分，即数据采集子系统、人脸检测子系统和人脸识别子系统,人脸检测和人脸识别,(1)人脸检测（Face Detection） 人脸检测（Face Detection）是指在输入图像中确定所有人脸（如果存在）的位置、大小、位姿的过程。人脸检测是自动人脸识别系统中的一个关键环节。 (2)人脸识别 人脸识别细分为两类，一类是回答我是谁的问题，即辨认（Identification），另一类是回答这个人是我吗？即确认（Verification）。显然，用于Identification模式的识别系统对算法的运算速度的要求要高于Verification模式的识别系统。 人脸检测和人脸识别是人脸识别技术两大理论。两者的研究相对独立。 对于人脸识别理论中特征提取方面的算法研究非常重要，是人脸识别能否成功的关键。,问题的提出？,1. 特征提取是人脸识别中最基本的问题之一。 2. 特征提取不但从原始模式信息中提取出最有利于模式分类的特征，而且极大地降低模式样本的维数。 3. 特征提取是模式识别的前期工作，处理的是否得当影响后期的成果，可谓“大军未动，粮草先行” 所以对于人脸识别，有效的特征提取是解决问题的关键之一。,特征提取在一个人脸识别系统中的地位,结论：特征提取在一个实际的人脸识别系统中也是 至关重要的。,特征提取的作用,1.是寻找针对模式的最具鉴别性的描述，以使此类模式的特征能最大程度地区别于彼类。 2.是在适当的情况下实现模式数据描述的维数压缩，当描述模式的原始数据空间对应较大维数时，这一点会非常有意义，甚至必不可缺。,特征提取要解决的关键问题。,1.在人脸识别中存在的高维、非线性、小样本问题。 2. 如何有效地利用原图像数据。,人脸识别中特征提取的困难,特征提取的主要困难 (1) 外貌、表情、肤色等的不同，使人脸具有模式可变性 (2) 光照条件变化的影响，曝光及外在光源等引起的图像亮度、对比度的不同 (3) 眼镜、头发、饰物和其它外部物体等引起面部图像的部分遮挡 (4)人脸与摄像头之间的相对运动引起人脸姿态的多样性 (5)复杂背景对人脸目标的干扰,人脸识别特征提取的主要方法,(l)基于几何特征的方法和模板匹配方法 (2)基于子空间分析的方法 (3)基于小波理论的人脸识别方法 (4)基于神经网络的方法 (5)基于隐马尔可夫模型的方法 (6)基于支持向量机的方法 (7)基于三维模型的方法,1基于几何特征的方法和模板匹配方法,1.1基于几何特征 (GcometricalFeature)的方法 思想： 提取人脸面部具有代表性的部位(例如眉毛、眼睛、鼻子、嘴巴等)的相对位置和相对大小作为特征，再辅以人脸轮廓的形状信息 作为特征。 特点： 容易受光照、表情、遮挡等因素的影响，稳定性不高。,1.2模板匹配方法,思想： 在人脸识别中，就是把数据库的人脸图像看作己知的模板，然后根据待识别图像和己知模板间相关性的大小来分类 。 特点： 模板匹配方法的计算量较大，而且除了光照、表情以外，图像的平移旋转和放缩也会严重影响模板匹配中互相关的计算.,1.3总结,1.基于几何特征的方法和模板匹配方法一般优于基于几何特征的方法，但两者对外在条件要求比较苛刻。 2.一般作为其他方法的辅助方法。,2019/8/6,19,可编辑,2 基于子空间分析的方法,2.1基于子空间分析的方法是特征提取的主流方法。已形成形成一系列的方法群，但大致分为线性与非线性两种。 基本思想： 把高维空间中松散分布的人脸图像，通过线性或非线性变换压缩到一个低维的子空间中去，使人脸图像的分布在低维的子空间中更紧凑，更有利于分类，另外也使高维的计算减小为低维计算. 在一定程度上缓解了“维数灾难”,2.2主要方法,线性子空间方法： 主元分析(PCA)、奇 异值分解(SVD)、线性判别分析(LDA)、独立主元分析(ICA)、和非负矩阵因子(NMF)等,非线性子空间方法： 核主成分分析、核Fishe:判别分析、流形学习方法等。,2.3总结,1.子空间分析的方法具有计算代价小、描述能力强、可分性好等特点，现己经成为人脸识别的主流方法之一。每种子空间方法都有优缺点，但从理论上和大多数的实验结果来看，基于可分性准则的线性判别分析在人脸识别研究中具有一定的优越性。 2.非线性方法的研究成为热门，如基于核的非线性子空间方法，流形学习方法等。,3.基于小波理论的人脸识别方法,小波分析被称为“数学显微镜”。 主要思想： 人脸图像图像即二维信号，对人脸图像进行小波变换，采用低频图像来表示人脸不但可降低图像的维数而且使特征更为有效。小波的多分辨率分析是图像模式识别的有效工具，它是我们对图像进行低维表示的数学基础。很容易将一维小波推广到二维乃至更高维数的情形。在人脸识别中作用越来越明显。,4 .基于神经网络的方法,4.1原理； 人工神经网络 (Artificial Neural Network，ANN)是由大量简单的处理单元(神经元)相互连接而构成的网络系统，它在自学习、自组织、联想及容错方面具有较强的能力， 而且在学习过程中有自动提取特征的能力 。,4.2一些具体方法,Gutta等提出了混合神经网络、Lawrence等通过一个多级的SOM（自组织映射）实现样本的聚类，将卷积神经网络CNN用于人脸识别、Lin等采用基于概率决策的神经网络方法； Demers等提出采用主元神经网络方法提取人脸图像特征，用自相关神经网络进一步压缩特征，最后采用一个MLP（多层感知器）来实现人脸识别。 Er等采用PCA（主成分分析）进行维数压缩，再用LDA（线性判别分析）抽取特征，然后基于RBF进行人脸识别。 Haddadnia等基于PZMI特征，并采用混合学习算法的RBF神经网络进行人脸识别。 神经网络的优势是通过学习的过程获得对这些规律和规则的隐性表达，它的适应性较强。,4.3人工神经网络在特征提取的应用,应用神经网络进行人脸的特征提取和分类器的设计，有比较成熟的人脸特征提取方法主要有： 多主分量提取算法 自适应主分量神经网络提取算法 一些不足：神经元数目多，训练时间长。,5.基于隐马尔可夫模型识别,5.1基本思想： 在人脸识别过程中，我们往往不是单独的用人脸的五官这些相对独立的特征来进行的，而是把人脸作为一个整体来考虑.而隐马尔可夫模型恰恰很好的描述了这个系统.,5.2基于HMM的优点。,第一、允许人脸有丰富的表情变化、较大的头部转动等. 第二、较高的识别率. 第三、扩容性好，增加新样本不需要对所有的样本进行训练，只需训练新样本。 第四、大部分训练可以在建立数据库时完成，因而计算时间也是可以接受的。,6.基于支持向量机的方法,6.1概述： SVM建立了一套较好的有限样本下机器学习的理论框架和通用方法, 既有严格的理论基础, 同时在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。已经应用于手写体识别、三维目标识别、人脸识别、文本图像分类等实际问题中，性能优于已有的学习方法，表现出良好的学习能力。从有限训练样本得到的决策规则对独立的测试集仍能够得到较小的误差。,7.基于三维模型的方法,7.1概述 由于三维面貌经过平面投影会丢失一部分重要信息，导致以二维图像为输入的人脸识别方法比较脆弱，易受光照、姿态、表情的影响，所以人们试图以人脸原本的三维信息建模，直接在三维条件下进行识别，以便较好地解决传统方法面临的“光照”和“姿态”这两个瓶颈问题. 三维数据的表示主要有三维网格图像和深度图像 两种。可避免或减少噪声及表情变化对于识别率的影响.,7.2 方法实现,该类方法一般先在图像上检测出与通用模型顶点对应的特征点，然后根据特征点调节通用模型，最后通过纹理映射得到特定人脸的3D模型。Tibbalds基于结构光源和立体视觉理论，通过摄像机获取立体图像，根据图像特征点之间匹配构造人脸的三维表面,7.2三维模型的一些不足,在信息来源、海量存储、计算复杂度及实现手段等方面都存在一定的困难。,特征提取其它方法,目前对特征提取研究较多还有下列方法： 弹性图匹配方法。 基于数据场方法。 KL变换。 奇异值分解。 混合方法。,人脸识别的总结和展望,人脸自动识别技术已取得了巨大的成就，随着科技的发展，在实际应用中仍然面临困难，不仅要达到准确、快速的检测并分割出人脸部分，而且要有效的变化补偿、特征描述、准确的分类的效果，还需要注重和提高以下几个方面： (1) 人脸的局部和整体信息的相互结合能有效地描述人脸的特征，基于混合模型的方法值得进一步深入研究，以便能准确描述复杂的人脸模式布。 (2) 多特征融合和多分类器融合的方法也是改善识别性能的一个手段。 (3) 由于人脸为非刚体性，人脸之间的相似性以及各种变化因素的影响，准确的人脸识别仍较困难。为了满足自动人脸识别技术具有实时要求，在必