人脸检测与识别技术的文献综述.doc

人脸检测和识别技术的文献综述 摘要：通过对关于人脸检测与识别技术方面文献的阅读，本文综述了传统的身份识别，人脸检测和识别技术的背景、意义及国内外发展现状，着重介绍了人脸检测和识别方法。关键词：人脸检测；人脸识别；子空间分析；核主元分析。人脸不仅具有很强的自身稳定性和个体差异性，而且直接、友好，相对传统识别，更符合人类的视觉习惯。一个完整的人脸识别过程一般包括人脸检测和人脸识别两大部分，人脸检测是指计算机在包含有人脸的图像中检测出人脸，并给出人脸所在区域的位置和大小等信息的过程1，人脸识别就是将待识别的人脸与已知人脸进行比较，得出相似程度的相关信息。这里所指的人脸识别是狭义的识别，是统称的广义人脸识别的一个子过程2。近年来人脸检测和识别技术的研究取得了较大的发展。1 人脸识别的背景和研究意义身份识别与验证是人类社会日常生活中的基本活动之一。尽管也许是无意识的，我们每天都要对很多人的身份做出判别，同时，每个人也都要经常通过各种方式和手段证明自己的身份，目前我们大多数情况下仍然依赖于传统的身份验证手段来完成身份识别过程，这些手段包括各类标识物如身份证、学生证等各类证件，钥匙，口令等，然而这些方式使用不方便、不安全、不可靠的缺点不言而喻，证件、钥匙携带不便证件可以被伪造钥匙可能会丢失密码,这些缺点使得它们越来越不能满足现实的需要3。目前广泛使用的依靠证件、口令等传统方法来确认个人身份的技术面临着严峻的挑战，已经不能适应现代科技发展和社会进步的需要4-6。随着社会的发展，信息化程度的不断提高，人们对身份鉴别的准确性和实用性提出了更高的要求，传统的身份识别方式已经不能满足这些要求。生物特征识别利用人类特有的生理特征如指纹，虹膜等或行为特征如签名，声音等进行身份识别。基于生物特征的身份认证技术是一项新兴的安全技术，也是本世纪最有发展潜力的技术之一7。2 人脸检测和识别技术的发展概况人脸检测是自动人脸识别系统中的一个关键环节，也是极其重要的一步.早期的人脸检测问题可以追溯到20世纪70年代，由于技术原因，当时人脸检测的研究一直处于止步状态。直到20世纪90年代，由于人脸识别系统和视频解码的大量运用，人脸检测的研究才得到了新的发展利用运动、颜色和综合信息等更具有鲁棒性的方法被提出来变形模板，弹性曲线等在特征提取方面的许多进展使得人脸特征的定位变得更为准确。目前，国内外对人脸检测问题的研究非常多，比较著名的有国外的MIT、CMU等，国内的清华大学、北京工业大学、中国科学院计算技术研究所和中国科学院自动化研究所等。近年来，人脸识别研究得到了诸多研究人员的青睐，涌现出了诸多技术方法。尤其是1990年以来，人脸识别更得到了长足的发展，每年都有大量的学术论文发表。现在，几乎所有知名的理工科大学和IT产业的主要公司都有研究组在从事人脸识别的研究。人脸识别的研究大致可分为四个阶段。第一个阶段以Bertillon，Allen和Parke为代表，主要研究人脸识别所需要的面部特征；第二个阶段是人机交互识别阶段；第三个阶段是真正的机器自动识别阶段；第四个阶段是鲁棒的人脸识别技术的研究阶段。目前，国外多所大学和研究机构已经研制出一些较好的人脸识别原型系统和一些较成熟的商业人脸识别系统，如德国的Cognitec，美国的Indentix，Eyematic等 8。 3、人脸识别的研究方法 近年来，人们对人脸检测和识别方法以及三维人脸的重建方法等的研究有了很大的进步，研究方法越来越多。目前人脸识别技术的研究主要分为以下两大类：人脸检测和人脸识别。人脸检测的方法主要有基于知识的方法、基于特征的方法、模板匹配和基于外观的方法等四种9。根据特征提取和选择方法的不同，以及出现的时间顺序，把人脸识别方法分为三大类：早期的几何特征方法和模板匹配方法、神经网络方法和统计方法。其中的分类只是相对的，有些方法可能也可以交叉存在10其框图如下：高维空间利用特征空间分解密度估计的概率视觉学习方法。基于分布（Distribution-Based）的系统基于分布的方法神经元网络特征脸技术两个阶段的人脸检测方法检测照片中的正面人脸的方法基于人脸的外形定位方法线性子空间分析方法隐马尔科夫模型基于多尺度和方向变化的 Gabor 特征的方法子空间分析方法基于动态链接结构的弹性图匹 配弹性束图匹配方法人脸识别技术人脸检测方法人脸识别方法基于特征的方法基于知识的方法特征匹配的方法基于几何 特 征模 板匹 配的方法神经网络的方法统计的方法基于外观的方法基于核技巧的非线性子空间分 析主元分析线性判决分析独立元分析非 负 矩 阵 因 子核 Fisher判决分析核主元分析3.1人脸检测方法3.1.1 基于知识的方法 基于知识的方法（Knowledge-Based Methods）一是基于规则的人脸检测方法。规则来源于研究者关于人脸的先验知识。一般比较容易提出简单的规则来描述人脸特征和它们的相互关系。Yang和Huang使用分层的基于知识的人脸检测方法11。他们的系统由3级规则组成。在最高级，通过扫描输入图像的窗口和应用每个位置的规则集找到所有可能的人脸候选区。较高级的规则通常描述人脸看起来象什么，而较低级的规则依赖于面部特征的细节。多分辨率的分层图像通过平均和二次采样生成，如图2所示。编码规则通常在较低的分辨率下确定人脸的候选区，包括人脸的中心部分图中较浅的阴影部分，其中有个基本上相同的灰度单元。图2 Yang和Huang的检测方法Fig 2 The detection method of Yang and Huang3.1.2 基于特征的方法 基于特征的方法（Feature-Based Methods）不仅可以从已有的面部特征而且可以从它们的几何关系进行人脸检测。和基于知识的方法相反，它是寻找人脸的不变特征用于人脸检测。人们已经提出了许多先检测人脸面部特征，后推断人脸是否存在的方法。面部特征如眉毛、眼睛、鼻子、嘴和发际等，一般利用边缘检测器提取。根据提取的特征，建立统计模型描述特征之间的关系并确定存在的人脸。基于特征的算法存在的问题是，由于光照、噪声和遮挡等使图像特征被严重地破坏，人脸的特征边界被弱化，阴影可能引起很强的边缘，而这些边缘可能使得算法难以使用。3.1.3模板匹配的方法Sakai等人用眼睛、鼻子、嘴和人脸轮廓等子模板建模，检测照片中的正面人脸。每一个子模板按照线分割定义。基于最大梯度变化提取输入图像的线，然后与子模板匹配。计算子图像和轮廓模板之间的相互关系检测人脸的候选区域，完成用其他子模板在候选区域的匹配。Craw等人提出了一种基于正面人脸的形状模板即人脸的外形定位方法。用Sobel算子提取边缘，将边缘组织在一起，根据几个约束条件去搜索人脸模板。在头轮廓定位。Govindaraju等人提出两个阶段的人脸检测方法。人脸模型根据边缘定义的特征构成。这些特征描述了正面人脸的左边、发际和右边的曲线。人脸必须是垂直、无遮挡和正面的。3.1.4 基于外观的方法 基于外观的方法首先通过学习，在大量训练样本集的基础上建立一个能对人脸和非人脸样本进行正确识别的分类器，然后对被检测图像进行全局扫描，用分类器检测扫描到的图像窗口中是否包含人脸，若有则给出人脸所在的位置。 Moghaddam和Pentland提出在高维空间利用特征空间分解密度估计的概率视觉学习方法12。用主成分(PCA)分析来定义子空间从而最好地表示人脸模式集。主成分保存数据中主分量而丢弃了那些次分量。这种方法把向量空间分解为互相排斥和互为补充的2个子空间主子空间或特征空间和它的正交子空间。因此对象密度被分解为个2成分在主子空间由主分量张成的密度，和它的垂直成分(在标准的PCA中被丢弃的次分量)如图3所示。用多变量Gaussians和混合Gaussians密度分布进行学习人脸局部特征的统计。然后将这些概率密度用于基于最大似然估计的对象检测。这种方法已经被用于人脸定位、编码和识别。和传统的特征脸方法相比，此方法在人脸识别方面表现出更好的性能。图3 图像空间分解为主子空间和垂直补空间Fig. 3 Decomposition lr a image space into the principal subspace its orthogonal complement3.2 人脸识别方法3.2.1早期的几何特征方法和模板匹配方法最早的人脸识别方法就是基于几何特征的方法13，它的基本思想是提取人脸面部具有代表性的部位（例如眉毛、眼睛、鼻子、嘴巴等）的相对位置和相对大小作为特征，再辅以人脸轮廓的形状信息，来对人脸进行分类和识别。模板匹配方法是模式识别中最简单的一种模式分类方法。在人脸识别中，就是把数据库的人脸图像看成是已知的模板，然后根据计算待识别图像和已知模板间的相关性大小来分类。3.2.2 神经网络方法基于神经网络的人脸识别方法也早期的方法之一。目前较流行的基于动态链接结构的弹性图匹配（Elastic Graph Matching）方法，并且取得了一定的成功。它是通过 Gabor 小波来提取并描述人脸中的一些局部特征点（节点），并把它们用成标记图（Labeled Graph）的形式连接起来，用标记图之间的相似度来衡量人脸图像之间的相似度。弹性图匹配方法不但体现了人脸中的几何特征信息，而且还可以通过标记图的弹性形变来描述人脸的一些变化，因而能取得较好的识别性能。3.2.3 基于统计的方法 统计方法是目前最受注意的一类方法。它的思想就是想通过学习来得到人脸的统计特征，并以此来判别分类。其学习和识别过程的模型如下图4所示。图4 统计方法识别模型子空间分析（Subspace Analysis）方法是其中的主要的一种，它的思想就是把高维空间中松散分布的人脸图像，通过线性或非线性变换压缩到一个低维的子空间中去，在低维的子空间中使人脸图像的分布更紧凑，更有利于分类。另外，也使高维的计算减小为低维计算。目前在人脸识别中得到成功应用的线性子空间分析方法有：主元分析（Principal ComponentAnalysis / PCA）、线性判决分析(Linear Discriminant Analysis / LDA)、独立元 分 析 (Independent Component Analysis / ICA) 、 非 负 矩 阵 因 子(Non-negative Matrix Factorization / NMF)；基于核技巧的非线性子空间分析有：核主元分析(Kernel Principal Component Analysis / KPCA)和核 Fisher判决分析(Kernel Fisher Discriminant Analysis / KFDA)。核主元分析法如下：基于线性子空间分析方法的人脸识别，实际上是把实际人脸图像中存在的表情、姿态、光照等复杂的变化进行了线性简化，因此不可能得到充分的描述。核技术的思想就是利用一非线性映射，把原空间的数据映射到一隐特征空间 F 中：:x Rn fF，然后在隐特征空间中对数据进行分析，从而可得到有效地分析原始数据的非线性关系。而在计算上，并不需要明确的计算这个非线性变换,只需要计算在隐特征空间 F 中两两向量的点积即可（3.1）。隐特征空间 F 就是通过这样的点积来描述的。 k ( x,y)= (x)*(y) (3.1)常用的点积核函数有三种：多项式点积核函数、径向基点积核函数和Sigmoid 点积核函数14-16。核主元分析是由 Scholkopf 等17首先提出来的，其思想就是把核技术和主元分析结合起来。首先用核技术把原始数据投影到隐特征空间 F 中，再对其作线性主元分析，那么就得到了相对于原空间的一个非线性主元子空间。根据主元分析的原理，求解在隐特征空间 F 中的主元就等同于求解如下的特征值问题：w=Sw (3.2)其中， S表示样本在隐特征空间 F 中投影的离散度矩阵。因为在隐特征空间中作线性变换，所以存在这样的关系：对应于 0的特征向量 w 必存在于由(x1),(x2),.,(xN)所张成的空间中。数学上就可把 w用式（3.3）来表示： (3.3)把（3.3）代入（3.2）中，则特征值的求解问题就变成了解下面的特征值问题： N =K (3.4) 其中，矩阵 K 是一个 N N的矩阵， Ki,j= k(xi,xj)=(xi),(xj)， =(1 ,2,.,N )T。同理，可以选择对于前 m 个大的特征值的特征向量作为隐特征空间 F中的主元，那么原空间中数据 x 在 w上的投影就是： (3.5)4、小结与展望 随着社会的不断发展，传统的身份识别技术已经不能满足人们的需要。与其它生物特征识别技术相比，人脸识别在可用性方面具有独到的技术优势，这主要体现在：可以隐蔽操作，尤其适用于安全监控；非接触式采集，没有侵犯性，容易被接受，不会对用户造成生理上的伤害，容易被大多数的用户接受；具有方便、快捷、强大的事后追踪能力；图像采集设备成本低；更符合人类的识别习惯，可交互性强18。人脸检测是人脸信息处理领域的一个重要课题，也是计算机视觉和人机交互领域中的研究热点。这一问题的突破性进展将给人脸识别、表情姿态的识别、视频监控、身份验证等相关领域的研究带来很大的推动作用19。人脸检测和识别是极具挑战性的研究课题，需要进一步研究和解决的问题还有很多。人脸检测和识别的难度大，人脸识别技术经过几十年的研究，在环境可控的条件下已经达到了实用程度，但是在考虑光照，姿态，表情等变化的影响时，其应用范围受到了较大的限制。近年来，为了进一步解决人脸识别的表情，姿态等问题，三维人脸识别技术得到了较大的发展，三维人脸模型重建方法也日趋增多。但是如何将三维识别的结果融合到二维识别中，从而建立一个有效识别准则，还有待进一步讨论，人脸特征的选取与提取算法等方面还需要进一步优化20。参考文献：1 肖秀春.人脸检测与面部特征提取技术研究.湖南大学硕士学位论文.2004,05:1.2 刘小华.人脸识别技术及其应用研究.吉林大学博士学位论文.2005,04:103 山世光.人脸识别中若干关键问题的研究.中国科学院研究生院博士学位论文2004,07:2.4 刘党辉.鲁棒的人脸识别技术研究D.北京业人学博十论文，2004.5 廖频基于统一概率模型的人脸识别技术D.中国科学院研究生院博士论文,20036 张敏贵，潘泉，张洪才等.多生物特征识别J.信息与控制，2002,31(6):524-528.7 刘晓宁.基于三维模型的人脸识别技术研究.西北大学博士学位论文.2006,05:1.8 赵明华.人脸检测和识别技术的研究.四川大学博士学位论文.2006,10:25-27.9 赵丽红.人脸检测和识别算法的研究与实现.东北大学博士学位论文 2006,01:8-13.10 刘青山.人脸跟踪与识别的研究.中国科学院博士学位论文.2003,03:7-9.11 T.S.Huang and G.Z.Yang.Human Face Detection in a Complex Background J,Pattern Recognition,1994,27(1):53-63.12 B.Moghaddam and A.Pentland.Probabilistic Visual Learning for Object RecognitionJ,IEEE Trans,Pattern Analysisand Machine Intelligence,July 1997,19(7):696-710.13 A.Samal and P.A.Iyengar,“Automatic Recognition and Analysis of