（检测技术与自动化装置专业论文）基于结构主元分析的人脸识别方法.pdf

基于结构主元分析的人脸识别方法 姓名：程永 导师：李晓东 摘要 在人脸识别的一些特殊应用( 公安刑侦业务) 中，我们常常会遇到不完整的 人脸图像，例如： 根据目击证人的口述而产生的人脸拼图或画像目击证人往往只是对人 脸的某些部分( 如眼睛、鼻子等) 印象深刻，对其它部分印象模糊，甚 至全无印象因此，根据目击证人口述而产生的人脸拼图或画像往往只 有部分区域比较真实 脸部部分区域被遮掩或整容过的人脸照片罪犯为了逃避公安机关的追 捕，往往会尽量遮掩脸部( 如冬天用围巾捂住下半边脸、夏天戴黑眼睛 等等) ，甚至不惜整容 脸部部分区域有损伤或变形的人脸照片许多尸体的脸部照片，脸部往 往有严重的损伤或变形 在一定角度拍摄的非正面的人脸照片。公安机关在刑事侦察中，为了不 引起罪犯的注意，常常要隐蔽拍摄人脸照片，这样拍摄的人脸照片，往 往都不是人脸的正面照片 通常的人脸识别算法都会把这些不完整的人脸图像作为不符合识别条件的 图像而拒识但是，对于公安机关来说，这些不完整的人脸图像提供了丰富的破 案线索，对这些不完整的人脸图像进行识别将会大大缩小侦察的范围 人脸识别属于模式识别的范畴模式识别分为统计模式识别和结构模式识别 ( 也称句法模式识别) 一般来说，统计模式识别的方法不适合应用于不完整的 人脸图像或照片的识别。究其原因，统计模式识别是基于统计平均的识别在统 计平均之下，不完整人脸图像或照片的真实部分不但不能突显，反而会被不真实 的部分消磨甚至淹没结构模式识别虽然能够彰显模式的结构细节，但对结构细 节的表述( 句法) 过于复杂，而且抗噪的鲁棒性较差( 相比之下，统计平均本身 就具有去噪的作用) 特征脸( e i g e n f a c e ) 方法是目前人脸识别中研究颇多的方法特征脸方法 的理论基础是矩阵的主元分析所谓特征脸就是人脸图像协方差矩阵的主元由 于协方差就是统计平均，因此，特征脸的方法在本质上属于统计模式识别的方法 本论文根据不完整人脸图像的特点，参考特征脸方法的思想，提出一种基于 结构主元分析的人脸识别方法这种方法先把人脸图像分割为互不相交的图像 块，然后计算每个图像块协方差矩阵的主元本论文把这些主元称为人脸图像的 结构主元，因为这些主元虽然仍然是统计平均的结果，但却是人脸局部区域的统 计平均结果，反应了人脸的结构特征人脸图像的全部结构主元，配上表示其重 要性的加权系数，再按照一定的顺序排列，就构成了整个人脸图像的主元( 特征 脸) 。 长期以来，特征脸方法一直受到计算复杂性的困扰一幅n n 的图像，其 协方差矩阵是一个n 2 n 2 的矩阵。当n 增大时，计算一个n 2 n 2 矩阵特征向 量所需的计算资源恐怕是一个n p 完全的问题目前，人们常常利用类似奇异值 分解的方法来解决这个问题但是，当样本数增多时( 理论上，样本越多越好， 因为样本越多，样本平均就越接近统计平均) ，这种做法恐怕还是摆脱不了n p 完 全的怪圈本论文提出的基于结构主元分析的人脸识别方法，不论图像多大，都 是先把图像分成图像块，然后计算图像块( 而不是整幅图像) 协方差矩阵的特征 向量由于图像块的大小是固定的( 如1 6 x 1 6 ) ，并不随图像的大小而变化，因 此，基于结构主元分析的人脸识别方法的计算量不会随着图像的增大而疯长 基于结构主元分析的人脸识别方法融合了统计模式识别和结构模式识别的 优点通过调整结构主元的加权系数，可以适用各种不完整人脸图像的识别实 验结果表明，本论文提出的基于结构主元分析的人脸识别方法对于不完整人脸图 像的识别有较好的结果 关键字：模式识别特征提取主元分析结构主元分析人脸识别 f a c er e c o g n i t i o nb a s e do nf r a m ep c a d e t e d i o n1 e c h n i a u ea n da u t o m a t i cd e v i n a m e ： c h e n gy 0 n g s u p e r v i s o r l ix l a o d o n g a b s t r a c t 1 1 1 i sp a p e rd i s c u s s e sf a c er c c o g n t i o nb 髂e do nf r 锄ep r i n c i p a lc o m p o n e 呲 a n a l y s i sa n di t sa l p l i c a t i o ni l lp o l i c es e c u r j t y t h e r ca r cm a i i yh a l f b a k c df a p i c t i l i _ e si np o l i c es c o u 匕鲫c h 舔： c o m p o s i t ep o m td e p e n d i l l g o n e y e 州t i l e s s e y e 、i 切e s sm a l w a y s 吼口咒s dw 跣s o m e 龇c n to ft h ec m m a l sf a c es u c h 勰e y e so r n o s ee t c 锄da r em i s t i n e s sw i m 廿1 eo m e rs e g m 锄to ft i i ec r i m i i m i sf 如e ，s o t i l ec o m p o s i t c p o r t m i ta r er c a lp a r t l y 1 1 1 e 舭ep i c t i l r e 眦h i d e dp 删yo rb ec o s m e t o l o 阱 1 1 1 ec 曲i n a l a l w a y st r yt oh i d eh i sf a c et oe s c a d ea r f e s t 锄c ha sh i d ec h i n ，m o u s ea n dn o s e i ns c a r fi nw i n t c r ，趾dw e 盯b l kg i 孙si ns u m m e re t c ，e v e nm a i 【eac o s m c t i c s u r g e s o m ef h c ed i c t t l r ew h i c hf h c ea r ed e f h c eo rm e t a b o l i cs u c ha ss o m e b o d y sp i c t u r e sw h i c hf h c ea r ea l w a y sd e f h c eo rm e t a b o l i c s o m ef a c ed i c 嘶w h i c ha r en o t 血u 危c e p o i i c eo 胁it a l 【e c r i m i n a l sp i c t i l l i i i d c rt l i et a b l e 。t l l e s cp i c t l l ma a l w a y sn o tf i i i lf a c e f o l i c en e e d st or e c o g n i 髓t h e s eh a i f b a l ：神f a c ep i c t i i st l l a ta r et oc o m p a 咒w i l l i ag r e a td e a lo ff k ei nf 如eb 船e 肌dc o n n 哪t l i em a li d t i 吼t h e s eh a l f _ b a k e d p i c t u r c sa r ca l 、v a y sr e 血s e dt ob er e c o g n i z e di nc o m m o n b u tt l l e h a l 6 b a k c d 龟c e p i c t u r e sh a v ea 掣弓a td e a lo f c l u e s ，c o g t l i 缒恤锄c a i im a k es c o u t 髓s i e l f a c e r e c o g n i t j o nb e l o n g s t o p a t t c mr e c o 弘i t i o nc 砒e g o 彤 p 8 t t c m r e c o g n i t i o n i sm a d eu pw i ms 协t i s t i c a l p a n e r nr o 弘m o n 锄d 觑m ep a n e m r e c o g n i t i o n s t a t i s t i c a l p a t t e m c o g n i t i o n i sn o ts u i t a b l ef o rl l a l 仁ba ：k e df a c e r c c o 掣l i t i o nb e c a u t h a 主t h er e a lp a r to fh a l f - b a k e d 自c ei s 玎0 0 d e db yn o tm a lp a ni n s 协t i s t i c a lp a t t e mr c c o g i l i t i o n f r 帅ep a t t e mr c c o 口t i o nc a l im a k es o m ep a r tc l e 甄 b u ti ti st o oc o m 口1 c a t e da n di sn o tr o b u s t e i g e n 舭ei sb e l o n g st os 诅t i s t i c a lp 毗哪n c o 印i t i o n 1 1 1 i sp a p c ra d v 蛐c e 丹a m ep c af a c er e c o g n i t i o nb a s i so ne i g e nf a c e 锄dt l l ec h m c t e r i s t i co fh a l f _ b a l d f a c e t h i sm e t t l o d d i v i d e df a c ep i c t u r et ot l l i r i yb i o c ka tf i 随，t l l e i ic a l c u i a t e p r i n c i p a lc a m p o n e n to f “e r yb l o c kw cc a l lt h e p d n c i 叫c o m p o n e n 乜舡吼e p r i n c i p a lc o m p o n e n t s t l i e j ep r i n c i p a lc o m p o n e n t sa 糟b o ms t 缸i s t i c a la n d 纳m e c h a m c t e n e i g e nf a c e i n f 如e 佗c o g l l i 廿o n h 鼬ab o t t l 锄e c kt l l a ti s c a l c u l a t i n g t h e n 2 n 2m a 打i xi san pp r o b l e m i nt l i i sp a p e le v e r yf - a c ep i c t i l 糟i sd i v i d e di n t o b l o c l 【s ，t h e nt 0c a l c u l a t ee v e r yb l o c k sp c a s oc a l c u l a t eq u 锄t i t yw i l ln o tg r o wu p v e 叫h u g e u i f a c er e c o g n i t i o no f 疔啪ep c a 如s es t a t i s t i c a lp 舭mr e c o g n i t i o n 锄d 舳m e p a 仕e mr c c o 印i t i o n c 锄b ea p p l i e dt oe v e 叫k 砌o f h a l 仙a k 耐f 配e 蜊驴i 廿0 n t t l ee x p e r i m e n tr e s u l ts h o wt h i sm e t h o dh a v ea9 0 0 dr c s u i t t oh a l f - b a k c df a c e r e c o g n i t i o n k e y w o r d s ： p a t t e m r c c o g n i t i o n ； f e a t u r ee x 廿a c t i o n ；p r i n c i p a l c o m p o n c n t a n a i y s i s ( p c a ) ；f r 咖ec o m p o n e n t 柏a l y s i s ；f a c er e c o 驴i t i o n 基于结构主元分析的人脸识别方法 第一章绪论 人类自己可以非常容易地识别出不同的人脸，根本不需要复杂的思考，当我 们看到自己熟悉的人的时候，几乎是下意识的，人脑就己经反应知道对方是谁， 不管他是不是又换了发型，是不是长胖了，或者留了胡须。但是，让计算机做到 这一点，却是一个非常困难的问题。它牵涉到模式识别，图像处理，计算机视觉， 生理学，心理学以及认知科学等方面的诸多知识，并与基于其他生物特征的身份 鉴别方法以及计算机人机感知交互领域都有密切联系。在过去的2 0 年内，包括 心理物理学，神经科学，图像处理和分析，计算机视觉和模式识别领域在内的许 许多多的研究者和科学家们分析了大量与人脸识别相关的事件，提出了很多人脸 识别的方法，在不同的人脸数据库上做了测试。但是，直到今天，如何实现一个 自动的人脸识别系统，还是一个悬而未决的难题。 与指纹，虹膜，基因，掌形等其他人体生物特征识别系统相比，人脸识别系 统更加直接，友好，使用者无任何心理障碍，并且通过人脸的表情姿态分析， 还能获得其他识别系统难以得到的一些信息。2 0 世纪9 0 年代以来，因为其在安 全验证系统、视频会议、人机交互等方面有巨大应用前景，人脸识别正越来越成 为当前模式识别和人工智能领域的一个研究热点。尽管在这方面的研究己经取得 了一些可喜的成果，但是在实际应用中仍面临着许多严峻的问题。人脸的非刚体 性，表情，姿态，发型以及化妆的多样性都给正确识别带来了困难。要让计算机 像人一样方便准确地识别出大量的人脸，还需要不同学科研究领域的科学家共同 做出不懈的努力。 本文是本实验室与 市公安局合作申请的广东省科技攻关项目人脸自动识 别系统的项目背景下完成的。本项日旨在为公安部门建立一个完整的从人脸检测 到人脸识别的系统用于公安部门的追捕在逃罪犯和对流动人口的管理的系统。该 系统所要达到的指标是以比较高的识别率把待识别的人脸照片或图片从建立在 后台的一个大型人脸库中各个人脸进行比较，识别出该人的身份。 基于结构主元分析的人脸识别方法 1 1 人脸识别的研究内容 简单地说，人脸识别( f a c er e c o g n i t i o n ) 就是给定一组静止或动态图像，利 用己有的人脸数据库来确认图像中的一个或多个人。从广义上讲，其研究内容包 括以下3 个方面： 人脸检测( f a c ed e t e c t i o n ) ： 即如何从各种不同动态的场景与复杂的背景中检测出人脸的存在并确 定其位置，最后分离出来。这一任务主要受光照，噪声，头部倾斜度以及各 种遮挡的影响。 人脸表征( f a c er e p r e s e n t a t i o n ) ： 即采用某种表示方法表示检测出的人脸与数据库中的已知人脸。确定表 示检测出的人脸和数据库中的己知人脸的描述方式。通常的表示方法包括几 何特征( 如：欧式距离，曲率，角度等) ，代数特征( 如矩阵特征矢量) ，固定特 征模板，特征脸，云纹图等。 人脸鉴别( f a c ei d e n t i f i c a t i o n ) ： 就是通常所说的人脸识别，将待识别的人脸与数据库中的己知人脸进行 比较，得出相关信息。这一过程的核心是选择适当的人脸表示方式和匹配策 略。 表情分析( | a c i a le x p l l e s s i 仰a n a l y s i s ) ： 对待识别人脸的表情进行分析，并对其加以分类。 物理分类( p h y s i c a lc l a s s i n c a t i o ) ： 对待识别人脸的物理特征进行分类，得出其年龄，性别j 种族等相关信 息，或者从几幅相关的图像推导出希望得到的人脸图像，如从父母图像推导 出孩子的脸部图像、基于年龄增长的人脸图像估算等。 1 1 1 人脸定位和检测 人脸检测的基本思想是用知识或统计的方法对人脸建模，比较所有可能的待 基于结构主元分析的人脸识别方法 检测区域与人脸模型的匹配度，从而得到可能存在人脸的区域。其方法大致可分 为基于统计和基于知识两类。前者将人脸图像视为一个高维向量，从而将人脸检 测问题转化为高维空间中分布信息的检测问题：而后者则利用人的知识建立若干 规则，从而将人脸检测问题转化为假设，验证问题。 基于统计的人脸检测方法 ( 1 ) 用人脸样本集和非人脸样本集进行学习训练以产生分类器。目前国际上 普遍采用人工神经网络【6 7 ，9 一1 2 】。 ( 2 ) 子空间方法p e n 趾d 等将k l 交换引入了人脸检测【1 3 1 4 】。在人脸识别中 利用的是主元子空间( 特征脸) ，而人脸检测利用的是次主元子空间( 特征脸空间的 补空间) 。用待检测区域在次主元子空间上的投影能量，也即待检测区域到特征 脸子空间的距离作为检测统计量，距离越小，表明越像人脸。子空间方法的特点 在于简便易行，但由于没有利用反例样本信息，对与人脸类似的物体辨别能力不 足。 ( 3 ) 空间匹配滤波器方法【1 5 】。包括各种模板匹配方法，合成辨别函数方法等。 基于知识建模的人脸检侧方法 ( 1 ) 器官分布规则：虽然人脸在外观上变化很大，但遵循一些几乎是普遍适用 的规则，如五官的空间位置分布大致符合三停五眼等，检测图像中是否有人 脸，即是测试该图像中是否存在满足这些规则的图像块。这种方法一般有两种思 路：一种是“从上而下”，其中最简单有效的是y 锄g 等人提出的m o 鼢i c 方法【1 6 】， 它给出了基于人脸区域灰度分布的规则，依据这些规则对图像从粗分辨率到高分 辨率进行筛选，以样本满足这些规则的程度作为检测的判据。另一种思路则是从 下至上，先直接检测几个器官可能分布的位置，然后将这些位置点分别组合，用 器官分布的几何关系准则进行筛选，找到可能存在的人脸【1 7 】。 ( 2 ) 轮廓规则：人脸的轮廓可以简单地看出近似椭圆，而人脸检测可以通过椭 圆检测来完成。g o y i e i d a r a j u 提出认知模型方法，将人脸建模为两条直线( 左右两 侧面颊) 和上下两个弧( 头部和下巴) ，通过修正h o u g l l 变换来检测直线和弧【1 8 】。 近期1 趴k u 利用凸检测的方法进行人脸检测【1 9 】。 ( 3 ) 颜色，纹理规则：同民族人的面部肤色在颜色空间中的分布相对比较集中， 颜色信息在一定程度上可以将人脸同大部分背景区分开立。l c c 等设计了肤色模 基于结构主元分析的人脸识别方法 型表征人脸颜色，利用感光模型进行复杂背景下人脸及器官的检测与分割【2 0 】。 d 嘶利用了s g l d ( 空间灰度共生矩阵) 纹理图信息作为特征进行低分辨率的人脸 检测【2 l 】。s 曲e r 等则将颜色，形状等结合在一起来进行人脸检测【2 2 】。 ( 4 ) 运动规则：通常相对背景人总是在运动的，利用运动信息可以简单有效的 将人从任意复杂背景中分割出来。其中包括利用瞬眼，说话等方法的活体人脸检 测方法。文献【2 3 ，2 4 】对利用运动信息进行头部运动跟踪检测进行了综述和探讨。 ( 5 ) 对称性：人脸具有一定的轴对称，各器官也具有一定的对称性。z 出n o d s h k y 提出连续对称性检测方法【2 5 】，检测一个圆形区域的对称性，从而确定是否为人 脸；r i e s f i e l d 提出广义对称变换方法【2 6 】检侧局部对称性强的点来进行人脸器官 定位。还有则定义方向对称变换，分别在不同方向上考察对称性，不仅能够用来 寻找强对称点，而且可描述有强对称性物体的形状信息，在进行人脸器官定位时 更为有效。 1 1 2 人脸特征提取与识别方法 人脸识别本质上是三维塑性物体二维投影图像的匹配问题，它的困难体现 在：( 1 ) 人脸塑性变形( 如表情等) 的不确定性；( 2 ) 人脸模式的多样性( 如胡须，发型， 眼镜。化妆等) ；( 3 ) 图像获取过程中的不确定性( 如光照的强度，光源方向等) 。 识别人脸主要依据人脸上的特征，也就是说依据那些在不同个体之间存在较大差 异而对于同一个人则比较稳定的度量。由于人脸变化复杂，因此特征表述和特征 提取十分困难。在对人脸图像进行特征提取和分类之前一般需要做几何归一化和 灰度归一化。几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和 同样大小，灰度归一化是指对图像进行光照补偿等处理光照补偿能够一定程度 地克服光照变换的影响而提高识别率。关于人脸特征提取和识别的方法可概述如 下： 基于几何特征的方法 人脸由眼睛，鼻子，嘴巴，下巴等部件构成正因为这些部件的形状，大小 和结构上的各种差异才使得世界上由这些每个人脸千差万别，因此对这些部件的 形状和结构关系的几何描述，可以作为人脸识别的重要特征。几何特征最早是用 于人脸侧面轮廓的描述和识别，首先根据侧面轮廓曲线确定若干显著点，并由这 4 基于结构主元分析的人脸识别方法 些显著点到处一组用于识别的特征度量如距离，角度等。j i a 【2 7 】等由正面灰度图 中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。 采用几何特征进行人脸识别一般是通过提取人眼，口，鼻等重要特征点的位 置和眼睛等重要器官的几何形状作为分类特征【2 8 ，2 9 】，但r c h d 盯对几何特征提取 的精确性进行了实验性研究，结果不容乐观。 可变形模板法【3 0 ，3 1 ，3 2 】可以视为几何特征方法的一种改进，其基本思想是： 设计一个参数可调的器官模型，定义一个能量函数，通过调整模型参数使能量函 数最小化，此时的模型参数即作为该器官的几何特征。这种方法思想很好，但是 存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广： 二是能量函数优化过程十分耗时，难以实际应用。 基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大 量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形 状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合作粗分类， 而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。 基于特征脸的方法 t u r k 和p e n t l a i l d 提出特征脸的方法，它根据一组人脸训练图像构造主元子 空间，由于主元具有脸的形状，也称为特征脸。识别时将测试图像投影到主元子 空间上，得到一组投影系数，和各个已知人的人脸图像进行比较进行识别。在【3 3 ， 3 4 1 中p e n t l 锄d 等报告了相当好的结果，在2 0 0 个人的3 0 0 0 幅图像中得到9 2 的 正确识别率，在f e r e t 数据库上对1 5 0 幅正面人脸像只有一个误识别。但系统 在进行特征脸方法之前需要作大量预处理工作如归一化等。 在传统特征脸的基础上，研究人员注意到特征值大的特征向量( 即特征脸) 并 不一定是分类性能好的方向，据此发展了多种特征( 子空间) 选择方法，如p g 的双子空间方法【3 5 ，w e n g 的线性歧义分析方法【3 6 】 b e i h u m e u r 的f i s h e r f a c c 方 法【3 7 】等。事实上，特征脸方法是一种显示主元分析人脸建模，一些线性自联想， 线性压缩型b p 网络则为隐式的主元分析方法，它们都是把人脸表示为一些向量 的加权和，这些向量是训练集叉积阵的主特征向量，v a l e n 廿n 对此作了详细讨论 【3 8 】 总之，特征脸方法是一种简单，快速，实用的基于变换系数特征的算法，但 基于结构主元分析的人脸识别方法 由于它本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训 练集比较相像，所以它有着很大的局限性。 局部特征方法 主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核 函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点 与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割 是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表 达十分重要基于这种考虑，a t i c k 提出基于局部特征的人脸特征提取与识别方法 【3 9 】。这种方法在实际应用取得了很好的效果，它构成了f a c e i t 人脸识别软件的 基础。 基于弹性模型的方法 l a d e s 等人针对畸变不变性的物体识别提出了动态链接模型( d l a ) ，将物体 用稀疏图形来描述，其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连 接关系并用几何距离标记，然后应用塑性图形匹配技术来寻找最近的己知图形 6 9 ，7 0 】。晰s o o t t 等人在此基础上作了改进，用f e r e t 图像库做实验，用3 0 0 幅 人脸图像和另外3 0 0 幅图像做比较，准确率达到9 7 3 。此方法的缺点是计算量 非常巨大。 n a s t a r 将人脸图像，( x ，) ，) 建模为可变形的3 d 网格表面伍y ，i ( x ，y ) ) ，从而将人 脸匹配问题转化为可变形曲面的弹性匹配问题【4 2 ，4 3 】，利用有限元分析的方法进 行曲面变形，并根据变形的情况判断两张图片是否为同一个人。这种方法的特点 在于将空间( z ，y ) 和灰度j ( x ，y ) 放在了一个3 d 空间中考虑，实验表明识别结果明 显优于特征脸的方法。 l 舭i t i s 等提出灵活表现模型方法【4 4 ，4 5 】，通过自动定位人脸的显著特征点将 人脸编码为8 3 个模型参数，并利用辨别分析的方法进行基本形状信息的人脸识 别。 神经网络方法 目前神经网络方法在人脸识别中的研究方兴未艾。v a l e l l _ t h l 提出一种方法， 首先提取人脸的5 0 个主元，然后用相关神经网络将它映射到5 维空间中，再用 一个普通的多层感知器进行判别，对一些简单的测试图像效果较好【4 6 】，i i 心a t o r 6 基于结构主元分析的人脸识别方法 等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提 取，而监督神经网络用于分类【4 7 】。l e e 等将人脸的特点用六条规则描述，然后 根据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进行 识别，效果较一般的基于欧氏距离的方法有较大改善【4 8 】，l 8 u 嘲l c e 等利用卷积 神经网络方法进行人脸识别，由于卷积神经网络中集成了相邻象索之间的相关性 知识，从而在一定程度上获得了对图像平移，旋转和局部变形的不变性，因此得 到了非常理想的识别效果【4 9 】，l i n 等提出了基于概率决策的神经网络方法 ( p d b n n ) ，其主要思想是采用虚拟( 正反例) 样本进行强化和反强化学习，从而得 到较为理想的概率估计结果，并采用模块化的网络结构( o c 0 n ) 加快网络的学习。 这种方法在人脸检测，人脸定位和人脸识别的各个步骤上都得到了较好的应用 5 0 】；其它研究还有：d 忸i 等提出用h o p f i e l d 网络进行低分辨率人脸联想与识别； g u t t a 等提出将r b f 与树型分类器结合起来进行人脸识别的混合分类器模型； p h i l p s 等人将m a t c h i n gp i l r s u t 滤波器用于人脸识别【5 l 】；还有则采用统计学习 理论中的支持向量机进行人脸分类【5 2 】。 神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为 对人脸识别的许多规律或规则进行显性的描述还是相当困难的，而神经网络方法 则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一 般也比较容易实现。 其他方法 b m n e l l i 等对模板匹配方法作了大量实验，结果表明在尺度。光照，旋转角 度等各种条件稳定的情况下，模板匹配的效果优于其他方法 5 3 】，但它对光照， 旋转和表情变化比较敏感，影响了它的直接使用。g 0 u d a 1 等人采用局部自相关 性作为人脸识别的判断依据，它具有平移不变性，在脸部表情变化时比较稳定 【5 4 】。 在最近的一些工作中，b e n 舐e 等提出m 的表示框架并将它用于人脸识别 的工作中【5 5 】。l 锄等人研究了不同视点下的人脸匹配和识别问题【5 6 】，v e n c r 等人讨论了由单幅人脸图像生成其他视点的人脸图像的可能性【5 7 】，m 汕o s i n i 等则探讨了多种信息融合的人脸识别方法。 本课题的研究内容属于狭义的人脸识别方法，不涉及表情识别和物理分类方 基于结构主元分析的人脸识别方法 面。一个人脸自动识别系统包括三个主要技术环节，如图l - 1 所示 图1 一1 人脸自动识别系统构成 首先是入脸检测与定位，即检测图像中有没有人脸，若有将其从背景中分 割出来，并确定其在图像中的位置。在某些场合，拍摄图像的条件可以控制，比 如警察拍罪犯的照片时要他们将脸的某一部分靠近标尺，这时人脸的定位很简 单。普通证件照片上的头部占据了照片中央的大部分地方，定位也比较容易。在 另一些情况下，人脸在图像中的位置是预先未知的，比如在一些复杂背景下拍摄 的照片，这时人脸的检测与定位将受以下因素的影响： 人脸在图像中的位置、旋转角度和尺度不同定； 发型和化妆会遮盖某些特征； 图像中出现的噪声。 直到9 0 年代中期，很多分割算法的重点仍然是如何从简单或者复杂的背景 中将单个人脸分割出来。这些方法包括，使用人脸模板。可变形的基于面部特征 的模板，基本皮肤颜色的分割方法和神经网络。在过去的5 年内，更加可靠而且 鲁棒的人脸检测算法发展起来，可以从背景中分割出多个人脸，而且允许人脸部 分的被遮掩，人脸存在平面内旋转等。【2 6 】是关于人脸检测的最新综述文章。 其次是特征提取。特征提取之前一般需要作几何归一化和灰度归一化的工 作。其中前者是指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后 者是指对图像进行光照补偿等处理，以克服光照变化的影响。具体的特征形式随 识别方法的不同而不同。比如在基于几何特征的识别方法中，这一步主要是提取 特征点，然后构造特征矢量；在统计识别方法中，特征脸方法是利用图像相关矩 阵的特征矢量构造特征脸，而隐马尔科夫方法则是对多个样本图像的空间序列训 练出一个隐马尔科夫模型，它的参数就是特征值；模板匹配法用相关系数做特征； 而大部分神经网络方法则直接用归一化后的灰度图像作为输入，网络的输出就是 输出结果，没有专门的特征提取过程。 最后是人脸识别。数据库里预先存放了己知的人脸图像或有关的特征值，识 基于结构主元分析的人脸识别方法 别的目的就是将待识别的图像或特征与数据库里的进行匹配。识别的任务主要有 两个：一个是人脸辨认，即确定输入图像为数据库中的哪一个人，是一对多的匹 配过程：另一个是人脸证实，即验证某个人的身份是否属实，是一对一的匹配过 程。根据输入图像的性质，可以将人脸识别分为静态图像的人脸识别和动态图像 序列的人脸识别两大类。前者主要是用静态图像如从证件照片，罪犯照片，场景 照片上扫描的图像进行识别；后者则是用摄像机摄取的时间图像序列进行识别。 1 2 人脸识别的应用 任何一种技术的发展都是由于受到了实际应用需要的激励，人脸识别技术也 不例外。它最初的发展原因就是公安部门要把它用于罪犯照片的存档管理和刑侦 破案。现在这种技术在安全系统和商贾系统都有很多的应用。主要有以下几类应 用： ( 1 1刑侦破案。当公安部门获得案犯的照片后，可以利用人 脸识别技术，在存储罪犯照片的数据库里找出最相像的人为嫌疑 犯。还有一种应用就是根据目击证人的描述，先由警察画家画出草 图，然后用这种图到库里去找嫌疑犯。罪犯数据库往往很大，由几 千幅图像组成。如果这项搜索工作由人工完成，不仅效率低，而且 容易出错，因为人在看了上百幅人脸图像后，记忆力会下降，而由 计算机来完成则不会出现此问题。 r 2 1证件验证。身份证，驾驶执照以及其他很多证件上都有 照片，现在这些证件多是由人工验证的。如果用了人脸识别技术， 这项工作就可以交给机器完成，从而实现自动化智能管理。当前普 遍使用的另一类证件是用符号或者条形码标记的，比如信用卡，自 动提款机等。这类卡的安全系数比较低，因为卡可能丢失，密码也 可能被遗忘或者窃取。如果在这类卡上加上人脸的特征信息，则可 大大改善其安全性能。 ( 3 )入口控制。入口控制的范围很广，它可以是设在楼宇， 单位或私人住宅入口的安全检查，也可以是计算机系统或者情报系 统等的入口检查。在楼字或某些安全部门的入口处，比较常用的检 基于结构主元分析的人脸识别方法 查手段是核查证件。当人员出入频繁时，请保安人员再三检查证件 是很麻烦的，而且安全系数也不高。在一些保密要求非常严格的部 门，除了用证件，还要用一些另外的识别手段，如指纹识别，手掌 识别，视网膜识别和语音识别等。人脸识别与之相比，具有直接， 方便和友好的特点。当前计算机系统的安全管理也倍受重视，通常 使用由字符和数字组成的口令可能会被遗忘或者破解，但是如果把 人脸当作口令则又方便又安全。 ( 4 )视频监视。在许多银行，公司，公共场合等处都设有2 4 小时的视频监控。另外侦察员在破案时也要用摄像机对人进行跟 踪。在对图像进行集体分析时，就要用到人脸的检测，跟踪和识别 技术。 除了这几部分应用外，人脸识别技术还可用在视频会议、机器人的智能化研 究以及医学等方面。 1 3 人脸识别系统的评测 任何人脸识别系统的开发都需要建立一个包含人脸图像或图像系列的数据 库。人脸数据库的设计对系统的识别率影响是至关重要的。开发一个在所有可能 的变化情况下都能正确进行人脸识别的系统是非常困难的。因此几乎所有人脸识 别的研究都是在一定约束条件下进行的，如光照，表情和姿态变化等受到一定限 制，大部分系统都未考虑长期变化，如年龄的变化等。所以有必要建立适合不同 需要的人脸数据库，以下介绍一些典型的标准数据库。 英国o r l ( o l i v e n ir e s e a r c hl a b o r a t o 哪单人脸数据库 该数据库包括从1 9 9 2 年4 月到1 9 9 4 年4 月拍摄的一系列人脸图像，由 4 0 个人的4 0 0 幅灰度图像组成，图像尺寸为9 2x1 1 2 ，图像背景为黑色。其 中人脸脸部表情和细节均有变化，例如笑与不笑，眼睛睁着或闭着，戴或不 戴眼镜等，人脸姿态也有变化，其深度旋转和平面旋转可达2 0 度，人脸的 尺寸也有最多1 0 的变化。这是目前使用最广泛的人脸数据库。 英国m 蚰c h e s t e r 人脸数据库 1 0 基于结构主元分析的人脸识别方法 该数据库由3 0 个人的6 9 0 幅图像组成，其中训练集和测试集分开，有 不同的光照和背景特征，而且对于每个人而言，前后两张照片之间的时间间 隔至少有3 周。训练集对光源有一定的约束，而在测试集中则变化多端。测 试集还增加了两级难度：其一是对于其中的相似人脸，仅有发型，背景以及戴 眼镜等变化；其二是特征遮挡，如头发，黑眼镜，手臂等。 虽然m 锄c h e s t e r 数据库远比o r l 数据库测试更为全面，但因发表的比 较结果不够多，从而远不如o i 也使用广泛。 美国f e 姗( f a c er e c o g n i t i o nt e c l h l o l o g y ) 人脸数据库 f e i u 玎人脸数据库是目前最大的人脸数据库，由美国军方研究实验室提 供，其中每人8 张照片，两张正脸，3 张从右到左不同侧面角度的照片，有 些人还提供了更多不同视点和不同表情的照片。该数据库中不包含戴眼镜的 照片，拍摄条件也有一定的限制，人脸大小约束在规定范围内。到1 9 9 6 年6 月，该数据库已存储了1 】9 9 个人的1 4 1 1 2 6 幅图像而目逐年增加。但到目前 为之，该数据库并未提供运动图像系列或包含语音信息。f e r e t 数据库的最 大缺点是非美研究机构的获取不便。 日本a t r 数据库 该数据库考虑了除人脸特征外的其他信息在人脸识别中的作用，提供人 脸和语音的合成，由6 0 人组成。但其中人脸图像是静止的而非运动图像序 列。 欧洲毗v t s 多模型人脸数据库 该数据库用于测试多模型身份鉴别。目前该库由3 7 人组成，每人有5 个图像序列，拍摄时间间隔一周左右。其中至少有一个序列提供合成语音。 其他数据库还有：c m u ( c 啪e g i em e l l o nu n i v e 硌时) 正面人脸数据库，m i t 单 人脸数据库等。o r l 人脸数据库仍是目前使用最广泛的标准数据库，它含有大 量的比较结果。然而由于不同任务的需要，仍有必要设计和建立具有特色的专用 数据库。 本文是在特定的应用背景下的，和料市公安局联合申请了广东省科技攻关项 基于结构主元分析的人脸识别方法 目，将人脸识别应用于追捕逃犯，也就是说库里面的比对人脸一般都是比较正规 的正面、而且几何尺度和光线都是偏差不会太大的照片，所以本文采用了o r l 库和在f e r e t 中选出比较正面的7 2 $ 6 张人脸。 1 4 本文所做的工作 本文所做的工作都是基于统计特征的主元分析a p c a ) 方法，对影响人脸识别 的因素进行了研究和探讨，在做了许多实验的基础上，主要的工作和成果如下： ( 1 ) 本文选用的是f e i 也t 人脸库，对人脸首先进行了预处理。主要是几何归 一化和灰度归一化处理。根据手动确定的双眼和嘴的位置作为标准进行几何归一 化，选择一副亮度适中的人脸图作为标准进行灰度归一化。选择的人脸图像也都 限定为正面人脸，所以处理得到的人脸图片只是f e r 】玎所有人脸图片的一个子 集( 原始f e r e t 库中有1 2 0 9 人的公1 4 0 5 1 幅图片，最后选中了7 0 个人，每个人 6 张图片，共4 2 0 张图片) 组成了训练和测试的人脸库。 ( 2 ) 主元分析( p c a ) 方法在人脸识别中的应用及实验。得出了一些有用的实验 数据，对这些数据进行了分析，得出结论那些参数对p c a 方法的识别率有影响。 ( 3 ) 在主元分析a ) 方法基础上，提出了基于结构的p c a 方法。在实验结 果的数据基础上，和主元分析( p c a ) 进行了比较，指出其改进之处，以及在特殊 应用背景下的突出优点。 ( 4 ) 对于测试人脸的是有遮挡和有比较大的角度偏转的情况进行了自适应预 处理后进行识别。对于有遮挡的则将其遮挡部分对应的块的相似性的权值设为 o ；对于有比较大的角度偏转的人脸则进行相应的旋转，规范后的人脸再参加相 似性比较。根据得出的实验数据分析，确定本文的方法在特殊应用背景下与经典 的p c a 方法的突出优势。 1 6 本文各章的安排 第一章综述，介绍了人脸识别的研究内容、方法、研究历史、现状、以及 人脸识别的应用，还有国际上通用人脸识别的测评库等等。 第二章介绍了一种应用广泛的人脸识别方法，主元分析法。就此方法在不 同的情况下作了大量的实验，获得了大量实验数据，并且对这些数据进行了分析。 基于结构主元分析的人脸识别方法 第三章在主元分析法基础上，提出了结构主元分析法，也同样就该方法作 了大量的实验，获得了量的实验数据，在实验数据的基础上指出了本文的方法优 于一般的主元分析法的理论依据。 第四章总结全文并指出进一步研究的方向。 基于结构主元分析的人脸识别方法 第二章p c a 的人脸识别方法 特征提取是人脸识别系统诸多组成部分的一员，也是最为重要的一个组成部 分。主元分析o c a p r i n c i p l ec o m p o n e n t a n a l y s i s ) 方法是应用最广泛的一种特征提 取方法之一，它是一种统计学方法，在信号处理、模式识别、数字图像处理等领 域己经得到广泛的应用。主成分分析方法基本思想是提取出空间原始数据中的主 要特征( 主元) ，减少数据冗余，使得数据在一个低维的特征空间被处理，同时保 持原始数据的绝大部分的信息，从而解决数据空间维数过高的瓶颈问题。同样， 主元分析法( p c a ) 被广泛应用于人脸识别。 下文首先介绍了p c a 算法的原理和实现过程，然后给出了在f e r e t 库上的 实验结果。本文第三章，针对本文的特殊应用背景以及p c a 方法存在的先天瓶 颈，提出一点自己的想法并且实现了它。 2 1 基于统计的特征提取 2 1 1 特征提取的概念、原理 在模式识别中，由被识别的对象产生一组基本特征，这些特征可以是计算出 来的( 当识别对象是波形或数字图像时) ，也可以是用仪表或传感器测量出来的 ( 当识别对象是实物或某种过程时) ，这样产生出来的特征叫做原始特征。原始特 征合数量可能很大，或者说样本是处于一个高维空间中，通过映射( 或变换) 的方 法可以用低维空间来表示样本，这个过程叫特征提取。映射后的特征叫二次特征， 他们是原始特征的某种组合( 通常是线性组合) 。所谓特征提取在广义上就是指一 种变换。若y 是测量空间，x 是特征空间，则变换爿：y 寸x 就叫做特征提取器。 在数学上，特征提取就