（计算机应用技术专业论文）基于二维三维信息融合的人脸识别算法研究.pdf

捅要 摘要 人脸识别技术是模式识别和机器视觉领域最富挑战性的研究课题之一，在公 共安全、信息安全、人机交互等领域中有着广泛的应用前景。目前，大多数算法 都是针对二维灰度图像，在严格的限制条件下获得了较好的识别率。但当光照、 姿态等因素发生变化时，识别率会骤然下降。原因在于识别信息的缺失，解决此 问题的方法是辅助更多的信息，三维信息是人脸的固有信息，对外界条件的变化 具有很好的鲁棒性。因此，针对二维人脸图像的识别问题，辅助于人脸的三维信 息是打破该技术瓶颈的突破口。但是三维人脸信息获取设备的高成本和局限性， 限制了这方面的研究发展。 建立三维人脸模型是一种提供三维信息的行之有效的方法，如何建立适用于 人脸识别的三维人脸模型、获取有效的三维特征仍然是一个有待解决的问题。因 此本文提出了一种基于二维三维信息融合的人脸识别方法，输入为二维人脸图 像。首先提取图像的二维特征，然后针对原始的二维图像重建相对应的三维模型， 提取三维特征，对二维特征和三维特征分别分类识别，在决策层融合两种识别结 果，得到最终的识别结果。 本文的主要工作体现在以下几个方面： 1 、对于二维人脸特征，研究和分析了局部二进制模式( l b p ) 的理论基础和特 性，利用基于g a b o r 变换的局部二进制模式( g l b p ) 作为人脸二维表示特 征。即首先对图像进行g a b o r 变换，然后对变换后的图像分块，对每个 分块区域提取g l b p 统计直方图特征，最后将这些直方图序列串联起来形 成最后的人脸特征向量。 2 、对于三维人脸特征，由于原始的三维人脸信息难以获取，提出了基于三 维人脸模型的三维人脸信息的获取策略。对于重建的三维人脸模型，根 据面部特征分布及表示能力，首先定义了5 4 个特征点，利用鼻尖点与各 个特征点之间的测地线距离作为表示特征。由于测地线距离的引入，使 得该表示特征对于面部表情变化具有的鲁棒性。 3 、为了更好地融合二维、三维特征，提高识别效果，提出了基于f i s h e r 线 性判别准则的特征融合策略。该策略根据二维与三维特征在识别过程中 的贡献，以类内和类间特征相似度均值差与类内和类间的散度平方和之 比的大小作为该类特征权重，在决策层为不同的特征赋予不同的权重， 然后采用加权求和规则对两种特征识别结果进行融合，得到最终的识别 结果。最后在c a s - p e a l - r 1 人脸库中进行了实验及分析。 关键词人脸识别：信息融合；局部二进制模式；测地线距离 a b s t r a c t a b s t r a c t f a c i a lr e c o g n i t i o ni so n eo ft h em o s tc h a l l e n g i n gp r o b l e m si nt h ef i e l d so f b i o m e t r i ci d e n t i f i c a t i o n ，i m a g ep r o c e s s i n ga n dm a c h i n ev i s i o n ，i tc a nb ew i d e l y a p p l i e di nt h ep u b l i cs e c u r i t y , i n f o r m a t i o ns e c u r i t ya n dh u m a n - c o m p u t e ri n t e r a c t i o n a tp r e s e n t ，m o s ta l g o r i t h m sw e r ef o r2 dg r a y - s c a l ei m a g e sw i t hr e s t r i c t i o n s ，h o w e v e r , w h e nt h ei l l u m i n a t i o n ，p o s t u r ea n do t h e rf a c t o r sc h a n g e ，t h er e c o g n i t i o nr a t ew i l l s u d d e n l yd r o pd u et ot h el a c ko fi d e n t i f y i n gi n f o r m a t i o n t h es o l u t i o nt ot h i sp r o b l e m i st oa s s i s t3 di n f o r m a t i o n ，w h i c hi si n h e r e n ti n f o r m a t i o ni nf a c ea n di sr o b u s tt o e x t e r n a lc o n d i t i o n sc h a n g e s t h e r e f o r e ，f o r2 df a c e r e c o g n i t i o n ，a s s i s t e d3 d i n f o r m a t i o nc a nb r e a kt h i sc h o k ep o i n t b u tt h eh i g hc o s ta n dl i m i t a t i o n st og a i n3 d i n f o r m a t i o nl i m i tt h er e s e a r c ha n dd e v e l o p m e n ti nt h i sa r e a r e c o n s t r u c t i n g3 df a c em o d e l i sa ne f f e c t i v em e t h o dt op r o v i d e3 di n f o r m a t i o n 。 a n dh o wt or e c o n s t r u c t3 dm o d e lt oo b t a i ne f f e c t i v e3 df e a t u r e si ss t i l lap r o b l e mt o b es o l v e d s oan e wf a c er e c o g n i t i o na l g o r i t h mb a s e do n2 da n d3 di n f o r m a t i o n f u s i o ni sp r o p o s e db a s e do nt h ef o r m e rw o r k s a tf i r s t ，e x t r a c t2 df e a t u r e s ，t h e nf o r e v e r yo r i g i n a l2 di m a g er e c o n s t r u c tt h ec o r r e s p o n d i n g3 dm o d e la n de x t r a c t3 d f e a t u r e s 2 df e a t u r e sa n d3 df e a t u r e sa r er e s p e c t i v e l yc l a s s i f i e d f i n a l l y , f u s et h e2 d r e c o g n i t i o nr e s u l ta n d3 dr e c o g n i t i o nr e s u l to nd e c i s i o nl e v e l ，a n do u t p u tt h ef i n ；- 1 r e s u l t t h em a i np o i n t sa r ea sf o l l o w s ： 1 、f o r2 df e a t u r e ，r e s e a r c h e da n da n a l y z e dt h et h e s i sa n dc h a r a c t e r i s t i co fl b i a n dg l b pa l g o r i t h mi su s e dt oe x t r a c t2 df e a t u r e a tf i r s t ，g a b o rt r a n s f o n a c t so n2 di m a g e ，t h e ne x t r a c tt h eg l b ph i s t o g r a mf e a t u r ea f t e rb l o c k i n gt h i m a g ei n t os e v e r a lr e g i o n s ，f i n a l l yt o g e t h e rt h e s eh i s t o g r a ms e q u e n c e si s e r i e st of o r mt h ef i n a lf e a t u r ev e c t o r 2 、f o r3df e a t u r e ，s i n c eo r i g i n a l3 df a c ei n f o r m a t i o ni sd i f f i c u l tt oo b t a i n ，v q p r o p o s e da3 df a c ei n f o r m a t i o na c q u i s i t i o ns t r a t e g yb a s e dr e c o n s t r u c t e d3 】 f a c e m o d e l a c c o r d i n g t ot h ed i s t r i b u t i o no ff a c i a lf e a t u r ea n dt h r e p r e s e n t a t i o na b i l i t y ，w ed e f i n e d5 4f e a t u r ep o i n t so n3 df a c em o d e la n u u s e dg e o d e s i cd i s t a n c eb e t w e e nn o s et i pa n df e a t u r e a sr e p r e s e n t a t i o n f e a t u r e 3 、i no r d e rt ob e t t e rf u s et h e2 da n d3 df e a t u r e sa n di m p r o v et h er e c o g n i t i o n p e r f o r m a n c e ，w ep r o p o s e dt h e f u s i o n s t r a t e g y b a s e do nf i s h e rl i n e a r d i s c r i m i n a n ta n a l y s i s a c c o r d i n gt ot h ed i s t r i b u t i o no f2 da n d3 df e a t u r e si n t h er e c o g n i t i o n ，t h er a t i oo ft h es q u a r eo ft h ed i f f e r e n c e sb e t w e e nc a t e g o r y - i n a n d c a t e g o r y - o u ts i m i l a r i t y m e a n sa n dt h es u mo f c a t e g o r y - i n a n d c a t e g o r y o u td i v e r g e n c e si su s e dt ob et h ew e i g h t t h ef u s i n g2 da n d3d r e c o g n i t i o nr e s u l tb ys u mw e i g h tc r i t e r i o n f i n a l l y ，t h ee x p e r i m e n ta n d a n a l y s i si se x e c u t e do nc a s p e a l r lf a c ed a t a b a s e k e yw o r d sf a c er e c o g n i t i o n ；i n f o r m a t i o nf u s i o n ；l b p ；g e o d e s i cd i s t a n c e i i i 独创性声明 车夫声麓爨量交羹谂文蹩裁令久程譬簿囊霉下遴稽熬褥巍王襻爨联餐魏鹾 究或粟。筌襞嚣赧，藤了文孛蒋嚣黧器棼注翻致嚣懿地方箨，釜文巾苓毽雷冀撼 a 已经发表溅撰写遭韵研僦成暴，魄不檄禽蔻获褥她燃工业大学斌熟它教育枫榴 的学袋竣涯繁嚣搜溺过麴糨料。与我麟王终麴弱惑瓣零磅究所徽艘任何贡献蚴 器莲釜交枣捺了溪壤蕊瀵麓薅表幂7 谳塞蒂 签名；毒啦毽裳；裂她 关于论文德黼搂权前谎黼 零天究奎了鬻嚣奈王嫩丈掌鸯美豫黎、嫠矮拳穰豫文蒸鬟惠；攀t 拳薮；骜糗 傺留送交论定的复印件，庇许论文被谶潴辩借阕；攀校可璇公毒谂文翁全部戴辩 势内容，可骥采用影印、缩印或其他蕊制葶段保存谂文。 爨密爨谂交衮鬈鬻瓣藏遵守魏糕霆 第1 章绪论 1 1 研究背景及意义 1 1 1 研究背景 第1 章绪论 随着计算机以及网络技术的发展，信息安全已经成为人们所面临的一个非常 严峻的问题。身份识别是保证系统安全的必要前提，在金融、国家安全、司法、 电子商务、电子政务等应用领域，都需要准确的身份识别。传统的身份识别有两 种方式，一种是通过对用户所拥有的各种物品如钥匙、证件等来进行认证，比如 用户进门时，其开锁过程就是门锁对钥匙进行认证的过程；走进图书馆时，管理 员检查图书证，就是对图书证进行认证；另一种是用户对所拥有的某种知识如密 码、卡号等进行认证，称为基于知识的身份认证，比如当用户要求进入计算机系 统时，必须输入密码，计算机对该密码进行认证，只有密码正确，才能进入系统： 当使用网上银行时，用户必须提供账号和密码，银行的计算机系统对账号和密码 进行认证，只有通过认证，才能进行下一步的交易。这些技术方便、快捷，但安 全性差、易伪造、易窃取。近年来，计算机技术的广泛应用使得使用人类生物特 征进行身份识别成为可能。人类本身有很多相对独特的特征，如人脸、d n a 、指 纹、虹膜、语音等。基于这些相对独特的特征，结合计算机技术，发展出众多的 基于人类生物特征的身份识别技术。 生物特征识别技术具有较强的稳定性和个体差异性，是身份鉴别的理想依 据。生物特征技术是为了进行身份验证而采用自动技术测量其身体的特征或是个 人的行为特点，并将这些特征点与数据库的模板数据进行比较，完成认证的一种 解决方案。与传统的身份鉴定手段相比，基于生物特征识别的身份鉴定技术具有 多方面的优点： 首先，生物识别技术是目前最为方便与安全的识别技术，它不需要记住复杂 的密码，也不需随身携带钥匙、智能卡之类的东西。生物识别技术认定的是人本 身，没有什么能比这种认证方式更安全、更方便了。由于每个人的生物特征具有 与其他人不同的唯一性和在一定时期内不变的稳定性，不易伪造和假冒，所以利 用生物识别技术进行身份认定，安全、可靠、准确。 其次，生物识别技术产品均借助于现代计算机技术来实现，很容易配合电脑 和安全、监控、管理系统相结合，实现远程的自动化管理。此外，由于人体特征 具有人体所固有的不可复制的唯一性，这一生物密钥无法复制、失窃或被遗忘。 北京工业大学工学硕士学位论文 而常见的口令、i c 卡、条纹码、磁卡或钥匙则存在着丢失、遗忘、复制及被盗 用诸多不利因素。 正是由于生物特征所具有的这些优势，其获得了长足的发展，而在各种生物 识别技术中，人脸识别技术由于其良好的交互性、数据采集的方便性，已经成为 最受欢迎的生物识别技术之一，越来越受到人们的关注。 1 1 2 研究意义 人脸识别技术结合了认知科学、图象处理、计算机图形学、机器视觉和模式 识别等多个研究领域，其意义不仅仅在于推动图像处理、模式识别等理论和应用 的发展，满足身份验证等实际需求；同时由于人脸模式的特殊性，对人脸识别进 行研究，对推动认知科学、生理学、心理学等相关学科的研究也有积极影响。另 一方面作为生物特征识别的一种方法，人脸识别具有巨大的潜在应用前景： 首先，随着科学技术的不断发展，人们对安全防范的要求也越来越高，同时， 国家相关法律法规也要求以人防、物防、技防相结合的方式加强安全防范工作。 在这样的背景下，人脸识别技术也在国家安全、军事安全和公安、司法、民政、 金融、民航、海关、边境、口岸、保险及民用等领域实际应用得到了应用。如公 安布控监控、监狱监控、司法认证、民航安检、口岸出入控制、海关身份验证、 银行密押、智能身份证、智能门禁、智能视频监控、智能出入控制、司机驾照验 证、各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险身份 验证等。 其次，人脸识别研究的一个主要内容是人脸特征提取的有效性，即判断并丢 弃人脸图像中的不重要的冗余信息甚至噪声，通过尽可能少的却是最具代表性的 有用信息来表征并区分不同的人脸，这对于图像压缩及信息传输也具有重要应用 价值。以主成分分析算法( p c a ) 以为例，虽然单一的主成分特征用作人脸识别效 果有限，但主成分分析算法以其优良的压缩性能以及简单易行的优点，被广泛用 于人脸图像向量的最初降维处理，行之有效另外，本文运用于特征融合的离散余 弦变换算法( d c t ) ，正是就是当今成熟的图像压缩技术j p e g 标准的理论基础。 最后，随着具有人脸识别功能的数码照相机、数码摄像机、手机、笔记本电 脑等高科技产品逐渐进入人们的日常生活，人脸识别技术这项尖端科技的优越性 已经被大众所认可，社会对此项技术的进一步需求促使越来越多的科研工作者满 怀热忱致力于该方面的研究，大大推动了人脸识别以及相关人工智能技术的发 展。 虽然人类在人脸识别技术中取得了一定成果，但目前的识别技术仍然不能对 诸如复杂背景中的人脸等进行有效的处理和动态跟踪。另外，人脸自身所处环境 的复杂性，如表情、姿态、图像环境、光照强度等条件的变化以及人脸上的遮挡 2 第l 章绪论 曼i b i n _ _ _ _ - ( i i b m _ 曼曼曼曼皇 物( 眼镜、胡须) 等，都会使人脸识别方法的鲁棒性受到很大的影响。因此，有 必要对人脸识别问题作进一步的研究工作。 1 2 人脸识别发展历史及研究现状 1 2 1 人脸识别发展历史 人脸识别的研究已有很长的历史，早在1 9 世纪后期，f r a n c i sg a l t o n 瞳1 就曾 对此问题进行了研究，他用一组数字代表不同的人脸侧面特征来实现对人脸侧面 图像的识别。总的来说，人脸识别的发展可以分为以下几个阶段： 第一阶段：以8 e r t i l l o n ，a l l e n 和p a r k e 为代表，这一阶段的人脸识别主要 侧重于人的面部特征。该阶段人脸识别过程全部依赖于操作人员，不能形成自动 完成识别的系统口劓。 第二阶段：以g o l d s t i o n ，h a n m o n 和l e s k 为代表，侧重于用几何特征参数来 表示人脸正面图像，他们采用2 1 维特征矢量表示人脸面部特征，并设计了基于这 一特征表示法的识别系统。k a y a 和k o b a y a s h i 则采用了统计识别的方法，用欧氏 距离来表示人脸特征，如嘴唇与鼻子之间的距离，嘴唇的高度，两眼之间的距离 等。更进一步的，t k a n a d 设计了一个高速且有一定知识引导的半自动回溯识别 系统，创造性的运用积分投影法从单幅图像上计算出一组脸部特征参数，再利用 模式分类技术与标准人脸相匹配，k a n a d 的系统实现了快速、实时的处理，是一 个很大的进步。总的来说，上述几种方法都需要利用操作员的某些先验知识，仍 然摆脱不了人的干预，需要人的参与，属于人机交互的人脸识别系统即1 。 第三阶段是真正的机器自动识别阶段。这阶段出现了不少新的人脸识别方 法。2 0 世纪9 0 年代以前的算法主要是基于特征的方法和简单的模板匹配方法。从 1 9 8 7 年k i r b y 伽提 b k - l 变换表示人脸至i j l 9 9 1 年t u r k 阻1 等提出特征脸方法开始，进 入了子空间人脸识别的时代。在1 9 9 7 年前后涌现出很多经典的理论，如p e n s e v u 训 等的l f a 方法、b e l h u m e u r 1 等的f i s h e r f a c e 法、v o r b m g g e n n 2 1 等的弹性图匹配法、 m o g h a d d a m n 3 1 等提出的b a y e s i a n 方法等等。 1 2 2 国内外研究现状 国外对于人脸识别的研究较早，到目前为止已有多所大学或研究机构研制出 一些较好的人脸识别原型系统。如德国的c o n g n i t e c ，美国的e y e m a t i c 和i n d e n t x 已经投入实际应用。而最令人关注的则是由美国国防部资助的f e r e t 项目。f e r e t 项目的目标是要开发能够为安全、情报和执法部门使用的自动人脸识别技术。该 北京工业大学工学硕士学位论文 项目包括三部分内容：资助若干项人脸识别研究、创建f e r e t 人脸图像数据库、 组织f e r e t 人脸识别性能评测。该项目分别于1 9 9 4 年，1 9 9 5 年和1 9 9 6 年组织了3 次人脸识别评测，几种最知名的人脸识别算法都参加了测试，极大的促进了这些 算法的改进和实用化。该测试的另一个重要贡献是给出了人脸识别的进一步发展 方向：光照、姿态等非理想采集条件下的人脸识别问题逐渐成为热点的研究方向。 f e r e t 9 6 人脸识别算法评估表明：主流的人脸识别技术对光照、姿态等由于非 理想采集条件或者用户不配合造成的变化鲁棒性比较差。因此，光照、姿态问题 逐渐成为研究热点。与此同时，f e r e t 项目之后，涌现了若干人脸识别商业系统， 美国国防部有关部门进一步组织了针对人脸识别商业系统的评测一f a c e r e c o g n i t i o nv e n d o rt e s t ( f r v t ) ，至今已经举办了三次：f r v t 2 0 0 0 、f r v t 2 0 0 2 以及f r v t 2 0 0 6 测试。这三次测试一方面对知名的人脸识别系统进行了性能比较， f r v t 2 0 0 2 测试就表明：已有的人脸识别商业系统的性能仍然对于室内外光照变 化、姿态、时间跨度等变化条件非常敏感。而f r v t 2 0 0 6 第一次将静态人脸识别、 虹膜识别与3 d 人脸识别放在一起进行测试；与f r v t 2 0 0 2 相比，静态人脸识别与3 d 人脸识别算法的错误率下降了一个数量级；不同光照环境下的人脸比对取得了进 j # 【i t 1 5 】 少 。 国内在人脸识别领域的研究起步较晚，始于8 0 年代，近年来开始受到研究人 员的重视。国家8 6 3 计划、国家科技支撑计划、自然科学基金都拨出专款资助人 脸识别的相关研究，国家“十一五 科技发展规划中也将人脸识别技术的研究与 发展列入其中。目前中科院计算机所和自动化所、清华大学、浙江大学、南京理 工大学等高等院校和研究机构都有研究人员从事人脸识别相关工作的研究，并取 得了很大进展。2 0 0 4 年8 月由清华大学丁晓青教授领衔开发的人脸识别系统在第 1 7 届国际模式识别会议( i c p r 2 0 0 4 ) 组织的人脸认证竞赛( f a t 2 0 0 4 ) 上，在所有三 个单项的比赛中均获得第一名。为了防止恐怖袭击，2 0 0 8 年北京奥运会启用了人 脸识别智能监控报警系统，有效地解决了参会人员的身份管理，为奥运会的成功 召开提供了安全保障，也标志着我国的人脸识别研究已到达国际先进水平。 1 3 人脸识别研究内容 人脸识别是指基于己知的人脸样本库，利用图像处理和模式识别技术从静态 或动态场景中，识别或验证一个或多个人脸。从广义上来讲，其研究内容包括人 脸检测，人脸表征，人脸识别，表情分析，物理分类等。狭义的人脸识别研究方 法，不涉及表情识别和物理分类两个方面。一个狭义的人脸识别系统应包括三个 主要技术环节，如图卜l 所示。 4 第l 章绪论 蔷盒叶二亚至至堕至至三卜 墅至三至二卜叫二暨至d 箬囊 图i - i 狭义人脸识别系统 f i g 1 1n a r r o ws e n s ef a c er e c o g n i t i o ns y s t e m 首先是人脸检测与定位，即检测图像中有没有人脸，并确定人脸在图像中的 位置。此步骤易受以下因素的影响：人脸在图像中的位置、旋转角度和尺度不固 定，发型与化妆会遮盖某些特征，图像中出现的噪声等。 其次是特征提取。特征提取之前一般需要做几何归一化和灰度归一化处理工 作。其中前者是指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后 者是指对图像进行光照补偿等处理，用以克服光照变化的影响。具体的特征提取 形式随识别方法的不同而各异。 最后是人脸识别。数据库里预先存放了己知人脸图像或有关的特征值，识别 的目的就是将待识别的人脸图像与己知库中的人脸图像进行匹配。识别任务主要 分为一对一和一对多匹配两种，也即身份验证和未知身份的查询。同时根据输入 图像的性质，也可以将人脸识别分为静态图像的人脸识别和动态图像序列的人脸 识别两大类。 1 4 人脸识别技术的研究难点 人脸识别技术作为生物特征识别的一个重要分支，越来越受到人们的关注。 通过研究人员几十年的探索研究，在理论和应用均取得较大突破，但人脸识别技 术仍然面临着巨大的挑战，这是因为人脸比较容易受到各种因素的影响，从而增 加了正确识别人脸的困难。2 0 0 2 年国际著名的人脸识别评测计划f r v t 对那些可能 影响算法性能的因素做了较为全面的评测后，得出结论，以下几个因素对当前 的二维人脸识别技术性能影响较大n 们： ( 1 ) 光照变化影响：尤其对室外获取的人脸图像，算法性能急需提高。 ( 2 ) 时间间隔影响：随着时间间隔的增加，算法性能近似线性下降。 ( 3 ) 脸部姿态影响：非正面人脸图像的识别性能很低。 ( 4 ) 人数增多引起的综合因素：当增大数据库的人数时，算法性能也近似 以人数的对数线性下降。 基于上述原因，所以很难从有限张人脸图像中提取出反映人脸内在的、木质 的特征。 北京工业大学工学硕士学位论文 1 5 本文研究内容和工作安排 本文对国内外的人脸识别技术的研究现状进行了深入地研究和分析，针对二 维人脸识别方法由于信息缺失而引起识别性能下降的问题，提出了基于二维三维 信息融合的人脸方法，该方法利用三维信息辅助二维信息进行识别，达到了较满 意的识别效果。 本文各章节安排如下： 第二章对二维、三维以及基于二维三维信息融合的人脸识别方法进行了概括 总结。 第三章基于g l b p 的人脸识别，介绍了l b p 及g l b p 算法的原理，介绍了g l b p 算法在人脸识别中的应用，并通过实验分析了不同分类方式、不同分类方法对该 算法产生的影响。 第四章三维模型重建及三维特征提取，介绍t n 用形变模型重建三维模型， 三维模型上特征点的选择及依据以及在三维模型上提取测地线距离特征的方法。 第五章为二维三维信息融合，提出了基于加权平均理论的融合算法，利用 f i s h e r 判别准则训练了不同特征权值的方法，在决策层对二维特征分类结果及 三维特征分类结果进行了融合，最后在c a s - p e a l r 1 人脸库对本文提出算法进 行了实验分析。 6 第2 章人脸识别算法综述 t一_u l 鼍曼曼曼! 曼! 曼曼曼曼曼 第2 章人脸识别算法综述 2 1 二维人脸识别技术 2 1 1 基于局部特征的方法 根据研究模式的不同，二维人脸识别算法可以大致分为两大类：一是基于局 部特征的识别算法；二是基于整体特征的识别算法。 局部二进制模式( l b p ) 是从纹理分析拓展到人脸识别领域的一种非常有效的 利用局部特征描述人脸的方法，该方法具有任意单调变换不变性和图像旋转不变 性，当人脸姿态、表情或者光照在某一部分发生变化时，并不会影响到其它部分。 到目前，研究人员提出了许多基于l b p 的方法。l b p 在文献n l 埔1 中应用到解决人 脸表情识别的问题。并且在文献n 玑别中，作者也证明了结合l b p 方法可以用来解 决人脸识别中的光照不变特征提取在文献心妇中，l b p 也被用来估计人脸姿态。 因为多分辨率的方法可以分析图像在不同尺度和方向上的信息，因此在文献比2 1 中，作者将人脸表示为经过g a b o r 变换以后的，在幅度基础上，由各个局部分块 的直方图序列的组合而成的特征表示。 分块p c a ，由于传统的p c a 容易受到姿态，表情，光照等因素影响，文献嘧3 1 作者提出了分块p c a ( m o d u l a rp c a ) 的改进算法。基本思路是将p c a 应用在原全 局图像的子块上。与传统p c a 相比，局部信息对出现在其他部位的上述变化不怎 么敏感，因此可以更好地提取出识别所要的特征文献中作者是将p c a 应用在眼 睛，嘴巴等重要区域。而局部p c a 是先将原图像分成互不重叠的子块，再将p c a 算法作用与每个子块上。 2 1 2 基于整体特征的方法 特征脸法口1 是基于人脸整体特征的人脸识别的主要方法。特征脸法是将整个 人脸的图像区域看作一个随机向量，通过p c a 获取正交向量基的方法。其中对应 较大特征值的向量基具有与人脸相似的形状，所以被称为特征脸。利用这些向量 基的线性组合可以描述、表达和逼近人脸图像，因此可以进行人脸的识别与合成。 识别过程就是将人脸图像映射到由特征脸张成的子空间上，比较其与已知人脸在 特征脸空间中的位置，完成分类识别的。 特征脸方法是一种简单、快速、实用的基于变换系数特征的算法，但是由于 它在本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训练 7 北京工业大学工学硕士学位论文 集比较像，所以它有着很大的局限性。 在传统特征脸方法的基础上b e l h u m e u r 等乜盯用f i s h e r 线性判别技术的方法 求取最优鉴别矢量集，该方法可以压制图像之间与识别信息无关的差异，因此能 够提取出不同类之间有利于识别的特征。另外，由于人脸模式的表达是一个高度 非线性的问题，因此有人利用k e r n e l 方法，将人脸样本从低维线性空间变换到 高维的非线性空间，再用特征脸或者f i s h e r 线性判别技术的方法来提取人脸特 征。由于k e r n e l 方法可以提取出人脸的部分非线性特征，因此其在识别性能上 相对于传统线性方法有所提高。 2 1 3 二维识别方法的不足 虽然近3 0 年来二维人脸识别技术的研究取得了很多成果，但与计算机人脸 识别的巨大应用前景和市场需求相比，至今为止大部分相关技术并不能完全满足 实际应用的需要。二维人脸识别面临的主要困难包括： ( 1 ) 人脸图像是复杂和高维的视觉模式，在处理的过程中需要做降维和特征 提取等工作，现有的线性或非线性的降维和特征抽取方法在区分度和泛化能力上 还不能符合海量数据库的要求大多数现有的方法是对小的标准库进行识别。 ( 2 ) 人脸图像是3 d 非刚性物体的2 d 投影，受尺度、位置、旋转、视角等空 间因素和光照、姿态、表情、年龄、配饰等因素的影响。这样使降维、特征提取 和人脸表征等工作非常困难。如果说尺度，位置和旋转等三个因素是图像处理和 分析中所必须面对的共同问题，那么光照、姿态、表情、年龄、配饰等则是人脸 图像中所具有的独特的问题。往往同一个人脸图像在光照、姿态、表情、年龄等 不同时，经过特征提取后的差异要远大于不同的人在这些因素不变时的差异，而 月如果考虑发式，化妆和饰物等非正常因素的情况的影响识别将更加困难。 ( 3 ) 人脸图像的数据的维数比较大，从而使输入样本成为高维向量。在实际 应用中，往往需要实时的处理，这对矛盾的存在也增大了人脸检测和识别的难度。 ( 4 ) 人脸模式的类别如不加以限制，就是庞大的人口数，而模式识别系统的 识别率一般随着类别的增加而降低，这是人脸识别系统在实际应用中需要研究的 一个问题。 2 2 三维人脸识别技术 由于人脸是存在于空间的三维结构，而二维图像由于其本身信息的缺失，无 法很好地处理人脸三维结构问题，如人脸的姿态、光照等问题，使得二维人脸的 研究陷入了瓶颈。一个较好的解决办法是利用三维信息进行人脸的识别。三维信 8 第2 章人脸识别算法综述 瓣il m 一- - 一一一 一一 i i 曼曼曼皇曼曼曼皇曼皇曼曼鼍曼! 曼曼曼曼 息能够更精确地描述人的脸部特征，提取的某些特征具有刚体变换不变性，并且 不易受光照和姿态的影响。三维人脸识别技术包含以下三大类： 1 ) 三维人脸的建模 三维人脸建模即利用计算机视觉与计算机图形学技术，借助相关软硬件设 备，建构人脸三维的、数字化的模型。随着高精度三维扫描设备和高性能图形工 作站的不断更新和发展，近年来三维人脸建模一直是计算机视觉与计算机图形学 领域的一个研究热点，并且在多媒体、人机交互、通讯等方面都具有广泛的应用。 人脸建模的一个重要的应用在于计算机动画，例如表情合成和说话人头。具有真 实感的人脸动画是自然人机交互中的关键技术，而后者是计算机系统的基本功 能，它将使计算机获得更有效的应用。当前普遍采用的人机交互方式仍主要依赖 于键盘和鼠标，效率较低。而以人类习惯的、比较自然的方式与计算机进行交流， 使计算机能够主动地适应人的要求，正是人机交互研究所要达成的长远目标。为 实现该目标，不仅需要有硬件技术方面的发展( 主要是计算能力、显示技术和各 种智能接口设备) ，而目需要语音分析与合成、人脸识别和验证、表情和行为分 析、人脸和人体建模与动画等算法方面的进步。相对于上述提及的其它方面，人 脸建模与动画是人机交互系统中直接与用户沟通的视觉窗口，其重要性不言而 喻。 2 ) 三维人脸配准 采集到的三维样本的顶点规模一般都在几万到几十万，导致预处理工作非常 复杂和繁琐。另外，由于三维数据与二维数据不同，三维数据顶点的排列具有任 意性，所以对三维数据的配准也是一个待解决的问题。v e t t e r 等人在文献口钉中 使用光流场的方法进行三维数据的配准。另种普遍使用的是网格分割的方法们， 以及i c p 配准方法。大部分配准都需要用到一定数量的三维特征点坐标，手工 点取这些坐标非常耗时，这也对三维人脸特征点的自动定位提出了要求。 3 ) 识别方法 目前三维人脸的识别方法包括3 大类。第一，基于全局的方法。在这类方法 中，三维人脸通常由点云表达。首先用i c p 或t p s 算法对人脸进行配准，然后提 取各种特征以表征人脸，例如表面法向量( s u r f a c en o r m a l ) ，形状索引( s h a p e i n d e x ) 等。另外一些全局方法利用深度图像( d e p t h 工m a g e ) 来表征人脸，然后对 于深度图像直接应用一些统计特征提取方法，如p c a ，l d a ，i c a 。第二，基于局 部特征的方法。早期的识别方法大多属于这种类型。许多方法首先利用益率信息 对人脸区域进行分割，根据分割后的边缘，轮廓形成一个矢量表征该人脸。这类 方法的详细综述可在文献汹1 中找到。第三，基于几何特征。这是近年来出现的新 方法，基于比较两个人脸间的几何特征：诸如两个特征点之间的距离，距离的比 例，测地线距离等信息实现人脸识别。 三维人脸识别技术的缺点： 9 北京工业大学工学硕十学位论文 1 ) 三维数据采集比较困难，目前能够直接采集三维人脸数据的设备并不多； 2 ) 由于三维识别的数据容量和计算量十分巨大，给存储和运算带来困难，也 对计算机的硬件提出了更高要求。 3 ) 对于生物生理学和生物心理学等相关学科的有限的认知水平制约了计算 机的算法实现，例如：对于肌肉的运动理论和表情的形成等问题，不能为计算机 提供足够的专家支持。计算机只具备计算功能而没有人的经验和知识。 4 ) 受到环境和条件的约束，影响二维识别的不利因素在三维识别上也同样 存在。例如：光线的强弱、方向、遮盖、阴影、背景等。 2 3 基于二维三维信息融合的识别方法 研究人员直到二十一世纪初才出现二维和三维数据相结合的人脸识别算法。 最初的算法大都是对单独使用二维和三维数据进行识别的方法进行简单融合，其 中最为普遍的方法就是先单独对二维和三维数据分别用“特征脸”方法做匹配， 然后融合这两种匹配结果。最近则出现了大量的不同融合方法，而现在许多商业 的人脸识别公司都已经掌握了二维和三维相结合的多模型人脸识别方法。融合方 法比单一方法采用的信息量更多( 融合方法采用了二维和三维两个方面的信息， 而无论二维识别还是三维识别都只包含单方面的信息) ，根据目前的研究情况， 绝大多数融合方法的识别性能超过采用图像或三维数据的单方面识别的性能。 目前，对于基于二维三维信息融合的人脸识别方法还没有统一的分类，本文 按三维模型的匹配方式来分类介绍各种融合二维和三维信息的人脸识别方法： 1 ) 最近距离法 b e u m i e r 和a c h e r o y 提出了一种利用二维和三维加权相似测量的方法来进 行多特征融合的人脸识别。三维数据是获取的人脸点云数据，在二维和三维数据 中均使用了中心轮廓线和横向轮廓线来把人脸分成4 个区域，然后用相似矩阵加 权和来进行识别。他们的实验数据来源于包含1 0 0 多个人的人脸数据库，每个人 有多种姿态。试验时，选用数据库中的2 7 个人作为图像集，2 9 人作为测试集进行 实验，其识别等错误率( e e r ) 低于1 4 。 m i a n 等人啪1 提出了一种融合二维和三维局部特征的人脸识别方法。从人脸二 维图像和三维坐标数据入手，将人脸分成不同的区域，每个区域分别用特征点的 最近距离匹配方法用二维和三维数据进行人脸识别。最后将二维和三维独立识别 结果进行加权融合。他们在f r g cv 2 o 数据库上做实验，选用了4 6 6 个人的三维数 据及其二维纹理。在测试数据分别是中性表情和非中性表情的情况下，用三维人 脸数据的识别率可以达n 8 9 5 和7 3 ；在错误接受率( f a r ) 为0 0 0 1 的情况下， 上述识别率可达到9 4 和7 6 。融合了二维和三维两种信息，在测试数据分别是 1 0 第2 章人脸识别算法综述 中性表情和非中性表情的情况下，识别率可达到9 5 5 和8 1 ；在错误接受率 ( f a r ) 为0 0 0 1 的情况下，上述识别率可达到9 8 5 和8 6 。 2 ) 主成分分析法6 p c a ) b r o n s t e i n 等人口妇通过变换将r a n g e 图像数据及其对应的纹理图像数据变换 为另一种形式，对变换后的数据进行p c a 运算的方法进行三维人脸分析，希望解 决识别过程中人脸表情的差异。他们提出了一种对纹理展开图和正则图像进行特 征分解的有效的二维和三维信息融合的方法，但没有报告其算法的整体性能。 c h a n g 等人钉提出了一种基于p c a 的二维和三维相结合的方法。他们在2 0 0 个 人的人脸库上进行了两次实验：一次是用每个人最近的一张图像做测试集；另一 次是用很长一段时间以前的6 7 6 张图像做测试集。实验结果显示：基于多维信息 融合的两次实验都取得了近似9 9 的识别率；而单独用三维数据进行识别的识别 率为9 4 ，单独用二维数据进行识别的识别率是8 9 。二维和三维融合的方式是 二维和三维人脸空间距离的线性加权和。 t s a l a k a n i d o u 等人1 提出了r a n g e 图像和彩色图像相结合的多维信息融合识 别方法。使用彩色图像而不是通常的灰度图像进行识别，是该工作的一个特色。 在x l v l 2 v t s 数据库上分别对彩色图像、三维r a n g e 图像和三维r a n g e 图像加彩色图像 进行单独测试，采用p c a 的识别方法。 g o d i l 等人阱1 利用2 0 0 人的人脸数据进行了一次二维和三维相结合的多维信 息融合的人脸识别实验，三维数据采用r a n g e 图像，二维和三维数据的p c a 特征作 为识别特征，特征融合方式采用简单线性加权方式。尽管实验所用三维人脸数据 比较粗糙，大约每个人脸仅有4 0 0 0 个点，但识别率高达8 2 。 3 ) 迭代最近点法( i c p ) ： p a p a t h e o d o r o u 和r u e c k e r t 【3 5 1 利用三维相机采集的三维人脸的形状和纹理数 据，将人脸的形状和纹理信息融合为一个整体，而不是先分别利用形状和纹理信 息做识别，再融合两种识别结果。实验数据库中包含6 2 个人的图像，从中选不同 姿态和表情的图像作为测试集。对正面中性表情的图像的识别率在9 8 , - - - 1 0 0 之间。当测试图像姿态和表情变化时识别率就会下降，在对左右旋转4 5 。的图像 进行识别时，识别率下降到了7 3 - 9 4 ：在对带有微笑表情地图像进行识别测 试时，识别率为6 9 - 8 9 。 l u 等人早期的工作致力于基于i c p 匹配方式的三维形状识别啪1 ，后来提出了 二维加三维的多维信息融合的识别模型口7 1 。他们的实验用m i n o l t av i v i d9 1 0 设 备采集的i 0 0 个人人脸数据，每个人有5 个中性表情二维图像和三维r a n g e 图像人 脸；而测试集中的数据为每个人三个中性表情数据、三个微笑表情数据。实验结 果显示：单独用三维数据做识别的识别率要高于单独用二维信息识别率；而二维 加三维混合模型在测试集全部是中性表情的情况下，识别率高达9 8 ；在测试集 为大量中性表情和微笑表情混合的情况下，其识别率也可达：至l j 9 1 。 l l 北京工业大学工学硕士学位论文 皇曼曼曼曼! 曼曼曼曼! 曼曼曼曼曼! 曼曼鼍im 一一一 ；l 曼曼曼鼍! 皇曼皇皇曼曼曼曼皇! 曼鼍曼曼! 曼曼曼! !