（控制理论与控制工程专业论文）基于知识的人脸检测与人脸识别系统研究.pdf

摘要 人脸自动识别技术是生物特征识别技术的重要组成部分，是计算机视觉与 模式识别领域中非常活跃的课题。它主要包括人脸检测和人脸识别两方面内容。 本文对灰度图像中正面人脸的实时检测和识别问题进行了详细研究，并实现了 一个人脸自动识别仿真系统。 在人脸检测方面，本文详细研究了基于知识的人脸检测算法。为满足实时 检测的需要，本文将一种灰度区域特征的快速计算方法积分图算法引入到 基于知识的人脸检测中。从而在不降低检测精度的情况下，使检测的时间复杂 度由o ( n 5 ) 降低到o ( n 3 ) ，缩短了人脸检测的时间。另外，本文将基于知识的方 法中的器官分块策略引入到基于支持向量机的人脸检测方法中，将各子块像素 的统计量作为人脸特征，输入到s v m 中。通过s v m 对大量人脸与非人脸样本 的学习，自动产生人脸知识，一定程度上提高了人脸检测的精度。 人脸识别方面，本文对在人脸识别中广泛应用的隐马尔可夫模型( h m m ) 的原理进行了介绍。在此基础上，研究了基于h m m 的人脸识别方法探讨了人 脸h m m 模型的建立及训练过程，并在本文的仿真系统中实现了该方法。 最后对人脸自动识别系统进行了仿真实现。该系统中主要包括了视频图像 输入模块，人脸检测模块和人脸识别模块。同时对整个自动识别系统在具有复 杂背景的室内环境下进行了实验。在实验过程中，提出了一种人脸自动建库方 法。克服了传统的建库方法一般采用手工裁减来获得人脸图片的不足。在实时 人脸检测算法的基础上，对背景中的人脸进行自动分割，提高了建库的效率并 基本统一了人脸图像的规格。实验结果表明在光线没有强烈对比的室内环境中， 系统在实时性和识别率上都达到了预期的指标，完成了正面人脸自动识别的任 务。 关键词：人脸检测，人脸识别，积分图，支持向量机，隐马尔可夫模型 卜 耋垒三耋垒耋冀圭茎竺兰蚤。 高 a b s t r a c t a u t o m a t e df a c er e c o g n i t i o ni sa l li m p o r t a n tp a r to fb i o m e t r i c s i ti so l l eo ft h e m o s ta c t i v ea n d c h a l l e n g i n gt a s k sf o rc o m p u t e r v i s i o na n d p a t t e r nr e c o g n i t i o n t h i s d i s s e r t a t i o nm a i n l ys t u d i e s a p p r o a c h e s t or e a lt i m ef r o n t a lf a c ed e t e c t i o na n d r e c o g n i t i o n 。a n da na u t o m a t e df a c er e c o g n i t i o ns i m u l a t i o ns y s t e mi se s t a b l i s h e di n t h ee n d t h ee s s e n t i a lc o n t e n t sc a nb el i s t e da sf o l l o w s ： i no r d e rt od e t e c tt h ef r o n t a lu p r i g h tf a c ei nr e a lt i m e ，t h e i n t e g r a li m a g ei s a p p l i e dt ot h ef a c ed e t e c t i o nm e t h o db a s e do nk n o w l e d g e t h ei n t e g r a li m a g ei s u s e dt oc a l c u l a t es u b b l o c k + ss t a t i s t i cv a t u e a n di t d e g r a d e st h ec o m p u t a t i o n a l c o m p l e x i t y f r o mo ( n 5 ) t oo ( n 3 ) ，t h u st h e s p e e d o fd e t e c t i o ni s i m p r o v e d r e m a r k a b l y t h e no r g a n - b a s e db l o c k i n gs c h e m e i nt h ef a c ed e t e c t i o nm e t h o db a s e d o nk n o w l e d g ei si n t r o d u c e dt ot h ed e t e c t i o nm e t h o db a s e do n s u p p o r tv e c t o r m a c h i n e ( s v m ) ，i tr e d u c e st h ed i m e n s i o no f f a c ec h a r a c t e rv e c t o r sa n di m p r o v e s t h ed e t e c t i o np r e c i s i o n ah i d d e nm a r k o vm o d e lm e t h o d ( h m m ) i su s e dt o r e c o g n i z e f a c ei no u r a u t o m a t e dr e c o g n i t i o ns y s t e m ，t h ee l e m e n to fh m mi s n t r o d u c e df i r s t l y , t h e nt h e r e c o g n i t i o n m e t h o db a s e do nh m m ，t h em o d e lo ff a c ea n dt h et r a i n i n gs c h e m ea r e e x p a t i a t e d f i n a l l ya na u t o m a t e df a c er e c o g n i t i o ns i m u l a t i o ns y s t e mi se s t a b l i s h e dw h i c h m a i n l yi n c l u d e sv i d e oi n p u tm o d u l e ，f a c ed e t e c t i o nm o d u l ea n df a c er e c o g n i t i o n m o d u l e i nt h eo n l i n e r e c o g n i t i o ne x p e r i m e n t s ，a n m e t h o do fa u t o m a t e d c o n s t r u c t i n gf a c ed a t a b a s ei sp r o p o s e d t h i sm e t h o dw h i c hi sb a s e du p o nr e a lt i m e d e t e c t i o no ff a c ec o u l ds e g m e n tf a c e sf r o mb a c k g r o u n di m a g e s a u t o m a t i c a l l y , t h e r e f o r ei m p r o v et h e c o n s t r u c t i n ge f f i c i e n c ya n du n i f o r mt h es t a n d a r do ff a c e i m a g e s t h es y s t e mi st e s t e di nv a r i o u se n v i r o n m e n t so fc o m p l e xb a c k g r o u n di n r o o ma n dr e s u l t ss h o wt h a tt h e s y s t e mh a sr e a c h e de x p e c t e dg o a l si nt i m e c o m p l e x i t y a n dr e c o g n i t i o nr a t e ， k e y w o r d s ：f a c ed e t e c t i o n ，f a c e r e c o g n i t i o n ，i n t e g r a li m a g e ，s u p p o r t v e c t o r m a c h i n e ，h i d d e nm a r k o vm o d e l 1 。1 研究背景 第一章绪论 随着社会的发展，各个方面对快速有效的自动身份鉴别的要求日益迫切。 对个人身份鉴别的需求可以说无处不在，并且与日俱增。如某人是否有权进入 安全区域( 安全系统) ，是否有权进行特定交易，是否是本国居民，为了安全在 公司计算机网络和因特网上单独设置口令或钥匙进行保护等。当前，用于个人 身份鉴别主要依靠i d 卡( 如身份证、工作证、智能卡、计算机标志卡和储蓄 卡等) 和密码等手段，然而这些手段存在携带不便、容易遗失、或者由于使用 过多或不当而损坏、不可读和密码易被破解等诸多问题。近年来电子商务得到 了十分迅速的发展。然而发展电子商务的一个最重要的问题是如何解决好安全 问题，在此之前，谁也不会与身份无法确认的人在因特网上做买卖。但是传统 的方法如口令、信用卡、身份卡等已不能很好地满足各种安全需要，因为如果 系统受到不法分子的攻击，信用卡密码外泄是有可能发生的。同时随着技术的 发展，犯罪分子伪造假证件的手段也越来越高明，因此，目前广泛使用的依靠 证件、个人识别号码( p i n - - p e r s o n a li d e n t i f i c a t i o nn u m b e r ) 、口令等传统方法 来确认个人身份的技术面临着严峻的挑战。 生物识别技术提供了一种基于惟一的、高可靠性和稳定性的人体生物特征 的新的身份鉴别途径。生物特征，如人脸、指纹、虹膜等等，是人的内在属性， 具有很强的自身稳定性和个体差异性，因此是身份鉴别的最理想依据。这其中， 利用人脸特征进行身份鉴定又是最自然直接的手段，和指纹识别、虹膜识别等 其他方式相比较，人脸识别有其独到的优势。指纹和虹膜的获取都要求待识别 对象与成像设备较近的空间距离，而人脸图像获取则不然，在一般可视情况下， 人脸图像都能够正常被捕捉，这一因素决定了人脸识别比指纹、虹膜识别有更 广的应用范围。而自动的人脸识别系统还具有主动、直接、方便、友好等特点。 它无需特殊的采集设备，系统成本相对较低，还可以在不干扰使用者的前提下， 主动地获得人脸图像。尤其是他与人们在日常生活中进行个人鉴别所采取的方 式一致，不侵犯使用者的任何隐私，因而对于使用者而言，无任何心理障碍。 正是因为这些优势，自动人脸识别的研究将会极大地促进安全访问控制、视觉 监测、刑侦破案、基于内容的检索等领域的发展，具有极其广泛的应用前景。 人脸自动识别是模式识别领域中的一个前沿课题，该课题的研究已有3 0 多年的历史“。目前人脸自动识别正越来越成为当前模式识别和人工智能领域 的一个研究热点。 蹲能工业走掌磺士学桩论文 人脸自动识别系统作为一种重要的个人身份鉴别工具，可以广泛地应用于 公安部门的犯人档案管理、犯入辨认查拨、刑侦破案、安全验证系统、信周卡 验证、医学、糨案管理、裰频会议、人穰交互系统、涯停孩对、缳安篮撬、避 道控制乃至自幼出纳机等多种场合。与熊它身份识别方法相比较，人脸识别其 有直接、友好、方便和鲁棒性强等特点，特别是对于使用者无任何心理障碍， 通过对人脸的表情姿态分孝厅，还能获撼其他识别系统难以获彳导嬲一些狺息。 黼露，天验蠡韵淡舅l 藤器瓣鹾究不纹爨露重大豹实瑙徐篷，嚣显崧模式识巍中 凝有重大的理论意义。 人脸识别系统的基本樵架如图1 1 所示。首先，由传感器如c c d 摄像机 撼获人脸图像；其次经预她理来提高图像豹品质；蒜根据入脸检测来定位人黢 势褥久验鋈豫设置成舔先怒义豹足寸；黪缝提取蔫予孪蠡取考效特镊渡降低藤穰 式空间的维数，分类器则椴据特征来做出决策分类。 强l ，1 人验爨渤谖嗣系统柩架 人脸识别在生物测定学和人机交甄( h u m a n c o m p u t e ri n t e r f a c e ) 的研究中 也扮演了一个非常重要的角色。为了使人机关系更加友好，要求界面更加自然 萋珏缝合入鹤誊戏感受，要求机器具有入炎鹣技驻麴识燃入验、手势、表馕等等， 磷不是继续要求久类其有枧器一样貔技黼筘l 。入脸谈掰是一个典麓静模式识剐 问题，h c i g l 擞物测定学的研究和其解决方案有助于解决该领域中的相关问题。 人脸识别是人类用予飘相识别的一种自然而直接的生物测定学方法。人脸 怒大类鲍独一嚣二静黪 正，潮使霆看上去宠全相嚣黪粳憨夔在菜戆方嚣逛毒恣 饕差异l l 。入炎其有在复杂背景中识剐入脸的菲凡能力，然雨设计一个能够究 成这个任务的自动人脸识别系统却是一个非常复杂而豳难的任务。造成这种 豳难的因素是多方面的。荫先人脸由于华龄、表情、肤色等不同，具有模式的 可燮经。箕次，般意义下熬久验上，弼魏存在羧镳、麓矮等嚣重瓣甥。第三， 窜为三维物体的入脸的影像不可避免穗受由光照产嫩的阴影的影响。 d a u g m a n l 5 1 提出决定人脸识别系统性能的最主鼹因素是人脸编码空间的缎 数和方差。理论上它们的类间方差应该大丽类内方熬应该小，从谳使不同人的 入羧产生尽霹戆互不鞠嚣豹我疆嚣嚣一个人夔不霆嚣豫产生菲鬻穗纭豹襞鹞。 假是研究表明，情况并不光是这样。往往会遇到相反的情况：同个人，其不 同人脸图像之间的差别会比不同人的人脸图像之间的差别大丌1 。在基于二维表 馘和三维模型方法的选择上，关于人脸淡征、特征摄取等问题仍商许多争论。 另令阉蘧趸特薤载选择；壤些霹瑟鸯入验来说是一般貔特重蒌，它 | 、l 露天验稔 第一章绪论 测闯题是黉恰当，哪些特征对某个人脸最适合，京们对人脸识剃闯题是否遥巍。 研究灭验谈剐鲍难点遴在予萁矮域涉及心瑾豹瑾举、享串缢辩学、溷像处璞、模 式识别、计算机视觉、统计学、和人工智能等众多学科知识。 。2 磷究露容 人脸自动检测与识别是模式识别领域中极富代表性的一个问题。就检测而 言，是把人脸( 或某个嘲部器官) 的全体 乍为一炎模式，着重研究人脸的共性。 裁识裂蠢嘉，裂是怒每个久懿人验分裂终巍一类羧式，藿重磺究人殓戆_ 拿拣。 对于一个党整的全自动的人脸识别系统，二者都怒不可或缺的重要组成部分 【5 5 】。 1 3 。，1 人脸检测狰淌l 从广义上讲，人脸自动检测的对臻既包括整张人脸，也包括某个面部器宙， 如：眼跨、嘴巴、鼻子、厦毛等。硷测的内容除了从一幅鹜爨黧像孛憋鼓梭溺 对象分割蕊来戳终，述镪括确定其撼置、大小、方向甚至形状等等【2 5 】。y a n g 等口j 将人脍检测定义为：任意给定一幅图像或者一组图像序列，人脸检测的目 的就在于判定该图像或圈像序列中是否存在人脸。如果存在，则确定其位爨和 空竭分衣。缀据这个定义霹知，人黢捡溆可分为嚣静蠖提：繁一转薅凌是焱静 止餮像中粼颛是否存在人脸，若存谨，购定经入簸麴位置；第二种情况是程视 频图像序列中判断是否存在人脸，若存在，则动淼地跟踪人脸。显然，动怒的 人脸检测方法要比静态的困难。 l 。基予翔谈瓣方法 这种方法是利用对入脸豹先验知识导出的规劐来透行入脸梭测。入脸髑部 特征的分布总是存在着定的规律。例如人的两个眼睛总是对称分布在人腧的 上半部分，鼻子和嘴唇中心点的连线熬本与两眼之间的连线熏擞等。于是，可 潋利用一缀糖述太验爨部特挺努毒黪麓裂亲透蠢入验捡测。邃魏溪羽霹夔袋述 为人验餍鄢特征之阕瀚襁对距离帮傲凝关系等，警满足这些烧刚的图像区域找 到后，则认为一幅人脸融被检测出爿乏，然后可以对候选的人脸区域进行进一步 的验证，以确定候选区域是否包含人脸。 马赛竞溺像m o s a i , ci m a g e ) 憝一秘楚摹憝鼙豫多努瓣章袋示方法。y a n g 和h u a n g 2 6 采用分层次的基于知识的方法迸行入腋检铡，他们建立了个罄于 知识的三层检测系统。第一层针对4 x 4 的马赛克图像块( q u a r t e t ) ，根据相鹰 的知识规则游找人脸候选区域；第二层针对8 8 的马赛克躅像块( o c t e t ) ， 瞧是蔽据翔识囊瓣簸各谈选区域孛确定久薤嚣域i 第三层在入羧嚣蠛雨，莱热 改进豹边缘检测算法进一步确定眼、嘴等器官的位溉。k o t r o p o u l o s 和p i t a s 等瞄7 】 西北工业大学硕士学位论更 将方形块扩展为矩形块，提出了一种改进算法。 2 基于统计的人脸检测方法 t u r k 和p e n t l a n d 在人脸识别领域中提出了著名的特征脸方法1 6 j ，同时也将 它用于人脸检测。特征脸方法的实质是通过变换获得人脸模式在整个图像空间 中的降维子空间( “脸空间”) ，并根据待识别样本到“脸空间”的距离确定它是 否属于人脸模式。 s u n g 和p o g g i o 2 s 】提出了一种基于样本学习的人脸检测方法，可以在复杂 背景中检测正面垂直人脸。他们将人脸检测问题归结为从图像样本中识别出人 脸模板的学习过程，通过一个大约有1 0 0 0 幅包含人脸的图像数据库建立了人脸 的分布模型，然后在一系列的人脸和非人脸样本中训练分类器。在s u n g 和 p o g g i o 的系统中，采用k 均值聚类方法在特征空间中建立六个“人脸”簇 ( c l u s t e r ) ，同时建立包围“人脸”簇的六个“非人脸”簇，以使“人脸”和“非 人脸”模式的边界更为清晰。 3 基于神经网络的方法 神经网络方法是把模式的统计特性隐含在它的结构和权值之中，对于人脸 这类复杂的、难以显示描述的模式，基于神经网络的方法具有独特的优势。在 基于神经网络的人脸检测的方法中，r o w l e y 等口o 】人所做的工作具有典型的代表 意义。他们的系统分为两个部分。第一个部分是一个基于神经网络的分类器。 它接受大小为2 0 x 2 0 的图像窗口作为输入，产生一个从一l 到1 范围内的输出 来标明该图像窗口中是否包含人脸，输入的图像窗口在提供给神经网络之前采 用了s u n g 和p o g g i o 的方法中间样的预处理过程。他们大约采集了1 0 5 0 张人脸 样本图像，这些图像中所包含的不同大小、方向、位置的人脸都必须经过规范 化后提供给网络训练；而对于非人脸样本的采集，他们采用了s u n g 和p o g g i o 提出的b o o t s t r a p 算法。第二部分是合并重复检测位置并做出判断。图像进行扫 描检测时，为了检测不同大小的人脸，对原图像做了放缩处理，因此对于一个 正确的人脸位置，可能有若干个窗口标识它。为了给出个唯一的检测结果， 在第一阶段给出的所有检测位置中采用与、或、投票等操作，得到一个最恰当 的包含被检测入脸的窗口。 除了垂直正面人脸的检测方法外，r o w l e y 等【3 1 i 又提出了一种改进方法，用 于检测图像中有不同角度偏转的人脸。直接把文【3 2 1 中的方法推广用于检测不 同角度偏转的人脸，可以将整个输入图像不断地旋转一定的角度再进行检测。 4 基于支持向量机的方法 支持向量机( s u p p o r t v e e t o r m a c h i n e s ，s v m ) 是v a p n i k 等提出的基于结构 风险最小化原理( s t r u c t u r a lr i s km i n i m i z a t i o np r i n c i p l e ，s r m ) 的统计学习理论 ，4 1 ，用于分类与回归问题。s r m 使v c ( v a p n i kc h e r o v n e n k i s ) 维数的上限最小 化，这使得s v m 方法比基于经验风险最小化( e m p i r i c a lr i s km i n i m i z a t i o n p r i n c i p l e ，e r m ) 的人工神经网络方法具有更好的泛化能力。o s u n a 等 3 2 1 首先将 支持向量机( s v m ) 用于人脸检测。该方法使用大量的人脸样本和“自举”方 法收集的“非人脸样本训练s v m ，对每一个1 9 x1 9 的检测窗口使用s v m 进 行分类，以区分“人脸和“非人脸”窗口。该算法对s u n g 等 2 8 j 的2 3 幅图像 测试集的检测正确率为7 4 2 。o s u n a 等指出，s v m 分类器的作用是刻划了“人 脸”样本和“非人脸”样本之间在结构风险最小化意义上的最优分界面a 5 基于模板的方法 所谓基于模板( t e m p l a t e b a s e d ) 的方法，是指从构造人脸或某个面部器官 的模板( 模型) 出发，通过各种模板搜索与匹配算法，结合对于模板参数的调 整，达到检测和定位的目的。 早期的尝试是s a k a i ，n a g a o 和f u j i b a y a s h i 检测照片中的前视人脸m j 。他们 使用了眼睛、鼻子、嘴巴和脸部轮廓的多个子模板进行人脸建模。首先将待检 子图像与轮廓模板匹配以确定人脸的候选位置，然后在候选的人脸位置将其与 各子模板进行匹配，完成人脸检测。 y u l l i e 等人【3 6 _ 3 8 i 提出了基于变形模板的方法，用于人脸特征的抽取。变形模 板是由一个根据被测物体形状而设定的参数化的可调模板和与之相应的能量函 数所构成，能量函数要根据图像的灰度信息、被测物体轮廓等先验知识来设计。 当用变形模板进行人脸检测时，首先，将模板在待测图像中移动，并动态地调 整其参数，计算能量函数。当能量函数到达最小值时，根据其位置和参数所决 定的可调模板形状应该达到与人脸形状的最佳拟合，这样就检测到了幅人脸。 活跃轮廓模型法是一条在外部约束力作用下的能量最小化样条曲线，亦称 蛇形法( s n a k e sm e t h o d ) 。它通过迭代的方法可以不断修正，逐步趋近图像中的 线条或边缘。h u a n g 和c h e n 采用活跃轮廓模型法( a c t i v e c o n t o u rm o d e lm e t h o d ) 完成了头部轮廓、眉毛及鼻孔的检测p 9 4 。 人脸检测是一个艰巨而有趣的阔题，目前所提出来的方法很多，一些比较 有效的人脸检测系统并不只是采用上述分类中的某一种方法，而是将多种方法 有机地结合起来，最大限度地利用从图像本身得到的信息以及从大量样本( 包 括正例和反例) 得到的信息，并充分结合先验知识，共同实现人脸检测。 1 3 。2 人脸识别1 1 & 3 , 9 1 1 基于几何特征的方法 在自动人脸识别领域的早期尝试之一是k a n a d e 设计的系统j ，该系统抽 取1 6 个正面人脸几何特征( 随后减少到1 3 个) 。使用的数据库中每个被测试者 有一个训练图像和一个测试图像，共有2 0 个被测试者。正确识别率为7 5 。 b r u n e l l i 和p o g g i o l 3 】采用了一个和k a n a d e 相似的基于几何特征的识别器。该识 别器在一个由4 7 个被测试者的数据库中测试，其正确识别率大约为9 0 。w o n g 等人采用了另一个基于正面人脸特征的方法i ，采用各种距离( 两眼之间的距 离、左眼和右眼到鼻子的距离、鼻子到左边缘和右边缘的距离) 作为特征。该 西北工业太学硕士学位论更 方法在仅有6 个人的数据库中取得了良好的识别效果。 g o l d s t e i n 等人 4 5 1 使用了一个含有3 4 个既有前视图又有侧视图特征的集合 ( 随后减少到2 2 个) 。这些特征包括头发长度、头发纹理、鼻子长度、嘴巴宽度 和下巴轮廓特征。该模型也取得了良好的识别率。 2 模板匹配法 另外一种经常使用的技术是将一幅人脸图像表征为像素值的一个或多个模 板阵列。该阵列和表示训练集中的人脸的单或多模板通过一个合适的度量进行 比较。感兴趣的特征可以通过人工标定或通过使用一个由h u t c h i n s o n 和w e l s h l 4 6 所描述的更高级的基于多层感知器自动方法，y u i l l e 3 6 , 3 8 所描述的动态模板， h u a n g 和c h e n ” 所描述的由k a s s 等人【4t j 首先提出的活动轮廓模型( s n a k e ) 来 得到。 3 主元分析法 t u r k 和p e n t l a n d 在1 9 9 1 年发展了一种人脸识别的方法，这就是众所周知 的特征脸方法【6 】。所谓特征脸就是对应于人脸( 模式) 协方差矩阵的那些较大 特征值的特征向量。由特征脸所张成的子空间在维数上比原模式空间大大减少， 人脸检测和识别工作就在该子空间上进行。t u r k 和p e n t l a n d 方法在1 6 个被测 试者的人脸图像数据库中的正确识别率据报道达到了9 6 。进一步的研究表明， 最主要的几个主元分量在当类间和类内的变化有相同方向时对识别才会很有 效。对应于较小特征值的其它主元分量对识别最有效。s w e t s 和w e n g 在1 9 9 6 年已经指出基于p c a 导出的特征脸仅仅是最好的表征特征( m e f ) ，它与实际 的人脸识别没有赢接的关系j 4 引。为了推出最好的判别特征( m d f ) ，就需要一 个后续的判别分析投影。该方法与对类内和类间散布矩阵同时进行对角化处理 的线性判别分析( l d a ) 很相似。 4 等密度线图法 n a k a m u r a 提出了一种等密度线图方法【4 。该方法利用灰度级等密度线图 来表示人脸图像。即如果把一幅图像的亮度看作为一座山的高度，那么等密度 线对应于等高度外形线。该数据库有1 0 个被测试者，每个被测试者各有一幅训 练图像和测试图像。数据库中三人戴眼镜，两人有细小的胡须，两个女性人脸 图像在训练图像和测试图像中有不同的化妆和发型。测试结果表明识别率较高。 5 神经网络方法 这类识别法将人脸直接用灰度图表征，利用了神经网络的学习能力及分类 能力【5 。这种方法的优势在于保存了人脸图象中的材质信息及细微的形状信 息，同时避免了较为复杂的特征提取工作。k o h o n e n i 副j 率先运用自相关汜忆( 全 互联神经网络) 存储和重建人脸图象。利用简单h e b b i a n 学习律，人脸图象的 自相关记忆将被创建并存储在全互联神经网络的权值中。实验表明，在噪声存 在，甚至人脸图象被部分遮挡的情况下，该网络能有效地重建人脸图象。这表 明了自相关神经元具有识别能力。m i l l o w a r d 和0 t o o l e 5 2 】利用的则是w i d r o w _ h o f r 学习律，同样证明了自相关神经元具有识别能力。c o t t r e l l ，等和f l e m i n g 第一章绪论 采用了不同的网络拓扑结构非线性前馈神经网络。该网络经b p 算法训练 后，用于人脸灰度图象的识别。他们采用的前馈式神经网络具有4 0 9 6 个输入单 元，8 0 个隐层单元，4 0 9 6 个输出单元。神经元的响应函数为s i g m o i d 函数。 1 4 人脸自动识别应用前景 在过去的几年中，人们提出了各种各样的人脸识别技术，人脸识别的方法 得到了很大的发展。由于人脸识别是一种直接、友好、方便、对于使用者无任 何心理障碍、容易被人们接受的非侵犯性识别方法，因此，人脸识别的应用范 围非常广泛，在许多领域中都有着广阔的应用前景。 在工业领域，自动人脸识别( a u t o m a t e df a c er e c o g n i t i o n ) 系统可以应用 于建筑物的通道控制，工厂的考勤系统、安全检查等。 在商业领域，a f r 系统可以应用于银行卡( 如信用卡和a t m 卡) 的鉴别、 商场或银行的监控系统( 通道控制，监视) 、小区的保安系统等。 在政府部门，a f r 系统可以满足视频会议、移民控制、边境监视、全天候 监视、航空港和码头安全检测等的需要。a f r 系统还可以用于驾驶执照、护照、 个人身份证的鉴定、司法机关的罪犯识别和用于反恐怖活动等。 在国防方面，像军事部门出入口的控制、战场监视和军事人员的鉴别等都 能应用a f r 系统来进行相应的工作。 在医学上，a f r 系统可以通过检测和分析病人的表情等来研究病人的生理 反映和进行不间断监视护理等【1 6 。 另外，人脸识别技术的研究由于涉及心理物理学、神经科学、图像处理、 模式识别、计算机视觉、统计学、人工智能等众多学科知识，因此，技术含量 高且市场需求大，其产品具有很强的赢利前景。由于种族的不同，带来了识别 库及识别算法的差异，国外已经开发成功的商用软件在我国应用范围有限，不 可能形成垄断，这为国产人脸识别系统占领市场留下了很大的发展空间。 总之，由于人脸识别技术提供了一种直接、友好、方便、非侵犯性、高可 靠性和稳定的鉴别途径，因此，有着非常广阔的应用前景，自动人脸识别系统 在各种不同的领域中的应用必将对人们生活的各个方面产生深刻的影响。 1 5 本文研究内容 本文研究了灰度图像中正面人脸的自动检测与识别问题，并在前人工作的 基础上实现了个的自动人脸识别仿真系统。论文共分五章，各章的主要研究 内容概述如下： ( 1 ) 第一章：绪论。对人脸自动检测与人脸识别技术进行了综述，概述人 脸检测与识别技术的研究内容、方法、应用前景。 西北工业大学硕士学住论文 ( 2 1 第二章：基于知识的人脸检测。针对静态灰度图像提出一种基于积分 图和知识的人脸检测方法，采用积分图方法计算子块的统计量，从而显著地提 高了检测速度。另外将基于知识的人脸检测方法中的人脸分块策略9 1 入到基于 支持向量机( s v m ) 的人脸检测方法中，将各子块像素的统计量作为人脸特征， 输入到s v m 中。通过s v m 对大量人脸与非人脸样本的学习，自动产生规则 一定程度上提高了人脸检测的精度。 ( 3 ) 第三章：基于隐马尔可夫模型的人脸识别方法。介绍了在人脸识别中 广泛应用的隐马尔可夫模型( h m m ) 的原理和实现。在此基础上，阐述了基于 h m m 的人脸识别方法，探讨了人脸h m m 模型的建立及训练过程。 ( 4 ) 第四章：人脸自动识别系统实验。结合上述两章的算法，介绍硕士期 间完成的人脸自动识别仿真系统的框架与组成。并对该系统的各个模块进行了 联机实验，给出了实验结果分析和说明。 ( 5 ) 第五章：总结与展望。总结了硕士阶段工作，对未来人脸自动识别领 域的研究与发展提出了几点看法。 第= 章基于知识的人脸舱测 第二章基于知识的入脸检测 2 。1 墨i 言 检测人脸最直观的一个方法就是利用人们具有的知谈。人脸不是一个究全 夔援熊我爨模式，它蹙有鑫赛戆凌在震瞧，反浚在图像上，搿表示为菜静空阎 相关性，而人体度量学、解剖学提供了这方面的有关知识，这种知识又可进一 步形成某贱人脸检测规则。 利用知识检测人股，与先验知识的完备性蠢荧。人脸特摄变化较大，蠢关 天验羲赛定润蘧夯帮甏攘象蠢鼷麓褒这天验兹共经，又不与蔟氇攘念穗交叉翡 人脸规则相当困难。不过随着人们射人脸模式的认知逐步深入，基于知识或规 则的人脸检测方法已越来越受到重视并已取得了较好的进展【5 4 - s 8 1 。 目前，蛰遍认为，冀赛竞方法怒一静较好的基于知识的入脸捡测方法。y 踬g 与h u a n g 在第二卡一藩鑫舔攘式蓼l 嗣年会上获零度奖翡文章坡程为这种方法豹 经典文献p 。人脸图像特征主要包括区域特征和边缘线特征，因为人本身的人 脸检测过稷可在很低分辨率和很大噪声的条件下完成。说明人利用的有可能主 要是区域特征。马赛毙方法主要是熬于区域特，嫒的，其基本慰鼹就是剥用人脸 骂赛克予嫒之弱嚣稳鬣关系。 经过详细的研究，在文献i 的器官分块策略和文献 5 8 】的知识库的基础上， 本文提出了一种基于秘分图的快速人脸检测方法 采用积分图方法计算予块的 统计量，从褥显著地撼态检测速度。此外，提浅了一秘将基予知识翡a 黢梭测 方法与基予支持商量梳( s v m ) 入羧稔溪! | 方法秘结合静策略。采雳基于熟识的 人脸检测方法中的器窗分块策略，将各子块像素的统计量作为人脸特征，输入 到s v m 中。通过s v m 对大量人脸与非人脸样本的学习，自幼产生规则，一定 程度上掇糍了入脸检测瓣精度。 2 2 人脸特征提取及知识库的建立 2 2 1 特征提取 霹一类模式戆谈躞，萁关毽在予对模式特髹戆矮述激及撵籍去提取遮藏特 征。将鬣箍述又可以称之为特征的定义，也可以称为特征选择，它壹接影响到 扣 西北工业大学硕士学位论文 特征提取以及知识库的建立，直至最后检测任务的好坏，所以特征的选择是一 个非常关键的问题。 在人脸的照片中，人们可以发现人脸具有明显的灰度特征。如两眼睛的灰 度、鼻孔的灰度、嘴巴中间的灰度值都比周围低；同时，人脸还具有很多的梯 度信息，如眼睛、嘴巴、鼻子等部位的边缘信息比人脸的其他部位更丰富。文 献 5 4 采用图像的矩形区域灰度平均值作为人脸特征，而文献【5 7 l 1 采用图像 梯度图的矩形区域灰度平均值作为人脸特征。由于这两种方法都没有充分利用 人脸所具备的丰富信息，因此会造成较高的虚检率。文【5 8 】则综合了人脸的灰 度与梯度特征，提出了一种比较完备的知识库，可使检测虚检率降得很低，同 时，人脸的正确检测率几乎不变。 本章采用了文 5 8 1 的图像特征提取方法，即提取图像的区域和边缘特征建 立知识库进行人脸检测。 2 2 3 标准脸分块策略 仅依靠2d 单帧灰度图象来识别3d 物体，尤其是识别非刚体，没有知识 的加入是非常困难的。而要建立知识库，首先，就必须建立一个合理的模型， 本文采用的知识库是基于三分图模型t 5 7 的( 图2 1 ( b ) ) ，与文献 5 4 提出的四 分图模型( 图2 1 ( a ) ) 相比，三分图的划分更加合理，因为它充分利用了人脸器 官的自然分布。即从人脸的生理结构上讲，两眼睛的内眼角之间的距离约为一 个眼睛长度，根据图2 2 所示的三分图子块划分，从图2 1 ( b ) 中可以看出， 子块0 对应于左眼区域，子块2 对应于右眼区域，子块4 对应于鼻子区域， 予块7 对应于嘴巴区域，子块( 3 ，6 ，5 ，8 ) 对应于两侧面颊区域，当然，对于 不同的脸形，会存在一点偏差，例如，左眼并不完全在予块0 位置，嘴巴不完 全在子块7 位置，但这并不会影响规则的作用，因为提取的特征是子块区域的 整体特征。 从生理结构上讲，应根据子块所在的位置不同而取不同的形状，比如，眼 睛所在子块取为椭圆，鼻子所在的区域为梯形，嘴巴所在区域为长方形，但这 样做势必会增加计算的复杂性。因此，有效区域取为整个正方形子块区域，特 征简单地取有效区域的平均值。 国 ( a ) 四分块策略( b ) 三分块策略 图2 1 分块策略对比 一l 肛 图2 2 人脸马赛克分块图 董三圭兰三兰圣竺竺竺! ： 图2 3 人脸灰度图像及其边缘图像和二值图像 2 _ 2 _ 4 知识库 人脸灰度图像上包含的信息很多，寻找并采用计算简便、稳定反映各器官 马赛克子块区别的统计量对规则制订的难度影响非常大。事实上，由于人的人 脸认知和检测过程是在丰富知识模型指导下进行的，完全由计算机实现要遇到 很多困难。经过反复实验比较，文【5 8 】采用人脸灰度图像及其经过边缘检测而 得到的边缘图像和二值图像( 如图2 3 ) 的矩形区域特征，建立了一套普遍性 较好的规则，即人脸知识库： ( 1 ) 灰度规则( h ( i ) 表示灰度图像中i 子块平均灰度值) h o ) r t ( 4 ) ，h ( 1 ) h ( 2 ) h ( 3 ) t ( 7 ) ，t ( 3 ) - t ( 6 ) ，t ( 3 ) t ( 9 ) ，t ( 1 ) t ( 2 ) ， t ( 3 ) t ( 2 ) ，t ( 4 ) t ( 5 ) ，t ( 6 ) r ( 5 ) ，t ( 7 ) e ( 2 ) ，e ( i ) e ( 4 ) ，e ( 3 ) e ( 6 ) ， e ( 8 ) e ( 4 ) ，e ( 8 ) e ( 6 ) ，e ( 5 ) e ( 4 ) ，e ( 5 ) e ( 6 ) 西北工业大学硕士学位论文 广 图2 4 基于积分图的快速人脸检测系统框图 2 3 基于积分图的快速人脸检测 本文设计的基于积分图的快速人脸检测系统框图如图2 4 所示，它由预处 理、积分图计算、候选区域合并及在尺度因子控制下的若干局部环节构成。尺 度空间的遍历控制是为了解决待检测人脸的尺寸未知问题，在没有先验知识可 以利用的情况下，我们简单地把( 虚线框内) 同样的算法处理流程应用于所有 可能的人脸尺寸，这种方法也称为尺度空间递进搜索( 如图2 5 ) 。对图像进行 尺度空间遍历搜索，之后利用积分图方法完整计算马赛克局部统计量，并应用 三分图人脸模型规则最终判断该输入图像块是否为人脸。 图2 5 灰度图像的尺度空间递进搜索 第= 章基于知识的人脸检测 对所有可能的尺度空间和子图像块都进行了操作之后，进入最后一个候选 区域合并环节。基于区域特征的马赛克方法检测能力很强 漏报概率低) ，同一 个人脸可能在几个邻近尺度同时被检测出来，也可能在一个尺度的几个临近位 置有所表现。如何从这些位置重叠的候选者中选出所谓最合理的人脸图像块， 成为后处理中一个不可忽视的问题。候选区域合并环节的输出结果为可能包含 人脸的图像块。 2 3 1 人脸图像的预处理 由于知识规则库要用到梯度图像和二值图像，这里对这两方面的内容作一 介绍。图像的梯度反映了图像的灰度的显著变化，是图像的一个重要特征。 s o b c l 算子是一种常用的梯度算子【6 ”。对一幅图像a ( i j ) ，它的水平梯度和垂直 梯度分别为： t ( i ，_ ，) = 2 十a ( i ，j + 1 ) + a ( i + l ，+ 1 ) + a ( i 一1 ，_ ，4 - 1 ) 一2 口( f ，一1 ) 一口( f + l ，- ，- 1 ) 一a ( i 一1 ，一1 ) ( 2 1 ) t y ( i ，_ ，) = 2 a ( i 一1 ，) + a ( i 一1 ，+ 1 ) + 口( f 一1 ，一1 ) 一2 a ( i + l ，- ，) 一a ( i + l ，_ ，一1 ) 一a ( i + l ，+ 1 ) ( 2 2 ) 梯度的幅值f 为： t = 巧( f ，) + 巧( f ，) ( 2 3 ) 在知识规则库中只用到了垂直梯度，有了梯度图像后，可以很方便地求得 其二值图像e ( i d ) ，设定一个阈值，当梯度大于这一阈值时将其值置为1 ，否则， 将其值置为0 ，就得到了二值图像。 2 3 2 积分图算法 为提高检测速度，可以采用分级检测方法。这种分级检测方法一般首先检 测人的眼睛，这一步称为粗检测过程；然后再检测整个人脸，如文献u7 1 就是采 用d o g 算子来先检测出人眼的候选位置，并通过局部搜索方法来进一步减少 这些候选人眼的数目；文献口5 】贝0 是先将多个人眼的灰度图像作平均，然后进行 压缩和放大，以得到不同尺寸大小的人眼模板，最后利用这些模板进行匹配， 以解决不同尺寸人脸匹配的问题。文献【5 l 提出了种新的广义几何投影法，它 将双眼的边缘二值图像作一种“或投影”运算，产生两条水平宽度基本与眼睛 等宽度的短线。通过一定的规则在投影后的图像中筛选出候选的人眼，再通过 候选人眼得到候选人脸区域。 魂池j - 韭太学磷壬学位诲戈 实际上，这些方法都不能完全解决不同人脸尺寸的问题，d o g 算子与边缘 撼取的效果与参数的选择密切楣关，且对不同大小的人眼难以兼顾；而摸板匹 醚瓣方法氇鸯箍羧往，因为不可藐生戏掰番尺寸豹入羧模板。在广义凡鹰投影 法中，人眼候选规则会因人脸大小的不湖而改变，因此也无法解决图像中出现 尺度差别较大的人脸问题。 本节提出的是一耪基予积分图的整体搜索方法。戮为在计算每个马赛克予 琰瓣特征嚣，菘要诗算每予涣内戆蒙蘩鞠，对强豫避行速嚣援索对会密现大 爨的这种重复计算，这种熏复计算会导致检测时间过长。因此，本节引入一种 积分图的算法计算马赛克予块的象素和。积分图的算法是由c r o w 等提出的 6 2 , 6 3 ，它通过使用一种称为“积分图”鹩中闻图像表零，可以快速诗算出国像 中稳长方形特鬣。 1 积分图 某一点( x ，y ) 处的积分嘲为该点上面朔左边的象素牟口，即： i i ( x ，y ) = 拶，y ) ( 2 。4 ) = z g ， 蕊中，i i ( x ，y ) 为积分图，i ( x ，y ) 为原始网像，见图2 6 ，该算法聚用下面两式： s ( x ，y ) = s ( x ，y 1 ) + i ( x ，y ) ( 2 5 ) i i ( x ，岁) = i i ( x 一| ，y ) + s ( x ，y ) ( 2 。6 ) 只需对原始图豫挡描一次就可计算出积分图。其中s ( x l y ) 为对行求和，并且有： s ( x ，一1 ) = 0 r 。7 、 i i ( 1 v k 0 “。7 霞震积分翳驭穰方笈囊羹诗算强豫巾任意长方澎蒎域静象素謇羹，螽藿2 。? 所