（通信与信息系统专业论文）人脸识别系统与人脸检测算法研究.pdf

独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：丝一一一叠 日期： 塑! 篁：兰：型 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 导师签名：日期： 兰竺竺呈：i ：芝! ： 人脸识别系统与人脸检测算法研究摘要 人脸识别系统与人脸检测算法研究 摘要 人脸检测这一应用领域最为广泛的目标检测问题，是图像工程和 模式识别研究的热点。人脸检测问题最初是作为人脸识别系统和监视 系统的前端而提出的。并随着人脸识别技术在金融、司法、国家安全、 电子商务、电子政务等领域的应用，得到持续深入的推广。近年来人 脸检测在安全访问控制、视频监测、基于内容的检索和新一代人机界 面等领域上的应用价值也逐渐显现出来。现在人脸检测已经远远超出 了人脸识别系统的范畴，开始独立受到研究者的重视。 由于人脸在细节上存在非常复杂的变化，诸如外貌、表情、肤色 的显著差异，眼镜、胡须、刘海等附属物的干扰，以及无法预测偏 射方向的光照影响，因此要从不受限的背景中，快速检测出所需要的 目标人脸具有相当的挑战性。本文对传统的人脸检测方法进行了分析 与总结，提出了从特征提取到训练检测一套完整的算法流程，并对所 实现的识别系统进行了详细描述。 首先提出了一种针对a d a b o o s t 进行改进的训练算法一_ n e i g h b o r - e l i m i n a t e db o o s t i n g ( n e b ) 。a d a b o o s t 算法是目前实践效果 最为显著的人脸检测算法，但也存在着诸如分类器的级联结构会导致 系统拒真率与认假率的失衡，单调性前提的不成立容易直接造成训练 过程的失败等缺陷。n e b 算法通过构建一种新的基于双表链接结构的 特征描述子存储结构，引入特征相关信息，从而简化了训练过程。实 验结果表明以n e b 算法为基础实现的人脸检测系统，在训练速度上具 有明显的优越性。 另外，提出了基于l b p 的新特征形式_ i ，b 肿。l b h f ( 1 0 c a l b i n a r yh a a rf e a t u r e ) 对传统的h a a r - l i k e 特征以l b p 形式进行联合。这 样就能够在h a a r - l i k e 特征的基础上获得l b p 的对旋转和形变的稳定 描述能力，且计算方便，易于操作。实验证明，该特征形式应用在人 脸检测领域，具有卓越的效果。 关键词：人脸检测识别系统n e b 训练算法局部二进制h a a r 特征 人脸识别系统与人脸检测算法研究 a b s t r a c t f a c er e c o gn i t i o ns y s t e m a n df a c ed e t e c t i o na l g o r i t h m a b s t r a c t f a c ed e t e c t i o na sa l lo b j e c td e t e c t i o np r o b l e mo ft h ew i d e s ta p p l i c a t i o n ，i st h ef o c u so fi m a g e e n g i n e e r i n ga n dp a t t e r nr e c o g n i t i o n t h ep r o b l e mi s a d d r e s s e dt ob et h ef i r s ts t e po ff a c e r e c o g n i t i o ns y s t e ma n ds u r v e i l l a n c es y s t e m w h e nt h ef a c er e c o g n i t i o nt e c h n o l o g yi sa p p l i e di n f i n a n c e ，j u d i c a t o r y , n a t i o n a ls e c u r i t y , e c o m m e r c ea n de - g o v e m m e n ta f f a i r , t h ef a c ed e t e c t i o ni s s p r e a d i n gm o r ea n dm o r ew i d e l y r e c e n t l yt h ev a l u eo ff i e l d ss u c ha ss e c u r i t y 鹋c e s sc o n t r o l ， v i d e os u r v e i l l a n c e ，s e a r c hb a s e do nc o n t e n ta n dt h en e x tg e n e r a t i o no fm a n - m a c h i n ei n t e r f a c eh a s a p p e a r e d f a c ed e t e c t i o nh a sc a u g h tr e s e a r c h e r s a t t e n t i o ni n d e p e n d e n t l y a sr e s u l to ff a c ev a r i a n c ei nd e t a i l ，f o re x a m p l e ，t h ed i f f e r e n c eo fa p p e a r a n c e ，e x p r e s s i o na n d s k i nc o l o r , t h ed i s t u r b a n c eo fc l a s s e s ，b e a r da n dh a i r , t h ee f f e c to fi l l u m i n a t i o n ，i t sc h a l l e n g i n gt o d e t e c tr a p i d l yt h ef a c ef r o mr e s t r i c t i v eb a c k g r o u n d r e l y i n go nt h ea n a l y s i so f e x i s t e df a c e d e t e c t i o nt e c h n i q u e s ，t h i sp a p e ra d v a n c e sas e r i e so fa l g o r i t h m sf r o mf e a t u r ee x a c t i o nt ot r a i n i n g a n d d e t e c t i o n ，a n dd e s c r i b e sa ni n t e g r a t e df a c er e c o g n i t i o ns y s t e m f i r s to fa l l ，a ni m p r o v e df a c ed e t e c t i o nt r a i n i n gm e t h o d - n e i g h b o r - e l i m i n a t e db o o s t i n g ( n e b ) a l g o r i t h mi sp r o p o s e d a d a b o o s ta l g o r i t h m i st h em o s te f f e c t i v ea p p l i c a t i o ni nf a c ed e t e c t i o n h o w e v e r , i th a si t so w nl i m i t a t i o n s ：t h ec l a s s i f i e r sb a s e do nc a s c a d es t r u c t u r em a yu n b a l a n c eo n t h ef r r ( f a l s er e j e c tr a t e ) a n df a r ( f a l s ea c c e p tr a t e ) ；a n dt h ei n v a l i d a t i o no fm o n o t o n i c i t y a s s u m p t i o nm a yr e s u l ti nt h ef a i l u r eo fl e a r n i n g n e ba l g o r i t h mc o n s t r u c t sag r o u po fn e wf e a t u r e d e s c r i b e r sl i n k e db yt w ol i s t s ，w h i c hb r i n g si nc o r r e l a t i o no ff e a t u r e st os i m p l i f yt r a i n i n g e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tt h ep r o p o s e da l g o r i t h ma c c e l e r a t e st h et r a i n i f i gs p e e da n d o b t a i nt h eb e t t e rp e r f o r m a n c e s e c o n d l y , an e wf e a t u r e - l b h fi sr e p r e s e n t e d l b h f ( l o c a lb i n a r yh a m f e a t m e ) c o m b i n e s h a a r - l i k ef e a t u r e sw i t hl b p ( l o c a lb i n a r yp a t t e r n ) s ow h e ni t se a s yt oc a l c u l a t ea n du s e 笛 h a a r - l i k ef e a t u r e s ，t h eo p e r a t o rc a na c h i e v er o t a t i o na n dg r a y - s c a l ei n v a r i a n c e 勰l b ei t s e x p e r i m e n t e d t h a tt h en e wf e a t u r ei se f f e c t i v ei nf a c ed e t e c t i o n k e yw o r d s ：f a c ed e t e c t i o nf a c er e c o g n i t i o ns y s t e mn e bt r a i n i n ga l g o r i t h ml b h f 2 人脸识别系统与人脸检测算法研究引言 第一章引言 1 1 研究背景与意义 人脸检测作为应用领域最为广泛的目标检测问题，是图像工程和模式识别研 究的重点课题。 该课题最初是作为自动人脸识别系统的定位环节被提出的。人脸是图像与视 频中最为重要的视觉对象之一。早期的人脸研究主要集中在人脸识别领域。人脸 识别是借助于人脸这一生物特征作为身份鉴别的标志。身份鉴别是加强信息安全 的必要前提。用于个人身份鉴别的主要技术手段还有传统的i d 卡( 如身份证、 工作证、智能卡、计算机标志卡和储蓄卡等) 和密码等【l 】。这些技术方便、快 捷，但易伪造、易窃取、安全防护能力有限。而基于人类生物特征的识别技术具 有安全可靠、特征唯一、不易伪造、不可窃取等优点。除人脸外，人类还秉持很 多其他相对独特的特征，如d n a 、指纹、虹膜、语音等。相比之下，人脸识别 技术特征录入较为方便隐蔽、信息丰富、适用范围广、可交互性强，有着广阔的 发展前景 2 】。 j 一般情况下，人脸识别算法需要假定输入数据为归一化后的正面人脸，这一 假定大大限定了它的应用范围。人脸检测就是鉴于这个问题而提出的，要求在内 容不受控的输入图像中确定所有人脸( 如果存在) 的位置与大小，精确定位出五官 的具体位置，是全自动人脸识别系统和监视系统的前端。随着人脸识别技术应用 在金融、司法、国家安全、电子商务、电子政务等领域，人脸检测也得到持续深 入的推广。 不仅如此，近年来由于安全访问控制、视频监控、基于内容的检索和新一代 人机界面等领域上的应用价值逐渐显现，人脸检测已经远远超出了人脸识别系统 的范畴，开始独立受到研究者的重视。 1 2 发展现状 人脸检测起源于上世纪六、七十年代，经过数十年的曲折发展，目前已经有 4 人脸识别系统与人脸检测算法研究引言 多种理论和技术的支持。在m i n g - h s u a ny a n g 等人的综述文章 3 里，将目前卓有 影响的静态图像人脸检测方法分为四种类别： ( 1 ) 基于知识的方法： ( 2 ) 不变特征的方法； ( 3 ) 模板匹配的方法； ( 4 ) 基于表象的方法。： p 动态图像人脸检测技术通常以静态人脸检测技术为基础，结合视频序列中物 体的运动信息来综合进行检测。 上述的分类并不是绝对的。实际上有许多人脸检测的方法并不能简单地归于 上述中的任何一类，而是几类的组合。下面分别介绍几种主要的人脸检测方法。 1 2 1 基于知识的方法 基于知识的方法就是根据人脸的先验知识导出一组具体的规则来进行人脸 检测。 人脸局部特征的分布具有一定的规律性。例如左右对称、五官的比例和其几 何位置相对稳定以及各部位对比度存在固定的容限等。利用这些特征可以很容易 地建立一系列描述人脸的简单规则。基于知识的检测过程通常要先确定输入图像 中的候选人脸区域，再利用描述人脸的规则对这些候选区域进行判别。 这类方法的主要难点在于如何将对人脸的先验知识转换成应用性强，普适性 高的判断准则，既不能过于严格，又不能太宽松。此外，由于人脸模式存在复杂 的外在表现，姿态、表情、光照条件的改变都可能使同一张人脸呈现出不同的数 据形式。怎样总结出可以摒除一切自然因素影响的先验知识，实现在任何条件下 都能稳定地达到预期检测精度的人脸检测系统也是这类方法的研究核心。 y a n g 等设计的联合因子分析器【4 】，是一种基于知识的多分辨率方法。该方 法先抽样得到原始图像在不同分辨率下的子图像，组成基本的金字塔体系模型， 再逐层利用细粒度不同的检测规则，确认人脸的候选区域。高一层的检测是构建 于低一层的规则之上，针对上一级搜索出来的候选人脸。规则的严格程度随着分 辨率的逐渐精细而加强。这种方法的实验结果并不理想，所实现的检测系统对不 存在人脸的区域有着很高的误检率，输出结果的5 0 幅图像中有2 8 幅并不存在人 人脸识别系统与人脸检测算法研究引苦 脸。然而这种方法所引入的由粗到精分层处理的思路可以大大减少检测的运算 量，在后来的很多人脸检测方法都开始加以应用。 1 2 2 不变特征的方法 人类所独特的从复杂背景中辨认出人脸目标的视觉能力，不受姿态、表情、 光照、物件遮挡等任何不利因素的影响。这使研究者们普遍相信，必然存在一些 - 与任何外界条件因素无关的稳定特征，可作为人脸模式的强表达。于是找到这些 特征就成为人脸检测算法成败的关键。根据这种假设，大量基于不变特征的检测 方法走入研究领域。 c j r a f 等提出了在灰度图像中确定人脸特征的方法 5 】。该方法首先对图像进 行带通滤波，然后利用形态学处理加强具有高强度和特定形状的区域p 经过处理 的图像其直方图通常具有明显的尖峰。根据尖峰的峰值和宽度确定固定门限，将 图像二值化，再把二值图像中的连通分量作为人脸特征的候选区域。这些候选区 域最终还要通过一系列分类器来核实是否存在人脸。 h a r t 和l i a o 等【6 】认为眼睛和眉毛是最稳定，受外部条件变化影响最小的人 脸特征，十分适用于人脸检测，由此提出了一种基于形态学的人脸检测方法。算 法首先利用基本的形态学算子将灰度值变化明显的像素提取出来作为眼睛的类 似点。这一过程排除了原图像中9 0 以上的区域，大大减少了后续处理的运算量。 然后对这些像素点用标记的方法分割出区域，作为用来搜索潜在人脸区域的候 。 ， 选。如果存在类似人眼、鼻子、嘴的几何关系，则一个人脸候选区域就被确定出 来。再来这些人脸候选区域还要输入到一个神经网络进行最后的确认。用这个算 法对包含了1 3 0 张人脸的1 2 2 幅图像进行测试，准确率达到了9 4 。 一般情况下，指导人脸检测的共性信息包括：眼、鼻、口、脸形、边缘等几 何特征，灰度直方图分布、纹理等非直观的特征 3 】。肤色作为人脸最为显著的 非直观特征，以其普适性强、对姿态变化不敏感的优点，最近一段时间成为视觉 研究领域的热点。 肤色是人脸的重要特征。很多实际应用已经证明肤色对表情、姿态不敏感， 相对稳定，非常有效。尽管不同个体之间肤色明显不同，但研究表明这些差异更 多的体现在光强上而不是色度上【7 】。根据颜色恒常性 8 】理论，只要忽略环境光 6 人脸识别系统与人脸检测算法研究- 引言 照的光谱成分变化，就能获得对物体颜色的稳定知觉。经过适当的变换，肤色在 某些色度空间上有着比较集中的分布。 梁路宏等【9 】提出了关于选择色度空间的两条准则： ( 1 ) 在该色度空间中能否用给定的模型描述“肤色 区域的分布； ( 2 ) 色度空间中“肤色”与“非肤色”区域的重叠有多少。 其中第二条准则被公认为是限制检测性能的最重要的方面 1 0 】。目前常用的 色度空间有：r g b 、归一化的r g b 、y c b c r 、h i s 等i 1 1 】。 c r o w l e y 和c o u t a z 1 2 1 3 在归一化r g b 空间中建立关于r 和g 分量的直方 图函数h ( r ，g ) ，其d p ( r , g ) 是一个矢量，h ( r g ) 表示矢量( r ，g ) 代表的颜色为肤色的概 率，即： h ( r 宝l i t s s m c 0 1 0 r f sg v e r lb ys t a t 括，f 岱( 1 - 1 ) i h ( r ，g ) f ，i t sn o ts k i nc o l o r j o n e s 和r e h g 【1 4 从大量图像中采集了近十亿个肤色点，并在归一化r g b 空间中对其进行研究，发现肤色只占颜色总数的1 0 ，并有着比较集中的分布。 他们建立了直方图模型和混合高斯模型，通过比较发现前者在准确性和运算量上 略好于后者。测试实验中仅利用肤色信息和肤色区域的几何特征对人脸进行检 测，正确率达到了7 7 5 。 基于肤色人脸检测方法的瓶颈在于如何减少光照变化的影响。无论是背景还 是前景，光照条件的改变都会使颜色表现得不稳定，从而导致肤色模型无效。尽 管人们在这方面进行了大量的研究，但很少有在光照变化明显的场合仍能正常检 测的方法，这大大限制了人脸检测系统在实际环境中应用。如何解决光照问题已 成为人脸检测领域研究的热点之一。 无论眼睛、眉毛、嘴还是肤色，在实际应用中都有着自己的局限性。使用任 何单一的特征都无法完整地描述人脸。因此目前多数方法都融合了若干个特征联 合进行检测。通常做法是利用肤色、脸的轮廓等全局特征( 对视频序列还可以利 用运动信息) 确定人脸的候选区域，再用局部的细节特征( 如眼睛、眉毛) 进行 人脸的确认。 m i n g h s u a ny a n g 等人【3 】描述了一种典型的方法：首先用肤色检测找到图像 中属于皮肤的像素点，然后利用连通分量分析或聚类算法将这些像素点分成各个 人脸识别系统与人脸检测算法研究引言 连通区域，保留形状近似椭圆的区域作为候选人脸区域，最后用局部面部特征进 行确认。 s o b o t t k a 和p i t a s 1 5 综合利用了颜色和形状进行人脸定位和面部特征提取的 方法。首先在h s v 空间上对图像进行肤色分割，并在低分辨率分层上进行区域 增长得到连通分量，对每一个连通分量计算与其最匹配的椭圆，然后找出与相应 椭圆拟合得最好的连通分量作为人脸候选区域。在候选区域内根据灰度的变化搜 索眼睛、嘴等面部特征进行人脸确认。 1 2 3 模板匹配的方法 基于模板匹配的方法需要预先建立一个标准的人脸模板。这个标准人脸通常 是正面的，相关的参数都由人工设置或利用函数式表达。检测过程中计算输入图 像和模板之间的相关系数，常用的特征包括脸的轮廓、眼睛、嘴、鼻子等，当计 算出的相关系数超过了预设的门限，则认为相应位置存在人脸。 模板匹配方法最大的优点是应用简单，运算量相对较少，但是由于人脸模板 都是预先定义的，这就导致了在检测过程中无法很好地适应人脸尺寸、形状、姿 态的变化。针对这个问题，研究者们提出了多分辨率模板、多尺寸模板、子模板、 弹性模板等改进方法。 模板匹配法的关键在于人脸模板的建立。人脸模板的好坏对整个检测算法具 有决定性的意义。建立模板最简单的方法就是平均法，首先采集大量的人脸样本， 对其进行光线调整、灰度归一化、尺寸调整等图像的预处理，然后将各个样本相 加进行算术平均就可得到平均人脸模板。 s a k a i 等 1 6 】在图像中正面人脸检测的研究中使用了子模板的方法。该方法 、 对嘴、鼻子、眼睛和脸的轮廓分别建立了子模板，并用这些子模板组成人脸模型。 子模板建立在线条分割的基础上，对输入图像首先进行基于最大梯度变化的线条 分割提取，然后将提取出的线条与人脸轮廓子模板进行比较以确定候选人脸的位 置。最后其它子模板与候选区域的相应位置进行比较，计算相关系数并确定人脸。 这种方法首先确定检测的重点区域，然后再用检测细节的子模板进行检测，这种 思想被后来许多人脸检测算法采用。 研究者们通过观察发现虽然当照明条件发生变化时，人脸区域的亮度也会发 人脸识别系统与人脸检测算法研究引言 生不同程度的变化，但某些区域( 如额头、眼睛、鼻尖) 的亮度变化并不明显。 根据这种不变性可以建立一些模板进行人脸检测。s i i l l l a 1 7 1 8 基于这种思想建 立了一个关于图像空间域不变性的集合来描述人脸模型。首先计算出两个区域的 亮度比率，然后根据亮度差异得到区域间关系组成的不变特征的编码。检测过程 中，如果一幅图像满足所有明暗关系的限制，则认为中间存在人脸。 y u i l l e 等【1 9 】提出了基于弹性模板的人脸特征提取方法。该方法使用一系列 参数化的可调模板描述人脸特征，同时定义了一个能量函数来响应可调模板的参 数。当使用弹性模板进行人脸检测时，根据输入图像动态调整模板的参数，并计 算能量函数。当能量函数值达到最小时，由此时模板所处的位置和模板参数就可 以确定人脸的具体位置。这种方法与传统模板匹配方法相比适应能力更强，但是 需要在检测前根据待检测物体的特点调整参数，否则会影响收敛结果。 1 2 4 基于表象的方法 与模板匹配相比，基于表象方法的模型其参数来源依靠的不是经验，而是从 一系列具有代表性的训练图像中学习得来，是可以随着样本库的完备而逐渐改善 的。寻找区分人脸和非人脸图像相关特性的训练技术有统计分析和机器学习。学 习总结出的特性以分布模型或者判别函数的形式表示。现在许多人脸检测方法都 是这种基于表象的方法。 基于表象的方法中最具有代表性的就是人工神经网络。人工神经网络是一种 应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在这一模型中， 大量的节点( 或称“神经元 、“单元”) 之间相互联接构成网络来处理信息。在 实现图像识别时，只需要先把许多不同的图像样本和对应的识别结果输入人工神 经网络，网络就会通过自学习能力，慢慢地学会识别类似的图像。r o w l e y 和 k a n a d e 2 0 2 1 1 1 2 2 在1 9 9 6 年提出用人工神经网络的方法进行人脸检测，设计出 基于神经网络的多层感知器。该检测系统将人脸区域划分成多个矩形子区域作为 描述人脸的局部特征。神经网络的输入层对应2 0 * 2 0 像素的子图像，隐藏层的节 点对应不同的人脸区域，每个区域对应一个神经网络隐含单元。检测时将对神经 网络在多个分级上的输出进行判决以降低误检率。在训练过程中，r o w l e y 等人 通过自举的方法不断更新非人脸样本，并进一步修正分类器参数，提高了检测效 9 人脸识别系统与人脸检测算法研究引言 果。 o s u n a 等人 2 3 】将支持向量机( s u p p o r tv e c t o rm a c h i n e ) 方法应用在人脸检 测上。s v m 是一种基于统计学习理论的模式识别方法。其原理是在结构风险最 小化基础上，为两种不同类别的样本数据找到一个最优分类面，可以说是一个受 限二次规划问题。s v m 的人脸检测效果和s u n g 等人【2 4 所用方法的检测效果相 似，然而速度却提高了3 0 倍。，h e i s e l e t 等人【2 5 】采用两级s v m 的方法来检测人 脸。根据一些预定义的特征点，从训练集中提取人脸和非人脸图像区别最显著的 多个局部区域。检测时，用多个简单的线性s v m 分别检测各个人脸特征区域。 并附加一个简单的线性s v m 对各个可能的人脸部分的几何组合进行是否符合人 脸结构的判断。相比将整个人脸作为特征，该方法获得了更高的检测率。 1 2 5 动态人脸检测技术 动态图像人脸检测通常以静态图像人脸检测技术为基础，结合视频序列中物 体的运动信息或运动模型进行检测。与静态图像的人脸检测不同，动态人脸检测 技术在追求高检测率的同时更强调检测的速度。动态图像数据量大，而且人脸通 常只出现很短的时间或在不同的位置间运动。如果系统检测速度过慢就很可能只 对少部分序列进行了检测而无法对人脸进行连续的跟踪。传统的人脸检测方法往 往将更多的注意力集中在检测的精度上，如基于神经网络、模板匹配等方法的人 脸检测技术的检测率普遍在9 0 以上，但是检测时间难以达到实时的水平。此外 基于运动信息的视频对象分割技术也存在类似的问题，分割精度好的方法通常计 算量非常大，使得利用运动信息减少人脸检测的搜索空间的策略变得毫无意义。 因此如何提高人脸检测速度及如何利用运动信息成为了动态图像人脸检测技术 中的核心问题。 利用运动信息进行物体分割通常有三种方法： ( 1 ) 光流法 物体运动时，图像上对应于物体的亮度模式也在运动。光流法检测技术利用 的就是目标随时间变化的光流特性。利用光流法可以通过计算位移向量的光流场 来初始化目标的轮廓，从而使基于轮廓的跟踪算法有效地检测和跟踪目标。 特征光流法的主要优点在于目标在帧间运动的限制较少，可以处理大的帧间 l o 人脸识别系统与人脸检测算法研究引言 位移：缺点则是大多数光流计算方法相当复杂，且抗噪性能差，如果没有特定的 硬件支持，一般很难应用于视频序列中运动目标的实时检测。 ( 2 ) 帧间差分法 帧间差分是检测相邻两帧图像之间变化的最简单、最直接的方法。主要思想 是先直接比较两帧图像中对应像素点的灰度值的不同，然后通过阈值来提取序列 图像中的运动区域。第k 帧图像f k ( x ，y ) 和第k + l 帧图像f k + l ( x ，y ) 之间的变化可用 一个二值差分图像d ( x ，y ) 表示： 川二 丘“五力“。犹二( 1 - 2 ) 上式中t 为差分图像二值化的阈值。二值图像中为“0 的像素对应前后两 帧图像间没有发生( 由于运动而产生的) 变化的地方，为“l ”的像素对应两帧 图像间发生变化的地方。这常是由目标运动而产生的。 为了改进连续图像的帧间差分效果，人们提出了一种利用连续三帧图像检测 运动目标的算法。这时判断一个像素点是否属于运动目标的原则如下： 脚) = 乙引纵五力“1 川汀册圳凡“五力“ 艺凝( 1 - 3 ) 帧间差分的运动检测对于场景中的光线渐变不敏感，检测有效而稳定。但一 般不能完全提取所有相关的特征像素点，在运动实体内部容易产生空洞现象。检 测位置不够精确，特别是当目标的运动速度较快，在相邻帧之间的运动位移较大 时，这种方法将导致差分图像中运动变化区域内的被覆盖和显露的背景区域较 大，从而极大地影响运动目标区域的准确提取。 ( 3 ) 背景消减法 在摄像头固定的情况下，背景消减法是常用的运动目标检测方法：其基本思 想是将当前帧图像与事先存储或实时得到的背景图像相减。若差分图像中像素大 于某一阈值，则判断此像素点属于运动目标区域；否则，就判断此像素点属于背 景区域。阈值操作后得到的结果直接给出了目标的位置、大小、形状等信息。 背景消减法操作简单，检测位置准确且速度快。但通常的背景消减法对光线、 天气等光照条件的变化非常敏感，运动目标的阴影也常常被检测为运动目标的一 部分，这将影响检测结果的准确度。因此，在不受控的自然环境下的检测过程需 人脸识别系统与人脸检测算法研究。引言 要加入背景图像的更新机制。此外，背景消减法也不适用于摄像头运动或者背景 灰度变化很大的情况。 动态人脸检测通常利用运动信息进行图像分割得到人脸的候选区域，或者根 据前一帧检测结果预测当前帧的人脸候选区域，从而减少了搜索空间。精度高的 检测分类器只需用来进行人脸的确认。 梁路宏等【2 6 】提出了一种以检测技术为基础的人脸跟踪算法。先使用静态人 脸检测技术自动定位并初始化人脸位置等信息，再根据人脸检测结果预测当前帧 中人脸可能的尺度与处所范围。在限定的范围内采用模板匹配与人工神经网络分 类的方法定位人脸，从而实现快速而可靠的人脸跟踪。在具有复杂、动态变化背 景的图像序列中，该算法取得了很好的跟踪效果。 通过上面的介绍可以看出，人脸检测问题涉及的领域十分广泛。而现有的成 熟的人脸检测方法一般都是针对某一特殊问题提出的。受各种变化因素的影响， 实现通用的人脸检测方法还不现实。解决不受某种特定条件或某种应用背景约束 的人脸检测问题仍将是目前研究的主要课题。具体可分为以下四个方面： 1 由于人脸模式所呈现的多样性，人脸图像的空间分布异常复杂，有限的 样本集难以覆盖全部人脸图像子空间，而在高维空间中建立准确的分布模型又是 复杂度很高的数学难题。如何有效地描述人脸在子空间的分布就成为值得深究的 一个学术方向。非线性变换和混合模型是目前描述人脸特征分布的有效方法，还 需要研究新的模型以获得更加准确的人脸描述和与非人脸的区别信息。人脸局部 和整体信息的相互结合能较好地描述人脸特征，有效地提取和组合局部与整体信 息也是提高系统性能的一个途径； 2 对于复杂背景的图像，如何有效地区分类似人脸的区域和真正人脸区域 也是一个重要的技术难题。提出新的分类方法是提高检测性能的主要途径。研究 中可以借鉴字符、语音、指纹等识别中比较成功的分类方法： 3 目前的人脸检测算法还不能较好地处理任意姿态、光照和遮挡等变化条 件。开发高性能的人脸检测方法仍是主要的研究方向。由于不同的人脸描述方式 有不同的特点，不同的分类器产生的分类结果也不一样，多个特征融合和分类器 融合的方法可以有效提高检测性能； 4 由于大多数应用都是面向实时性处理，这要求人脸检测算法简单、快速。 1 2 人脸识别系统与人脸检测算法研究引言 视频序列中物体的运动信息是进行人脸检测的重要线索，如何快速高效地利用运 动信息仍需要人们进行更深入的研究。 1 3 技术难点与热点 虽然人类自身有着在复杂背景中检测人脸的非凡能力，即使观察条件、种族、 表情、年龄、伪装等不同而引起视觉刺激很大变化，这种能力也相当的稳定j o 但 模拟人类的这种视觉机制，并进一步构建自动检测系统已被证明是一个非常困难 的任务。概括起来，难点主要存在于以下方面： 1 人脸在细节上存在非常复杂的变化。如外貌、肤色的个体差异显著，即 使同一个人也存在不同的表情模式； 2 眼镜、胡须、刘海等附属物或其他外部物体的遮挡，有可能部分面容缺 失，而增加人脸的模式空间； 3 由于成像角度的不同而造成人脸的多姿态，如平面内旋转以及上下旋转； 4 无法预测偏射方向的光照影响，如亮度、对比度的变化和阴影； 5 图像的成像条件，如摄像设备的焦距、成像距离、图像获得的途径等。 人脸检测是一类复杂的模式分类问题。从不受限的背景中分割出所需要的敏 感目标，要求快速精确，它是计算机视觉研究中一个富有挑战性的课题。 1 4 论文安排 论文对研究中的工程实践和算法探讨分别作了阐述。全文的叙述脉络如下： 第一章人脸检测技术综述，介绍了生物特征技术在人脸方向的发展状况， 讨论了此类目标检测问题研究的意义，并对当前自动人脸检测系统的主流算法进 行了简单的分类比较； 第二章 工程实践部分一人脸识别系统框架的详细介绍； 第三章对基于表象的人脸检测系统，特别是作为本文研究基础的a d a b o o s t 算法作出分析与介绍： 第四章提出对a d a b o o s t 算法进行了改进的n e b 算法； 第五章提出建立在l b p 基础上的新特征形式l b h f ： 第六章总结，指出研究中所出现的问题，和今后的发展方向。 人脸识别系统与人脸检测算法研究人脸识别系统平台 第二章人脸识别系统平台 2 1 系统规划与目标 经过多年研究，实验室已经在生物特征识别中的人脸识别方面积累了丰富的 理论与技术成果。在底层算法以臻完备的情况下，需要构建一个稳定而整合了所 有识别步骤的人脸识别展示系统平台，自动完成从原始数据输入到人物身份确认 并报告存档的完整流程。系统的应用性目的要求它必须具备相当的产品实用性。 这在p c 机上用软件实现，就体现为人机交互界面图形化，且与其它相关图形界 面软件产品操作方式兼容。这样，只要用户熟悉w i n d o w s 操作系统平台，就能 够方便无误地使用该人脸识别系统。另外，由于用户并不一定了解人脸识别的详 尽流程，系统工作过程中可能会出现很多操作性错误。这就要求系统必须具有很 强的冗错功能，能及时根据用户的动作在界面上给以提示，对各种各样的误操作 在设计上做出防范性的异常处理。通过需求分析，初步规划出系统的应用环境和 功能机制，如图2 1 所示。 售净& q 溶多纵 系统管理 b 员 图2 - 1 人脸识别算法展示系统 如上图所示，人脸识别算法展示平台基本上由三部分构成。各细化的功能 1 4 人脸识别系统与人脸检测算法研究 人脸识别系统平台 模块中，数据输入与结果报告和界面相关，是系统直接面向用户与外界信息交互 的接口；数据预处理、人脸检测、人脸识别以及样本训练模块封装了算法操作， 是系统的核心所在，与算法设置、算法加载这类管模块一起属于系统算法部分的 底层机制；而数据库加载、数据源加载、数据库信息采集与数据更新都是围绕着 数据模型展开，是系统数据管理的底层机制。数据库信息采集模块负责与算法模 块的数据沟通。算法模块的各部分都是由不同的研究人员独立完成的，却要做到 彼此之间的无缝隙连接。这就要求类型与函数接口的定义必须统一。各算法虽然 自成体系，却通过操作相同的数据结构进行联合。不仅结构相同，算法对各数据 意义的定义也需要遵从统一的标准。然而对于算法实现人员来说，这个拟合很难 顺利进行，只能在系统级别上对其进行调整。除此之外，在今后的研究过程中， 还将不断引入新的算法和应用方式。所以系统的架构必须设计成开放式的，能够 陆续补充更新模块内容，实现可扩展。异常处理机制则处于系统控制的中心，涉 及系统架构的方方面面，在运行期间维护系统安全与稳定。 系统在直观上以图像输出的形式来表现各算法成果的精度与效率。这虽然不 要求计量功能模块运行的精确时间，却也需要将延迟限制在用户能够容忍的范围 之内。如对静态图像的检测识别，从用户提出处理要求到最终结果报告，其时长 不应该超过5 秒的数量级。而视频检测的反应时间更需要控制在6 5 m s 以下，唯 有这样，在以不影响视觉观察的极限播放速度1 5 帧s 进行序列输出时才不会出 现跳帧、空帧等错误现象。程序速度的提高需从两方面着手，第一是算法级的优 化，这要由相关的算法研究人员来实现，不属于系统架设的研究范畴：第二就是 系统层次上的加速，通过数据流和控制流合理有序的调度，以高内聚、低耦合的 对象设计来达到目标。 总结起来，为使系统稳健安全，高效实用，其实现需要在下面几个方向下功 夫： ( 1 ) 整套系统的数据结构、类型和函数的接口定义必须完整且高效，具有 很强的可编程性和可扩展性； ( 2 ) 程序框架必须具备优秀的人机交互，屏蔽掉系统内部复杂的调度和数 据处理，以亲切友好的用户界面为使用者提供服务； ( 3 ) 因为涉及到多媒体数据库，存储量较大，需要仔细定义相关的实体与 联系，既要降低冗余度，又要能够实现便捷的查找操作： ( 4 ) 除输入数据外，其他系统所需要的信息都由框架自行负责生成和管理。 人脸识别系统与人脸检测算法研究人脸识别系统平台 必须详细考察所有数据流向，规划设计清晰的数据脉络结构和存储方案； ( 5 ) 为实现程序组织结构的紧密耦合，能够宏观控制系统运行的效率。决 定采用面向对象的c + + 语言加上o o d 的方法来完成本系统的构建。 2 2 宏观分析与微观设计 为实现信息隐藏和分工明确，系统在设计上要求外在视图与内部的逻辑结构 严格分开。由此从宏观上，系统架构以目前比较流行的o o d 的设计模式圳c 来实现。m v c 是m o d e l v i e w - c o n t r o l l e r 的缩写，是一种层次清晰、功能有序的 设计模式。在m v c 中，系统被分为3 层，m o d e l 代表系统的模型层，v i e w 是模 型的展现层，c o n t r o l l e r 则负责业务的流转。从功能上看，相当于一种中间层通 信的c w s 模型。 v i e w 是系统的上层建筑，负责用户交互，也就是界面实现层。它与中间层 c o n t r o l l e r 互相通信，将用户输入传递给c o n t r o l l e r 并将c o n t r o l l e r 的返回结果显 示出来。 图2 2 展示了基于m v c 的人脸识别系统结构图。其中，控制中心位于 c o n t r o l l e r 层；人机交互界面位于v i e w 层；而涉及算法的内核在封装在m o d e 1 层内。 图2 - 2 系统结构图 1 6 人脸识别系统与人脸检测算法研究人脸识别系统平台 通过需求分析可以确定，人脸识别算法展示平台将提供一个傻瓜型接口给普 通用户。使用者只需要选择适宜的数据输入方式包括静态图像输入和动态视 频输入以及各步骤中所意愿采取的算法，启动系统。其它功能的调用均由系统自 动完成。因为系统的目的是展示各项算法的实现效果，所以采用了根据选择实时 加载的算法管理方式。如果升级为完全应用性平台，则可以更为傻瓜一些。将版 本已经稳定的算法在相同的测试集上计算出时间空间代价及准确度，建立不同的 等级。实际应用中，用户只需要提交自己的安全性和实时性要求，系统将自行加 载对应于相应等级的算法。算法运行的结果，系统将以图像的方式及时报告给用 户。比如，检测到的所有人脸区域；从数据库模板中比对出的人脸图像及身份信 息与用户交互的界面由三部分构成：系统设置对话框、图像显示视图及结果 报告展示栏。其中结果报告中的检测与识别结果以装饰模式( d e c o r a t o rp a t t e r n ) 的形式，内嵌在图像显示的视图中。 图2 - 3 普通用户界面 系统另外的潜在使用者还有管理员。管理员对系统的调用相对复杂一些。主 要涉及到对算法与数据库的更新与维护。系统在发展过程中会不断引入新的数据 源，各算法也必须在数据源扩展时进行参数调整，以更完备的数据集来提高算法 能力。这些操作都将交由管理员来完成。系统在界面规划时给管理员另分配了高 级设置的界面空间，来完成上述任务。 1 7 人脸识别系统与人脸检测算法研究 人脸识别系统平台 查看数据穗一一 厨翟 广绳人艟图像 开始训练 - - _ _ _ _ _ 二；“_ - 一 ? ，夕学麓。曩 删蓖梗投数据淫 - 。_ _ - _ _ - “ - - 。_ _ - _ _ _ 一 g a l l e r y t 提取特征 图2 - 4 系统管理员交互界面 中间层c o n t r o l l e r 是系统的枢纽，主持全部的管理工作，控制数据的流动方 向，启动融合算法，维护数据库更新。控制中心主要由算法和数据两个管理机制 组成，一方面负责从视图得到用户输入，转换成标准格式，交于底层的算法模块 进行处理；另一方面调用底层的数据操作模块对算法进行统筹安排，并根据处理 。 结果从数据库中调取必要信息，通知界面返回报告给用户，其中涉及到很多关于 数据库的i 0 操作。除了算法运行期间对数据库的调用外，数据库管理子系统 还用来对数据进行日常维护，包括建立新的图像数据源( 如大型数据库的整体调 入和单张图像入库及身份信息入库) ，管理算法信息( 算法代码及相关特征数据 源更新) 等。异常处理作为一个无所不在的全局监控模块，也嵌在中间层的核心 机制里，以责任链( f a c a d ep a a e m ) 的模式，实现着对系统的安全维护。 m o d e l 层是系统的底层，负