（信号与信息处理专业论文）人脸画像识别算法研究.pdf

摘要 摘要 人脸识别是模式识别领域的一个研究热点，而画像识别则是人脸识别的一个 全新的分支，它通过对人物画像的处理并在已有的照片数据库中检索，从而确定 其身份。该技术在刑事案件侦破、安全保卫、身份认证等领域具有较大的实用价 值。本文重点开展人脸画像识别方法的研究。 首先，深入研究了人脸的检测与定位方法，建立了一个人脸自动检测系统， 为后续的人脸识别提供了精确的器官位置；其次，针对人脸画像的特点，提出了 一种基于离散余弦变换( d c t ) 的画像识别方法，以及一种适用于画像的几何归 一化方法；最后，研究了现有的几种人脸识别方法在画像识别中的应用，通过对 包括本文提出的基于d c t 方法在内的几种识别方法作对比实验，分析了画像和照 片在特征上的差别，并总结出用于画像识别的方法所应具有的基本特点。 大量画像数据的对比实验表明，对人脸图像的对齐要求不严格、不依赖于图 像灰度值本身的识别方法，能在画像识别中取得较好的识别效果。这也是本文提 出的基于d c t 的识别方法能取得良好效果的原因。 关键词：人脸画像识别检测 a b s t r a c t a b s t r a c t f a c er e c o g n i t i o na t t r a c t sm u c ha t t e n t i o ni nt h ef i e l do fp a a e mr e c o g n i t i o n ，w h i l e f a c ep a i n t i n gr e c o g n i t i o ni san o v e lr e s e a r c hb r a n c ho ff a c er e c o g n i t i o n f a c ep a l m i n g r e c o g n i t i o ni st h es e a r c hi na ne x i s t i n gf a c ep i c t u r ed a t a b a s eb yp r o c e s s i n gi t f i r s t t h i s t e c h n o l o g y w i l lb e w i d e l y u s e di n c a s e s o l v i n g ，p u b l i cs e c u r i t y a n d i d e n t i t y a u t h e n t i f i c a t i o n f i r s t l y t h e p a p e r s t u d i e s t h e a l g o r i t h m s o ff a c ed e t e c t i o na n dl o c a l i z a t i o n t h o r o u g h l ya n de s t a b l i s h e s a na u t o m a t i cf a c e d e t e c t i n gs y s t e m ，w h i c hp r e s e n t s t h e p r e c i s el o c a t i o n so ft h ea p p a r a t u sf o rt h es u c c e s s i v er e c o g n i t i o nm e t h o d s e c o n d l ya p a i n t i n gr e c o g n i t i o nm e t h o d b a s e do nd i s c r e t ec o s i n et r a n s f o r mi sp r e s e n t e d an o v e l a p p r o a c ht og e o m e t r i c a ls t a n d a r d i z a t i o nw h i c h s u i t st h ed c tb a s e dm e t h o di sa d o p t e d f i n a l l yt h ep a p e rs t u d i e st h ea p p l i c a t i o no fs e v e r a lf a c er e c o g n i t i o na l g o r i t h m si nf a c e p a l m i n gr e c o g n i t i o n b yc o m p a r i n gt h ee x p e r i m e n t a lr e s u l t s o ft h e s ea l g o r i t h m s ，t h e d i f f e r e n c e sb e t w e e nt h ef e a t u r e so fp i c t u r e sa n dp a i n t i n g sa r ea n a l y z e d ，b a s e do n w h i c h ，t h ec h a r a c t e r i s t i c so f f a c ep a i n t i n gr e c o g n i t i o na l g o r i t h m ss h o u l dh a v ea r eg i v e n t h ee x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h o s ea l g o r i t h m st h a td on o tr e q u i r eas t r i c t j u s t i f i c a t i o no f t h ef a c ei m a g e sa n dd on o td e p e n do nt h eg r a ys c a l ev a l u ei t s e l fw i l l a c h i e v ear e l a t i v e l y h i g hr e c o g n i t i o np e r f o r m a n c e a m o n gt h e s ea l g o r i t h m s i st h e m e t h o db a s e do nd i s c r e t ec o s i n et r a n s f o r m k e y w o r d ：f a c e f a c ep a i n t i n g r e c o g n i t i o n d e t e c t i o n 独创性( 或创新性) 声明 y 5 8 3 6 3 5 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论 文中不包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科 技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：翌塞日期：丝垡垒! 塑1 9 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保 证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技 大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布 的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密 的论文在解密后遵守此规定) 本人签名：i 塞 新繇琢z ! 告 第一章绪论 第一章绪论 i i 研究背景及意义 人脸识别技术就是利用计算机分析并提取人脸特征，对人脸图像进行自动识 别确认其身份的技术。人脸识别是生物识别技术的一种，其它生物识别技术还包 括指纹识别、掌纹识别、虹膜识别和语音识别等。与其它生物识别技术相比，人 脸识别以其直接、友好、方便的特点而备受青睐，目前人脸识别已成为模式识别 领域的一个研究热点。人脸识别技术在银行、机场等的安全系统、基于内容的检 索、刑侦破案等领域有着广泛的用途。随着世界反恐行动的推进，人脸识别成为 国际上最受重视的的反恐科技手段之。目前，已有商家推出基于照片的人脸识 别系统产品，它们在门禁安全、刑侦破案等领域发挥了重要作用。在政府部门里 人脸识别系统也已经开始承担各种不同的任务。 画像识别就是利用人的画像在照片数据库中进行检索，找到与其对应的照片 从而确定其身份。在无法获得要搜索对象的照片，但可以通过目击者和画家的合 作得到其画像的情况下，要在人脸数据库里自动检索目标时，就有赖于对画像识 别的研究。国际上尚没有画像识别的研究报道，但反恐、刑侦等领域已经提出这 方面的要求，因而有必要对画像识别方法做一个深入的研究。 在刑侦破案过程中，如果不能得到犯罪嫌疑人的照片，则只能根据目击者的 描述画出犯罪嫌疑人的概貌，然后到数据库中去比对。如果依靠人工在大型数据 库中去查找，必然会浪费大量的人力物力。为了提高办案人员的工作效率，就需 要一个画像的自动识别系统，实现画像的自动检索。尽管在政府急需基于画像的 人脸识别系统，但是目前尚缺乏这方面的有效研究。两个主要的困难在于：一是 目前缺乏人像画像数据库，建立画像数据库是耗时耗力而且花费极高的工作：二 是画像标记的非客观性，每个人的画像和照片总有较大的不相似性，很容易判断 成不同的人，因此缺乏有效的判断依据，使得这方面的研究相当薄弱。由于画像 与照片的不同产生机理和不同的信息表达方式，人类在识别两者时所依据的特征 是不同的，机器也是一样。按现有的人脸识别算法识别画像，必然会遇到一些新 的问题。针对这些问题，有必要研究画像和照片的特征差异，以及当前成功应用 于照片识别的算法在画像识别中的应用效果，寻找适合于画像的识别方法。 该项研究的成采主要应用于反恐安防、刑侦破案等领域，将大大提高安防工 作的可靠性和工作人员的工作效率，该技术的研究成果将对刑侦破案和安全监控 人脸画像识别算法研究 等产生积极的推动作用。 1 2 研究进展及其现状 人脸自动识别系统包括两个主要技术环节：首先是人脸检测与定位，即自动 从输入图像中找到人脸及人脸的尺寸及位置，并将人脸从背景中分割出来，然后 刁是对归一化的人脸图像进行特征提取与识别。一个人脸自动识别系统的框图如 下： 图1 1 人脸自动识别系统 这两个环节的研究独立性很强。由于在很多特定情况下，人脸检测与定位的 工作相对比较简单因此。“特征提取与识别”环节得到了更为广泛和深入的研究。 我们的研究工作主要集中在人脸画像的识别算法上，但画像识别系统是一个整体， 缺少了人脸检测就不能实现人脸画像的自动识别。为此，我们做了一个人脸的自 动检测与定位系统，将人脸图像处理成待识别的标准图像，为后续画像的识别做 好准备。 1 2 1 人脸检测算法 对于一般应用的人脸检测，情况是非常复杂的，人脸模式的多样性和背景的 复杂性对人脸检测算法提出了非常苛刻的要求。人脸检测的困难主要表现在以下 几个方面： ( 1 ) 人脸表情的多样性，人脸器官形状、尺寸的变化很大，难以用统一的人 脸模式表示； ( 2 ) 人脸图像的成像条件比较复杂，不同的成像条件下获得的人脸图像差别 很大； ( 3 ) 人脸上存在的各种饰物，如眼镜、胡子、发型等； ( 4 ) 图像背景的复杂性，排除各种干扰，稳定地从复杂背景中找到人脸图像 是很困难地。 当前豹人脸检测算法主要有以下几类1 基于模板匹配的方法、基于特征脸 的方法、基于神经网络的方法、基于特征的方法等。 1 基于模板匹配的方法 该方法的思想是计算测试样本与训练样本的相关性，设定一个门限，与训练 第一章绪论 样本相关性较强的认为是人脸，否则认为是非人脸。如梁路宏等在口】中构建了一个 基于模板的人脸检测系统，模板包括用于粗检的双眼模板和用于细检的5 个不同 长宽比的人脸模板，模板是将样本中人脸区域手工提取出来，最后做平均得到的。 对于一幅待检测的人脸图像，穷举搜索图像中所有可能的不同尺寸和长宽比的窗 口图像，计算每个窗口图像与模板的相关系数和图像对应灰度值的平均偏差等参 数。综合各个参数，给出一个图像匹配程度的度量，然后设定一个门限，高于门 限的窗口图像内被认为是存在候选人脸的区域。最后，利用马赛克规则进行人脸 的验证。 上述方法是基于固定模板的方法，其限制是精度不高，适应性不强。c h o w 等 4 1 通过自动产生自适应的曲线和曲面为人脸图像构造可变形的模板，对人脸图像进 行弹性匹配。该方法的特点是对复杂的人脸图像具有一定的自适应，但对于背景 复杂的图像，其计算量较大。 2 基于特征脸的方法 p e n t l a n d 等在口6 j 中提出了一种基于特征子脸的人脸检测方法，该方法的思想 是：人脸作为一种特定的模式，具有一些统一的共性，那就是人脸图像是几种人 脸器官的组合，如果将不同人脸图像的器官互换它们作为人脸的属性不会变化。 类似于特征脸的人脸识别方法，该方法在图像集合上做k l 变换，将图像表示为 一系列特征图像的线性组合。不同的是，在人脸识别中，整幅人脸图像被表示为 一系列特征脸的线性组合。而在人脸检测中。是将人脸器官图像表示成一系列特 征器官的线性组合。基于此，作者构造了特征脸、特征唇等，计算被测图像与特 征予空间的距离，根据是否小于某- - f - 限来判定其是否属于该子空间。 3 基于神经网络的方法 r o w l e y 等在【7 】中建立了一个基于神经网络的人脸检测系统。他们以大小为2 0 2 0 的图像窗口作为神经网络的输入，神经网络的输入范围为1 到1 ，通过输入 来判断图像窗口中是否包含入脸。在进行人脸检测前，需要大量的入脸和非人脸 样本对神经网络进行训练。他们大约采集了1 0 5 0 张人脸样本图像，这些图像中所 包含的不同大小、方向、位置的人脸经过正规化后提供给神经网络进行训练：对 于非人脸样本的采集，首先建立一个小的非人脸样本集，将这些非人脸样本集送 入神经网络进行训练。然后用训练好的神经网络对其他非人脸图像进行分类，将 分类错误( 即被误别为人脸) 的图像加入到原来的非人脸样本集合中，重新对神 经网络进行训练，如此反复多次，就完成了对神经网络的训练。由于神经网络的 输入图像是经过缩放处理的，所以，对于一个正确的人脸位置，可能在几个窗口 图像中检测到它，为了给出一个唯一正确的结果，该系统通过判断确定一个最佳 的窗口图像。 人脸画像识别算法研究 4 基于特征的方法 基于特征的人脸检测方法，先检测出入脸上器官的位置，利用对于人脸器官 空间分布的先验知识，找出图像中的候选人脸，然后再对候选人脸进行验证。基 于特征的方法可分为两种：基于知识的方法和基于局部特征的方法【2 l 。其中，基于 知识的方法是首先确定候选人脸的位置，然后利用对人脸的先验知识判断该区域 内是否存在人脸；而基于局部特征的方法是先检测到图像中的特征点。然后利用 对人脸的先验知识将这些特征点组合成可能的候选人脸，再对候选人脸进行验证。 另外，彩色图像中的人脸检测还经常用到人的肤色信息。人脸肤色在y - u - v 、 y - i - q 等颜色空间中的分布相对比较集中，可以利用肤色快速确定或缩小候选人脸 区域。 1 2 - 2 人脸识别算法 人脸识别的研究最早始于2 0 世纪6 0 年代，最早的研究见文献1 8 】，其后人脸识 别的研究进入了一个低谷，到2 0 世纪8 0 年代，国际上又掀起了一场人脸识别的 研究热潮。到目前为止，已公开发表的人脸识别论文己多达上万篇。 目前，基于照片的人脸识别的研究是模式识别领域的一个研究热点。人脸识 别对于人类而言可以说是轻而易举，而对于计算机则非常困难。其原因主要是由 于人脸表情的变化、人脸的旋转、光照的变化以及人脸上的饰物的不确定性。 早期人脸识别研究主要有两个主要的方向1 9 】= 一种是基于几何特征的方法1 81 0 1 ， 这种方法以提取人脸器官和轮廓在空间分布的几何参数为特征，如描述器官的参 数、器官之问的距离、人脸轮廓的形状等，每一个几何特征作为特征向量的一维。 7 ：k a n a d e 0 0 l 建立了一个基于几何特征的人脸自动识别系统，该系统对人脸上的特 征点自动定位，提取了入脸上的1 6 个几何特征，采用最近邻分类器对测试样本进 行分类，获得了2 0 幅图像中正确分类1 5 幅的识别率。另外一种方法是模板匹配 的方法【l t l ，利用模板和图像的自相关性作为测试样本和训练样本之间的相似度准 则。r ，b r u n e l l i 通过将两种方法对比，认为基于几何特征的方法计算速度快，所需 存储量少，但识别率较低：丽模板匹配的方法计算量大，需要的存储空间大，但 识别率高于前者。 近几年新的人脸识别算法不断涌现，主流的人脸识别方法主要有：基于k - l 变换的方法【1 2 13 1 、基于弹性图匹配的方法【1 41 516 1 、基于神经网络的方法、基于 h a u s 幽，矿距离的方法1 92 0 1 、基于隐马尔可夫模型的方法【2 2 】等。 1 基于k l 变换的方法 特征脸方法用k - l 变换来表示和识别人脸【5 13 1 。一旦一组特征矢量或特征脸从 全部人像的协方差矩阵中获得，其中任何人像都可以利用这些特征脸的加权组合 得到其近似图像，而这些权值构成该人像的特征矢量。当给定测试图像，通过向 第一章绪论 特征脸上投影即可获得该图像的权值。这样人脸识别问题就转化为比较测试图像 特征矢量与训练图像特征矢量间的相似性测量。由于所有人像之间的结构相似性， 人脸图像问存在强相关性，通过k l 变换特征脸方法利用此相关性获得高度压缩 的人脸表示方法，从而大大提高人脸分类的效率。 2 基于弹性图匹配的方法 弹性图匹配方法最早是由l a d e s 1 5 等人提出。该方法用带标记的图表示一幅人 脸图像，图的结点被定义为方形网格的交点【1 5 】，或者一组基准点上【1 4 】。每个结点 用一个被称作j e t 的特征矢量所标记，每个j e t 由结点附近的人像区域在5 个分 辨级和8 个方向上的4 0 组g a b o r 滤波器的输出构成。图的边由结点间的距离来标 记。通过定义一个准则函数就可以比较不同图的相似性。在进行弹性匹配以前， 首先需要对每个训练图像建立一个模型图，即在人像上人工定位的基准点上计算 j e t 的各个分量。然后弹性匹配比较测试图像和每个模型图。在这一过程中，测试 图像需要递归地调整图结点的位置并计算不同结点的j e t 。当图的调整收敛时，计 算它与模型图问的相似性，从而得到识别结果。该方法的优点在于人脸变化的不 变性，如表情、旋转等，但是，运算代价太高。 3 基于神经网络的方法 神经网络具有很强的学习功能，将图像的跃度信息或对图像提取的特征输入 神经网络进行训练，输出为人的身份信息。将灰度信息直接送入神经网络进行训 练，则容易受到图像光照、位置等变化的影响，所以大部分的神经网络的方法都 是先提取图像的特征，再将图像特征送入神经网络进行训练和分类2 扪。人脸识别 中常用的神经网络主要有多层感知机( m l p ) 、径向基网络( r b f ) 等。r o w l e y l 2 4 1 建立 了一种三层前向网络，网络的输入为2 0 2 0 的图像区域，隐层的输出与输出层相 连进行判断分类，输出范围在【- 1 ，1 】之间，表示该区域是否为人脸。基于神经网的 方法便于建模，鲁棒性较好，但是训练时间比较长。 4 基于h a u s d o r f f 距离的方法 d u b u i s s o n 最早提出了h a u s d o r f f 距离1 1 9 1 ，用于两个二值图像的匹配和计算机 视觉中，其特点是不要求作比较的两个二值图像有精确对应的点对。对于两个点 集a = 扣i ，日2 ，a p 和b = b t , b 2 ，b 。) ，其h a u s d o r f f 距离定义为： h ( a ，b ) = m a x ( h ( a ，口) ，h ( b ，爿) )( 卜1 ) 其中： h ( a ，b ) = m a xm i n l l a 一圳( 1 2 ) a e a h l i $ 目前h a u s d o r f f g 目离有很多种形式，文献【2 0 】给出如下的定义： 人脸画像识别算法研究 h ( a ，口) = 上鼍5 - m 川i n l l a - 圳( i - 3 ) 其中为点集a 中点的个数。 b t a k a c s 在【2 l 】中对式( 卜3 ) 做了改进，提出一种修正的h a u s d o r f f 距离， 即”d o u b l e l y ”m o d i f i e dh a u s d o r f f d i s t a n c e ( m 2 h d ) ，对图像a 中的某边缘点a ，图像 b 中的所有点与a 的最小距离大于某一门限时，认为图像b 中不存在a 的对应点， 这时统一设定一个惩罚因子。t a k a c s 利用s o b e l 算子提取出归一化人脸图像的梯度， 然后设定一个门限，求取人脸图像的边缘图像。然后对每一个测试样本，求其与 每一个训练样本的m 2 h d 值，与其距离最小的被认为属于同一个模式类。t a k i c s 在f e r e t 数据库上取得了9 2 的识别率。 5 基于隐马尔可夫模型的方法 2 0 世纪6 0 年代末和7 0 年代处，b a u m 和他的同事发表了一系列的有关h m m 的经典文章口5 2 62 7 1 ，建立了h m m 的基本理论。8 0 年代以后，h m m 被更多人理解 和掌握，并将之成功地应用在语音识别和印刷体识别中。s a m a r i a 最早建立了关于 人脸的隐马尔可夫模型，该模型的建立基于如下考虑：人脸图像都包含头发、额 头、眼睛、鼻子和嘴5 个显著的特征区域，这5 个特征区域对应着5 个隐含的状 态。将人脸按这5 个区域分割成5 个区域，以各区域内的灰度值为观察向量。n e f i a n 在s a m a r i a 的基础上提出了基于d c t 系数来代替灰度值作为观察值序列【2 9 1 ，既解 决了利用灰度值作为观察向量对光照、人脸旋转等较敏感的问题，又大大降低了 数据量。v vk o h i r 等【2 2 l 利用这种d c t - h m m 的方法在o r l 数据库上取得9 9 5 的 识别率，这是迄今为止报道的在该数据库上的最高的识别率。该方法的缺点是 h m m 训练的计算量较大，时间较长。 1 3 本论文的主要工作和内容安排 本文结合陕西省自然科学基金项目“人脸画像与图像识别方法研究”，主要研 究人脸画像识别方法。首先通过研究现有的一些人脸识别方法在画像识别中的应 用，分析了画像与照片在特征上的异同点，提出了适用于画像识别的方法。另外， 通过实现人脸的自动检测与定位，建立了画像的自动识别系统。本文的内容安排 如下： 第一章绪论。主要介绍了当前人脸检测与人脸识别研究背景和研究现状，最 后给出了本文的内容安排。 第二章人脸的自动检测与定位。介绍了人脸检测主要依据的人脸特征，并实 现了一种基于局部特征的人脸检测算法，为后续人脸归一化和人脸识别提供人脸 第一章绪论 器官的精确位置。 第三章基于d c t 的画像识别方法。提出了一种基于离散余弦变换的人脸画 像识别方法，以及在该方法中必须采用的新的图像几何归一化方法。 第四章画像识别方法的实验对比分析。研究了现有的几种人脸识别方法在j 面 像识别中的应用，通过对包括本文提出的基于d c t 的画像识别方法在内的几种方 法作对比实验，分析了画像和照片在特征上的差异，并总结出画像对人脸识别方 法的要求。 第二章人脸的自动检测与定位 第二章人脸的自动检测与定位 2 1 引言 一般来说，人脸检测的目的是使计算机自动确定一幅图像中是否包含人脸图 像，并给出人脸图像的个数、位置等参数。我们所研究的画像识别主要应用在刑 侦破案中，在这种应用中，我们可以确定图像罩有人脸，而且一般只有一幅，人 脸检测的目的就是确定其位置，对人脸器官( 通常是眼睛) 作精确定位，然后将 人脸从背景图像中提取出来。人脸检测是实现自动人脸识别的前提，这是因为人 脸识别系统的输入图像在人脸大小、位嚣、光照和旋转方向上需要进行归一化处 理，这些都要求先自动检测出人脸的位置并对人脸器官进行精确定位。有些人脸 识别方法如基于几何特征的方法，还利用人脸器官的局部和结构信息作为特征， 这就更需要对人脸器官进行精确定位。 人脸检测中所利用的人脸的特征主要有两种，一种是以统计信息为特征，这 样的方法一般将图像视为一个整体，采用穷举搜索输入图像中所有可能尺寸和位 置的矩形区域的方法，在图像中搜索可能存在的人脸，如基于特征脸的方法；另 一种是利用对人脸的先验知识，找出图像中的候选人脸。然后再对候选人脸进行 验证，排除不是人脸的区域，如基于马赛克规则的方法。 对人脸的先验知识主要包括： ( 1 ) 人脸器官分布的对称性； ( 2 ) 双眉与双眼构成扁长矩形结构，双眼距离与眉眼距离的比值； ( 3 ) 鼻子和嘴均与双眼构成等腰三角形，双眼距离与嘴到双眼连线的垂直 距离之比； ( 4 ) 人脸轮廓呈椭圆形： ( 5 ) 人脸器官区域的像素值比邻近区域的像素值要低( 黑人除外) ： ( 6 ) 人脸器官主要是横纹： 2 2 基于横纹提取的人脸检测 当人脸在图像中的旋转不是特别严重( 双眼连线与水平方向夹角在3 0 。之间) 时，人脸器官如眼睛、眉毛、鼻子和嘴主要是横纹，这样就可以在图像的横纹中 寻找与人脸结构类似的候选人脸，再通过人脸验证得到最后的检测结果【“。根据第 人脸画像识别算法研究 一章的介绍，该人脸检测方法是一种基于局部特征的方法。 2 21 横纹提取 最经典的横纹提取方法是利用l a p l a c e 水平边缘检测算子，如图2 1 所示 图2 1l a p l a c e 水平检测算子 我们的目的是稳定地将人脸器官作为横纹检测出来，每一个器官成为独立的连通 区域，而又要求杂碎的边缘尽可能的少，这样才有利于寻找候选人脸。显然直接 利用l a p l a c e 算子不能取得令人满意的效果，我们采用如下的边缘检测算子【3 0 】： 一ll一1 01l1 一l 一1 一l 0111 111o1l1 111ol 一1 一l 1 1 10 一lll 111o一1 一ll h l一11 一l 一11 111 0o0 11 1 1l1 1 1 1 图2 2 改进的边缘检测算子：a 、b ：倾斜4 5 度的边缘检测算子 c ：水平边缘检测算子 以上三个算子分别表示为：v 、v ：和v ，图像中( f ，) 处的梯度表示为： g ( i ，j ) = m a x ( v l ，v 2 ，v 3 ) 利用该算子边缘的结果为： 啪) = 忙参g g ( ( f ，i , j 小) t 册h 利用该方法检测边缘的好处有两点：一是算子a 和算子b 可以使在人脸有一 定倾斜时依然能比较好的提取出人脸器官的纹理，同时又对竖纹有一定的抑制作 第二章人脸的自动检测与定位 用；二是该算子检测出的边缘比较粗而连续，这样就可以避免产生杂碎的边缘， 有利于依据人脸器官的分布找出可能存在的人脸。 图像的边缘检测结果如图2 3 所示，其中图a 、b 为原图像，图c 、d 为边缘图 像，可以看出图像中的竖纹在一定程度上被抑制，但斜纹依然存在。 图2 3 图像的边缘检测效果 边缘图像中虽然主要包含横纹，但依然存在一些比较杂碎的边缘，为了突出 人脸器官，去掉干扰。还需要对该方法做一定的改进。从图中可以看出，这种干 扰主要来自头发和衣领，为了去除干扰，我们对原图像a 和梯度图像g 做如下处 理： f l i f 加珊o r ( t i t g ( i , j t i 也a n d 熊力 p ( i , 2 = o r a ( i , j 3 t i - 番 t o p i s p 上式中，t h l 为梯度图像的一个较大的门限，当某个像素点处的g 值大于7 h ，时， 认为该点为边缘，p “设定为l ；t h 2 为梯度图像中一个较小的门限，当某点的像 素值小于t h i 但大于t h 2 时，p 设定为1 ：当原图像中某像素点的值小于t h 4 时，p 设定为1 ；其它情况下，p o , j ) 设定为o 。这样处理的依据是人脸器官区域 的像素值要低于其临近区域的像素值，这样对分离出人脸器官有利，把原图像中 像素值低于某门限的点包括进来，是为了将头发这样的大块区域连通起来，这样 人脸画像识别算法研究 可以去掉很多头发区域的杂碎边缘。经过这样处理后的图像如图2 4 所示： 图2 4 边缘图像经过处理的结果 在处理后的梯度图像中，头发和衣领分别成为大的连通区域，而人脸器官处 的横纹在长度和宽度上也在一定范围内，据此可以排除一些不可能是人脸器官的 区域。左右长度小于5 个像素和上下宽度大于3 0 个像素的区域认为不可能是人 图2 5 最终得到的人脸器官横纹图像 脸器官，将它们排除，得到如图2 5 的图像，图像中除了人脸器官的横纹外，只包 含少量的干扰纹理，这样就对后续的候选人脸确定和人脸验证提出较少的要求。 2 - 2 2 候选人脸的确定 寻找候选人脸从寻找眼睛类似物开始，首先定义几个区域，如图2 6 所示， 第二章人脸的自动检测与定位 m m ab 图2 6 眼睛对和嘴的搜索区域：a ：眼睛对的搜索区域 b ：嘴的搜索区域 眼睛和嘴就在这几个定义的区域内寻找。图a 和b 均为等边三角形，三角形的高 为h ，将顶角设置为6 0 度，是照顾到人脸可能存在倾斜，这样搜索对于左右倾斜 各3 0 度以内的人脸都有效。 在横纹图像上寻找候选人脸时，操作对象是图像上的连通区域，每一个连通 区域我们用其中心点代表。其搜索步骤可描述如下： ( 1 ) 确定候选左眼对于横纹图像上一点m ，在其下方，以图2 6 ( b ) 所规定 的区域搜索。如在该区域内有点存在，则认为当前点为左眉，搜索到的点为左眼； 如改区域内没有点，则认为当前点为左眼。 ( 2 ) 确定候选右眼对( 1 ) 中确定的左眼，在其右侧，以图2 6 ( a ) 所规定的 区域搜索。如果在该区域内有点存在，则认为该点为右眼；如果该区域内没有点， 则当前处不是人脸。 ( 3 ) 确定候选嘴对于( 1 ) 、( 2 ) 中所确定的眼睛对，在其连线的垂线上， 向下在一个矩形区域内搜索。矩形的两个横边与眼睛对连线的垂直距离分别为0 9 倍和1 3 5 倍，这是因为经过统计，实际人脸中嘴到双眼连线的垂直距离与双眼连 线的距离之比一般都在这个范围之内，矩形的两个竖边与眼睛对垂直平分线的距 离为眼睛对距离的0 1 倍。如果在该区域内有点存在。则认为该点为嘴，眼睛对和 找到的嘴确定一个候选人脸；如果该区域内没有点，则当前处不是人脸。 在上述搜索候选人脸的过程中，没有利用鼻子的信息，这是因为利用前面讲 述的方法提取的横纹图像中，因为光照的原因，鼻子有时会被丢掉，而嘴的纹理 则比较稳定。由于搜索算法照顾到左右旋转各3 0 度以内的各个方向的人脸，搜索 区域比较大，有时双眼和双眉四个点的不同组合中，不止一种组合满足眼睛类似 物的要求，因此有可能是在一个真脸上找到不止一个候选人脸，真实眼睛对的确 定有赖于后续的人脸验证。 2 2 3 基于马赛克规则的人脸验证 从前面提取的边缘图像g 。也就是图2 3 所示的图像可以看出，在整个人脸的 中心区域，边缘点基本上都处在人脸器官( 眼睛、鼻子和嘴) 区域内。根据这一 点可以验证我们所搜索到的候选人脸是真还是假，由于边缘图像有点类似于马赛 人脸画像识别算法研究 克图像，所以这种方法称为马赛克规则【3 】。 前面我们搜索到的缉迸 脸由眼睛对和嘴确定，由眼睛对可以确定候选人脸 的倾斜方向，通过仿射变换将候选人脸的方向调整至眼睛对呈水平方向，然后将 候选人脸区域分割出来，如图2 7 所示。 图2 7 分割出的候选人脸 将分割出的候选人脸分成3 3 的子块，如图2 8 ( a ) 所示。如果候选人脸是真脸 则每个子块和整个边缘图像中边缘点所占的比例应该满足一定的条件。 ( 1 ，0 ) ( 1 ，1 )( 1 ，2 ) ( 2 ，o )( 2 ，1 ) ( 2 ，2 ) ( 3 ，0 )( 3 ，1 )( 3 ，2 ) c 图2 8 候选人脸分块示意图：a 、b ：候选人脸分成的 马赛克子块；c ：分块标号示意 设标号为( f ，_ ，) 的马赛克予块( 其中l f ，j 3 ) 内的边缘点比例为r ( i ，) ，整个 边缘图像中的边缘点比例为r ，如果该候选人脸为真脸，则各参数应满足以下条 件 3 1 ： ( 1 ) 1 6 o 7r ( 双眼特征) ； ( 3 ) r 1 ，1 0 ( 鼻部特征) ； ( 4 ) r 2 ，1 o 5 r ( 嘴部特征) 。 任何一个人脸检测算法都包含候选人脸搜索和人脸验证两个步骤，如果前面 的候选人脸搜索算法更加稳健，除搜索到真脸外，只搜索到较少的假脸，这样后 面就只需要较为简单的验证。反之，前面寻找候选人脸的算法采用粗检测，后续 的验证则需要较为复杂的算法。在我们的方法中，由于前面的处理使横纹图像中 第二章人脸的自动检测与定位 除了人脸器官的纹理外，只包含少量干扰纹理，因而只采用马赛克规则便可将假 人脸排除。 2 3 基于积分投影的人脸器官定位 检测出人脸后，我们得到该人脸的双眼和嘴的大体位置。由前面的检测算法 可知，由于原图像的对比度和光照的变化，边缘图像的提取会受到影响，从而导 致人脸器官位置检测的不精确，这将直接影响人脸图像的归一化和识别。 人脸区域的灰度值在水平和垂直两个方向上的投影具有很明显的规律性，灰 度沿水平方向的投影在双眼处具有极小值，而在双眼连线中间处具有极大值。灰 度沿垂直方向的投影在眼睛、鼻子和嘴处具有极小值，且在嘴处具有最小值。我 们通过寻找这些极小值点，就可以确定各人脸器官的精确位置，也有人利用人脸 区域的这一特性验证候选人脸的真假。图像灰度在水平和垂直两个方向的投 图2 9 灰度的积分投影：a t 水平投影；b ：垂直投影 影，如图2 9 所示。图2 9 ( a ) 中虽然投影中有多达八九处极小值点，但双眼处的极 小值是最显著的，所以并不影响对眼睛的定位。同样，图2 。9 ( b ) 中，第一、二、三 个极小值处分别对应眼睛、鼻子和嘴的水平位置。 2 4 实验结果及分析 我们的人脸数据库包括2 0 个人，每人l 幅照片和7 幅画像，总共为1 6 0 幅图 像，都是每幅图像里只包含一个人脸，且没有复杂背景。通过上面的人脸检测算 法，对数据库中的图像做了检测，1 6 0 幅图像中有1 5 8 幅都取得令人满意的效果， 如图2 1 0 所示；另外两幅的眼睛定位出现错误，如图2 1 1 所示。 人脸画像识别算法研究 图2 1 0 正确的人脸检测结果 图2 1 1 错误的人脸检测结果及灰度投影图 图2 “所示的两幅人脸图像之所以会出现眼睛定位错误，是因为图像的对比 度较低，光照不均匀造成的。由于对比度低。眼睛和眉毛几乎连在了一起，致使 灰度的垂直投影中眉毛和眼睛不可分，如图2 1 1 ( c ) 和2 2 1 l ( f ) 所示。 我们所研究的画像识别方法主要应用在刑侦破案中，在这种应用中的人脸图 像有着明显的特点，每幅图像中只包含一个人脸，且基本不包含背景。本人脸检 测方法对于这种应用，其检测效果基本可满足要求，但也有一定的缺点，就是对 有络腮胡子很重的人脸图像，嘴经常掩盖在胡子中间，在横纹提取时，可能会将 嘴丢掉而检测不到人脸。 该算法作为一般用途的人脸检测算法使用，也存在一些明显的缺陷。首先 该算法对于黑色人种不使用，因为候选人脸的寻找是依据所提取的横纹图像来进 行的，而黑人的人脸图像由于灰度值普遍较低，脸部区域的对比度很低，使得横 第二章人脸的自动检测与定位 纹提取时往往检测不到器官，从而无法检测到人脸；其次，在复杂背景下的人脸 检测中，候选人脸中可能存在很多假脸，由于算法的人脸验证方法比较简单，有 些假脸可能因满足人脸验证的条件而被错误地当成真脸。 2 5 本章小结 本章实现了一种基于横纹提取的人脸检测方法，并根据灰度的积分投影对人 脸器官做精确定位。由于我们研究的画像识别主要应用在刑侦破案中，该检测方 法对这种应用场合下的人脸图像的检测效果是令人满意的。有了该人脸检测方法， 就可以实现人脸画像的自动识别，同时也为后续人脸识别算法提供精确的器官位 置。 当然本算法还有需要改进的地方，就是对络腮胡子较重的人脸图像，不能 鲁棒地检测到人脸。这个问题的解决有待于进一步的研究，初步的想法是只靠眼 睛对确定候选人脸，然后采用人脸模板匹配和马赛克规则两种方法进行人脸验证。 只靠候选眼睛对确定候选人脸必然增加假脸的个数，从而需要更复杂的人脸验证 方法，这样可以使算法更加鲁棒。 第三章基于离散余弦变换的画像识别 第三章基于离散余弦变换的画像识别 3 1 引言 基于子空间的人脸识别方法是人脸识别中的一类重要的方法。k l 变换的方法 就是其中的代表，它是最早的在子空间里进行人脸识别的方法，其后的各种基于 子空间的方法都是受其启发而提出的。k l 变换是模式识别中一种重要的特征提取 方法，在均方误差最小的意义下，k l 变换是最优的一种变换。利用k l 变换进 行特征提取和识别也是一种子空间上的人脸识别方法。z m h a f e d 在p l j 中提出了 种基于离散余弦变换的人脸识别方法该方法提取入脸图像的d c t 系数作为特征， 进行识别，实验证明改方法与k l 变换的方法识别率相当。 既然画像与照片在数据表现形式上有很大的差异，而子空间方法提取的是图 像灰度分布的统计信息，统计信息直接依赖于图像的灰度值，那么这类方法是否 适用于画像识别昵? 我们认为，同一个人的画像和照片之所以能被人类识别为同 一个人，它们在灰度分布上肯定有一定的相似性，所提取出的统计信息就有一定 的相似性，当然这种相似性与同一个人两张照片在灰度分布上的相似性相比要弱 一些。 离散余弦变换被广泛应用于数据压缩领域，比如，基于d c t 的j p e g 压缩标准 已经相当普及。除了应用在数据压缩中，离散余弦变换还可用于特征提取。与k l 变换相比，离散余弦变换( d c t ) 的截断误差稍大1 3 2 】，但应用在特征提取中，离散余 弦变换有其独特的优势p 。一是d c t 的计算量较k l 变换小很多，由于d c t 与 离散傅立叶变换密切相关，所以d c t 也有它的快速算法。二是由于k l 变换的基 依赖于训练样本集合，训练样本集合每改变一次，特征向量就要在新的集合上重 新计算，这在实际应用中是很不方便的，而离散余弦变换就不存在这个问题。k l 变换在截断误差最小的意义上最优，意味着它可以用最少的系数来代表一幅图像。 d c t 虽然在截断误差上稍大，但这可以用增加系数个数的方法加以弥补。 本章提出的基于离散余弦变换的画像识别方法，就是以d c t 为特征提取方法， 利用人脸图像的d c t 系数进行人脸识别。本章中后面几节的安排是第二节介绍 离散余弦变换，第三节具体讲述我们的画像识别算法，第四节给出实验结果以及 性能分析。 人脸画像识别算法研究 3 2 离散余弦变换( d c t ) a h m e d 等人在1 9 7 4 年最早提出了离散余弦变换【3 4 1 ，此后离散余弦变换在数据 压缩领域得到了普及。离散余弦变换共有四种形式，分别被称为d c t - i ，d c t - i i ，d c t - i i i 和d c t - i v 。a h m e d 所提出的d c t 被定义为d c t - i i ，按其定义，给定 一个长度为n 的序列u ( n 1 ，其离散余弦变换为： v ( ) = a ( t ) n = ：o “( ”) c 。s ( ! - ! ! 竺! ；等) ( 3 1 ) v ( ) = a ( t ) “( ) c o s ( ! ! ! ! ：三；竺! ) ( 3 1 ) 0 k n l 其中 口c 。，= 专，口c t ，= 专 ，七一- c 。一z ， 利用离散余弦反变换，可以由v ( k ) 得到u ( n ) ，离散傅立叶反变换的定义为： “( n ) = 艺k = 0 a ( t ) v ( ) c 。s ( ! ：! ：! ! ；等) ( 3 3 ) “( n ) = a ( t ) v ( ) c o s ( ! ! ：! ：j ；2 竺) ( 3 3 ) 二v 0 竹n 一1 其中，a ( k ) 也是由式( 3 2 ) 所定义。 从定义中可以看出，对一个输入序列实行离散余弦变换，就是将该序列分解 成一组基本余弦序列构成的基的线性叠加。式3 1 定义的是一维离散余弦变换，而 图像是一种二维信号，我们由下面的二维离散余弦变换的定义，对于一幅m n 的图像工。，其离散余弦变换为： ，v)-砌顾v)m-in-ic(u 厶cosilax+蚓i)u石x=0c o s 警(3_a)y=o ，v ) = d ( “) 日( v ) 六，而一| c o s | 兰等等翌i ( 3 4 ) l jl j 其中： m ) ：哩当”o 【4 2 n当h = 1 , 2 ，n 一1 图像的二维d c t 系数构成一个与原图像大小相同的矩阵，其低频系数集中在 矩阵的左上角，是图像中变化较慢的成分，高频系数集中在矩阵的右下角，是图 像的细节和边缘成分。 3 3 基于d c t 的画像识别 在z m h a f e d 的方法 3 1 】中，人脸图像首先被归一化为标准图像，然后计算出 第三章基丁离散余弦变换的画像识别 2 图像的d c t 系数。在d c t 系数矩阵的左上角取一个矩形子块，将其拉成一个向 量作为特征向量，对测试样本和训练样本的特征向量直接计算其欧式距离，然后 采用最近邻分类器进行识别。我们的画像识别方法也采用d c t 作为特征提取方法， 但由于画像和照片的差异，在几个方面有别于z m h a f e d