（计算机软件与理论专业论文）基于局部二进制模式的多姿态人脸识别的研究.pdf

摘要 摘要 近年来，人脸识别成为模式识别领域中的一个研究热点。在人脸识别领 域中，姿态、光照和表情的变化对人脸识别的影响已经成为该研究领域中公 认的三大难点问题。 在充分考察目前人脸识别技术发展现状的基础上，本文着眼于不同姿态 下人脸识别这一难点问题，进行了深入的研究。基于局部二进制特征，本文 给出了一个两层分类的多姿态人脸识别系统的层次分类器框架。该框架的第 一层次，进行人脸姿态的识别；进而，在第二层，进行人脸个体识别。实验 证明，本文的方法具有令人满意的识别结果。 在第一层人脸姿态识别的分类器中，本文基于两种不同的特征进行了实 验对比：一种方法是，在对局部二进制模式进行改进后，本文提出了“均阈 值 的局部二进制模式，并提出了使用海明距离度量该特征的方法将该特征 用于人脸姿态识别，在分类器上，提出与k 近邻分类器相结合的多专家模糊 智能决策系统，用以进行姿态分类；另一种方法是，在对g a b o r 小波变换特 征基础上，本文提出了将相互正交的g a b o r 小波相互叠加的特征，并在人脸 姿态识别上取得良好的实验结果。 在第二层人脸个体识别的分类器中，本文也采用了基于两种不同特征进 行实验对比：一种方法是，基于本文提出的分块像素均值特征上进行人脸个 体识别；另一种方法是，基于统计有效性的多级区域局部二进制模式进行人 脸个体识别。 实验证明，本文所进行多姿态的人脸识别的方法是行之有效的。 关键词：人脸识别人脸姿态识别局部二进制模式层次分类器多专家 模糊智能决策系统分块像素均值特征 a b s t r a c t a b s t r a c t d u r i n gr e c e n ty e a r s ，f a c er e c o g n i t i o nh a sb e e n ah o tt o p i ci np a t t e r n r e c o g n i t i o n w h e ni tc o m e s t of a c er e c o g n i t i o n , i th a sb e e nw i d e l ya c k n o w l e d g e d t h a tt h ev a r i e t i e si np o s e ，i l l u m i n a t i o na n de x p r e s s i o nh a v eb e e nt h em o s td i f f i c u l t p r o b l e m s h a v i n gc o n s i d e r e dt h es t a t u sq u o o ff a c er e c o g n i t i o n ，t h i sp a p e ra i m sa tt h e f a c er e c o g n i t i o na c r o s sd i f f e r e n tp o s e sa n dm u c hr e s e a r c hw o r kh a sb e e nc a r r i e d o u t t h i sp a p e rp r o p o s e sat w o s t a g ec l a s s i f i c a t i o nf r a m e w o r kb a s e do nl o c a l b i n a r yp a t t e r nt od e a lw i t ht h ed i f f i c u l t yo ff a c er e c o g n i t i o na c r o s sp o s e s t h e p o s ec l a s s i f i c a t i o ni sc a r r i e do u ti nt h ef i r s tl a y e ro f t h ef r a m e w o r k m o r e o v e r , f a c er e c o g n i t i o nt od i s c r i m i n a t es u b j e c t si sc a r r i e do u ti nt h es e c o n dl a y e r t h e m e t h o dh a sb e e np r o v e dt ob ee f f i c i e n tb ye x p e r i m e n t s i i lm ef i r s tl a y e ro ft h ef a c ec l a s s i f i e r , w h i c hc a r r i e so u tt h ef a c i a lp o s e r e c o g n i t i o n ，t h ee x p e r i m e n t sb a s e do nt w od i f f e r e n tf e a t u r e sa r ec a r r i e do u t o n e e x p e r i m e n ti sb a s e do nt h em e a n t h r e s h o l dl o c a lb i n a r yp a t t e r nf e a t u r e ，w h i c hi s f i r s tp r o p o s e db yt h i sp a p e r a l s o ，h a m m i n gd i s t a n c ei sf i r s tp r o p o s e dt om e a s u r e t h ef e a t u r e f i n a l l y , ac l a s s i f i e rn a m e dm u l t i - e x p e r tf u z z yi n t e l l i g e n td e c i s i o n s y s t e mc o m b i n i n gw i t hk - n e a r e s t n e i g h b o rc l a s s i f i e r i sp r o p o s e dt ob et h e c l a s s i f i e r t h eo t h e re x p e r i m e n t i sb a s e do na n i m p r o v e d g a b o rw a v e t r a n s f o r m a t i o nf e a t u r ep r o p o s e db yt h i sp a p e r , w h i c hi s as u m m a t i o no ft w o o r t h o g o n a lg a b o rw a v et r a n s f o r m a t i o n s i nt h es e c o n dl a y e ro ff a c ec l a s s i f i e r , w h i c hd i s c r i m i n a t e sf a c e sa m o n g d i f f e r e n tp e r s o n s ，t w od i f f e r e n te x p e r i m e n t sa r ea l s oc a r r i e do u tt oc o m p a r ew i t h e ac _ ho t h e r o n ec l a s s i f i e ri sb a s e do nt h em e a nb l o c kp i x e l sf e a t u r e ，w h i c hi sf i r s t p r o p o s e db yt h i sp a p e r t h eo t h e rc l a s s i f i e ri sb a s e do nt h es t a t i s t i c a l l ye f f e c t i v e m u l t i s c a l eb l o c kl o c a lb i n a r yp a t t e r n s t h em e t h o d sp r o p o s e di nt h i sp a p e ra r ep r o v e dt ob ee f f i c i e n tb yt h e e x p e r i m e n t s t t a b s t r a c t k e yw o r d s ：f a c er e c o g n i t i o n , f a c i a lp o s er e c o g n i t i o n ，l o c a lb i n a r yp a t t e r n , h i e r a r c h i c a lc l a s s i f i c a t i o n ，m u l t i - e x p e r tf u z z y i n t e l l i g e n td e c i s i o ns y s t e m ， m e a nb i o c kp i x e l sf e a t u r e 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 齐狃 蒯年要月= ；o 日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年月日 各密级的最长保密年限及书写格式规定如下： 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、己公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均己在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名： 赛妙 陴歹月习。e l 第一章绪论 第一章绪论 第一节人脸识别的研究意义 所谓人脸识别，可以概括为：利用已存储的人脸数据库，对给定静态的 图像或动态的视频数据，验证或鉴别场景中单人或多人的身份。【1 】 虽然人类在婴幼儿时期就已经具备了人脸识别的能力，但是，建造一个 自动的、高识别率的计算机人脸识别系统却并非易事。人脸识别的困难主要 表现在：一般地说，人脸识别都是由二维的图像或视频来识别三维的人脸。 人脸作为非刚性的三维物体，姿态、光照、表情( p o s e ，i l l u m i n a t i o na n d e x p r e s s i o n ，简称p i e ) 的变化，都会给识别率造成较大的影响。人脸会随 着年龄的增长而变化。眼镜、发型、胡须等对人脸图像存在影响。 人脸识别研究在二十世纪六七十年代引起了诸多学科领域研究者的浓厚 兴趣。进入九十年代后，随着各行业对人脸识别系统的迫切需求，人脸识别 在档案管理系统、安全验证系统、信用卡验证、公安系统的罪犯身份识别、 银行和海关的监控、人机交互等领域受到广阔的应用，模式识别、人工智能 等相关领域再次掀起了人脸识别研究的热潮。 人脸识别作为生物特征识别的一个重要方面，和指纹识别、视网膜识别、 虹膜识别等其他生物特征识别相比，具有更加直接、方便、友好的特点。识 别过程中，被识别者不会有心理障碍。 应该承认，由于人脸识别的识别率上限由同卵双胞胎的出生率( 该出生 率小于1 ) 所决定【2 j ，因而，人脸的唯一性比指纹、虹膜要差一些。因此， 在高安全性要求的系统中，人脸识别只能作为一种辅助的手段。但对于一般 的身份识别系统，人脸识别技术已经足够了。 第二节人脸识别的过程 人脸识别属于视觉信息的模式识别问题。识别的数据源一般为图像或视 频，因而，如图1 1 ，人脸识别的过程一般可以分为以下几个环节。 第一章绪论 ( 1 ) 人脸的检测或跟踪：对于数据源，需要确定人脸是否存在，以及存在 的位置，并将人脸从背景中分割出来。对于视频数据源，跟踪人脸出 现的位置。 ( 2 ) 特征提取：在人脸区域图像规范化处理之后，需要提取特征，从而为 区分不同的人脸提供有用的信息。特征提取的过程为人脸图像生成特 征向量。 ( 3 ) 识别与分类：在该过程，将特征向量与数据库中的人脸特征向量进行 比较，使用适当的分类器给出识别的结果。 图像或视频 识别结果 图1 1 人脸识别流程示意图 本文也将从人脸检测、特征提取、识别与分类三方面对本课题的研究工 作进行详细的论述和分析。 第三节本文的研究背景 当前世界各国有许多研究机构在从事人脸识别的研究。i e e e 组织了专门 的人脸和手势识别的国际会议i e e ei n t e r n a t i o n a lc o n f e r e n c eo na u t o m a t i c 2 第一章绪论 f a c ea n dg e s t u r er e c o g n i t i o n 。国际模式识别联合会( i n t e r n a t i o n a la s s o c i a t i o n f o rp a t t e r nr e c o g n i t i o n ，i a p r ) 也组织了专门的基于生物特征的人类身份识别 和验证的国际会议( a u d i oa n dv i d e 啪a s e db i o m e t r i cp e r s o n a u t h e n t i c a t i o n ，a v b p a ) 。许多研究受到军方、警方以及大公司的高度 重视和资助，美国军方还专门组织了人脸识别竞赛以促进人脸识别研究的发 展。 经过三十多年的研究，人脸识别已经成为图像分析与图像理解领域最成 功的应用之一。研究人员提出了很多识别方法，建成了一些实验系统，也有 一些成功的人脸识别商业软件投入市场，例如b i o l d 公司的产品。 本文将在第四、五、六章介绍人脸检测、人脸姿态识别和人脸个体识别 的过程中分别介绍相关方面的主要技术及发展现状。 第四节本文的研究内容和意义 本文以人脸图像为研究对象，采用了北京工业大学所提供的中国人三维 人脸数据库( b j u t - 3 df a c ed a t a b a s e ) 3 j 进行相关的课题实验。 在充分了解目前人脸识别发展现状和主要问题后，本课题着眼于人脸识 别中的三大难点问题( 姿态、光照、表情，p o s e ，i l l u m i n a t i o n ，e x p r e s s i o n ， 简称p i e ) 之一：姿态的变化对人脸识别的影响。在基于局部二进制模式的 特征上，进行多姿态人脸识别的研究，通过使用层次分类的方法进行人脸识 别。实验表明，本文采用的方法是可行的、有效的。 第五节本文的组织结构 本文的章节组织结构如下： 第一章绪论分析了人脸识别的研究意义和研究背景，以及人脸识别 的一般过程，最后，就本文的组织结构给予了介绍。 第二章局部二进制模式特征给出了局部二进制模式的定义、性质， 以及该特征的改进方法，并讨论了该特征的距离度量方法，提出了用海明距 离的方法度量局部二进制模式的特征，最后，介绍了局部二进制模式在人脸 识别中的应用方法。 第一章绪论 第三章数据预处理介绍了本课题所使用的三维人脸数据库的基本情 况，继而就本课题所采用的网格简化、多姿态人脸数据生成等预处理方法进 行了详细的介绍。 第四章人脸检测就目前人脸检测技术的主要技术进行了综述，着重 介绍了基于统计的方法，之后，介绍了本课题确定人脸区域的方法。 第五章人脸姿态识别首先就人脸姿态识别的方法进行了综述，之后 介绍了本课题在人脸姿态识别过程中的方法以及分类器的设计。 第六章人脸个体识别综述了目前人脸个体识别的发展状况，并详细 地说明了本课题在人脸个体识别方面的工作。 第七章实验结果与分析首先介绍了多姿态人脸识别系统框架，进而 就本课题中的人脸检测、人脸姿态识别、人脸个体识别等过程的实验目的、 意义、结果等给予详细的论述和分析。 第八章总结与展望总结了本课题的工作，并就进一步工作做出了展 望。 4 第二章局部二进制模式特征 第二章局部二进制模式特征 第一节经典局部二进制模式 局部二进制模式( l o c a lb i n a r yp a t t e r n ，简称l b p ) 【5 】是由t o j a l a 等提 出的。l b p 最早是作为旋转不变性的特征，用于图像中纹理的分类。后由t a h o n e n 等引入人脸识别领域 6 】，并取得令人满意的结果。 2 1 1 经典局部二进制模式简介 局部二进制模式，是以一块图像区域的中心为圆心，半径为r 作圆，并 在圆上均匀地取p 个点g p ( p = 0 ，1 ，p 一1 ) ，n - t = t ( g 。，g o ，9 1 一，g p 1 ) 图2 1 给出了在不同参数( p ，r ) 下圆上均匀近邻的像素点集的示意图。 盯 耵外肪 g 图2 1 不同( p ，r ) 下圆上均匀近邻的像素点集 如公式( 2 1 ) 定义函数： 叫= 骺高 ， 由此，定义纹理t 在参数( p ，r ) 下的局部二进制模式( l b p ) 特征为： l b = s ( 昂- g 。) 2 p ( 2 2 ) l b p 特征为一个长度为p 的二进制串，串上的各个比特位为以圆周上的 第二章局部二进制模式特征 像素g p ( p = o ，1 ，p 一1 ) 与纹理t 的中心像素g c 的比较结果，若昂的灰度值 大于的灰度值，则该位为1 ，否则为0 。 图2 2 给出了三缎。计算示意图。 图2 2蛾1 计算示意图 2 1 2 局部二进制模式的旋转不变性 根据l b p 特征的定义，显然，图像的旋转将改变l b p 特征的编码。为 了消除图像的旋转对编码的影响，则需要为每个l b p 特征定义统一的旋转特 征标记，使得经过循环旋转后相等的l b p 特征具有相同的标记。公式( 2 3 ) 给出了该标记的定义。 峨= m i n r o n ( 脚晖 f ) ii = o ，1 9 t9 p 一1 )( 2 3 ) 其中，r o r ( x ，i ) 函数将长度为p 位的二进制串x 循环右移i 次。 l b t 鬈能够作为图像中旋转不变模式，描述图像的局部特征，因而，可 以用于图像r 的特征检测。 2 。1 3 “均衡 的局部二进制模式 当一个l b p 特征中相邻两位( 首尾与末位视为相邻) 的0 1 比特变换与 1 - 0 比特变换次数小于等于2 时，则称该l b p 是“均衡 的。 例如，对于肋忍，l = ( 1 0 0 0 0 0 0 1 ) 2 为均衡的l b p ；j 雨l b p 8 。l = ( 0 0 0 1 0 0 0 1 ) 2 则 不是均衡的。因为前者的0 1 及1 - 0 比特变换次数为2 ，后者为4 。显然，均 衡的模式结构中存在非常少的比特变换。 6 第二章局部二进制模式特征 公式( 2 4 ) 定义了比特串的变换次数。在此基础上，公式( 2 5 ) 定义 了一种新的描述算子三曙。 u ( l b p p , 震) = i s ( 昂一。- g o ) 一s ( g o 一) i + p _ l g o ) 一j ( 昂- g 。) l ( 2 4 ) p = l 蟛：j 荟s ( g p g o ) 邹( l b p e 一2 ) ( 2 5 ) 1 p + i其它 由公式( 2 5 ) ，三麟描述子对应2 p 种比特串，只有( p + 2 ) 个不同的 取值。以图像上l r p p , i u r 2 的不同取值作直方图，可以由趔譬的统计属性对纹 理有较好的区分。 t i m oo j a l a 等【5 】指出，均衡的l b p 是纹理的基本属性，在纹理图像中占 据很大的比例，实验表明，以3 3 尺寸的局部纹理区域t 进行统计，均衡 的l b p 占据9 0 以上的比例。因而，l r p p 7 i u 。2 具有较好的可靠性。 第二节多级区域局部二进制模式 实验证明，l b p 能够很好地刻画图像的纹理特征。但是，由于其着眼于 局部像素，因而l b p 特征缺乏一定的健壮性。 为了克服l b p 的不足，s h e n g c a il i a o 等刀提出多级区域局部二进制模式 ( m u l t i s c a l eb l o c kl o c a lb i n a r yp a t t e r n s ，以下简记为m b l b p ) 。 2 2 1 多级区域局部二进制模式简介 m b l b p 的计算，首先将一个s x s 的区域按行按列共平均划分为9 个子 区域。记t = s 3 ，则每个子区域的大小为t x t 。图2 3 给出了一个9 x 9 区域的划 分示意图。 第二章局部二进制模式特征 势： ：1 键 。+ 、一1、。一一1 。一“l ：5 ：每：7 ： l 1 露1 圈 j墨 ：0 ： i 3 l t 2 ：重 ： 1 * ，j j j ，一 。 j 。k l 警?三三，渤 图2 3m b l b p 区域示意图 在区域划分之后，需要计算每个区域的均值，由此得到一个3 x 3 的矩阵。 而后，对该矩阵利用图2 2 计算示意图所示的计算方法，以各子区域像素均 值m g p ( p = 0 ，19 - - 9 8 ) 与中心子区域像素均值m g e 相比较，得到一个8 比特的二 进制串。公式( 2 6 ) 一( 2 8 ) 给出了m b l b p 的计算公式。 m g p - = - 鬲1 昂量，岛 ( 2 6 ) m g c 鬲1 岛裘g c ( 2 7 ) m b l b p = s ( m g p 一尬。) 2 p ( 2 8 ) p = 0 简言之，m b l b p 特征是一个8 比特的二进制编码。该编码是将一个区 域按图2 3 均分为9 个区域，并计算每个区域的均值。m b l b p 特征编码即 为区域o 7 的均值与中心区域c 的均值的比较，若区域i ( i = 0 ，1 ，7 ) 的均值 大于等于区域c 的均值，则相应位为1 ，否则为0 。 2 2 2 统计有效性的多级区域局部二进制模式 s h e n g c a il i a o 等 7 1 指出，均衡l b p 的定义不再适用于m b l b p 。原因在 于，均衡l b p 中比特位的编码和单个像素直接相关，而随着m b l b p 定义中 参数s 的增大，根据l b p 所定义的“均衡”的子集并不能在m b l b p 中占据非 8 第二章局部二进制模式特征 常大的比例。因此，为了确定较为有效的m b l b p 特征，基于m b l b p 特征 的分布比例基础上，s h e n g c a il i a o 等 7 1 给出了统计有效性的多级区域局部二 进制模式( s t a t i s t i c a l l ye f f e c t i v em b l b p ，简称s e m b l b p ) 的定义。 设图像i 中，以坐标( x ，y ) 为中心，参数为s 的m b l b p 特征取值为f s ( x ，y ) 。 则对图片i 的m b l b p 特征取值为( ，) 做直方图统计，统计的公式为( 2 9 ) 。 剐，= 三彰譬鬟焉= 0 , 1 , 名2 , - - , 拶2 5 5 5 仁9 ， m b l b p 特征是一个8 比特的二进制串，故f s ( x ，y ) 有2 8 种不同的取值， 即0 至2 5 5 。 在对所需研究的训练样本图片都进行上述直方图统计之后，则可如公式 ( 2 1 0 ) 选定s e m b l b p 特征集合。 s e m b 一船只= ，ir a n k h , ( 纠 )( 2 1 0 ) 其中，r a n k h 。( 1 ) = 1 , 2 ，2 5 6 为h 。( 1 ) 按降序排列后的先后次序；n 为所 选取的特征个数。 在选定s e m b l b p 特征集合后，可以利用公式( 2 1 1 ) 将m b l b p 特征 重新编码。 吣= 删烈拶靴警埘 ( 2 1 1 ) 由此，得到了具有n 个分量的m b l b p 特征向量，每个分量根据公式 ( 2 1 1 ) 统计某个或某些m b l b p 特征编码在图像中出现的频数。 第三节均阈值局部二进制模式 本课题在l b p 特征的研究过程中，发现以均值作为l b p 特征编码的阈 值来进行编码，所获得的特征能够比l b p 特征具有更好的健壮性，而且在参 数( p ，r ) 取较大值的情况下，比m b l b p 特征具有更多的特征编码，在编 码信息上提取了更为丰富的信息量。本文将该特征称为均阈值局部二进制模 式( m e a nt h r e s h o l dl o c a lb i n a r yp a t t e r n ，简称m t - l b p ) 。 设g m 为像素区域的灰度均值，则m t - l b p 特征编码可由公式( 2 1 2 ) 计算 求得。 9 第二章局部二进制模式特征 m t - l b p p , r = s ( g p g m ) 2 p ( 2 1 2 ) p = o 和l b p 特征类似，m t - l b p 特征为个长度为p 的二进制串，串上的各 个比特位为以圆周上的像素g r ( p = o ，1 ，p 一1 ) 与纹理t 的灰度均值g m 的比 较结果，若昂的灰度值大于g m 的灰度值，则该位为1 ，否则为o ，图2 4 给出 计算示意图。 图2 4 m t 一衄忍1 示意图 第四节局部二进制模式特征的距离度量 2 4 1 基于直方图统计的方法 以l b p 特征度量两幅图像的差异，可以使用直方图统计的方法。该方法 即统计两幅图像的l b p 特征的直方图，并以所选出l b p 特征子集( 例如使 用本文2 1 3 节中所介绍的“均衡的 l b p 特征子集，或2 2 2 节所介绍的 s e m b l b p 特征子集) ，以不同的l b p 特征的统计量作为特征向量的每个分 量，图像的l b p 直方图特征向量。 记f i x ，y ) 为以( x ，y ) 为中心的l b p 特征，l 为所选取的l b p 特征的数量， 公式( 2 1 3 ) 定义了函数h ( i ，x ，y ) 为坐标( x ，y ) 出现特征1 的标记。图像i 的 第1 个分量为第1 个特征v ( i ，1 ) 可由公式( 2 1 4 ) 通过求和计算而得。 h ( 1 , x , y ，= 三巍鬟：姑曩主 1 0 第二章局部二进制模式特征 v ( i ，) = n ( ，五y ) ( 2 1 4 ) 工，y 在得到图像的特征向量后，t i m oo j a l a 等 5 1 使用马氏距离 8 1 度量不同图像 的差异，并设计分类器，可以获得9 5 8 的识别率。 设两个同分布的随机向量；，一y 的协方差矩阵为，则其马氏距离8 1 可由 公式( 2 1 5 ) 求得。 d ( i ，歹) = 雁巧两而 ( 2 1 5 ) 2 4 2 海明距离度量方法 在信息论中，海明距离9 1 用于度量等长度的两个串的差异，其值为不同 字符处于两个串相同位置的总数。设两个串分别为s l 和s 2 ，s f f i ) 与s 2 ( i ) 分别 为s l 和s 2 的第i 位。公式( 2 1 6 ) 定义了异或运算符。的运算规则。则公式 ( 2 1 7 ) 给出海明距离的定义。 咖= ：釜i ： d ( s 1 ，j 2 ) = ( s 。( f ) o s 2 ( f ) ) ( 2 1 7 ) 图2 5 给出了一个长度为3 的一i 进制串的海明距离示意图。图中用线段 直接相连的两个二进制代码所示的顶点表示其海明距离为l 。图中两个顶点 间的最近距离即为其海明距离。 0 10 0 0 0 1 0 1 图2 5 立方体表示海明距离 两幅图像l b p 特征的差异，可以将两幅图像相同位置的l b p 特征的海 1 1 第二章局部二进制模式特征 明距离相加，即可得到两幅图像l b p 特征的海明距离。公式( 2 1 8 ) 给出了两 幅图像的l b p 距离计算公式。其中，v o s ( s ) 表示l b p 特征在图像中的坐标位 置。 d ( 厶，1 2 ) =d ( s l ，龟) ( 2 1 8 ) 丑l ，2 t o s ( s i ) = p o s ( s 2 ) 本文提出，使用海明距离作为l b p 特征的一种度量方法，主要基于四点 考虑： ( 1 ) l b p 特征为二进制编码串，适用于海明距离的定义。 ( 2 ) t i m oo j a l a 等【5 】所指出，均衡的l b p 在纹理图像中占据较大比例。即 比特变化次数较少的l b p 特征占据纹理图像的较大比例。因而，图像经过平 移、旋转等几何变化并不会给海明距离的度量带来巨大的变化。 ( 3 )海明距离使用二进制位运算来计算两个特征之间的距离，显然比传统 的直方图的距离度量方法具有较小的时间复杂度。 ( 4 )实验证明，使用海明距离作为l b p 特征的度量，能够获得令人满意 的识别率，从而，可以从一定程度上说明海明距离是度量l b p 特征的有效的 方法。 第五节以局部二进制模式描述人脸特征 t i m oa h o n e n 等 6 1 提出了用l b p 特征描述人脸的方法。该方法的主要思 路如下： ( 1 )在已知双眼坐标的前提下，将人脸区域规范化到1 2 8 x 1 2 8 像素的区域 中。 ( 2 )在规范化后，如图2 6 ，将人脸区域按行、按列均分成子窗口。 1 2 第一章局部一进制模式特征 辚鬻鬻 ( 8 )( b )( c ) 图26 将人脸区域进行分割 ( 3 ) 在子窗i = l 划分结束后，在各子窗口内提取均衡的l b p 特征并分别 以直方蚓统计各子窗口均衡l b p 特征的频数，从而得到人脸图像的均衡l b p 特征向量。设人脸区域图像被分为s x $ 个子窗口，每个子窗口的l b p 特征为 l 位，凼而，人脸图像的特征向量共有l x s s 个分量。 ( 4 ) 对于正面的人脸识别，人脸中不同的区域对于识别的权重有着一定的 区别。图27 给出了将人脸分割成7 x 7 窗口的权重分布示意罔。图中所小的4 个灰度级由黑到白所表示限区域l b p 的权重依此为：0 0 、f0 、2 0 、40 。 渊西 a ) 人脸图像子窗口分* 0 示意幽伯1 人舱图像子窗口权重示意图 图27 人脸区域的权蘑设置 ( 5 ) 在设置人脸子区域的权重系数后，人脸图像之间的筹异以带权重的f 距离作为度量。其计算公式如公式f 21 9 ) e f i m 。 第二章局部二进制模式特征 加川- - 垮e 鞣 l s f s 上 f ，- r f ， l 蔓s x s 。 至此，人脸图像即可由l b p 特征予以描述，并且，人脸图像间可以通过 公式( 2 1 9 ) 来描述彼此间的差异。 第六节本章小结 本章首先描述了经典l b p 的定义即计算方法，并分析讨论了该特征的性 质以及“均衡”的l b p 的定义，接下来，介绍了m b l b p 特征。在本章第三节 中，给出了l b p 特征传统的距离度量方法，以及本文所提出的基于海明距离 度量l b p 特征的方法。最后，给出了用l b p 作在人脸识别中，描述人脸特 征的方法。 1 4 第三章数据预处理 第三章数据预处理 第一节三维人脸数据库简介 3 1 1 原始数据集简介 为了更好地说明本文的工作，在此，首先介绍本课题的原始数据集的相 关背景。本文所进行的实验的数据集采用了北京工业大学所提供的中国人三 维人脸数据库( b j u t - 3 df a c ed a t a b a s e ) 。【3 】 该数据库通过c y b e r w a r e3 0 3 0 r g b p s 激光扫描仪获取三维人脸数据， 该扫描仪可以一次扫描得到人头部的几何信息和彩色纹理信息。扫描仪使用 柱面坐标来记录几何信息，扫描精度为圆周方向( 用平表示，o 鲫 2 r 0 4 8 9 个 采样点，轴方向( 用h 表示，0 h p ，故整个 识别过程的时间复杂度为o f n ) 。 分层分类的方法可以降低识别过程的时间复杂度，但该架构也存在不足 之处：比起一次分类识别人脸，该架构存在错误累加的问题。而本系统的架 构能够在很大程度上克服该问题，主要原因是：( 1 ) 虽然采用分层分类的架构， 但层数并不多，本架构仅比一次分类识别的方法多了一层错误累加。( 2 ) 由 基于m b l b p 特征的人脸个体识别实验表明，k 近邻实验中，k 的取值在不 超过3 0 前提下，识别率能保证在9 9 7 以上。基于该特征的稳定性，即便姿 态的划分具有一定的错误，也不会对人脸个体识别的正确分类造成太大影响。 基于上述分析，可以认为，本文将分层分类的架构应用于人脸识别，在 保证基本不影响识别率的条件下，降低了时间复杂度。 4 8 第七章实验结果与分析 第二节人脸检测实验结果 由于实验的背景较为简单，为白色背景。本课题采用基于肤色的方法进 行人脸检测，并通过直方图确定人脸区域灰度的最佳闽值，取得很好的效果。 经观察，所有图像的人脆区域都完全落在检测区域中，且无多余区域。图72 给出浚方法所确定的人脸区域结果的一张示意图。 图72 人脸榆测结果示意幽 第三节人脸姿态识别实验结果 731 人脸姿态识别实验说明 在本课题的姿态识别过程中，共选取三维人脸数据库中的7 0 人的数据进 行，实验。 在数据预处理阶段，将每个人的人脸按本文的2 22 节所定义的偏转角q 和1 3 的取值分别从一1 5 。n + 1 5 。，每隔5 0 生成一个姿态。因此，每个人脸一共 组合生成4 9 种不| 司的姿态，由此，共生成3 4 3 0 张人脸图片，作为训练样本 集。另外，对丁训练集中的每个姿态，偏转角和1 3 分别从1 。到+ l o ，每隔 1 。生成一个姿态，井除去训练样本集中的样本，由此缚个训练样本派生出8 第七章实验结果与分析 个新姿态，共生成2 7 4 4 0 张图片作为测试样本集，在测试阶段，认为这8 个 姿态和训练集中的相应姿态属于同一姿态类别。 7 3 2 基于g a b o r 小波变换人脸特征的姿态识别的实验 在基于g a b o r 小波变换人脸特征的姿态识别实验中，在训练过程中，7 0 人同一姿态图片像素均值的g a b o r 小波变换人脸特征作为该姿态的模板，由 此，共生成4 9 个不同姿态的g a b o r 特征模板。在测试过程中，以欧氏距离作 为度量方法，在具有3 4 3 0 张人脸图片的训练集上，获得高达8 2 2 的识别率。 采用最近邻【37 】匹配的分类方法为2 7 4 4 0 张人脸图片进行分类，最终得到姿态 识别的识别率为7 6 6 5 。 7 3 3 基于m t - l b p 特征的姿态识别结果 在包含3 4 3 0 张人脸图片训练集的训练集上，本课题就基于m t - l b p 特 征，直接使用k n n 分类器和经多专家模糊智能决策系统修正的分类结果进 行了比较。实验结果如图7 3 所示。 图7 3 基于m t l b p 特征直接使用k n n 分类器分类和 经多专家模糊智能决策系统修正后的正确率比较示意图 在基于m t - l b p 特征，直接使用k n n 分类器进行姿态识别，识别率非 常低，在k 不超过于9 时，识别率不超过1 0 ，而经修正后，k 的取值介于 5 0 第七章实验结果与分析 1 到9 ，识别率最高可提升到9 4 5 2 。 在基于m t - l b p 人脸特征的姿态识别实验中，在训练过程中，7 0 人同一 姿态图片像素均值的m t - l b p 特征作为该姿态的模板，由此，共生成4 9 种 不同姿态的模板。在训练集上，经m f i d s 分类，识别率达7 3 2 4 ；在测试 过程中，以测试数据集中的2 7 4 4 0 张图片进行分类，识别率达6 5 5 7 。 7 3 4m f i d s 分类器分析 为了进一步研究m f i d s 分类器的性能，本课题在实验过程中，也将基于 g a b o r 小波变换人脸特征的姿态识别采用基于k n n 和m f i d s 相结合的方法 进行分类。实验结果表明，识别率并没有因引入m f i d s 而有大幅提升，但也 没有降低分类的识别率。 m f i d s 之所以能够提高m t - l b p 特征的姿态识别率，却对基于g a b o r 小波变换的特征的姿态分类没有太大改善，其原因可以通过分析图7 4 后得 到解释。 ( a ) m t - l b p 特征第1 近邻修正矩阵示意图( b ) m t - l b p 特征第2 近邻修正矩阵示意图 ( c ) g a b o r 特征第1 近邻修正矩阵示意图( d ) g a b o r 特征第2 近邻修正矩阵示意图 图7 4m t - l b p 特征与g a b o r 小波变换特征修正矩阵示意图 图7 4 中的每张修正矩阵示意图都是一个4 9 x 4 9 像素的放大示意图。 较黑的像素表明修正矩阵中相应位置的取值较大。 第七章实验结果与分析 从图7 4 可以看出，基于