（信号与信息处理专业论文）基于ehmm模型的人脸识别算法研究.pdf

西北工业大学硕士学位论文摘要 摘要 人脸自动识别技术是生物特征识别技术的重要组成部分，是计算机视觉与模 式识别领域中非常活跃的课题。它主要包括人脸检测和人脸识别两方面内容。本 文对灰度图像中正面人脸的识别问题进行了详细研究，并实现了一个人脸自动识 别仿真系统。本文的研究工作主要包括以下几个方面： l 、对在人脸识别中广泛应用的隐马尔可夫模型( h m m ) 的原理进行了介绍。在 此基础上，首先分析了如何建立人脸h m m 模型，它是将人脸面部器官的数值特征 及相互关联同个状态转移模型联系起来，而不是孤立地利用各个器官的数值特 征。然后用二维离散余弦变换系数作为观察向量，由于其具有计算速度快和压缩 性等特性，因而从原理上讲用它作为观察向量要优于直接采用灰度值。文中的实 验结果也证明了这一点。最后在o p e n c v 平台下实现了该识别方法的仿真。 2 、研究了一种基于d c t 变换和嵌入式隐马尔可夫模型( e m b e d d e dh i d d e n m a r k o vm o d e l ) 的人脸识别方法。嵌入式隐马尔可夫模型增加了水平方向上的状 态数，是一种简化了的二维隐马尔可夫模型，它可以更全面、更细致地对人脸进 行描述。本文在o r l 人脸数据库上实验获得了超过9 9 3 的识别率，这也是我们 所知道的在这一数据库上迄今为止较好的识别结果。 3 、利用o r ) e n c v 所提供的优良算法和友好的界面开发环境，完成了基于 v i s u mc + + 6 0 编程环境和o p e n c v 平台的软件开发。o p e n c v 为开发数字图像 处理和计算机视觉领域的应用程序提供了功能完善、使用方便的接口，有很好的 应用前景。 关键词：人脸识别隐马尔可夫模型嵌入式隐马尔可夫模型 o p e n c v 人脸库二维离散余弦变换系数 西北 业大学硕士学位论文a b s t r a c t a b s t r a c t a u t o m a t e df a c er e c o g n i t i o ni sa ni m p o r t a n tp a r to fp a t t e mr e c o g n i t i o n i ti so n e o ft h em o s ta c t i v ea n dc h a l l e n g i n gt a s k sf o rc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n a p p r o a c h e st or e a lt i m ef r o n t a lf a c ed e t e c t i o na n dr e c o g n i t i o na r em a i n l yr e s e a r c h e d i n t h i s d i s s e r t a t i o n ，a n da na u t o m a t e d f a c e r e c o g n i t i o n s i m u l a t i o n s y s t e mi s e s t a b l i s b e di nt h ee n d t h ee s s e n t i a lc o n t e n t sc a nb el i s t e da sf o l l o w s ： 1 ah i d d e nm a r k o vm o d e lm e t h o d ( h m m ) i su s e dt or e c o g n i z ef a c ei no u r a u t o m a t e dr e c o g n i t i o ns y s t e m f i r s t l yh o wt oe s t a b l i s ht h em o d e lo ff a c ei sr e s e a r c h e d t h ei n t e n s i t yc h a r a c t e r i s t i cv a l u e so f h u m a nf a c ea n dt h ei n t e r d e p e n d e n c ea r er e l a t e dw i t ht h e i d e n t i c a ls t a t et r a n s f e rm o d e l ，n o tu s i n gt h en u m e r i c a lc h a r a c t e r i s t i co fe a c ho r g a n t h e nt h e c o e f f i c i e n to fd i s c r e t ec o s i n et r a n s f o r m ( d c t ) i sa p p l i e dt oo b s e r v a t i o nv e c t o r o w i n gt ot h er a p i dc a l c u l a t i o n a n dc o m p r e s s i b i l i t yo fd c t ，t h eh m mo ft h i s d i s s e r t a t i o no u t p e r f o r m st h eo n e su s i n gt h ei n t e n s i t yv a l u e s n ee x p e r i m e n t sv e r i f i e d t h ec o n s i d e r a t i o n f i n a l l y , t h es i m u l a t i o no f t h i sf a c er e c o g n i t i o ni sa c c o m p l i s h e d 2 am e t h o db a s e do ne m b e d d e dh i d d e nm a r k o vm o d e l ( e h m m ) a n dd c t f e a t u r ei s p r e s e n t e d e h m mi n c r e a s e st h es t a t e s i nh o r i z o n t a ld i r e c t i o na n di sa s i m p l i f i e d2 dh m m 1 1 1 ee h m mc a nd e s c r i b et h ef a c em o r ee l a b o r a t e l ya n dm o r e c o m p l e t e l y t h ee x p e r i m e n tu s i n gt h eo r lf a c ed a t a b a s eh a sa c q u i r e dar e c o g n i t i o n r a t eo f o v e r9 9 3 。t oo u rk n o w l e d g e ，t h i si sa l s ot h eb e t t e rr e s u l tu s i n gt h i sd a t a b a s e u p t o n o w 3 t h ea l g o r i t h m o ff a c er e c o g n i t i o na n dd e s i g no fi n t e r f a c ea r ec o m p l e t e du n d e r v i s u a lc + + 6 0a n do p e n c v o p e n c vm a k e sr e s e a r c h e r sd e v o t em o r et ot h e a r i t h m e t i ci t s e l f , n o tc o n s i d e r i n gh o wt op r o g r a mt oc o m p l e t ei t k e y w o r d s ：f a c er e c o g n i t i o n ，h i d d e nm a r k o vm o d e l ( h m m ) ，e m b e d d eh i d d e n m a r k o vm o d e l ( e h m m ) ，o p e n c v ，f a c ed a t a b a s e ，d i s c r e t ec o s i n e t r a n s f o r m ( d c n 西北1 业大学硕士学位论文第一章绪论 第一章绪论 随着社会的发展，各个领域对快速有效的自动身份识别验证的要求日益迫 切。由于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此 人脸是区别人与人之间差别的最重要的特征。利用人脸特征进行身份验证又是最 自然直接的手段，相比其它人体生物特征，它具有直接、友好、方便的特点，它 是一种非侵犯式的主动识别，易为用户所接受。因而人脸识别技术成为当今研究 的一个热点。 人脸识别【1 、2 】是利用计算机分析人脸图像，用来辨认身份的一门技术，它 涉及到模式识别、图像处理、计算机视觉、生理学、心理学及认知学等诸多学科 的知识，并与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都 有密切的联系，因此早在六七十年代即引起了研究者的强烈兴趣。但由于受技术 条件的限制，发展缓慢，因而在最初的二三十年里关于这个课题只有少量的论文 出现。进入九十年代，由于高性能计算机的出现，一些以往只具有理论意义的方 法得以实现，人脸识别技术随之取得突破性的进展。从而也激励更多的科研工作 者投身其中，人脸识别的研究重新变的非常热门。但另一方面，由于人脸之间存 在很大的相似性以及人脸的高度可变形性，也使得这个课题极富挑战性。 1 1 人脸识别的研究内容及其应用 人脸识别的研究范围从广义上说大致可以分为如下5 个方面的内容 3 】： ( 1 ) 人脸检测、定位与跟踪( f a c ed e t e c t i o n 、l o c a t i o n t r a c k i n g ) ：即从各种不 同的场景中检测出人脸的存在并确定其位置，对于视频图像，还要求能够跟踪人 脸。这一任务主要受光照、噪声、面部倾斜度以及各种遮挡的影响。近年来，人 脸检测和跟踪开始作为一个独立的课题受到研究者的重视。 ( 2 ) 人脸表征( f a c e r e p r e s e n t a t i o n ) ：即采取某种表示方式表示检测出的人脸和 数据库中的己知人脸。通常的表示方法包括几何特征( 如欧氏距离、曲率、角度 等) 、代数特征( 如矩阵特征矢量) 、固定特征模板、特征脸、云纹图等。 ( 3 ) 人脸鉴别( f a c ei d e n t i f i c a t i o n ) ：就是通常所说的“人脸识别”，将待识别的 人脸与数据库中的已知人脸比较，得出相关信息。这一过程的核心是选择适当的 西北工业大学硕士学位论文第一章绪论 人脸表征方式与匹配策略。整个识别系统的构造与人脸的表征方式密切相关。 ( 4 ) 表情姿态分析( e x p r e s s i o n g e s t u r e a n a l y s i s ) ：即对待识别的人脸的表情或 姿态信息进行分析，并对其加以分类。 ( 5 ) 生理分类( f a c ep h y s i c a lc l a s s i f i c a t i o n ) ：即对待识别人脸的生理特征进行 分类，得出其年龄、性别、种族等相关信息。 由于侧重点的不同，上述5 个方面的内容都已经演变成独立的子课题。人脸 检测，人脸表征，人脸鉴别是我们通常意义上的建立人脸自动识别系统的三个方 面，人脸自动识别系统包括两个主要的技术环节，首先是人脸的检测和定位，即 从输入图像中找到人脸存在的位置，并将人脸从背景中分割出来( 即人脸检测) ， 然后才是对规一化的人脸图像进行特征提取与识别( 即人脸表征与人脸鉴别) 。 本文主要研究识别( r e c o g n i t i o n ) ，即从人脸数据库中找出与待识别图像身份相 同的人。 人脸识别系统的构造如图1 1 所示： 图1 1 人脸识别系统流程 人脸识别较早和主要的应用是法律执行部门，尤其是嫌疑犯照片的认证，以 及身份证、驾驶执照、护照等的识别；商业和民用包括银行卡和信用卡用户的识 别，以及仓库、车场、住宅小区的管理等：其他应用还包括监控系统、性别识别 及年龄估算等等。 西北工业大学硕十学位论文第一章绪论 1 2 人脸识别的研究现状和前景 计算机人脸识别技术从2 0 世纪6 0 年代开始研究，9 0 年代更成为科研热点。 早期人脸识别研究主要有两大方向：一是提取人脸几何特征的方法 4 】，包括人 脸部件规一化的点间距离和比率以及人脸的一些特征点，如眼角、嘴角、鼻尖等 部位所构成的二维拓扑结构；二是模板匹配的方法，主要是利用计算模板和图像 灰度的自相关性来实现识别功能。b e r t o 在1 9 9 3 年对这两类方法作了较全面的介 绍和比较后认为，模板匹配的方法优于几何特征的方法 5 】。目前的研究也主要 有两个方向：其一是基于整体的研究方法，它考虑了模式的整体属性，包括特征 脸( e i g e n f a c e s ) 方法、s v d 分解的方法【6 】、人脸等密度线分析匹配方法【7 、弹 性图匹配( e l a s t i cg r a p hm a t c h i n g ) 方法 8 、隐马尔可夫模型( h i d d e nm a r k o vm o d e l ) 方法【9 】以及神经网络的方法等；其二是基于特征分析的方法，也就是将人脸基 准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识 别特征向量。第一种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系，而 且也保留了各部件本身的信息，而基于部件的识别则是通过提取出局部轮廓信息 及灰度信息来设计具体识别算法。文献 5 】认为基于整个人脸的分析要优于基于 部件的分析，理由是前者保留了更多信息，而对基于整个人脸的识别而言，由于 把整个人脸图像作为模式，那么光照、视角以及人脸尺寸会对人脸识别有很大的 影响，因此如何能够有效的去掉这些干扰很关键。虽然如此，但对基于部件分析 的人脸识别方法而言也有困难，其难点在于如何建立好的模型来表达识别部件。 近年来的一个趋势是将人脸的整体识别和特征分析的方法结合起来，如 k i n - m a nl a m 提出的基于分析和整体的方法【1 0 】，a n d r e a sl a n i t i s 提出的利用可 变形模型( f l e x i b l e m o d e l s ) 来对人脸进行解释和编码的方法【1 1 1 。 近年来，随着高性能计算机的发展，人脸模式识别方法取得了较大的突破和 发展，目前已经提出了许多机器全自动识别系统。在过去的几年中，人脸识别也 得到了广泛的应用，在金融商业领域，政府部门、公安部门、国家安全部门等领 域中都有着广泛的应用前景。事实上，几乎所有基于个人身份识别的设旌及系统 都在它的应用范围之列。 国内关于人脸自动识别的研究开始于8 0 年代，我国很多高校、研究机构， 在图像处理和模式识别领域有很好的研究基础，积极开展了包括人脸识别在内的 研究人体生物特征识别技术的基础研究和应用开发工作，相信不久我国在这一领 域的研究和产品开发工作将能处于世界先进行列。 人脸识别技术的研究由于设计众多学科知识，因此，难度相当大。另外，随 1 西北工业大学硕士学位论文第一。章绪论 着种族的不同，带来了识别库及识别算法的差异，这一方面给具体应用带来了困 难，同时也给我国的具体研究开发部门带来了机遇，即国外已经开发成功的商用 软件在我国应用范围有限，不大可能形成垄断，这为国产人脸识别系统占领市场 留下了很大的发展空间。 总之，人脸识别技术有着非常广阔的应用前景，自动人脸识别系统在各种不 同的领域中的应用必将对人们生活的各个方面产生深刻的影响。 1 3 人脸识别方法综述 静止图像中的人脸识别是通过摄像机或扫描仪等简单设备获取人脸图像，进 行人脸识别，因其不需要昂贵的外部设备，操作简单，计算复杂度较低，且实时 性比较好，所以大多数人脸识别算法的研究是基于静止图像。从识别方法上分， 静止图像中的人脸识别方法大致可分为基于几何特征的识别、基于模板的识别和 基于模型的识别3 种方法。 1 3 1 基于几何特征的识别 基于几何特征的方法是早期的人脸识别方法。这类识别方法将人脸用一个几 何特征矢量表示，用模式识别中层次聚类的思想设计分类器达到识别的目的。这 就要求选取的几何特征矢量具有一定的独特性，能够反映不同人脸之间的差别， 同时又具有一定的弹性，以消除时间跨度、光照等的影响。几何特征矢量是以人 脸五官特征的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点 问的欧式距离、曲率、角度等。b r u n e l l i 和p o g g i o 1 2 用改进的积分投影法提取 出用欧式距离表征的3 5 维人脸特征矢量用于模式分类，3 5 个几何特征分别为： 眉毛厚度及眉毛与眼睛中心的垂直距离； 眉毛弧度的1 1 个描述数据； 鼻宽及鼻的垂直位置； 嘴宽、上下唇厚度及嘴的垂直位置； 下巴形状的1 1 个描述数据； 鼻孔位置的脸宽； 半脸宽( 鼻孔与眼睛中间位置的脸宽) 。 人脸器官的关键点分别对应于不同的积分产生出的波峰波谷，根据人脸结构 的先验知识，可以得出人脸各器官之间的几何位置关系。b r u n e l l i 和p o g g i o 1 2 西北上业人学硕士学位论文第。章绪论 的系统获得了9 0 以上的识别率。他们还将b a r o n 的模板匹配法加以改进，设 计了一种自动模板匹配识别系统，并与基于几何特征的识别系统做了性能比较。 1 3 2 基于模板匹配的识别 另外一种经常使用的技术是将一幅人脸图像表征为像素值的一个或多个模 板阵列。该阵列和表示训练集中的人脸的单或多模板通过一个合适的度量进行比 较。感兴趣的特征可以通过人工标定或通过使用一个由h u t c h i n s o n 和w e s h 1 3 所描述的更高级的基于多层感知器自动方法，y u i l l e 1 4 、1 5 、1 6 所描述的动态 模板，h u a n g 和c h e n 1 7 所描述的由k a s s 等人 1 8 首先提出的活动轮廓模型 ( s n a k e ) 来得到。 1 3 3 基于随机序列的模型识别 基于模型的人脸识别方法是通过若干张不同姿态、不同表情、受不同光照条 件等影响的人脸照片来建立能够描述人脸内在特征的数学模型，用模型参数来表 示一个对象的脸像，人脸库中存储的只是模型参数。 科研工作者最初接触这一领域，不容易将其与随机场联系起来。但随着研究 的深入，随机序列模型表现出很多不可替代的优点。人脸识别问题本身不是一个 确定性的识别问题，而是一个随机模式识别问题。人脸图像拍摄过程中光线明暗、 焦距大小、视角是随机的；人脸的表情及姿态变化以及人年龄、健康变化都会引 起人脸的变化。因此用确定性方法进行人脸识别有内在的缺点。另一方面，人脸 可以通过各个器官、脸庞的几何特征以及配置来表征。既然所有特征参数都应当 作为随机量，人脸描述就是一个很复杂的问题。我们需要找到一种方法，它能够 把表征人脸的各个随机的特征量相互联系起来，构成一个整体的描述，并且在计 算上容易处理。隐马尔可夫模型( h i d d e nm a r k o vm o d e l ， 删) 为我们提供了描述 这一复杂现象的一种机制。 1 4 本文的主要工作和内容安排 本文主要研究基于隐马尔可夫模型的人脸识别问题，并在前人工作的基础上 实现了一个自动的人脸识别仿真系统。论文共分五章，各章的主要内容如下： ( 1 ) 第一章：绪论。对人脸识别技术进行了综述，介绍了人脸识别的研究 西北工业大学硕士学位论文第一章绪论 内容、现状和应用前景。 ( 2 ) 第二章：隐马尔可夫模型。首先介绍了隐马尔可夫链的基本思想，在 马尔可夫链的基础上探讨了隐马尔可夫模型，紧接着介绍了隐马尔可夫模型的基 本算法，包括前向一后向算法、v i t e r b i 算法以及b a u m w e l c h 算法。 ( 3 ) 第三章：基于隐马尔可夫模型的人脸识别方法。介绍了在人脸识别中 广泛应用的隐马尔可夫模型( h m m ) 的原理和实现。在此基础上，阐述了基于h m m 的人脸识别方法，探讨了人脸d a m 模型的建立及训练过程。 ( 4 ) 第四章：基于嵌入式隐马尔可夫模型的人脸识别方法。首先介绍了e h m m 基本理论及其三个基本算法，然后分析了e h m m 人脸识别应用中观察向量的选择 对人脸识别结果的影响，得出了最优观察向量选择标准，并通过实验结果验证了 该方法对人脸识别的有效性。 ( 5 ) 第五章：总结与展望。总结了本文的工作，对未来人脸自动识别领域 的研究与发展提出了几点看法。 西北上业大学硕士学位论文第二章隐马尔可夫模型( h m m ) 第二章隐马尔可夫模型( h m m ) 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 是一个二重马尔可夫随机过程。 它包括具有状态转移概率的马尔可夫链和输出观测值的随机过程。其状态是不确 定或不可观测的，只有通过贯彻序列的随机过程才能表现出来。h m m 的基本理论 早在6 0 年代末7 0 年代初就己经提出并加以研究。目前己经成功的应用于连续语 音识别、手势识别、人体动作识别以及字符识别等领域。在人脸识别领域，h m m 能提取人脸的主要特征并对姿态和环境的变化具有较好鲁棒性，在识别率上也取 得了较好的效果 1 9 。 在这一章中，首先简单的介绍一下隐马尔可夫模型( h m m ) 理论，并用矢量矩 阵形式介绍了常规的前向一后向算法、v i t e r b i 算法、b a u m - - w e l c h 算法。 2 1 h m m 基本思想 2 1 1m a r k o v 链 m a r k o v 链是m a r k o v 随机过程的特殊情况，即m a r k o v 链是状态和时问参数 都是离散的m a r k o v 过程。从数学上，可以给出如下定义： 随机序列x 。，在任一时刻行，它可以处在状态b ，目：，氏，且它在m + k 时 刻所处的状态为q 。+ 。的概率，只与它在m 时刻的状态有关，而与聊时刻以前 它所处状态无关，即有： p ( 肖。+ = q 。+ ii x 。= q 。，x = qm _ 1 ，肖1 = q 1 ) = p ( x 。+ 女= q 。+ 女i x 。= q 。) 其中， q l , q 2 ，q m + ( q ，岛，) ( 2 1 ) 则称x 。为m a r k o v 链，并且称 弓( 研，m + 七) = p ( q m + = q1 = 2 ) ， l p ( o l 丑) 意义上来说，模型丑比九更有可能，亦即找到了一 个新模型，观测序列更有可能从这个新模型产生出来。 以上述方法为基础，如果不断地用五代替九，并重复上述重估计算，那么就 能够改善由模型观测到0 的概率，直至带到某个极限点为止。这一重估过程的最 后结果称为隐马尔可夫模型的最大似然估计。 应当指出，前向一后向算法只能得到局部最大。为了使得到的是全局极大， 必需要求九的初始值给得接近全局极大。在大多数我们感兴趣的问题中，最佳化 曲面是很复杂的因而有许多局部最大值。这是应用本算法的一项难点。 利用约束最佳化技术，求b a u m 辅助函数 q ( z ，瓦) = p ( q i o ，1 ) l o g p ( o ，q l 五) ( 2 5 0 ) 0 的最大值，可以直接推导出重估公式( 2 - 4 7 ) ( 2 4 9 ) 。可以证明，q ( t ，a ) 的 最大化导致似然函数值的增加，即 西北： 业大学硕十学位论文第一章隐马尔可夫模型( h m m ) m _ a x q ( a ，旯) j p ( o i 五) p ( o i 五)( 2 - 5 1 ) 最后似然函数收敛于临界点。 应当指出，h m m 训练，或者称为参数估计问题，是h m m 在应用中的关键问题， 与前面讨论的两个问题相比较，这也是最困难的一个问题，b a u m w e l c h 算法只 是得到广泛应用的解决这个问题的经典方法，但并不是唯一的方法，也不是最完 善的方法。我们在人脸识别中也是采用这个算法，找到一种更好的算法对建立的 用于人脸识别的h m m 进行学习，是我们进一步研究的目标之一。 2 3 小结 本章主要讲述隐马尔可夫模型( h 删) 的相关概念以及主要的算法。隐马尔 可夫模型的三大基础算法解决了为信号建立模型、由模型推出信号序列等问题。 下图表示了隐马尔可夫模型三大算法之间的关系，隐马尔可夫模型在实际中的应 用总体来说就是基于图2 6 的： 观察值序列 o = q ，q ，。， d p ( oj 舶 图2 6 隐马尔可夫模型算法的关系 9 谣北1 业人学硕士学位论文第三章基于隐马尔可夫模型的人脸识别方法 第三章基于隐马尔可夫模型的人脸识别方法 人脸识别方法的效果如何，主要决定于它在多大程度上利用和保留了图像的 原始信息。我们在看一个人的时候，可以明显地观察到他面部的各个器官和脸庞。 因此，我们可以利用一组数值特征来描述各个器官包括脸庞，并且利用这种数值 特征数据来对人脸进行识别。但是模式识别研究的经验表明，简单地利用一组数 值特征不能很好地解决人脸识别问题。并且由于视觉识别人脸的机制是十分微妙 的，人们对此的认识还非常肤浅。因此，人脸应当作为一个整体来描述，不仅仅 包括各个器官的数值特征，还应当包括各个器官的不同表象和相互关联。对于已 检测出的人脸图像，自动识别系统将它与数据库中的己知人脸进行比较匹配，得 出识别的结果。这部分工作是由人脸识别算法来完成。对于自动人脸识别系统， 一个对环境适应性强而且识别率高的算法是整个系统的关键。在本文的系统中， 人脸识别部分采用了一种较为成熟的人脸识别方法一一基于隐马尔可夫模型 ( h m m ) 的人脸识别方法。它为描述不同表象和相互关联提供了解决方案。 隐马尔可夫模型( h m m ) 提供了描述复杂现象的一种可能机制。按照这种模型， 观测到的一列特征( 例如描述脸庞的一组数值特征) 被看成是另一组不可观测的 ( 因此是隐的) “状态”产生出的一列实现。状态既然是不可观测的，它的个数是 未知的，但可以假定。选择状态个数的多少必须在模型的复杂性和描述复杂现象 准确度之间进行折衷。一个合理的或好的隐马尔可夫模型应该是这样的：给定一 组观测序列，从关于状态的适当的一组初始分布出发，能够产生出一组实现序列， 它非常好地逼近给定的观测序列。 利用隐马尔可夫模型对人脸进行描述和识别，就不是孤立地利用各个器官的 数值特征，而是把这些特征和一个状态转移模型联系起来。在人脸识别方面， f s a m a r i ae 2 2 、2 3 、2 4 、2 5 首先将h 删用于人脸识别研究。他采用的是一维的 隐马尔可夫模型。他是这样解释人脸的隐马尔可夫模型。例如，我们把人的眼睛 抽象为一种状态。我们观测到的不是抽象化的“眼睛”，而是它的各种表象，如 张开的、注目的、微笑的，以及不同位置和斜度的表象等等。s a m a r i a 的模型将 人脸划分为5 个显著区域：头发、额头、眼睛、鼻子和嘴。类似于抽象化的眼睛， 这些被看成5 个状态。在此基础上建立了用于人脸的描述和识别的隐马尔可夫模 型。可以看出，这种模型既考虑了人脸的各个器官的不同表象，又考虑了他们的 相互关联，比起孤立地利用各个器官的数值特征有概念上的进步。s a m a r i a 的实 ，n 西北t 业大学硕十学位论文第三章基于隐马尔可夫模型的人脸识别方法 验结果也证实了h m m 的合理性和刘人脸识别用5 个状态的效果比较好。 下面介绍利用二维离散余弦变换抽取观察序列的h m m 人脸识别方法，并同 s a m a r i a 的实验结果进行了比较。 3 1h m m 人脸识别基本框架 近几年来，基于h m m 人脸识别己经取得了较大的进展 1 9 、2 3 、2 6 、2 7 。它 们所采用的系统结构大致相同。本文所设计的h m m 人脸识别基本框架如图3 1 所 示： 图3 1 基于h m m 人脸识别的基本框架 从上图可以看出，一个典型的人脸识别系统要经过训练和识别两个部分。训 练就是h m m 建模的过程。根据一定的参数重估算法( 本文用的是b a u m w e l c h 算 法) ，不断调整模型参数，得到鲁棒性较好的模型。通过对基本模型的改进和优 化，提高模型的精确度，以达到较好的识别效果。识别就是根据已经建立好的人 脸h m m 模型库，使用某种搜索算法搜索最佳匹配的过程。本章的主要工作就是进 行人脸h m m 的建模工作。 3 2 人脸h m m 模型 对于一幅人脸的图像，首先要确定隐马尔可夫模型与它的关系，确定为人脸 图像建立数学模型的依据。f s a m a r i a 首先将h m m 用于人脸识别研究，并提出了 i 眦人脸模型 2 2 、2 3 、2 4 、2 5 。每个人的脸谱都有其个人特征，同一个人的脸 在不同拍摄条件下拍摄的照片中还存在种种随机性变异，但其空间结构却具有稳 定的相似共性，即自上而下循序可分为前额、眼睛、鼻子、嘴和下巴5 个组成部 分。人脸的个人特征首先表现为上述组成部分形状及其相互联接关系的不同，即 可用一个一维隐马尔可夫模型表示。上述人脸5 个部分的几何特征对应h m m 的状 西北工业大学硕士学位论文第三章基于隐马尔可丈模型的人脸识别方法 态序列，状态的出现及其转移可用模型中概率矩阵描述。事实上，在求状态的初 始参数时我们是按照这样的划分进行的。而最终求得的“状态”，是不受这些区 域限制的。因而，可以更进一步理解，所观察到的序列是由这5 个状态产生的， 这5 个状态是抽象的，没有具体的意义，只能通过观察序列对它进行估计。对于 一既定的人脸，所对应的h m m 应当是唯一的，人脸识别模型研究工作的任务就是 通过分析已收集的人脸图片去分析和建立其隐马尔可夫模型。 h m m 由一组状态序列组成。每个对象的人脸用一个h m m 的参数来表示，人脸 的差异就是通过模型参数的不同表现出来的。人脸图像的h m m 由以下参数表示：n 为垂直方向超状态数；a 为状态转移概率矩阵，a = a “1 i ， ，在人脸识 别的应用中，假定状态只能转移到本身或者是下一个状态( 垂直方向上) ，这样 可以减少系统的复杂性：b 为状态的观察值概率密度函数， b = b ( 0 ，) ：1 s n , 1 s t s 丁) ：其中q 表示t 时亥4 的观察向量，n 是状态的初 始概率分布，兀= 7 ，：1 j ) 。根据人脸五官特征，人脸图像h m m 选择图3 2 所示拓扑结构。 a l l 搦m 1 5 5 前额眼睛鼻子嘴巴下巴 图3 2 用于人脸识别的左右型l t m m 3 3 特征提取 在人脸识别系统中，人脸图像的特征抽取是该系统成败的关键。人脸图像特 征抽取的目的是获取一组“少而精”的分类特征，即获取特征数目少而分类错误 概率小的特征向量。 本文的特征抽取方案如图3 3 所示。人脸图像的宽度为w ，高度为h ，我们 用的采样图像从上到下进行采样，两个相邻采样窗之问的重叠部分为p 。采样数 也即序列的时间长度t 由下式给出： t ：h - a + 1 上一p ( 3 - 1 ) 两北工业人学硕士学位沦文第三章基于隐马尔可夫模型的人脸识别方法 图3 3 特征抽取方案 参数l 和p 的选择在很大程度上影响着识别率。一般情况下，重叠部分越大， 识别率也越高，因为这样可以得到更长的观察序列。如果图像采样块间没有重叠， 当采样高度l 过小时，采样的块不一定与重要的人脸特征相联系，并且增加系统 的复杂度；当采样高度l 过大时，会增加在采样时切割人脸特征的概率。一般来 u 说，z 兰，p 茎l 一1 。在p 足够大的情况下( p 茎l 一1 ) ，系统的识别率不敏感于 l 【j l 。s a m a r i a 用采样窗内的灰度值作为观察向量，因此观察向量的大小为l w 。 直接采用灰度值作为观察向量有两个很大的缺陷：首先灰度值不表示稳健的特 征，对图像噪声、光照变化以及图像旋转等非常敏感；其次，大尺寸的观察向量 导致了计算复杂度增加，因而增加了对系统进行训练和识别的时间。 人脸识别的难点在于，同一个人的不同照片总有或多或少的差别。光照强度、 头部的转动和倾斜，以及面部表情变化等等都可能造成这种差别。我们选择隐马 尔可夫模型就可以将同一个人的这些变化看作是同一个状态产生的一系列实现， 而不同的人我们用不同的h m m 来表现。 离散余弦变换的变换系数是一种较好的变换系数特征。离散余弦变换 ( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) 的变换核为实数的余弦函数，d c t 是k - l 变换 的最好近似，众所周知，k i ，t 是基于不同的性能准则的一个最优变换 2 8 、2 9 。 数据压缩是离散余弦变换的一个主要特性。另外，因为离散余弦变换与离散傅立 叶变换很相近 3 0 ，所以可以对它进行有效地计算。基于这两个特性，可以用它 作为人脸的特征。d c t 也具有好的模式识别性能，而且由于d c t 的计算速度快， 使用d c t 进行人脸识别比使用k l t 更有价值 3 1 。 2 3 西北工业火学硕士学位论文第三章基于隐马尔可夫模型的人脸识别方法 本文采用离散余弦变换系数作为h m m 的观察向量。二维d c t 的结果是能量分 布向低频集中，因此取每一个图像块二维d c t 左上角的低频系数组成观察向量。 由采样图像块的二维d c t 低频系数构造观察向量可以降低对噪声和光照变化的 敏感度，受图像比例和姿态的影响也较小；另外很重要一点就是减少了观察向量 的维数 3 2 。 3 4 训练人脸的隐马尔可夫模型 人脸隐马尔可夫模型的训练就是要为每一个人确定一组经过优化了的h m m 参数。每个模型可以用单幅或多幅图像进行训练。 人脸图像采样生成观察值序列，这些观察值序列就用来训练出人脸的模型。 人脸训练的算法如下： 1 、将要训练的人脸图像进行统一分割，按照d c t 算法提取出人脸特征相联 系的观察值序列o ，ls i t 。 2 、建立一个通用的h m m 模型a = ( a ，b ，兀) ，确定模型的状态数，允许的状态 转移和观测序列向量的大小。 3 、迭代计算初始h m m 参数。首先，图像被统一分割，每部分对应h m m 的一 个状态。然后，上述的分割数据被v i t e r b i 分割代替。这一过程的输出是一个初 始的h 模型，用作下一步重估h m m 参数的输入。 4 、使用b a u m - - w e l c h 方法对h m m 模型参数进行重估。隐马尔可夫模型的各 个参数在这个步骤中得以重新估计，得到一个新的五= ( 爿，b ，r i ) 。然后利用前向一 后向算法或者v i t e r b i 算法计算出观察值序列0 在这个模型下的p ( o | ) 。为了 估计出最接近于观察值序列0 的模型，设定门限值c ，当l e ( o i 五) 一e ( o i 爿) i c 时( 此时p ( o i z ) 收敛) ，即得到训练出的隐马尔可夫模型，否则令五= 彳，重复 此步骤，直至p ( oi ) 收敛，得到最接近于观察值序列的隐马尔可夫。根据训练 图像的观察向量，h m m 参数将会被调整到一个局部极大值。这个过程的输出即为 数据库中人脸图像最终的h m m 模型。 由于算法是p ( o l ) 局部极大时得到的模型参数，因此，选取好的初始模型， 使最后求出的局部极大与全局极大接近，是很有意义的。但是，至今这个问题仍 没有较好的办法。实际处理的时候都采用一些经验方法。 h m m 训练的流程如图3 4 所示。 西北工业大学硕 学位论文 第三章基于隐马尔可_ 大模型的人脸识别方法 图3 4 人脸h m m 的训i 练流程 西北工业大学硕士学位论文第三章基丁二隐马尔可夫模型的人脸识别方法 3 5 人脸识别及实验结果 3 5 1 0 p e n c v 简介 o p e n c v 是“o p e ns o u r c ec o m p u t e r v i s i o nl i b r a r y ”的简写，是i n t e l 开源计 算机视觉库。它由一系列c 函数和少量的c 十+ 类构成，实现了图像处理和计算 机视觉方面的很多通用算法。在o p e n c v 最初的阶段，它是由美国i n t e l 公司开 发和维护的，随后i n t e l 公司把它交给了开源社区维护和开发，经过全世界优秀 的程序员的共同努力，现在的o p e n c v 己经演变成一个使用方便，功能强大，专 注于计算机视觉方面的函数库，而且还在不断更新中。o p e n c v 的优点表现在以 下几个方面： 开放源代码 基于i n t e 处理器指令集开发的优化代码 统一的结构和功能定义 强大的图像和矩阵运算能力 方便灵活的用户接口 同时支持m s w i n d o w s ，l i n u x 平台 最新的o p e n c v 库己经包含了大量的函数和例子用来处理计算机视觉领域中 常见的问题，其中主要涉及到以下几个方面的内容： m o t i o n a n a l y s i sa n do b j e c t i o nt r a c k i n g 运动分析和目标跟踪 i m a g ea n a l y s i s 图像分析 s t r u c t u r a la n a l y s i s 结构分析 o b j e c tr e c o 鼬i t i o n 目标识别 3 dr e c o n s t r u c t i o n - - 3 d 重建 o p e n c v 的出现，给我们的学习和开发带来了极大的方便。在研究和学习上， 我们可以有更多的时间和精力来研究算法本身，而不是把大量的时间和精力花费 在如何编程实现这个算法上。在应用开发上，o p e n c v 为我们开发数字图像处理 和计算机视觉领域的应用程序提供了功能完善、使用方便的接口，而且我们的应 用开发无论是从商业用途还是非商业用途来说，o p e n c v 都是免费了，使我们免 受版权问题的困扰。我们可以从i n t e m e t 上免费下载和安装o p e n c v 库，下载的 地址是：h t t p ：w w w s o u r c e f o r g e n e t p r o j e c t s o p e n c v l i b r a r y 。 西北上业人学硕士学位论文第三章基于隐马尔可大模型的人脸识别方法 3 52 算法实现及实验结果 在训练好若干人脸的隐马尔可夫模型( h m m ) ，即建好人脸数据库后，才能进 行人脸的识别。 识别的过程如下： l 、首先要对待识别的人脸图像进行采样，形成观察向量序列。 2 、然后计算此人脸的观察向量序列与人脸数据库中各个人脸的隐马尔可夫 模型的最大似然概率p ( o 忙i ) 。最大似然概率p ( o 忡l 九) 的计算可以 通过前向一后向算法或者v i t e r b i 算法得出。 3 、最大似然概率反映了待识人脸观察向量序列与数据库中的人脸隐马尔可 夫模型的相似程度。计算出每一个训练模型产生该序列的最大似然概率， 最大值的模型即为待识别人脸所属的类，可以用公式表达为： _ p ( o ”1 丸) = m a x p ( ”1 丸) ( 3 2 ) n 如果第m 个模型丸产生序列。咕的最大似然概率值取最大值，则将图像k 归入第1 n 类。人脸识别的流程图如图3 5 所示。 图3 5 人脸识别流程 2 7 识鄹结果 p q 北工业大学硕十学位论文第三章基于隐马尔可大模型的人脸识别方法 为了检测基于h m m 人脸识别方法的效果，我们在两个数据库中作了试验。一 个是0 li v e t t ir e s e a r c hl t d 的人脸数据库，简称o r i ，库。该数据库是剑桥大 学贝尔实验室在1 9 9 4 年制作用于检验人脸识别算法的人脸图像数据库。该数据 库包括4 0 个不同人在不同时间拍摄的每人各l o 幅图像，共4 0 0 幅人脸陶像，图 像象素为9 2 1 1 2 。o r l 数据库巾的人脸图像背景光线有一定的变化，人的表情 也不一样( 包括睁眼和闭眼，微笑和不微笑) ，一些人还有戴眼镜和不戴眼镜时 的不同图像。图3 6 为该数据库l _ _ i 部分人的全部人脸图像。另外一个是y a je 人 脸图像数据库，该数据库国际上测试人脸识别算法比较常用的人脸数据库。该数 据库包括1 5 人每人1 1 幅图像共1 6 5 幅图像，图像象素为3 2 0 2 4 3 。图像的表 情、姿态、光照变化都非常大，有戴眼镜和不戴眼睛的图像。每人的1 1 幅图像 分别为：左光源、右光源、中心光源、戴眼镜、不戴眼镜、正规图像、高兴、悲 伤、睡姿、惊奇和眨眼。 图3 6o r l 人脸数据库中部分人的全部人脸图像 试验条件为p i i l 7 3 3 ，1 9 2 m 内存的p c 机上v i s u a lc + + 语言编程测试结果，操 作系统为w i n 2 0 0 0 ，本文的系统主界面如图3 7 所示。实验是在o p e n c v 环境下 使用o r l 和y a l e 人脸数据库完成的。为了验证基于h m m 人脸识别方法的效果， 实验主要进行纵向和横