（应用数学专业论文）基于准二值图像的人脸识别算法研究.pdf

基于准二值图像的人脸识别算法研究 摘要 人脸，作为最主要的生物特征，在人们日常交往中起到至关重要的作 用，人脸识别技术也是模式识别和机器视觉领域最富挑战性的研究课题之 一。人脸识别系统主要包括人脸检测，人脸特征定位以及人脸识别三部分， 其中人眼定位在人脸检测和识别中起着关键的作用。本文利用含有极少灰 度值的准二值图像为研究对象，利用投影函数、空间向量夹角以及改进的 h a u s d o r f f 距离为研究手段分别对眼仁定位和人脸识别算法进行了研 究，给出了新的定位算法和识别模型。主要工作如下： 1 、提出了一种基于以二次二值化图像为研究对象，二次垂直投影为 定位手段的眼仁定位方法。用小波变换和新奇异值重建后的准二值图像 为人眼定位的后续工作搭建了较好的平台。实验证明，与投影函数结合 起来的眼仁定位方法简单易行，准确度高，定位效果好。 2 、提出了一种新的基于奇异值分解与空间向量夹角相融合的人脸识 别算法。同样是基于准二值图，不同的是用人脸整体和局部的奇异值分 解得到不同的奇异值向量作为待识别量，最后用空间夹角最小的判别方 法来进行识别。实验表明：两种方法都取得了较好的识别效果，但基于 局部奇异值加权算法的识别率好于整体奇异值分解的识别率。 3 、提出了基于准二值图和改进的h a u s d o r f f 空间距离相结合的人 脸识别算法。我们同样用转化后的准二值图像来进行识别。实验数据表明： 北京化工大学硕j j 学位论文 用改进的h a u s d o r f f 距离与准二值人脸图像相结合的识别方法比前人 提到的识别方法更有效。值得注意的是，以上两种方法均省去了对图像训 练的步骤，在提高了运算速度的同时，达到了良好的识别效果。 关键词：人眼定位，人脸识别，奇异值分解，准二值图像，h a u s d o r f f 距离，投影 i i a b s t r a c t f a c er e c o g n i t i o na l g o r i t h mb a s e do n q u a s i b i n a r yi m a g e a b s t r a c t f a c e ，a st h em o s ti m p o r t a n tb i o l o g i c a lc h a r a c t e r i s t i c s ，p l a y sac r u c i a lr o l ei n p e o p l e sd a i l yi n t e r a c t i o n s ，a n di t so n eo ft h et o p i c sa st h em o s tc h a l l e n g i n g a r e ai np a t t e mr e c o g n i t i o na n dm a c h i n ev i s i o n f a c er e c o g n i t i o ns y s t e m m a i n l yi n c l u d e s f a c e d e t e c t i o n ，f a c i a l f e a t u r e l o c a t i o n ，a sw e l l a sf a c e r e c o g n i t i o no ft h r e ep a r t s ，m e a n w h i l e ，t h eh u m a ne y e sl o c a l i z a t i o np l a y sak e y r o l ei nt h ef a c ed e t e c t i o na n dr e c o g n i t i o ns y s t e m i nt h i sp a p e r , p i c t u r eb a s e d o nq u a s i b i n a r yw i t hm i n i m a lg r a yv a l u e si sr e s e a r c h e d p r o j e c t i o nf u n c t i o n s ， a n g l e b e t w e e n s p a c e v e c t o r sa n d i m p r o v e dh a u s d o r f fd i s t a n c e a r e c o n c e r n e da sr e s e a r c ht o o l st os t u d ye y e sl o c a t i o na n df a c er e c o g n i t i o n ， r e s p e c t i v e l y , a n dan e wl o c a l i z a t i o na l g o r i t h ma n dt w or e c o g n i t i o nm o d e l sa r e g i v e n m a j o rw o r ka r ea sf o l l o w s ： ( 1 ) aa l g o r i t h mf o re y e sl o c a l i z a t i o nb a s e do nt w i c eb i n a r yi m a g e sa n d t w i c ev e r t i c a l p r o je c t i o n s i sd e s c r i b e di nt h i s p a p e r r e c o n s t r u c t e d q u a s i - b i n a r yi m a g eb yw a v e l e ta n dn e ws i n g u l a r sb u i l d sab e t t e rp l a t f o r mf o r f u t u r ee y e sp o s i t i o nw o r k e x p e r i m e n t a lr e s u l ti n d i c a t e st h a tt h ep r o p o s e d m e t h o di se a s y ，f e a s i b l e ，a n df a i r l yp r e c i s ef o re y el o c a l i z a t i o n ( 2 ) an e wi n t e g r a t i o na l g o r i t h mb a s e do ns i n g u l a rv a l u ed e c o m p o s i t i o n i i i 北京化丁大学硕：l 学位论文 a n d a n g l e b e t w e e n s p a c e v e c t o r sf o rf a c e r e c o g n i t i o n i sm e n t i o n e d q u a s i - b i n a r yi m a g ei st h es a m er e c o g n i t i o nb a s i c ，b u tt h ed if f e r e n c ei s t h a t d i f f e r e n ts i n g u l a rv e c t o r so b t a i n e db yt h ew h o l ea n dp a r t i a ls v dm e t h o d sa r e t a k e na sv e c t o r st ob er e c o g n i z e d a tl a s t ，a n g l eb e t w e e ns p a c ev e c t o r si su s e d t oi d e n t i f yp e r s o n s e x p e r i m e n t a lr e s u l ti n d i c a t e st h a tb o t hm e t h o d sg e ta s a t i s f i e dr e c o g n i t i o nr a t e ，m e a n w h i l e ，w e i g h t e dp a r t i a ls v da l g o r i t h mi sm o r e e f f e c t i v et h a nt h ew h o l es v da l g o r i t h m ( 3 ) a na l g o r i t h m b a s e do n q u a s i - b i n a r yi m a g e a n dt h e i m p r o v e d h a u s d o r f fd i s t a n c ef o rf a c e r e c o g n i t i o n i s g i v e n t h et r a n s f o r m e d q u a s i - b i n a r yi m a g ei s t ob ei d e n t i f i e d r e s u l ts h o w st h a ti t sm o r ee f f e c t i v e t h a nt h ep r e v i o u sm e t h o d s a tt h es a m et i m e ，i ti sw o r t hn o t i n gt h a tt h ea b o v e t w om e t h o d se l i m i n a t et h en e e df o rt r a i n i n gi m a g e s ，i n c r e a s i n gt h es p e e do f o p e r a t i o n ，i ta l s oa c h i e v e sag o o dr e c o g n i t i o nr e s u l t sa tt h es a m e t i m e k e y w o r d s ：e y e sl o c a t i o n ，f a c er e c o g n i t i o n ，s v d ，q u a s i b i n a r yi m a g e ， h a u s d o r f f d i s t a n c e ，p r o je c t i o n i v 北京化工大学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人 完全意识到本声明的法律结果由本人承担。 作者签名：j 弛 日期： 关于论文使用授权的说明 学位论文作者完全了解北京化工大学有关保留和使用学位论文 的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北 京化工大学。学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编 学位论文。 本学位论文不属于保密范围， 作者签名：! 宣z 至 t 勘 曼i i 讦；敛之：弋厕尉留p 导师签名： 鱼竺竺竺匕 适用本授权书。 日期：竺! ! ：型 日期：型罩：曼：i f 第一章绪论 1 1 引言 第一章绪论弟一早殖形 在人们的相互交往、认识过程中，脸部包含的视觉信息拥有相当重要的主导地位， 也是人们之间存在差别的主要生物特征，因此在模式识别的范围中，人脸的自动识别 技术在近年来的研究地位越来越高，并逐渐成为当今研究的一个热点。但另一方面， 由于人脸之间存在相当大的相似模糊性、人脸识别模板有高度的可变性以及人脸识别 属于小样本识别模式等特征，同时它还涉及到心理学和神经学科的知识，也使得这个 课题更具有极大的挑战性【1 1 。 人脸识别技术开始于上个世纪六十年代，但由于理论支持上的缺陷以及各方面硬 件的限制，其发展比较缓慢，所以关于人脸识别的可查阅的科研成果是很少的。从八 十年代开始，随着计算机技术以及图像处理和模式识别技术的进一步发展与完善，人 脸识别技术取得了突飞猛进的发展，涌现出很多优秀的识别算法和科研成果，有些技 术已经在实际应用中显现出一定的作用和优势。 同时，在识别过程中我们发现，与鼻子、嘴巴等人脸部件相比较，眼睛区域包含 了更为丰富的和可用于个体区分的重要信息，并且人眼瞳孔的间距比较稳定，且两眼 间距受光照或表情变化的影响最小，故常以此作为人脸图像进行位置、大小和旋转角 度归一化的前提。根据确定下来左右眼睛的位置，我们也就基本确定了人脸所在的位 置，而且实现眼睛的精确定位也是人脸其他部件检测和抽取的基础。因此在输入的人 脸图像中进行人眼定位是识别过程中至关重要的一个步骤，也是提高人脸自动识别系 统性能的一个重要的步骤【2 5 】。 下面，我们将对人脸识别技术和脸部灰度图像的人眼定位进行详细的分类与论 述。 1 2 人脸识别技术综述 近年来，数字图像技术的应用范围如安系统刑侦破案的罪犯身份识别、身份证及 驾驶执照等证件验证、银行及海关的监控、视频会议、机器人的智能化研究等方面的 应用前景越来越广，逐渐成为当前模式识别和人工智能领域的一个研究热点。作为人 的内在属性的生物特征，具有很强的自身稳定性和个体差异性，因此它是进行个体身 份验证的最理想依据。其中，利用人脸面部特征进行身份验证又是最自然最直接的途 径，相比于视网膜、基因、声音等其它人体生物特征，它具有友好、方便、使用者无心 里障碍的特点，更易于为用户所接受。 北京化工人学硕i ：学位论文 人脸自动识别技术就是利用计算机分析人脸图像，从中提取有效的识别信息，用 来辨认身份的一门技术，它涉及到模式识别、图像处理、计算机视觉、生理学、心理 学及认知学等诸多学科的知识，并与基于其他生物特征的身份鉴别方法以及计算机人 机感知交互的研究领域都有密切联系。虽然人类可以毫不困难地由人脸辨别一个人， 但由于机器对人脸的自动识别涉及到模式识别、数字图像处理、生理和心理学等多方 面因素的影响，利用计算机进行完全自动的人脸识别仍存在许多困难，其表现在：人脸 是非刚体，存在表情变化；人脸随年龄增长而变化：发型、眼镜等装饰对人脸造成遮挡： 人脸所成图像受光照、成像角度、成像距离等影响。人脸识别系统应该能够处理脸部 图像的变化，但是同一张脸，在不同的视角，不同的描述方法下，图像的差别很大，人脸 的自动识别因此也是极具挑战性的工作。此外人脸识别技术研究与相关学科的发展及 人脑的认识程度紧密相关。 早在6 0 年代末，人脸识别即引起了研究者的强烈兴趣，但早期的人脸识别一般都 需要人的某些先验知识，无法摆脱人的干预， 。进入9 0 年代，由于高速度高 性能的计算机的出现，人脸识别的方法有了重大突破，进入了真正的机器自动识别阶 段，人脸识别研究得到了前所未有的重视，国际上发表有关人脸识别等方面的论文数 量大幅度增加，仅从1 9 9 0 年n 2 0 0 0 年之间，i e 可检索到的相关文献多达数千篇，这期 间关于人脸识别的综述也屡屡可见。本文在介绍和比较人脸识别技术各类方法的基础 上，着重介绍各类方法的新进展及新方法，并指出各类方法的优缺点及今后的发展方 向。 人脸识别的发展大致可以分为三个阶段：第一阶段以a l l e n 和p a r k e 为代表，主 要研究人脸识别所需要的面部特征。研究者用计算机实现了较高质量的人脸灰度图模 型。这一阶段工作的特点是识别过程全部依赖于操作人员，显然这不是一种可以完成 自动识别的系统。第二阶段是人机交互式识别阶段，代表性工作有：h a r m o n 和l e s k 用 几何特征参数来表示人脸正面图像。他们采用多维特征矢量表示人脸面部特征，并设 计了基于这一特征表示法的识别系统。k a y a 和k o b a y a s h i 则采用了统计识别方法，用 欧氏距离来表征人脸特征。但这类方法需要利用操作员的某些先验知识，仍然摆脱不 了人的干预。第三阶段是真正的机器自动识别阶段。近十余年来，随着高速度高性能 计算机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识别系统。 人脸识别技术进入了实用化阶段呻3 。 人脸识别的研究范围包括以下4 个方面的内容： ( 1 ) 人脸检测：即从各种不同的场景检测图像中人脸的存在，若有，将其从背景中 分割出来，并确定其在图像中的大小，旋转等内容。这一任务主要受场景的复杂程度 影响，人脸检测作为人脸信息处理中的一项关键技术，近年来已在模式识别与计算机 视觉领域中的受到普遍重视，研究十分活跃的课题呻1 。 ( 2 ) 人脸的规范化：即根据人脸定位结果将图像中的人脸在尺度、光照和旋转等 2 第一章绪论 方面的变化进行校正并变换到同一位置和大小。 ( 3 ) 人脸表征：即采取某种表征方式表示检测出的人脸和数据库中的已知人脸。 通常的表示法包括几何特征、代数特征、固定特征模板、特征脸等。 ( 4 ) 人脸识别：即将待识别的人脸与数据库中的已知人脸比较匹配，得出相关匹 配结果。这一过程的关键是选择适当的人脸的特征表征方式与匹配策略。 人脸识别的方法大致可以分为基于特征、基于模板、基于三维模型以及基于随机 序列模型等的几大类。 1 2 1 基于特征的人脸识别方法 1 2 1 1 基于几何特征的人脸识别方法 基于几何特征识别的方法是通过人脸面部拓扑结构几何关系的先验知识，利用基 于结构的方法在知识的层次上提取人脸面部主要器官特征，将人脸用一组几何特征矢 量表示，识别归结为特征矢量之间的匹配，最常用的识别方法是基于欧氏距离的判决。 侧面识别u 伽是最早的基于几何特征的人脸识别方法，主要是从人脸侧面轮廓线 上提取特征点入手。一般将侧影简化为轮廓曲线，从中抽取若干基准点，用这些点之间 的几何特征来进行识别。由于现在的证件照片多为j 下面，而且侧面照片约束很多，所以 对侧面人脸识别的研究最近已不多见。 正面人脸识别是在抽取人脸图像上突出特征的相对位置及其表征参数的基础上 进行识别。识别所采用的几何特征是以人脸器官的形状和相对几何关系为基础的特征 矢量。 b l e d s o 1 是最早研究人脸识别的学者之一。他同手工标定的方法找出人脸特征点 的位置并将其输入计算机中，在给定待识别人脸的特征距离后，用最近邻方法来识别 人脸。但是由于特征点是人工提取的，因此识别时需要人工的参与，这也是其最大的 缺点所在。k e l l y 基于b l e d s o 的基础之上做进一步的研究，但是一个明显的进步是它不 需要人的干预。他的方法利用了包括头部的宽度、眼睛之间的距离、头顶n i l 睛的距 离、眼睛到鼻子的距离，以及眼睛到嘴巴的距离等测量量。识别的方法仍然用最近邻 分类的方法。 后来有很多学者如y k a r a ，t p o g g i o ，f g i r o s i ，r b r u n e l i 等对这一方法进行了发 展与进一步的研究，而n i c h o l a sr o e d e r 暑i x i a o b ol i 则更为全面的对基于特征的人脸识 别方法的准确性进行了研究。为了提高依赖于脸部特征识别的准确性，他们对眼睛、 嘴巴、面颊和下巴等定义了1 2 个测量量，通过实验来发现测量的准确率对识别的影响， 所有的测量量都用两眼红膜中心的距离进行归一化，例如测量量：左眼左侧到左脸颊 的计算如下： 3 北京化丁大学硕上学位论文 斗型竿坐l 其中，x f r 1 y 是左眼角的坐标，是从原点到脸颊线的垂直距离，e 是脸颊线的垂线和z 轴之间的夹角，g 是两眼虹膜中心的距离。 每一幅人脸图像被看作包含上述测量量的一个样本，采用误差平方和准则进行聚 类。设p 是一个类中的样本数，膨是每个样本的测量量数。设c 是p 行膨列的矩阵， 两个样本只他之间的高维e u c l i d e a n 距离为 d p i ，p j ) = 其中n ( m ) 是样本f 的第m 个测量量。易到类中心q 的距离是 d ( p i ，p j ) = 对每一个测量量n l ，每个类的中- t 二, c k 可表示为 q ( m ) _ 1 一e b ( 朋) ( 1 - 2 ) ( 1 - 3 ) ( 1 4 ) 对每一个划分结果，计算下面的比例式 d ( b ，p j ) 肚 m 5 ， 二一 一o i 。f j 岛属小同类 比例式的分子代表了类的松或紧，分母表示类的分离性。比例y 代表划分的有效性， 如果分子为零，则所有样本属同一类。 聚类的结果用来标志所有样本，也就是说，对每个样本b ，将其所属的类名厶作 为其标志 厶= k ，i fd ( b ，c k ) = m i n d ( p i ，g ) ( 1 6 ) 其中，c 。是类的中心。 识别时，每一类被平均地分成两组样本：一组用来训练，一组用来测试。识别中 采用最近邻原则。识别过程中，每一个检测本取与它最近的训练样本的卷标，也就是 说，对一个测试样本仍，如果 厶= k ，d ( 乃，p j ) 2 几黧搋愕d ( 鼽，仇) ( 1 - 7 ) 则尽= 三，忍和p ，属于同一类。 4 第一章绪论 1 2 1 2 基于代数特征的人脸识别方法 洪子泉和杨静宇【l l 】最早提出了代数特征抽取的方法。他们认为图像本身的灰度分 布描述了图像的内在信息，将图像作为矩阵看待，将其进行各种代数变换和矩阵分解， 可提取图像的代数特征，并论证了奇异值特征向量是识别图像的有效特征。 m k i r b y 和l s i r o v i c h l l 2 】利用k l 变抽取人脸图像的主成分并此作为人脸的特征 向量。m a t u r k 和a p e n t l a i l d 【1 3 】提出了特征脸的方法，它根据一组人脸训练图像构 造主元子空间，由于主元具有脸的形状，也称为特征脸。 识别时将测试图像投影到主元子空间上，得到一组投影系数和各个已知入的人脸 图像比较进行识别。特征脸方法的优点是算法稳健，但它也有一个缺点是它的“扩容 性 差，即每增加一个对象，就要将所有数据重新进行计算，当数据库很大时，这种 计算的代价将非常大。 另一种是基于局部特征的人脸识别方法。主元子空间的表示是紧凑的，特征维数 大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓 扑的，某个轴投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和 拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻 找具有这种特性的表达十分重要。基于这种考虑，研究人员提出基于局部特征的人脸 特征提取与识别方法。这种方法在实际应用取得了很好的效果。 基于奇异值分解的方法是将整幅图像作为一个矩阵来看待，因而对图像的限制 少，算法稳健。但是，将整幅图像的奇异值作为识别特征量的方法是很大缺陷的，它 对图像的细节描述不足。 1 2 2 基于模板匹配的人脸识别方法 基于模板匹配的方法是另一类常用的方法。最简单的模板匹配方法是每个人作为 数据库中的一个条目，它的字段包含一个从其正面人脸像抽取的二维点阵。图像必须 经过归一化。识别时，未分类的图像跟数据库中的所有图像数据进行比较，采用相关 作为典型的匹配函数。这一方法的较早研究可参见b a r o n 的文章【l 引 o s a m u 等人提出了等灰度图匹配的方法【l5 1 。所谓等灰度图就是对原始图 像进行二值化后得到的图像。该方法大致可分为以下几个步骤： ( 1 ) 利用s o b e l 算子抽取轮廓边缘； ( 2 ) 噪声消除； ( 3 ) 利用粗化和细化的方法将轮廓边缘存在的不连续点进行连接： ( 4 ) 将脸从背景中抽出； ( 5 ) 将不同尺寸大小的图像进行归一化处理； 5 北京化工人学硕i ：学位论文 ( 6 ) 利用灰度直方图来抽取等灰度线图：灰度直方图被分成8 部分，形成8 张等灰 度线图象，最后将这8 幅等灰度线图迭加，形成最终的等灰度线图( 8 个灰度级，3 比 特) ； ( 7 ) 用合成的等灰度线图匹配，也可以用各个灰度线图进行匹配，对各个匹配赋 予一定的权值。 这种方法的优点是运算量小于通常的基于灰度图的匹配方法，但也存在不足，比 如它要求光照变化不大，摄像机到人脸的距离应保持不变，有外形( 一个新的胡子或头 形) 或附属物发生变化时，就要重新注册。 弹性模板( e l a s t i ct e m p l a t e ) 和弹性匹配( e l a s t i cm a t c h i n g ) 最简单的人脸模板是将人脸看成一个椭圆，检测人脸也就是检测图像中的椭圆 n 。另种方法是将人脸用一组独立的小模板表示，如眼睛模板、嘴巴模板、鼻子 模板、眉毛模板和下巴模板等。但这些模板的获得必须利用各个特征的轮廓，而传统 的基于边缘提取的方法很难获得较高的连续边缘。即使获得了可靠度高的边缘，也很 难从中自动提取所需的特征量。为此，用弹性模板方法提取特征显示出其独到的优越 性。弹性模板由一组根据特征形状的先验知识设计的可调参数所定义。为了求出这组 参数，需要利用图像的边缘、峰值、谷值和强度信息及特征形状的先验知识设计合适 的能量函数。参数向能量减小方向调整，当能量达到最小时，这组参数对应的模板形状 最符合特征形状。 弹性图匹配方法n 8 1 是一种基于动态链接结构( d y n a m i cl i n ka r c h i t e c t u r e ，d l a ) 的方法。它将人脸用格状的稀疏图表示，图中的节点用图像位置的g a b o r t j , 波分解得 到的特征向量标记，图的边用连接节点的距离向量标记。匹配时，首先寻找与输入图像 最相似的模型图，再对图中的每个节点位置进行最佳匹配，这样产生一个变形图，其节 点逼近模型图的对应点的位置。w i s k o t t 等人使用弹性图匹配方法，以f e r e t 图像库 做实验，准确率达到9 7 3 。弹性图匹配方法对光照、位移、旋转及尺度变化都不敏 感，是一种优于特征脸方法的人脸识别方法。此方法的主要缺点是对每个存储的人脸 需计算其模型图，计算量大，存储量大。为此，w i s k o t t 在原有方法的基础上提出聚束图 匹配，部分克服了这些缺点。在聚束图中，所有节点都已经定位在相应目标上。对于大 量数据库，这样可以大大减少识别时间。另外，利用聚束图还能够匹配不同人的最相似 特征，因此可以获得关于未知人的性别、胡须和眼镜等相关信息。l e e 等提出了一种 基于弹性图动态链接模型的方法，既取得较高的识别速度，也获得了较理想的识别率， 在一定程度上克服了以往方法总是在速度与识别率之间进行折中的缺点。 1 2 3 基于随机序列模型的人脸识别方法 人脸识别问题本身不是一个确定性的识别问题，而是一个随机模式识别问题。人 6 第一章绪论 脸图像拍摄过程中光线明暗、焦距大小、视角是随机的：人脸的表情及姿态变化以及 人年龄、健康变化都会引起人脸的变化。因此用确定性方法进行人脸识别有内在的缺 点。另一方面，人脸可以通过各个器官、脸庞的几何特征以及配置来表征。既然所有 特征参数都应当作为随机量，人脸描述就是一个很复杂的问题。我们需要找到一种方 法，它能够把表征人脸的各个随机的特征量相互联系起来，构成一个整体的描述，并 且在计算上容易处理。隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 为我们提供了描 述这一复杂现象的一种机制。 隐马尔可夫模型n9 别是用于描述信号统计特性的一组统计模型。h m m 使用马尔科夫 链来模拟信号统计特性的变化，而这种变化又是间接地通过观察序列来描述的，因此， 隐马尔科夫过程是一个双重的随机过程。在h m m 中，节点表示状态，有向边表示状态 之间的转移，一个状态可以具有特征空间中的任意特征，对同一特征，不同状态表现出 这一特征的概率不同。由于h m m 是一个统计模型，对于同一特征序列，可能会对应于 许多状态序列，特征序列与状态序列之间的对应关系是非确定的。这种模型对于状态 序列来说是隐的，故称为隐马尔科夫模型。 关于隐马尔科夫过程的研究开始于二十世纪6 0 年代末和7 0 年代初。b a u m 和他的同事发表了一系列有代表性的文章。由于隐马尔可夫模型严密和丰富的数学体 系结构，一经工程应用，就表现出很好的效果和前景。b a k e r 在c m u ，j e l i n e k 等在i b m 将h m m 应用于语音处理。由于隐马尔可夫模型理解上的难度以及计算上的复杂性， 8 0 年代以后，得益于面向工程界的介绍性文章的发表，h m m 才被更多人理解和掌握， 并在语音识别以及印刷体识别等方面得到了更广泛的应用。 es a m a r i a 最早将h m m 用于人脸识别。按照h m m ，表征人脸的特征量构成一个 观测序列。观测序列被认为是由若干个状态产生的。状态处于隐层，是不可观测的。 s a m a r i a 采用了具有5 个状态的左右型h m m 模型，用一个矩形窗从上到下采样人脸 图像，将窗内的象素排成列向量，用灰度值作为观察值。采样窗前后重叠，以保证观 察序列的连续性。s a m a r i a 采用灰度值直接作为观测值的方法是有很大缺陷的。首先 灰度值特征是很容易受光照条件影响的；其次，存储量也非常大，为了表示一幅人脸 图像，需要存储的参数量为= x l t ，其中x 代表图像的宽，l 代表采样窗的高，t 代表 观察序列数，存储量将近是图像大小的l 倍。s a m a r i a 的实验是利用英国剑桥大学的 h m m 语音识别软件包h t k ( h i d d e nm a r k o vt o o k i t ) ，v e r s i o n1 3 完成的。作为开创性的 成果，s a m a r i a 提出的h m m 人脸识别方法中的很多思路，包括左右型模型，状态数 等被以后的学者所借鉴和采用。 n e f i a n 发展了s a m a r i a 的方法，提出了基于2 d d c t 特征提取的方法。与s a m a r i a 的方法相类似，n e f i a n 将每一个人脸用一个h m m 模型来代替，对采样窗进行2 d d c t 变换，用3 9 个2 d d c t 系数作为观察序列，代替s a m a r i a 的灰度值序列，这在一定程 度上解决了s a m a r i a 的大存储量的缺陷，但识别率提高不大。 7 北京化工大学硕士学位论文 由于人脸的可变形性，对人脸特征进行精确定位有很大的难度，这也是限制基于 几何特征识别方法的一个主要因素。选择隐马尔可夫模型进行人脸识别的合理性在于 同一个人的各种变化可以看作是同一组状态产生的一系列实现，而不同的人可以用不 同的h m m 来表现。采用隐马尔可夫模型对人脸进行描述和识别，就不是孤立地利用各 个器官的数值特征，而是把这些特征和一个状态转移模型联系起来雎。 1 2 4 基于三维模型的人脸识别方法 人脸模型主要分为刚性模型和塑性模型两类。用刚体模型可以满足对人的头部跟 踪检测的要求，即把头部当作不变化( 或无表情) 的刚体，刚体模型可以表示人的头 部位置、姿态、方向等；而如果将人脸当作塑性实体看待，则就要涉及面部器官、肌 肉和表皮的运动，可以处理人脸识别、表情识别、唇语识别等问题。 我们知道，人脸是塑性变形体，人脸的不确定性是人脸识别最突出的难题。获取 人脸的三维信息并利用它进行人脸识别必将是人脸识别技术发展的最终目标和解决 途径。只是受到信息获取技术手段的限制，这一途径才没有像2 d 图像识别研究的那样 广泛。t h o m a sv e t t e r 和t o m a sp o g g i o 乜2 1 介绍了一种从单幅图像恢复3 d 物体新视角图像 的方法，并给出了人脸图像恢复的例子。其基本思想是通过学习同类目标不同视角的 图像，得到不同视角间相互变换的规律，进而给出待处理图像的其他视角。我们用简 单的公式表示如下： y = a xja = x 。y 巧：越：( x 。，】，) 墨 1 - 8 这里的】，和x 表示用来学习的同一物体不同视角的图像，x ，是待求物体的己知图像， r 是待求物体未知视角的图像。通过学习，得到变换a 即可求得新视角图像r 。当然， 上述公式只是一个简单的示意，实际的操作要复杂的多。文献的实验是基于三个假设 完成的，这三个假设是： ( 1 ) 图像都很相似，遮挡可以忽略； ( 2 ) 物体的方向是己知的； ( 3 ) 点的相关性是已知的； 容易看出，这三个假设正是问题的关键和难点所在。比如点的相关性，对于不同 视角的两幅人脸图像，就是要将相同的点在两幅图像中对应起来。将所有的 点一一对应，在目前是做不到的。因而这种方法只是给我们提供了解决问题的 一个方向，在现阶段用它来识别人脸是不具有可操作性的乜。 第一章绪论 1 3 脸部灰度图像的人眼定位综述 作为脸部特征的重要组成部分，眼睛的检测与定位对于人脸信息的处理具有重要 的意义，不仅可以提高检测和识别的速度，而且能够提高识别的精度。在脸部器官定 位方面，只要人眼被精确定位，眉毛、鼻子、嘴巴等其他特征就可以通过与其特有的 “三庭五眼的分布关系比较准确地进行定位。另外，眼睛的准确定位还可以使人脸 较好地归一化，预处理的效果也更加明显。 当前，在图像中检测眼睛主要有两种方式：方式一，首先在图像中检测人脸，然 后再在人脸区域内寻找眼睛；方式二，直接在图像中定位眼睛。本文主要在第一种方 式下并且在常规光照下对人眼定位的方法进行概括。 1 3 1 基于模板匹配的方法 1 3 1 1 灰度投影法 灰度投影法是指对人脸灰度图像进行水平和垂直方向的投影，分别统计出两个方 向上的灰度函数值的和，找出特定的变化点；然后根据先验知识将不同方向上的变化 点位置相结合，即得到人眼的位置；也有人利用水平和竖直两个方向上的梯度信息来 代替原始灰度值，以减小光照条件的影响。 最常用的投影函数是积分投影函数，可以通过对积分投影函数值的分析提取图像 中的特征。k s o b o t t k a 等人1 在早期的研究中提出直接采用水平和垂直方向投影来定 位眼睛。其研究表明单纯依据灰度投影来定位眼睛虽然定位速度快，但波峰波谷的分 布对于不同人脸和姿态变化和光照的变化非常敏感；另外，灰度投影图中干扰噪声太 大、曲线不规则，很难在此基础上直接找到特征点，只能大致地找到眼睛区域，不 能实现精确定位，很难满足研究需要。因此把灰度投影与其他算法结合起来进行眼睛 检测成为新的研究选择。 文献口4 1 在积分投影函数和方差投影函数的基础上提出了一种混合投影函数。该函 数综合考虑了图像中在某个方向上的均值和方差，既能反映不同的图像灰度，又能反 映不同的灰度变化率。文献口剐则提出了一种微分与积分投影相结合的眼睛定位方法， 在传统积分投影的基础上，提出了一种微分投影算法与之相结合。考虑到人脸水平方 向上灰度变化较大，在灰度变化突变处进行微分，将产生高值，将其绝对值累加，则 灰度变化越大的那一行，累积值越大。文献嘶1 采用了类似的均值投影函数和方差投影 函数相结合的方法。采用混合投影函数的方法受噪声的干扰较大，很难得到规整的曲 线，并没有从根本上解决传统投影算法的弊端。文献幢7 1 也提出了一种类似的方法。首 9 北京化丁人学硕十学位论文 先用小灰度值聚类法初步定位虹膜中心，并用c a n n y 算子进行边缘提取；然后，基于 h o u g h 变换精确定位瞳孔中心。由于h o u g h 变换对边界的要求较高，眼球受到眼睑以 及眼睫毛等的干扰较大，眼睛较小的人脸很难在图像中清晰地进行边缘提取，另外 h o u g h 变换本身的算法也较复杂，因而这种方法很难得到广泛的应用。许慰玲等人对 上述方法进行了改进：首先，利用一种改进的小灰度值聚类算法进行虹膜中心的初步 定位；然后进行基于虹膜正圆几何特性的瞳孔中心定位，有效地克服了眼睑与眼白交 界处小灰度值像素的干扰以及采用h o u g h 变换所造成的检测不准确等问题。此外，针 对灰度图像中边缘检测的不准确性，文献乜踟提出了一种新的虹膜检测算法。这种方法 利用眼睛图像饱和度信息和亮度信息作为阈值分割判据来分割出虹膜区域，再用 h o u g h 变换进行虹膜检测。相比于灰度边缘检测，其检测率大大提高，且能适应一些 人脸姿势的变化和眼睛凝视方向的变化。但是此法在非均匀光照情况下检测率不高。 以上列举了一些比较典型的基于投影的检测眼睛的方法，对于背景较为简单、脸部特 征比较规整的图像，能够有效地检测到眼睛。但是要准确定位眼睛位置，还要采取一 定的辅助方法来去除干扰，如眉毛、睫毛、眼镜等。 1 。3 1 2 几何特征模板 眼睛在人脸中具有较为明显的个体特征以及分布特征。对于大多数人来说，眼睛 的位置以及两眼之间的距离相对于人脸而言是一个相关常数。另外，双眼的对称性、 眼睛与其他脸部特征的相对位置以及h 艮球的形状等都可以作为依据用来实施人眼检 测。a l y u i l l e 汹1 等人在早期的研究中提出了一种二维可变形模板法，用两条抛物线和 个球形表示眼睛。该模板的初始位置对定位结果有很大影响，而且能量函数优化过 程收敛缓慢、耗时长，能量函数中各种权值通过经验设定，难以保证最优。后来x x i e 等人又提出了改进的眼睛可变形模板。他们提出了一种新的边缘检测算法找到眼睛的 四个边缘点( 左右眼角及瞳孔与上下眼眶的交点) ，依此为依据确定模板的初始参数。 实验表明，他们的模型在准确率上有了较大提高，但仍然难以克服算法复杂、检测速 度慢的缺点；另外仅对正面或近似正面人脸图像中的眼睛和嘴巴等外形比较规则的器 官特征提取效果较好。在此基础上，文献b 伽提出了一种基于三维可变形模板的眼睛特 征提取算法，利用人脸姿态估计策略来估测人脸的垂直旋转方向，然后利用三维可变 形模板匹配技术来提取眼睛的精确特征。图l 所示为文中建立的三维可变形模板平面 视图。三维可变形模板由十个( 灰点) 基本三维点组成。其中外部八个点组成了上下眼 睑，内部两个点决定眼球的左右边界。其余的眼睑三维点是由外部八个基本点线性插 值得来的；而眼球上的三维点是通过内部两点构成的空间圆得来的，此方法很好地照 顾了非正面人脸图像的日艮睛检测，且可运用于脸部其他器官的检测。但由于日艮睛的个 体差异性，所建立的模板很难满足不同人眼的需求。对称性分析是图像处理和计算机 l o 第一章绪论 视觉的重要内容，其核心是检测目标的对称轴。正面人脸图像具有很强的轴对称性， 因此可以利用对称性进行人脸人眼检测。考虑到眼部区域的特殊性，宋加涛等人【5 1 提 出了一系列的约束机制来辅助进行眼睛的精确定位，所用的约束机制主要有： a ) 位置约束。两眼球不过于靠近图像边界。 b ) 几何关系约束。两眼球中心之间的水平距离约占人脸宽度的1 4 至u 1 2 ，人脸在 平面内的旋转不超过3 0 。 c ) 尺寸约束。眼球的面积界于一定范围之内，眼球的直径不大于某一值，如人脸 图像宽度的1 1 5 。 d ) 形状约束。眼球的外接矩形尽可能接近正方形。 e ) 饱和度约束。眼球的面积与其外接矩形的面积之比大于某一阈值。 综上所述，基于几何特征来检测眼睛的方法利用了大量的先验知识，这通常会导 致检测方法的通用性不是很高。因而在当前眼睛的检测中，大多只是利用几何特征来 辅助其他方法实施检测。 1 3 2 基于统计的方法 基于统计的方法一般是通过对大量目标样本和非目标样本进行训练学习得到一 组模型参数，然后基于模型构建分类器或者滤波器来检测目标。在过去的一段时间中， 基于统计的方法被广泛应用于人脸检测与识别技术中，通过训练大量的人脸和非人脸 样本建立分类器，在输入图像中分类出入脸图像。实践表明这种方法具有较高的准确 度，近年来随着人眼检测研究的不断发展，基于统计的方法也越来越多地得到了应用。 神经网络在基于统计的研究方法中占有较大的比重，它也逐渐被应用于眼睛检测中。 起先，r e i n d e r s 等人口玎采用神经网络和眼睛的微特性来定位人脸部特征。该算法将搜 索窗口的像素作为神经网络的输入，如果该窗口包含眼睛图像，则神经网络的输出较 大。文献晗7 1 提出了一种基于灰度信息和瞳孔滤波器的方法。首先在图像中检测人脸区 域从而得到人眼检测框；然后通过对投影直方图的分析进行人眼粗检测，找到人眼候 选点后利用b p 神经网络构造的瞳孔滤波器进行精确的定位。文中指出人的眼睛大小各 异，但是瞳孔的大小相差不是很大。 s v m 是由v a n p i k 领导的a t & t b e l l 实验室研究小组在1 9 6 3 年提出的一种分类技术。 它是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。其核心思想 是：对于输入空间中非线性可分的情形，选择一个适当的非线性映射，将输入空间中 的样本点映射到一个高维的特征空间，使对应的样本点在该特征空间中是线性可分 的。从一定程度来讲，它要优于神经网络刭。早期的研究中，文献提出了一个二级 的s v m 系统，先用线性核心的s v m 筛选出候选点，再用多项式核心的s v m 作最终判 定，实践证明他们的系统对眼睛、嘴巴等脸部特征的定位成功率达到9 6 以上。文献【3 4 j 北京化丁大学硕上学位论文 首先利用眼睛的结构在图像中寻找候选眼睛对，然后再利用支持向量机来定位眼睛 对，最后利用方差滤波器在候选区域中检测眼睛。唐旭晟等人采用基于改进的a d a h o o s t 算法的级联式人脸和人眼分类器检测人脸和眼睛的候选位置，再用s v m 分类器验证并 确定人眼的最佳位置。由于人脸检测器采用包含灰度信息的类h a r r d 、波作为分类特 征，对像素变化较为敏感，常把眉毛、深色眼睛框等区域误判为眼睛。因此根据人脸 几何特征模型，文中提出了1 3 个用于区分人眼对的几何分类特征，训练s v m 分类器作 进一步的验证；两种不同类型分类器的级联输出才作为最后的眼睛输出。实践证明， 该算法检测精度较高，对于正面图像或者旋转较少的人脸图像有着较高的检测率。目 前困扰s w 方法的主要问题是当计算复杂度高、训练样本个数较大时，会得到大量的 支持向量，使分类器的计算量过大。基于统计的方法实施目标检测，在检测的精确度 上无疑