（应用数学专业论文）基于分形维数的眼睛检测算法研究.pdf

硕士论文 基于分形维数的眼睛检测算法研究 摘要 人脸检测与识别技术是人工智能和机器视觉领域内最具挑战性的研究课题之一。让 计算机自动识别人脸是目前计算机视觉领域的一个重要研究课题，一个完整的人脸识别 系统由人脸检测、人脸图像预处理、人脸特征提取、图像间相似度计算等功能模块组成。 人脸特征提取是人脸自动识别系统中非常重要的一个环节。相较于其它人脸特征，眼睛 的准确定位有着独特的作用。它是实现人脸图像几何归一化的必要条件，因而成为全自 动人脸识别中非常关键的一环，本文在对计算机人脸检测若干问题进行分析的同时，针 对人脸识别系统中的第三个重要环节一人脸特征提取中眼睛检测方法进行了深入的研 究，提出了基于分形维数检测方法( b f d 检测法) 。 本文首先对标准人脸库中的面部主要器官( 如眼睛、眉毛、鼻子、嘴巴) 进行分形 维数分析，统计出上述各器官分形维数的分布规律和同一幅图像各器官分形维数上的相 互关系，建立基于分形维数的眼睛识别模型( b a s e do nf r a c t a ld i m e n s i o nt or e c o g n i t i o n e y e s ，b f d ) ，并运用b f d 模型对m i t 人脸库中的图像进行检测。实验表明本文提出 b f d 眼睛检测方法是合理的，具有一定的理论价值与实用价值。 关键词：分形，盒维数，眼睛检测，图像分割，边缘检测 a b s t r a c t硕士论文 a b s t r a c t f a c ed e t e c t i o na n dr e c o g n i t i o nt e c h n o l o g yi st h ef i e l do fa r t i f i c i a li n t e l l i g e n c ea n d m a c h i n ev i s i o ni nt h em o s tc h a l l e n g i n go n eo ft h er e s e a r c ht o p i c l e tt h ec o m p u t e r a u t o m a t i c a l l yr e c o g n i z eh u m a nf a c e st h ef i e l do fc o m p u t e rv i s i o ni sa ni m p o r t a n tr e s e a r c h t o p i c ，ac o m p l e t ef a c er e c o g n i t i o ns y s t e mc o n s i s t so ff a c ed e t e c t i o n ，f a c ei m a g ep r e p r o c e s s i n g ， f a c ef e a t u r ee x t r a c t i o n ，i m a g es i m i l a r i t yc a l c u l a t i o nb e t w e e nf u n c t i o n a lm o d u l e s ，s u c ha s f a c i a lf e a t u r ee x t r a c t i o ni st h ea u t o m a t i cf a c er e c o g n i t i o ns y s t e mi nav e r yi m p o r t a n t c o m p a r e dt oo t h e rf a c i a lf e a t u r e s ，e y e st h ee x a c tl o c a t i o nh a sau n i q u ev a l u e ，i ti st h e r e a l i z a t i o no fh u m a nf a c ei m a g e sn o r m a l i z e dg e o m e t r yo ft h en e c e s s a r yc o n d i t i o n sf o rf u l l y a u t o m a t i cf a c er e c o g n i t i o nh a sb e c o m eav e r yc r u c i a la s p e c to ft h i sp a p e ro nt h ec o m p u t e ri n t h ef a c ed e t e c t i o na n a l y s i so fan u m b e ro fi s s u e sa tt h es a m et i m e ，f o rt h ef a c er e c o g n i t i o n s y s t e mt h e t l l i r di m p o r t a n ta s p e c t - f a c ed e t e c t i o nf e a t u r ee x t r a c t i o nm e t h o d si nt h ee y e so f a ni n - d e p t hs t u d y ，b a s e do nf r a c t a ld i m e n s i o no fd e t e c t i o nm e t h o d s i nt h i sp a p e r ，t h es t a n d a r df a c ed a t a b a s ei nt h em a i no r g a n so ft h ef a c e ( s u c ha se y e s ， e y e b r o w s ，n o s e ，m o u t h ) f o rt h e f r a c t a ld i m e n s i o na n a l y s i s ，t h es t a t i s t i c so ft h e a b o v e m e n t i o n e df r a c t a ld i m e n s i o no ft h eo r g a nd i s t r i b u t i o na n do r g a n 、i t l la ni m a g eo ft h e f r a c t a ld i m e n s i o naf e wo nt h er e l a t i o n s h i pb e t w e e nt h ef f a c t a ld i m e n s i o nb a s e do nt h e n u m b e ro fe y e st oi d e n t i f ym o d e l ( b a s e do nf r a c t a ld i m e n s i o nt or e c o g n i t i o ne y e s ，b f d ) ， a n dm o d e lt h eu s eo fb f dl i b r a r ym i t f a c ed e t e c t i o ni ni m a g e s b f di nt h i sp a p e r , e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ee y ed e t e c t i o nm e t h o di sr e a s o n a b l e ，w i t ha t h e o r e t i c a lv a l u e a n dp r a c t i c a lv a l u e k e yw o r d s ：f r a c t a l ，b o xd i m e n s i o n ，e y ed e t e c t i o n , i m a g es e g m e n t a t i o n , e d g e 声明尸明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名： 硕士论文 基于分形维数的眼睛检测算法研究 1 绪论 1 1 选题背景及意义 人脸研究主要包括人脸识别技术( f a c er e c o g n i t i o n ) 和人脸检测技术( f a c ed e t e t i o n ) 研究【，是指在输入图像中确定所有人脸( 如果图像中包含人脸的话) 的位置与大小，因 此在人脸识别技术和人脸检测技术中，人脸特征定位对其有着重要的影响。 人脸特征定位就是通过计算机在一副人脸图像中自动地定位出人脸各个器官的准 确位置。这些特征由于具有独特性和不变性，而且人脸与个人密切相关、不可分离，因 此在个人身份识别( 如基于人脸识别的安全监控系统) 和非语言人机交互( 如驾驶员疲 劳监测系统) 等方面得到广泛的应用。可见人脸特征定位是人脸识别技术中最关键性的 问题。与其它器官相比较眼睛区域含有更多的可以用来区别不同个体的独特信息，其中 重要一点就是两眼间距受光照或表情变化的影响较小i 引。眼睛被看作人脸图像中最重要 的生物特征，是人脸其它器官检测和抽取的基础。在人脸识别算法与三维人脸建模中， 一个重要的应用就是人脸图像归一化，而归一化的实现都是依赖面部特征定位的结果。 正因为如此，对人眼的检测与定位研究得到了广泛的关注。 人脸是人类情感表达和交流的重要载体，人即使在摇摆不定的状况下也很容易识别 人脸，可以通过人脸推断一个人的种族、身份等私人信息。随着社会的快速发展、科技 的不断进步人们对于快速、便捷、有效的身份识别技术有着日益增长的需要。与传统的 方法相比，生物特征识别技术因其自身所具备的一些优点引起人们的广泛的关注，其优 点主要表现在： ( 1 ) 安全监视 人脸识别是唯一不需要使用者配合的生物识别方法，操作隐蔽性强。事先将一些犯 罪嫌疑人或要寻找的人的照片存放在数据库中，然后在一些重要场所安装上摄像机和人 脸识别视频监控软件。这样，一旦犯罪嫌疑入或要寻找的人出现在区域范围内就能自动 报警进而做出相应的处理。这一点特别适合于重要的安全防范、罪犯监控等。 ( 2 ) 非接触式采集，没有侵犯性，容易被接受 由于人脸识别与使用者没有直接的接触不干扰使用者，不侵犯使用者的隐私，属于 非侵犯性的主动识别，不会对用户造成生理上的伤害，另外也比较符合一般用户的习惯， 易于为用户所接受。 ( 3 ) 方便、快捷、具有强大的事后追踪能力 i 绪论硕士论文 基于人脸的身份验证系统可以在事件发生的同时记录并保存当事人的面像，从而可 以确保系统具有良好的事后追踪能力。而且中低档的u s bc c d c m o s 摄像头价格已经 非常低廉，基本成为标准的外设，极大地扩展了人脸识别技术的实用空间。 ( 4 ) 身份验证 时代进步了人们的生活也发生着改变，各种各样的证件如信用卡、驾驶证、护照、 身份证等成了识别人身份的钥匙。现在很多证件都有照片，而这些证件大都是采用人工 验证，效率极低而且容易被人仿造。采用人脸识别技术，这项工作就可以交给计算机自 动完成，实现自动化管理提高效率。 ( 5 ) 入口控铝l j ( a c c e s sc o n t r 0 1 ) 入口控制的范围相当广，如个人计算机的使用权限控制，一些重要的军事、政府部 门、银行金库、入口处的门卫检查等。在这些地方，现在普遍采用的手段是核查证件， 当人员出入比较频繁时，核查证件是比较麻烦的一件事。如果采用人脸识别技术，就可 以大大降低工作强度和提高工作效率。 ( 6 ) 图像采集设备成本低 目前，中低档的u s bc c d c m o s 摄像头价格已经非常低廉，基本成为标准的外设， 极大地扩展了人脸识别技术的使用空间；另外，数码相机、数码摄像机和照片扫描仪等 摄像设备在普通家庭的日益普及进一步增加了其可用性。人脸识别作为一种典型生物特 征识别技术，以其自然性、高可接受性等优点受到人们的青睐，因而有着十分广泛的应 用前景。 1 2 国内外研究现状 人脸自动识别技术的研究始于上世纪6 0 年代。当时，很多生理学家、心理学家和 神经科学家做了大量的基础性研究，但人脸技术的真正兴起，是在伴随着计算机技术高 速发展的2 0 世纪9 0 年代。2 1 世纪初9 1 l 事件的发生，使人脸识别技术变得更为世人 所关注，人脸识别技术不仅成了学术界研究的热门课题，而且还引起了世界各国政府及 其安全、情报、军事部门的浓厚兴趣，很多公司和财团也纷纷投资于该技术的研究。 目前，世界上很多国家的高校都有专门的人脸识别研究小组，比较有名的如国外的 麻省理工学院( m i t ) 、耶鲁大学( y a l eu n i v e r s i t y ) 、密歇根州立大学( m s u ) 、德国r u h r 大学、德国m a x p l a n c k 研究所、英国曼彻斯特大学等。在模式识别、计算机视觉、图 像处理等领域中最权威的国际会议，如i e e ei c c v 、i e e ec v p p 、i e e ei c i p 、i e e e i c a s s p 、i c p r 、e c c v 上也都有专门的人脸图像分析和识别专题。我国在人脸识别技 术研究方面起步比较晚，在国际上的影响也较小。目前致力于这方面研究的主要有微软 亚洲研究院、中国科学院计算技术研究所、清华大学、南京大学、南京理工大学等。近 2 硕士论文 基于分形维数的眼睛检测算法研究 年来，我国科研人员也取得了一些可喜成果，2 0 0 2 年1 1 月中科院承担的“面像检测与 识别核心技术”这一国家8 6 3 项目通过专家鉴定，在受控条件下，人脸识别率达到9 0 以上。2 0 0 4 年8 月清华大学电子系丁晓青教授等人开发的人脸识别系统在第1 7 届国际 模式识别会t 3 ( ( c i p r z 0 0 4 ) 鲤t 织的人脸认证竞赛( f a t 2 0 0 4 ) i z ，在所有三个单项的比赛中 均获得第一名。 1 3 主要的人脸检测方法 人脸识别技术是利用计算机分析人脸图像，进而从中提取出有效的识别信息来“辨 认身份的一门技术。人脸检测过程实际上就是对人脸模式特征的综合判断过程，主流 的人脸检测技术可以大体上分为两类：即基于知识的方法p 一5 】和基于统计理论的方法 【6 7 】【8 - 13 。 1 3 1 基于知识的人脸检测方法 基于知识的方法首先提取各种基本特征，如几何形状、灰度、纹理等，然后根据已 有的知识理论判断图像中是否包含人脸。这种方法较于其它方法简单、直观。但存在一 定的局限性：理论规则的定义难以详细把握，若规则过于严格详细则图像可能不能通过 所有的规则验证导致检测失败。如若规则过于通用，则会有较高的错误通过率。 y a n g 等【3 j 提出了基于镶嵌图( m o s a i ci m a g e ，又称为马赛克图) 的人脸检测方法， 所谓镶嵌图就是将图象划分为一组大小相同的方格，每个方格的灰度为方格中各个象素 的平均值。y a n g 等将人脸的五官区域分别划分为4 x 4 个马赛克块，每块的灰度取块中各 像素的的灰度均值，使用一组规则进行检验，确定人脸候选区域。然后再将人脸区域划 分为8 x 8 个马赛克块，重新构建镶嵌图，在使用一组规则从候选区域定位人脸区域二值 化，利用边缘特征进一步验证。卢春雨等【4 】对镶嵌图方法进行了改进，按照人脸器官的 分布将人脸划分为3 x 3 个马赛克块，在检测中自适应地调整各块的大小，使用一组基于 各块灰度和梯度统计特征的知识规则检验该区域是否为人脸，取得了较好的实验结果。 模板匹配方法( t e m p l a t em a t c h i n gm e t h o d s ) 可以认为是一种特殊的基于知识的人脸 识别方法，事先定义一种标准的人脸模式，用来描述整个人脸和面部特征，制定相应的 阈值，计算输入图像和存储的模式间的匹配似然度。 m i a o 等1 卅在镶嵌图基础上提出了一种基于人脸重心模板的检测方法。该方法首先 将输入图像从- 2 0 0 到+ 2 0 0 。以5 0 为步长进行旋转，然后使用l a p l a c e 算子进行边缘提取， 组合提取出的六个人脸器官的边缘作为人脸模板，最后应用分级式的方法对人脸进行检 l 绪论硕士论文 测o 1 3 2 基于统计理论的人脸检测方法( s t a t i s t i c a l b a s e d ) 由于人脸模式的复杂性，显示地描述人脸的特征有一定的困难，因此用统计理论的 方法研究人脸技术应运而生。这类方法将人脸检测看作分类问题即：区分“人脸 与“非 人脸 。使用大量的“人脸 与“非人脸”样本训练、构造分类器，通过判别图像中所 有可能区域属于哪类模式来实现人脸的检测。实际上，人脸检测问题被转化为统计模式 识别的二分类问题。 ( 1 ) 基于特征空间的方法 此类方法将人脸区域图像变换到某一特征空间，根据其在特征空间中的分布规律划 分“人脸与“非人脸。 主分量分析( p c a ，p r i n c i p a l - c o m p o n e n ta n a l y s i s ) 是一种常用的方法。它通过对图像 进行k 一三变换，消除原来各分量间的相关性，用变换后若干个最大的特征向量来表示 原来的图像，保留了原始图像的那些最大差异性信息。m o g h a d d a m 等【6 】发现人脸在特征 脸空间的投影聚集比较紧密，因此利用前若干张特征脸将人脸向量投影到主元子空间f 和与其正交的补空间f ，相应的距离度量分别称为d i f s ( d i s t a n c ei nf e a t u r es p a c e ) 和 d f f s ( d i s t a n c ef r o mf e a t u r es p a c e ) 。对于人脸检测问题，由于没有考虑“非人脸”样本 的分布，需要同时使用d i f s 和d f f s 才能取得较好的效果。 ( 2 ) 基于神经网络方法 人工神经网络( 如a r i t i f i c i a ln e u r a ln e r w o r k ，方法是通过训练一个网络结构， 把模式的统计信息隐含在神经网络的结构和参数之中。对于人脸这类复杂的、难以显式 描述的模式，基于a n n 的方法具有独特的优势。 最早使用人工神经网络进行人脸检测的是p r o p p 和s a m a l i 川，他们确定的网络包含 四层，共有1 0 2 4 个单元，第一隐含层共有2 5 6 个单元，第二隐含层共有8 个单元和2 个输出单元。人工神经网络表现出的强大优势，激起了广大研究人员的兴趣。继p r o p p 和s a m a l 之后学术界又出现了一系列成果。 s o u l i e 等i s 】提出具有时间延迟的神经网络( 具有2 5 x 2 5 象素的感受域) 扫描图像进 行人脸检测。r o w l e y 等【9 】用多层神经元网络从人脸非人脸图像中学 - - j 人脸和非人脸模 式其方法的局限性是只能检测垂直的正面人脸。 ( 3 ) 基于概率模型的方法 基于概率模型方法的种思路是计算输入图像区域r e g i o n 属于人脸模式o b j e c t 的 4 硕士论文基于分形维数的眼睛检测算法研究 后验概率p ( o b j e c t l r e g i o n ) ，据此对所有可能的图象窗1 2 进行判别。c m u 的s c h n e i d e r m a n 等提出一种基于后验概率估计的人脸检测方法。该方法利用贝叶斯原理将后验概率估计 转化为一个似然度求解问题： 另一种应用较多的概率模型是隐马尔可夫模型，应用前要确保模型可被定义为一个 参数化的进程。该进程的参数可估计出来，首先决定隐态并形成一个h m m 模型，然后 通过学习来自样本集的各个状态间的转移概率来训练h m m ，每个样例由一系列观测值 表征。h m m 训练之后，观测值的输出概率就决定了它属于哪一类。 ( 4 ) 基于支持向量机的方法 支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 是v a p n i k 1o 】等提出的。是一种基于 结构风险最小化原理( s t r u c t u r a l 础s km i n i m i z a t i o np r i n c i p l e ，s r m ) 的统计学习理论，用 于分类与回归问题。其基本思想是：首先通过非线性变换，将输入空间变换到一个高维 空间，然后在这个高维空间中求取最优线性分类面。 o s u n a 等1 1 1 j 首先将支持向量机用于人脸检测。基本思路是：对每一个检测窗口使用 s v m 方法进行分类，以区分“人脸和“非人脸”窗口。s v m 的训练使用了大量的人脸 样本，并利用“自举”的方法搜集大量的非人脸样本，同时使用逼近的方法选择出少量 的支持向量为关键支持向量，以减少运算中支持向量的数目。 梁路宏等1 1 2 】提出支了基于模板匹配与支持向量基的人脸检测算法。该算法使用一组 双v e - 人脸模板对来搜索候选人脸，并在搜索过程中使用多层感知器进行确认，以减少 错误警报。 ( 5 ) 基于a d a b o o s t 的方法 a d a b o o s t 是一种迭代方法，通过从大量的弱分类器中选取最具有分类意义的那些 组合成一个强分类器，其基本思路是：每轮迭代时，根据分类结果对样本权重分布进行 调整。正确分类的样本权重减小，错误分类的样本的权重增加，这样学习算法在下一轮 迭代中集中学习分类比较困难的样本。最终，将每轮产生的弱规则按照加权投票的方式 合并为一个强规则。 v i o l a 1 3 】提出了积分图像概念和基于a d a b o o s t 方法训练人脸检测分类器的方法，建 立了第一个真正实时的人脸检测系统。关于a d a b o o s t 的具体算法，本文将在后续章节 中做详细论述。 1 4 人脸检测流程 1 绪论 硕士论文 通常情况下一个人脸自动识别系统主要包括人脸检测、特征提取、人脸识别三个 环节，人脸区域检测的目的是得到人脸候选区。一般来说，获得人脸候选区的算法要简 单、快速，所选取的规则要计算量小。脸部特征定位与提取是非常关键的一步，能否正 确定位关系到能否成功的识别出人脸。其大致结构如图1 4 1 所示： i 输入图像 人脸检测与定位 1 、一， 人脸图像l j 1 r 脸部特征定位与提取 上 人脸识别 7 结束 图1 4 - 1 人脸检测流程 1 5 本文的主要研究内容和结构安排 计算机人脸识别是近年来非常活跃的研究领域，具有广阔的应用前景。论文在分析 了人脸识别系统的基本构成和相关技术的基础上，对眼睛检测算法进行了探索性研究。 论文首先对标准人脸库中的面部主要器官( 如眼睛、眉毛、鼻子、嘴巴) 进行分形维数 分析，统计出上述各器官分形维数的分布规律和同一幅图像各器官分形维数上的相互关 系，建立基于分形维数的眼睛识别模型( b a s e do nf r a c t a ld i m e n s i o nt or e c o g n i t i o ne y e s ， b f d ) ，并运用b f d 模型对m i t _ 人脸库中的图像进行检测。随机抽取大样本( 中国人和 白种人图像各占5 0 9 6 ) 进行检测，对中国人和白色人效果明显。实验结果也很好的证明 了这一点，和面部几何特征法、h o u g h 变换法、对称变焕法、模版匹配法比较，b f d 检测 法更能体现眼睛的本质特征。 本文的主要章节安排如下： 第一章，绪论。主要介绍了论文所研究领域的研究意义和发展现状，以及人脸识别系统 6 硕士论文 基于分形维数的眼睛检测算法研究 的基本流程。并概述了本文的主要研究内容和结构安排。 第二章，分析了眼睛定位在整个人脸识别系统中的重要意义，介绍了灰度投影法、 面部几何特征法、h o u g h 变换法、对称变换法、模版匹配法几种比较经典的眼睛定位方 法。 第三章，基于a d a b o o s t 算法的人脸检测，a d a b o o s t 是种迭代方法，通过从大量 的弱分类器中选取最具有分类意义的那些组合成一个强分类器，正确分类的样本权重减 小，错误分类的样本的权重增加，学习算法在下一轮迭代中集中学习分类比较困难的样 本，将每轮产生的弱规则按照加权投票的方式合并为一个强规则。a d a b o o s t 算法是目前 国际上较为通用的方法之一。 第四章，眼睛特征提取。详细介绍本文所提出的基于分形位数的眼睛检测算法：论 文首先对标准人脸库中的面部主要器官( 如眼睛、眉毛、鼻子、嘴巴) 进行分形维数分 析，统计出上述各器官分形维数的分布规律和同一幅图像各器官分形维数上的相互关 系，建立基于分形维数的眼睛识别模型( b a s e do nf r a c t a ld i m e n s i o nt or e c o g n i t i o ne y e s b f d ) ，并运用b f d 模型对m i t 人脸库中的图像进行检测。 7 2 眼睛定位的基本理论研究硕士论文 2 眼睛定位的基本理论研究 2 1 眼睛准确定位的重要性 近2 0 年来，人脸识别一直是模式识别中最活跃的研究领域之一。一个人脸识别算 法通常由三个主要步骤1 1 4 j 组成：首先是人脸检测与定位、然后是特征提取、最后是对提 取的特征进行分类识别。人脸的主要特征包括眼睛、鼻子、嘴巴、下巴、脸颊等。这些 特征的定位准确与否直接关系到人脸识别系统的准确性能。而这些器官当中，眼睛区域 与其它区域相比包含了更多的个人信息，两眼中心间距受光照或表情变化的影响最小， 双眼中心连线的方向随人像的偏转而偏转，可以作为图像旋转的依据，两眼的距离不不 随光照，姿态等的变化而变化，具有很高的鲁棒性。因此眼睛定位又是人脸图像进行位 置、大小、角度归一化前提，对人脸建模及人脸其它部件检测和抽取也具有积极的意义。 此外，利用人眼定位的结果可以进行人脸姿态表情分析，在人脸姿态及表情分析中，可 以通过面部器官的相对位置及形状进行分析来确定，眼睛定位是姿态表情分析的前提。 因此，人眼的快速精确定位被一些学者视为提高人脸识别准确率和人脸识别走向实 用化的关键和瓶颈所在。 2 2 眼睛定位算法的基本研究 正因为眼睛定位在人脸识别中具有如此重要的地位，于是人们研究各种算法来实现 眼睛定位，主要可以分为以下几类：积分投影法、霍夫变换法、模板匹配法、变形模板 法、边缘特征分析法和对称变换法等，本文结合自己的应用背景提出了一种新的眼睛定 位算法，下面对以上几类方法分别进行介绍。 2 2 1 积分投影法 投影是一种有效提取图像特征的方法。通常，一幅二维图像可以由两个正交的一维 投影函数来分析。维数的降低便于分析图像的特征，并且减小了计算量，所以投影成为 重要的图像分析方法。 最常使用的投影函数是积分投影函数( i n t e g r a la r o j e c t i o nf u n c t i o n ，简称i p f ) 。假设i 是图像的灰度值矩阵，在区间【五，而】【乃，奶】内的垂直积分投影函数和水平积分投影函 数分别表示为鼠( x ) 和瓯( y ) ，则 鼠( 工) = r l ( x ，y ) 咖( 2 2 1 1 ) 8 硕士论文基于分形维数的眼睛检测算法研究 瓯( y ) = e j ( x , y ) d x( 2 2 1 2 ) 平均积分投影函数m ，( x ) 和心( y ) 分别表示为： 帆( x ) = 上 2 i ( x ，y ) d y( 2 2 1 3 ) y 2 一y l ，- 心(j，)=圭e，(x,y)dxx ( 2 2 1 4 ) 2 一而啦 当图像某一列像素灰度均值发生变化时，这种变化会在& ( x ) 和儿( x ) 的值上反映出 来。同理，当图像某一行像素灰度均值发生变化时，这种变化会在s h ( y ) 和心( j ，) 的值 上反映出来。因此，可以通过对积分投影函数值的分析提取图像中的特征。例如图 2 2 1 1 ( b ) ，在水平方向上3 个不同区域的交界处，积分投影函数对应的曲线发生了跃变， 从而准确反映出了图像中的区域特征。 由于积分投影函数只考虑了均值的变化，所以在均值相同的情况下，积分投影函数 就会失效。如果用方差代替均值，就可以避免这种情况的发生。方差投影函数( v a r i a n c e p r o j e c t i o nf u n c t i o n ，简称v p f ) 1 5 l 的概念最早由f e n g 和y u e n 提出，并同时提出了一种 利用方差投影函数定位眼睛的简单方法。方差投影函数的具体定义如下：设在区间【五，屯】 和【m ，耽】内的垂直方差投影函数和水平方差投影函数分别表示为蠢( 功和( y ) ，则 蠢( 工) = y ：- l y ly 量, - y , 【地，咒) 一m ( x ) 】2 ( 2 2 1 5 ) 咖) = 去薹陬w ) 一m h ( y ) 】2 叫6 ) 由上式可知，当图像某一列像素灰度的方差发生变化时，这种变化会在蠢( 功的值上 反映出来，当图像某一行像素灰度的方差发生变化时，这种变化会在( y ) 的值上反映 出来。但是，同样由于只考虑了灰度值的变化情况，而没有考虑灰度平均值，在方差相 同的情况下，方差投影函数也会失效。耿新f l q 等在积分投影函数和方差投影函数的基础 上，提出了一种混合投影函数。该函数综合考虑了图像在某个方向上的均值和方差，既 能反映出不同的图像灰度，又能反映出不同的灰度变化率。将混合投影函数应用于正面 人脸图像的眼睛定位时，具有一定的适应性和准确性。 9 2 眼睛定位的基本理论研究硕士论文 孵 v 睇 嘲峄 【a ) i p ff a i l sb u tv p f a n dh p fs u c c e e d ( b ) v p ff a i l sb u ti p fa n dh p fs u c c e e d ( a ) i p f 失效而v p f 和h p f 成功的例子( b ) v p f 失败而i p f 和h p f 成功的例子 图2 2 1 - 1混合投影函数反映出不同区域的变化 2 2 2h o u g h 变换法 h o u g h 变换是利用图像全局特性而将边缘像素连接起来组成区域封闭曲线的一种 方法。在预先知道区域形状的条件下，利用h o u g h 变换可以方便地得到边界曲线而将不 连续的边缘像素连接起来，因此，它常用于图像中直线、圆等简单曲线的检测。 h o u g h 变换的基本原理是利用了像素点在图像空间和参数空间的对偶性。对于直线 的检测，它利用的是点一线的对偶性，即在图像空间中共线的点对应在参数空间里是相 交的线，反过来，在参数空间中相交于一个点的所有直线，在图像空间中都有共线的点 与之对应。利用h o u g h 变换检测圆周的原理与此类似，由于圆的方程为： ( x - a ) 2 + ( y - b ) 2 = ，2( 2 2 2 1 ) 因此，在检测时，首先在参数空间里建立一个三维的累加器组4 ，其元素为a ( a ，b ，) 然后估计出参数1 7 l ，b 的大致范围，让它们按一定的步长进行变化，用图像中的点( x ，y ) 根 据上式算出其对应的，值，并对a ( a ，b ，) 进行累加，即a ( a ，b ，) = a ( a ，b ，厂) + 1 ；最后根据 a ( a ，b ，) 的值，就知道图像中有多少个点共圆，即a ( a ，b ，) 的值就是在( 口，b ，) 处共圆的 点数。而圆的方程也由( 口，b ，) 给出来了。 在用霍夫变换检测眼球前，先用c a n n y 算法提取边缘。对于比较细长的眼睛，由于 眼球的上半部分较多地被眼皮覆盖，所以改用检测下半圆，这样更可靠且省时。设图像 空间为( z ，y ) ，x 和y 分别表示行和列，三维变换空间为( t ，儿，) ，其中t 儿，分别代 l o 硕士论文 基于分形维数的眼睛检测算法研究 表眼球圆心的行和列，为半径。下半圆表达式为： 广_ = x = t + ，2 一( 少一咒。) ( 2 2 2 2 ) 对于变换空间的每一个坐标点( 吒，儿，) ，在图像空间都对应一个半圆，在这个半 圆上存在的边缘点数就是变换空间上坐标点( 艺，咒，) 对应的值。变换空间上的峰值点坐 标即为所求的眼球半圆参数。实验证明，霍夫变换确实具有抗干扰能力强的优点。 2 2 3 模板匹配法 模板匹配法是一种有效的模式识别技术，它能利用图像信息和有关识别模式的先 验知识，更加直接的反映图像之间的相似度。传统的模板匹配法需要首先收集到左右 眼睛模板图像，然后从输入人脸图像的各个位置上分割出和模板图像同样大小的子图 像，计算该子图像和眼睛模板之间的相关系数，取相关系数最大的两个位置作为眼睛的 位置。这种简单的模板匹配法虽然使用方便，但是计算量大，且定位准确率低，鲁棒性 较差，因为它无法处理眼睛在尺度、表情、旋转以及光照方面的变化。 可变行模板法【1 7 】是由a l y u i l l e 等提出的，适用于人脸部件提取的方法。为了检 测眼睛，该方法首先根据眼睛形状的先验知识，定义了一个由1 1 个参数描述的眼睛模 板其中上下眼皮的形状各用一条抛物线来描述，虹膜的形状用半径为，中心 夏= ( t ，以) 的圆来描述，眼睛中心用z = ( 而，所) 描述，眼白的位置用点丑，昱来描述， 眼睛的角度用0 描述，总共1 1 个参数描述了位置、大小、形状和旋转方向可变的眼睛， 如图2 2 3 1 图2 2 3 1 可变行眼睛模板 在该方法中，眼睛的上述参数的值是通过将模板与图像的灰度分布特征及其中的边 2 眼睛定位的基本理论研究硕士论文 缘、峰、谷等动态交互地适应来修正的。具体地讲，根据眼睛图像的先验知识，先建立 一个能量函数，它反映了眼睛模板和眼睛图像的拟合程度，通过使能量函数极小化，确 定这些参数的取值。a l y u i l l e 等将能量函数e 定义为： 疋= e + 丘+ 巨+ q + 卯 ( 2 2 3 1 ) 其中，e 反映的是图像中谷的能量，定义为： e - - i z j v ( ；刚 ( 2 2 3 2 ) 巨反映的是图像中边缘的能量，定义为： 疋一冈c 2k c 两凼一南k 屯g ) a s ( 2 2 3 3 ) 互反映的是原始灰度图像的能量，定义为： 骂2 南聃硇一冈c 5n ( ；脚 叫4 ) 反映的是峰的能量，定义为： = c 6 p ( 乏+ 易石) + p ( 乏+ 仍乏) ) ( 2 2 3 5 ) 乜栅反映的是先验能量，或者称为内部能量，定义为 = 鲁恬一乏0 2 + 等【a 一仍一( ，+ 6 ) 】2 + 等( 6 2 ，) 2 + 等 ( 6 2 口) 2 + 。一2 c ) 2 ( 2 2 3 6 ) 符号西，和，、。、p 分别代表亮度图像及其通过形态学操作生成的谷图像、边 缘图像和峰图像，r 、，、a 心、a 凡分别代表虹膜区域、眼白区域、虹膜的边界以及 眼白的边界，它们的面积或者长度分别用l 咒l 、l 凡i 、i 讽l 、i 弧l 表示，a m s 分别表 示面积和弧长，川、k i 是两个方向单位矢量， 一e l = ( c o s 0 ，s i n o ) ，e 一2 = ( 一s i n 0 ，c o s o )( 2 2 3 7 ) 由于这个方法是基于二维可变性模板的，对正面人脸图像的处理效果较好，但不适 用于具有垂直旋转角度的人脸图像，尹宝才【培】等提出了基于三维可变性模板的眼睛特征 1 2 m t 论文基f 分形镕鼓的目睛撞测算法研究 提取。三维可变形眼睛模板的生成源于人脸合成时用到的一般三维人脸模型。在一般三 维人脸模型中，把眼睛特征点部分截取出来，作为可变形眼睛模板的基本点。如图223 2 所示的视图分别是右眼的三维眼睛模板在正面，从左向右旋转3 0 0 和从左向右旋转4 5 0 时 的平面视图。 一扣 ：= i l 多 洳1 ( a )( b )( c ) 图2 23 - 2 二维腹睛模扳 三维可变形眼睛模板是由1 0 个基本三维点构成的，如图2 23 - 2 所示，其中外部8 个点组成了上、下眼睑，内部的两个点决定眼球的左右边界，其余的眼睑三维点是由外 部8 个基本点线性插值得来的，而眼球上的三维点是通过内部两点构成的空间来定的。 三维可变形眼睛模板可以用以下的数学形式来表示： e y e 3 d = e y e m o d e l ( x ，s ，0 ，i m ，y m t l ，z m 0 q 2 3 尚 其中参数z = ( 五，屯，；y t ，儿，一；气，z 2 ，是由1 0 个三维基本点的坐标组成，s 表示 三维眼睛模板的尺度大小，口表示眼睛模板的垂直旋转角度，( 王哪。，y 。酬，0 曲。) 表示 眼球的中心，也是整个三维眼睛模板的中心坐标。眼睛模板的可变形就体现在不仅模型 的尺度s 、角度0 和眼球中心是可变化的，而且眼睛模板的形状参数五也是可变化的。 当所有参数( j f ，s ，巩x 耐扑) _ 划，：哪。) 都进行变化时将产生各种各样形状各异的三维眼 睛模板。在模板匹配时，需要把这些三维模板映射成如图2 23 - 3 所示的二维眼睛映射 模板，然后针对这些二维眼睛模板定义相应的能量函数，用虽小值搜索算法求得最佳匹 配。此时所对应的眼睛模板坐标( 王呻加j k 。，洲) 就是需要求的眼球中心- ( a )嘞( c 】 图2 23 3 三维模板在不同旋转角度下的二维映射 h 、 1 ， r y ： 2 眼睛定位的基本理论研究硕士论文 2 2 4 对称变换法 在计算机视觉研究中，对称性被认为是物体的基本性质之一，通常用于将物体从背 景中分割出来后，用来简化物体形状的描述或物体的近似。目前研究最多的是点对称( 也 叫中心对称) 和轴对称，对人脸而言，眼睛、嘴巴、鼻子等都具有很强的点对称性，因 而以色列学者d r e i s f e l d 【1 9 】等提出一种广义对称变换g s t ( g e n e r a l i z e d s y m m e t r y t r a n s f o n n ) 用来描述物体的点对称。广义对称变换是针对梯度图像的一个局部 算子，用来描述图像上各个像素的点对称性。设见= ( ，y k ) 为图像上任意一点，其中 k = 1 ，2 ，k k 为图像上的象素总数。点仇的方法梯度定义为： 记梯度模为： 梯度角： 吼= ( 兰仇，兰仇) 劣卯 气- - l o g ( 1 + l v p , l d 皖：a r c t a n ( - 磊ap k t ap i ) ，o x ( 2 2 4 1 ) ( 2 2 4 2 ) ( 2 2 4 3 ) 记只，乃为图像上任意两点，其连线与水平线的逆时针夹角为，其取值范围为 【0 ，万】以点p 为连线中心的对称点集合为： 噼p ) | 半艰i a 一日i i 妫) 亿2 a 4 ， 其中尺度因子，限制点p 的邻域大小，于是p j ，p ，处于以p 为中心，厂为半径的一 个圆形区域内。 距离因子： 加丽1e x p ( 一掣) ( 2 2 4 5 ) 方向因子： p ( i ，j ) = e 1 - c o s ( 2 + 嘭) 1 一c o s ( q e ) ( 2 2 4 6 ) 于是象素p 的对称强度定义为： s ( p ) = ( 删，”d r ( i ，j ) p ( i ，j f ) ，： ( 2 2 4 7 ) 广义对称变换法描述了物体的点对称性，应用于眼睛定位具有较高的精确度，并目 1 4 顾论文基于分形维数的睛检测算珐研究 对人脸的轻微偏转、表情变化及光照变化具有一定的鲁棒性。但它应用于眼镜反光、眼 睛张开程度较小等成像质量较差的人脸图像时定位的准确率较低。而且广义对称变换 方法需要在大范围的尺度上进行计算，定位时间较长影响了它的实际应用。 在广义对称变换的基础上，周杰等又提出了一种方向对称变换法，这种方法首先 通过自动估计尺度因子的值，然后利用简化的方向对称变换求取包括人眼中心点在内的 强对称中心点，最后通过对候选点的筛选来得到人眼的中心点。虽然这种方法相对于广 义对称变换在定位速度上得到了一定的提高但是在光照较差、眼镜反光以及背景过于 复杂等情况下仍然不能成功定位。刘文予等提出了一种新的对称变换一离散对称变 换，它不仅具有广义对称变换描述物体对称性大小的特点，而且通过对各点邻域的考察， 除去那些处于规则区域外的点，可大大降低计算量。王忠【2 2 】等提出了一种改进的对称变 换法应用于人脸图像眼睛定位，它将眼睛划分为环形对称区和椭圆对称区，充分利用了 整个眼部的梯度信息，与仅将眼腈作为环形与圆形对称区相比，对于成像质量较差的图 像具有更强的鲁棒性。 2 2 s 面部几何特征法 利用面部几何模型进行眼睛定位的方法主要是利用人脸面部特征( 主要由眉毛、眼 睛、鼻子和嘴巴) 的分布规律建立面部的几何模型，然后在面部图像中匹配各个面部特 征的位置，根据真实人脸上各个器官之间的平均比例，建立一个几何人脸模型如图 2 2 5 1 所示。 r1 j，_ | 鼍鲁：- e 量j 1 t士d tt o o 一， 1 ld “ t _ d e 呐r 盯 图2 25 1 几何人脸模型 通过双眼中心的线称为基线。令右眼a 和左眼b 的中心坐标分别“，m ) ，( 气，儿) 基线方程“+ 如