（计算机应用技术专业论文）基于半监督学习和支持向量机的眉毛识别方法研究.pdf

摘要 摘要 随着全球范围内电子商务的迅速兴起，对人类自身身份识别的准确性、安全 性与实用性提出了更高要求。传统的身份鉴别方法，如i d 卡和密码等，存在携 带不便、容易遗失等诸多问题，而生物特征识别技术能够较好地克服传统身份鉴 别方法的缺点，因此逐步受到重视。目前，常用的生物特征包括人脸，指纹，虹 膜，掌纹，声音，步态，笔迹等等。眉毛作为人脸上的一个重要特征，尽管有相 关文献表明眉毛在人脸识别中的作用甚至大于眼睛，但纯粹利用眉毛进行识别的 研究却很少见。本文将半监督学习方法和支持向量机模型运用到眉毛识别中，对 人的眉毛作为一种独立生物特征使用的可能性和可行性作进一步的研究，主要的 工作包括以下几个方面： 1 ) 基于半监督学习的眉毛图像分割方法。该方法只需要手工在眉毛图像上 简单画上几条线标注部分眉毛点和非眉毛点就能完成眉毛图像分割。本 文的实验结果表明，基于半监督的眉毛图像分割方法具有非常好的分割 效果，可用于眉毛识别的前期预处理，不足之处在于运算比较缓慢，对 大小为7 6 8 * 5 7 6 的2 4 位彩色图像，如果分块的大小为7 x 7 ，则分割时间 一般需要1 - 2 分钟以上。 2 ) 基于半监督学习和哈希索引的眉毛图像分割方法。该方法利用局部敏感 的哈希方法对基于半监督眉毛图像分割方法进行改进，实验结果表明， 改进后的眉毛图像分割技术对大小为7 6 8 * 5 7 6 的2 4 位彩色图像，分块 的大小为7 x 7 ，分割时间为2 0 秒以内。 3 ) 基于傅立叶变换和g a b o r 滤波的眉毛特征提取方法。该方法首先利用离 散傅立叶变换或者g a b o r 滤波对眉毛特征进行提取，然后利用主成分分 析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 对高维的眉毛特征进行降维，从而 提取出恰当的眉毛特征。 4 ) 基于支持向量机的眉毛识别方法。研究应用支持向量机进行眉毛识别的 方法，以及不同的核和特征提取方法对眉毛识别效果的影响。本文在4 0 人共4 0 0 张眉毛图像，1 0 0 人共1 0 0 0 张眉毛图像和1 1 4 人1 1 4 0 0 张眉毛 图像的眉毛数据库上的识别率最高分别可以达到9 0 5 、8 2 1 0 5 3 和 7 7 7 1 9 3 。 关键词生物特征识别；眉毛识别；半监督学习：支持向量机：图像分割 a b s t r a c t a b s tr a c t w i t l lt h ed e v e l o p m e n to fw o r l d w l d ee l e c t r o n i cc o m m e r c e ，i ti sr e q u i r e dt og e t h i g h e ra c c u r a c y , s e c u r i t ya n dp r a c t i c a b i l i t yo fp e r s o n a l i d e n t i f i c a t i o n t r a d i t i o n a l i d e n t i f i c a t i o nm e t h o d si n c l u d i n gi cc a r da n dp a s s w o r dh a v em a n yp r o b l e m ss u c ha s w i t hi n c o n v e n i e n c et oc a r r ya n dw i t he a s et ol o s s ，w h i l eb i o m e t r i ct e c h n o l o g yc a l l o v e r c o m es o m eo ft h e s ed i s a d v a n t a g e sa n dt h u sh a sb e e np a i dm o r ea n dm o r e a t t e n t i o n a tp r e s e n t ，b i o m e t r i cf e 舭sm a i n l yi n c l u d ef a c e ，i r i s ，f i n g e r p r i n t ， p a l m p r i n t ，v o i c e ，g a i t ，h u m a nh a n d w r i t i n g ，e t c i th a sb e e ns h o w n t h a te y e b r o wi ss o i m p o r t a n taf e a t u r et h a ti tm a yp l a ya tl e a s tt h es a l er o l e a se y ei nf a c er e c o g n i t i o n h o w e v e r , r a r er e s e a r c hc o u l db ef o u n da b o u tu s i n ge y e b r o wa s a l li n d e p e n d e n t b i o m e t r i c t h i sp a p e rf u r t h e ri n v e s t i g a t e st h ep r o b a b i l i t ya n df e a s i b i l i t yo fe y e b r o w r e c o g n i t i o nu s i n gs e m i s u p e r v i s e dl e a r n i n ga n ds u p p o r tv e c t o rm a c h i n e ，w i t hm a i n w o r kd e s c r i b e da sf o l l o w s ： 1 ) e y e b r o wi m a g e ss e g m e n t a t i o nm e t h o db a s e do ns e m i s u p e r v i s e dl e a r n i n g t h i s m e t h o do n l yn e e dl a b e l san u m b e ro fe y e b r o wa n dn o n - e y e b r o wp o i n t sb ym a n u a l l y d r a w i n gs e v e r a ls i m p l el i n e so ne y e b r o wi m a g et o f i n i s he y e b r o ws e g m e n t a t i o n s e g m e n t a t i o ne x p e r i m e n t so ft h i sp a p e rs h o w t h a ti tc a na c h i e v eav e r yg o o d s e g m e n t a t i o nr e s u l ta n dc a nb eu s e dt op r e p r o c e s se y e b r o wi m a g eb e f o r er e c o g n i t i o n t h ef a u l to ft h i sm e t h o di st h es p e e do fs e g m e n t a t i o ni sv e r ys l o w t h ea v e r a g et i m e f o rs e g m e n t a t i o ni su p1 - 2m i n u t e sw h e nt h ei m a g e si s2 4 b i tc o l o r i z e di m a g e sw i t h s i z e7 6 8 木5 7 6a n dt h ep i x e l sb l o c ks i z ei s7 x 7 2 ) e y e b r o wi m a g e ss e g m e n t a t i o nm e t h o db a s e do ns e m i s u p e r v i s e dl e a r n i n ga n d l o c a l l ys e n s i t i v eh a s h i n gm e t h o d t h em e t h o du s e sl o c a l l ys e n s i t i v eh a s h i n gm e t h o d t oi m p r o v et h es p e e do fs e g m e n t a t i o n ，a n dt h es e g m e n t a t i o ne x p e r i m e n t so ft h i sp a p e r s h o wt h ea v e r a g es e g m e n t a t i o nt i m er e d u c e st ob e l o wt w e n t ys e c o n d sb yt h i sm e t h o d ， w h e nt h ei m a g e si s2 4 b i tc o l o r i z e di m a g e sw i t hs i z e7 6 8 奉5 7 6a n dt h ep i x e l sb l o c k s i z ei s7 x 7 。 3 、e y e b r o wf e a t u r ee x t r a c t i o nm e t h o db a s e do nf o u r i e rt r a n s f o r ma n dg a b o r f i l t e r a tf i r s t ，t h i sm e t h o dd o e sf o u r i e rt r a n s f o r mo rg a b o rf i l t e ro ne y e b r o wi m a g e st o e x t r a c tt h ef e a t u r ev e c t o r s ；a n dt h e ng e tp r o p e rf e a t u r eo fe y e b r o wb yu s i n gp r i n c i p a l c o m p o n e n ta n a l y s i st or e d u c et h ed i m e n s i o n so fh i l g h d i m e n s i o n a le y e b r o w f e a t u r e v e c t o r s 4 ) e y e b r o wr e c o g n i t i o nb a s e do ns u p p o r tv e c t o rm a c h i n e s t u d yh o wt o u s e i i i 北京工业大学工学硕士学位论文 s u p p o r tv e c t o rm a c h i n ef o re y e b r o wr e c o g n i t i o na n dt h ep o s s i b l ei n f l u e n c et o r e c o g n i t i o nr a t eo fd i f f e r e n tk e r n e l sa n df e a t u r ee x t r a c t i o nm e t h o d s e x p e r i m e n t so n d a t a b a s e sw h i c hi n c l u d e4 0 0 e y e b r o wi m a g e sf r o m4 0p e r s o n s ，1 0 0 0 e y e b r o wi m a g e s f r o m10 0p e r s o n sa n d114 0e y e b r o wi m a g e sf r o m114p e r s o n ss h o wt h a tt h em e t h o d c a nr e a c ht h ea c c u r a c yo f9 0 5 ，8 2 10 5 3 a n d7 7 719 3 r e s p e c t i v e l y k e y w o r d sb i o m e t r i c s ；e y e b r o wr e c o g n i t i o n ；s e m i s u p e r v i s e dl e a r n i n g ；s u p p o r tv e c t o r m a c h i n e ；i m a g es e g m e n t a t i o n i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 关于论文使用授权的说明 日期： 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 第1 章绪论 鼍曼曼曼曼曼曼曼! i i i。i mli i 曼! ! 曼皇曼曼曼皇! 曼 第1 章绪论 1 1 课题研究的背景和意义 1 1 1 研究的背景 在现代社会中，随着计算机网络技术的高速发展和全球范围内电子商务的 迅速兴起，信息安全显示出前所未有的重要性，而生物特征识别作为信息安全 的一个重要方面开始越来越受到人们的重视。生物特征识别技术是指通过计算 机分析人体所固有的生理或行为特征来进行个人身份鉴别的方法【l 引。生理特征 多为先天性的，如：人脸，指纹，掌纹，虹膜等；行为特征多为后天性的，如： 声音，步态，笔迹等。基于生物特征识别的身份鉴别技术与传统的身份鉴别手 段相比，具有以下优点【4 喵j ：一是不易遗忘或丢失；二是不易伪造或被盗；三是 使用方便。正是由于生物特征具有很强的自身稳定性和个体差异性，因此可作 为身份验证的理想依据。 目前人们研究和使用的生物特征识别技术主要有：人脸识另1 1 9 。14 1 、步态识别 1 5 - 1 8 】、指纹识别【1 9 抛】、掌纹识别【2 3 之6 1 和虹膜识别【2 7 3 1 】等。这些生物特征识别技 术，各有利弊：人脸识别是一种最直观、最易于被接受的身份鉴别方法，但是 由于人脸结构比较复杂，能够产生弹性形变，在不同光照、视角、化装和表情 等条件下的同一人脸图像存在较大的差别，因此人脸识别在具体应用时计算量 较大、出错率较高、受环境的限制也较多，难于达到实用的水平；步态识别是 通过远距离拍摄步态行为进行身份识别，对步态识别的研究近年来引起了各国 学术科研机构的高度重视。尽管步态识别的精度只能达到中等水平，而且在数 据规模较大时很难识别出单一的个体，但是它具有在远距离非接触状态下进行 的优点。对于虹膜识别而言，它不能用于远距离身份识别，主要难点是虹膜图 像的获取。由于使用c c d 摄像头在普通条件下通常很难拍摄到可用的图像，因 此需要购买昂贵的图像采集设备，对被采集者也有严格的要求，使用不太方便， 这给虹膜识别技术的推广带来了很大的困难；而且，虹膜图像易受眼睫毛等因 素的干扰，这也影响了虹膜识别在实际系统中的应用效果。 眉毛是人脸上的一个重要特征，具有普遍性、唯一性、稳定性和可采集性， 相关文献表明眉毛在人脸识别中的作用甚至大于眼睛【3 2 1 。事实上，与人脸图像 相比，眉毛图像不仅具有轮廓鲜明、结构简单和容易选取的优点，而且受光照 和表情的影响较小，具有更好的稳定性和抗干扰性；与虹膜图像相比，眉毛图 像则又具有易于采集和使用方便的优点。此外，人类的眉毛具有多种多样的形 北京工业大学工学硕士学位论文 状，无固定结构，具有很好的身份特异性，因此应该能够被有效地应用于身份 鉴别。尽管如此，纯粹利用眉毛进行识别的研究依然很少见。目前，眉毛识别 方法主要有基于隐马尔可夫模型的眉毛识别方法和基于特征串比较的眉毛识别 方法【3 3 3 4 】。这两种眉毛识别方法在3 0 人左右的眉毛数据库上均取得了比较好的 识别效果，初步验证了眉毛作为独立生物特征进行识别的可行性。但是，因为 眉毛识别的研究还处于初步阶段， 3 3 ，3 4 在以下两方面存在不足：首先， 3 3 ，3 4 在预处理中，从原始眉毛图像中提取纯眉毛图像采取的是人工圈选的方法，一 方面容易出错，另一方面限制了训练集的规模；其次， 3 3 ，3 4 所用的眉毛数据 库过小，仅有3 0 人左右，如何在一个更大规模的数据库上保证算法的稳定性和 提高识别率尚需进一步研究。针对这两点不足，本课题利用半监督学习技术和 支撑向量机模型对眉毛识别进行研究。 1 1 2 课题的意义 眉毛识别是一种很少被研究的生物特征识别技术，涉及模式识别、计算机 科学、生物学等多个学科，并且与其它生物特征识别技术有着密切联系。因此， 眉毛识别研究对于开拓新兴技术领域，促进跨领域的多学科综合发展具有重要 的科学意义。本课题利用半监督学习和支持向量机模型对眉毛识别的方法的研 究，这不仅将进一步验证眉毛作为一种独立生物特征进行身份鉴别的可行性并 将进一步推动相关生物特征识别技术的发展，此外，也可能为解决金融、司法、 刑侦以及考勤管理等领域的身份识别问题提供新的技术手段。 尽管有人可能认为眉毛容易伪装和修剪而不能作为一种有效的生物特征使 用，但是在员工身份验证之类的任务中，完全可以通过组织纪律要求员工不准 进行修眉。即使有人认为不准修眉缺乏人道，还可以把眉毛识别和指纹、虹膜 的其它生物特征识别技术集成为一个多生物特征识别系统，让用户根据自己的 喜好去选择适合自己的方法。 综上所述，眉毛识别作为一种具有发展潜力的生物特征识别技术，可以弥 补现有生物特征识别方法的不足，其研究和发展不仅具有重大的理论意义，而 且具有广阔的应用前景和商业价值。 1 2 本论文的内容安排 眉毛识别指将待识别的眉毛与数据库中已知人的眉毛进行比较，得出相关 信息。本质上，它是个训练和识别的过程：首先在眉毛数据库中所有人的眉毛 图像基础上进行训练得到分类器，然后对待识别眉毛进行识别判断该眉毛图像 的所有者。 第1 苹绪论 本论文的研究目的是：1 ) 设计并实现从原始眉毛图像中半自动提取纯眉毛 图像的辅助软件工具和基于支撑向量机的眉毛分类器；2 ) 验证和改进基于图的 半监督学习技术用于眉毛图像的分割；3 ) 验证支撑向量机模型在眉毛识别中的 有效性及对比不同特征提取和不同的核与参数的选择对支持向量机识别效果的 影响；4 ) 通过在4 0 人、1 0 0 人和1 1 4 人的眉毛数据库上的实验验证眉毛识别作 为一种独立的身份识别方法的可行性和实用性。 1 2 1 主要研究内容 本文主要讨论如何利用半监督学习技术和支持向量机模型进行眉毛识别，从 而验证眉毛识别的可行性和有效性。具体包括： 1 研究利用半监督学习技术从眉毛图像中半自动地提取出纯眉毛区域得方 法。 2 研究利用傅立叶变换和g a b o r 滤波进行眉毛特征提取的方法。 3 研究利用支撑向量机模型对眉毛图像进行识别的方法。 4 通过上述方法设计一个眉毛识别系统，并在1 0 0 - 1 5 0 的眉毛数据库上进行 实验研究。 1 2 2 存在的主要困难 在生物特征识别技术领域，眉毛识别是一个刚刚起步的新方向。虽然不及 人脸识别的复杂性，但是要建立一个眉毛识别系统的难度还是比较大的，这不 仅涉及到数字图像处理，而且还涉及到计算机视觉，人工智能等多个学科领域 的广泛知识。因此在研究中不可避免会面临到困难，如：若有些眉毛图像在拍 摄过程出现了明显的仿射形变、弹性形变或较大的光照变化，则会给眉毛识别 的特征提取，特征表征以及识别带来较大的影响。 如何把半监督学习技术和支持向量机模型分别应用于纯眉毛区域的提取和 眉毛的识别；如何提高利用半监督学习技术提取纯眉毛区域的速度和准确率； 选择何种核与参数对支持向量机进行训练：采用何种眉毛图像预处理和特征提 取方法消除或减少图像尺寸以及光照影响提高眉毛识别的正确率。这些将是本 论文的主要难点。 1 3 本文组织结构 第1 章绪论介绍课题的研究背景与意义，概述了本文的主要研究内容， 存在的困难以及论文的总体结构安排。 北京工业大学工学硕士学位论文 第2 章半监督学习技术与支持向量机模型综述，分别概述了半监督学习 技术和支持向量机模型各自的特点及其在相关领域的应用。 第3 章基于半监督学习的眉毛图像分割方法，讲述利用半监督学习技术 提取纯眉毛区域的整个过程，并给出实验结果和分析。 第4 章基于半监督学习和哈希索引的眉毛图像分割方法，首先介绍局部 敏感的哈希搜索技术，接着详细阐述了该技术在基于半监督学习的眉毛图像分 割中的应用，最后给出了基于半监督学习和哈希索引的眉毛图像分割方法的实 验结果和分析。 第5 章基于傅里叶变换、g a b o r 滤波和p c a 的眉毛特征提取方法，首先 介绍了眉毛图像预处理，包括纯眉毛图像的尺寸归一化( 得到同一尺寸的眉毛图 像) 和灰度归一化( 消除光照影响) ，然后介绍了p c a 、g a b o r 和傅里叶变换的基 础知识，并介绍了将其应用于眉毛识别中的特征提取的过程。 第6 章基于支持向量机的眉毛识别方法，介绍了支持向量机的原理，并 详细阐述了支持向量机在眉毛识别中的应用，最后给出了该方法的实验结果及 分析。 结论总结了本文所做的工作，并展望了眉毛识别后续研究工作。 第2 章半监督学习技术与支持向量机综述 第2 章半监督学习技术与支持向量机综述 2 1 半监督学习技术 半监督学习( s e m i s u p e r v i s e dl e a r n i n g ) 是近年来机器学习领域的研究热点， 它的本质就是通过少量有标号的数据辅助大量无标号数据进行学习，从而提高 分类的准确性。 半监督学习分类是介于有监督学习和无监督学习之间的一种学习技术。传 统的分类器一般仅利用有标号的数据( 特征与标号) 进行训练，但是有标号的 数据的获取一般都比较困难，耗时，耗力，而且通常都需要专家经验；与此同 时，无标号数据的获取虽然比较容易，但能够利用这些数据的方法却很少，而 半监督学习技术因为能够同时利用这两类数据，包括大量无标号数据和少量有 标号数据进行训练，一方面提高了分类准确性，另一方面它花费更少的人力对 数据进行标号，因此在理论上和实际应用中都引起了极大的关注。 半监督学习的思想最早可以追溯到1 9 6 5 年的自训练( s e l f - t r a i n i n g ) 方法【3 6 】， 这个方法的主要思想是：利用有标号的数据进行训练得到一个分类函数，通过 这个分类函数为部分没有标号的数据打上标号，再利用所有带标号的数据重复 进行上述步骤直到所有的数据都得到了标号。显然，如果上述步骤中采用最小 化经验风险的原则获取分类函数，那么无标号数据对分类结果并没有起到任何 影响。 d e m p s t e r 等人提出了半监督学习中的生成模型( g e n e r a t i v em o d e l ) p 7 l 。生成 模型认为每一个类的数据都服从某个混合分布，比如高斯混合分布，理想状态 下，每一类只需要一个有标号的数据就能通过其他大量的无标号数据确定它的 分布，从而完成分类。相关的工作有：n i g a m 等人把产出模型用于文本分类， 证明该方法的分类结果要比单纯的利用有标号的数据进行训练的效果要好【3 剐； b a l u j a 把该方法应用于人脸的方向定位，同样具有非常好的效果p 9 1 。生成模型 也有它的缺点，它总是假设每一个类的数据服从某个分布，如果模型假设不正 确，把无标号数据加入训练不但没有帮助反而会降低正确率【4 u i 。 联合训练( c o t r a i n i n g ) 是半监督学习中的另一个方法【4 1 1 ，它假设数据的特 征集可以分成两个子集，且在每一子集上进行训练都能够得到一个好的分类器。 两个特征子集上的分类器采取互相学习的方式完成分类工作：利用对方的分类 结果重新训练，直到两个分类器对于绝大部分的数据都有一样的分类结果。相 关的工作有：j o n e s 将该方法应用于文本中的信息检索【4 2 】；b a l c a n 等人的试验结 果表明联合训练有非常好的效果，极端情况下每个类只需要一个有标号的样本 北京工业大学工学硕士学位论文 4 3 】。显然，联合训练的缺点在于它的假设过强。 本文所用到的半监督学习技术是基于图的半监督学习方法。基于图的半监 督学习技术的关键在于它的一致性假设：( 1 ) 临近的点应该具有相同的标号； ( 2 ) 具有同样结构( 比如同一个聚类或流形) 的点应该具有同样的标号。这两 个假设，第一个反映的是局部性，而第二个反映的是全局性。直观而言，该方 法是将所有的数据看成图中的点，数据之间的相似性表示点之间的边的权重， 通过迭代的方式把每个点的标号信息扩展到它的近邻直至达到一个全局稳态。 相关的工作有：b l u m 和c h a w l a 等人的m i n c u t 方法1 4 4 1 ；z h o u 等人的局部全局 一致性方法( t h el o c a la n dg l o b a lc o n s i s t e n c ym e t h o d ) f 4 别等。基于图的半监督学 习方法的缺点是时间复杂度比较高，计算比较缓慢。 2 2 支持向量机 现有机器学习方法，包括模式识别、神经网络等，共同的重要理论基础之 一是统计学。传统统计学研究的是样本数目趋于无穷大时的渐近理论，在处理实 际问题时暴露了一系列的问题，比如维数灾难，模型假设与实际分布的有出入 等。与传统统计学相比，统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y ) 是一种专门 研究小样本情况下机器学习规律的理论。v a p n i k 等人从六、七十年代开始致力 于此方面研究，到九十年代中期，随着统计学习理论的不断发展和成熟，提出 了一个通用学习方法支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 一6 。 支持向量机建立在统计学习理论的v c 维理论和结构风险最小原理基础上。 所谓结构风险最小原理，不仅需要分类函数具有最小的经验风险，而且需要分 类模型的复杂性( v c 维) 尽量小【4 6 1 ，从而获得更好的推广能力( g e n e r a l i z a t i n a b i l i t y ) 。正因为如此，支持向量机表现出了很多优于已有方法的性能，有望帮 助解决许多原来难以解决的问题，比如：神经网络结构选择问题、局部极小点 问题等。 支持向量机的主要应用领域有模式识别、回归分析和概率密度估计等等。 本文主要讨论支持向量机在模式识别方面的应用。目前，支持向量机已经成功 地应用于人脸识另l j l 4 7 , 4 8 , 4 9 】，指纹识别【4 9 1 ，手写体识别【5 0 1 等领域。手写体识别【5 0 】 是贝尔实验室利用支持向量机在美国邮政手写数字库上进行的实验，这是一个 可识别性较差的数据库，人工识别平均错误率是2 1 5 ，用决策树方法识别错 误率是1 6 1 2 ，两层神经网络中错误率最小的是5 1 9 ，专门针对该特定问 题设计的五层神经网络错误率为5 1 1 ( 其中利用了大量先验知识) ，而s v m 方 法得到的错误率要小于4 1 2 ，且其中直接采用了1 6 1 6 的字符点阵作为s v m 的输入，并且没有进行专门的特征提取。这一实验充分说明了s v m 方法较传统 第2 章半监督学习技术与支持向量机综述 方法有明显的优势。其他方面的应用中也有类似的报道，比如人脸识别中， 5 1 的评测结果显示支撑向量机的识别效果要比p c a 、l d a 等方法略好。 总之，s v m 在理论上的突出优势，促使它在众多领域都得到了成功应用。 2 3 本章小结 本章是对半监督学习( s e m i s u p e r v i s e dl e a r n i n g ) 和支持向量机( s u p p o r t v e c t o rm a c h i n e ) 的综述，分别讲述了半监督学习和支持向量机各自的特点及其 在相关领域的应用。 第3 章基于半监督学习的眉毛图像分割方法 曼! 曼蔓皇曼曼曼皇i； _ _ i o ! 曼曼曼鼍曼曼曼曼曼曼皇! 皇曼曼! 曼曼皇曼! 曼! 曼曼曼曼曼! 鼍 第3 章基于半监督学习的眉毛图像分割方法 3 1 引言 应用眉毛进行身份鉴别，一个重要的前提步骤就是眉毛图像的分割，而眉 毛图像的分割，因为受到其他毛发、姿势及个体差异的影响，比之普通的图像 分割更为困难。 图像分割历来是图像分析和模式识别的首要问题，也是图像处理的经典难 题之一，它是图像分析和模式识别系统的重要组成部分，并决定图像的最终分 析质量和模式识别的判别结果。目前，虽然有众多的自动分割图像的方法，包 括：阈值法，聚类法，边缘检测等，但这些方法的分割结果却经常不是人们所 期望的。例如，眉毛图像分割中，自动分割的方法经常将头发与眉毛作为一类 分割出来。与这些自动的分割方法相比，半自动的图像分隔技术更为实用，因 此也受到了更多的关注。半自动或者交互的图像分割指通过借助人的帮助完成 图像分割，代表性的工作包括：图切【5 刭，l a z ys n a p p i n g 5 3 】等。本质上，这些工 作都可以纳入半监督学习分类的框架里面。 考虑到原始眉毛图像中的眉毛在空间上呈现为连续的状态，本文提出利用 图的半监督学习方法进行眉毛图像的分割。 3 2 眉毛图像库 眉毛识别系统的开发首先需要建立一个眉毛图像数据库。该眉毛图像数据 库的设计对系统识别率的影响是至关重要的，数据库中不同光照、表情和姿态 变化都会极大的影响识别的结果，所以应该建立适应不同需要的眉毛图像数据 库。本文考虑到眉毛识别的研究尚属初步探索性阶段，因此仅建立了睁眼正视 和闭眼正视的眉毛图像库。下面给出眉毛图像库的建立过程。 首先利用c p 2 4 0 松下摄像机、7 5 m m 高精度日本进口镜头和大恒图像采集 卡c g 3 0 0 建立了一个简单的图像采集系统，然后在实验室一般自然光照条件下 采集了1 1 4 人的眉毛图像库，图像格式为b m p 格式的彩色图像。其中每人1 0 幅不同状态的图像，分别包括睁眼正视和闭眼正视情况各五幅，且每幅图像都 是以眉毛为主要内容、大小为7 6 8 5 7 6 的2 4 位b m p 格式的彩色图像，称为原 始眉毛图像( 见图3 1 ) 。原始眉毛图像有时候包含眼睛和头发等干扰因素，因 此要对原始眉毛图像进行纯眉毛图像的提取。 k 镧圈 图3 1 原始眉毛图像示意划 f i g u r e 3 - 1e y e b r o wi m a g e s 33 基于半监督学习的眉毛图像分割方法 331 基于图的半监督学习方法简介 假设z = 扛，- ，x ，_ 是一个向量点集，不失一般性假设z 中前7 个 点有初始类别标号 h ，h 札2 一“，其余点没有标号，半监督学习的目标 就是利用z 中所有点，包括有标号点和无标号点建立一个判别模型，进而标 注z 中没有标号的点。 基于图的半监督学习技术的关键在于它的一致性假设【。i ：( 1 ) 临近的点应该 其有相同的标号；( 2 ) 具有同样结构( 比如同一个聚类或子流形) 的点应该具 有同样的标号。这两个假设，第一个反映的是局部性，而第二个反映的是全局 性。虽然基于图的半监督学习技术有众多的实现方法，但就其基本原则而言都 是形式化上述一致性假设为某分类函数，这一函数总是被设计为关于有标号点 和无标号点内在结构的足够光滑的函数h 5 5 4 。令r 表示n x c 的非零实数矩阵的 一个集合，如果令向量f = ( f 。，f ：，f 。) ，那么f 中任意一个矩阵 f = f7 ，1 - ，f7 7 均表示向量点集z 上的一个分类方法，其中的标号定 义为 y ，= a r g m a x q e 。 ( 3 1 ) 定义矩阵y = ( ) 州r 其中的初始标号为y ，如果j = 儿，则凡= 1 ：否 则y 。= 0 。显然，y f 与衲始状态下z 的标号情况一致。 定义z 上的相似距离矩阵如下； 。c x p 【一x j 1 1 2 0 - ) “) ( 2 ) 茎i 兰茎耋茎彗茎茎耋呈星耋里堡茎! ：至鎏 r w , = 0 ，其中口是一个常数，表示向量取模a 定义斜对角矩阵 d 。( q ) 州 ( 3 3 ) 其中皿，= b = 0 ( f d 。由此，可以定义基于图的光滑函数如下1 4 5 】： 卯，2 撩峥一再1 卜孵圳2 * 。， 其中卢为常数。直观而言，如果把z 中的向量看作图的顶点，看作顶点与顶 点之间的距离，则o ( f ) 右边第一项表示相近点标号的相差程度，而第二项表示 最后的结果和初始状态的相差程度，通过最小化q ( f ) 就可以得到半监督下的分 类结果f 。： f = a r g m i n g 一 ( 3 一j ) 3 32 半监督图方法在眉毛图像分割中的应用 本节主要讨论如何将半监督学习方法应用于眉毛图像分割的具体步骤( 本文 称此方法为s s 。下同) ，包括眉毛图像的采集及标注眉毛和非眉毛区域、相似距 离矩阵的计算和迭代完成眉毛分割的过程。 1 眉毛与非眉毛区域的标注过程 本文采用32 中建立的原始眉毛图像库。首先在原始眉毛图像上通过面线的 形式标注上一些眉毛区域中的点和一些非眉毛区域中的点图3 - 2 是一个对图 像中的点进行标注的例子，其中外围的红线表示非眉毛区域，眉毛中的绿线表 示眉毛区域。 嘲3 - 2 “n 引像托、f i ：i 童嘲 f i g u r e 3 2 a ne x a m p l eo f e y e b r o w m a r k i n g 北京工业大学工学硕士学位论文 2 相似距离矩阵的计算 将原始眉毛图像划分成大小相等的小像素块s s ，s 的值可根据速度和精度 要求选择为2 ，3 ，4 ，8 等。所有的像素块按照所包含的眉毛点与非眉毛点 ( 3 1 过程中标注的像素点) 的多少给予相应的标号：如果眉毛点数大于非眉 毛点数则该像素块的标号为1 ，反之为0 ：如果像素块中不包含任何选定的眉毛 点和非眉毛点，则该像素块没有标号。所有的像素块均用五维向量 ( ，g ，b ，x ，y ) 表示，其中厂，g ，b 表示该像素块的r g b 值的平均值，x ，y 表示该像素块的中心相对于左上角的坐标值。记所有的像素块对应的向量组成 的集合为x ，其中有标号的向量子集为三。 因为像素块的数目一般都比较大，若对任意两个像素块都计算它们之间的相 似度，将耗费大量的时间，考虑到同一区域( 眉毛区域或者图像背景) 在局部 上的颜色总是比较接近，且一般呈现为连通的状态，本文采用如下方法计算像 素块之间的相似度：任意两个像素块e ，e j x ( i ) ，如果它们之间的颜色差 i 一r j + g 。一毋i + 1 6 f b j l 8 ( 万是一个常数) ( 3 - 6 ) 且这两个像素块是连通的，则定义这两个像素块之间的相似度为： w = e x p ( 一忙一e j 旷2 0 2 ) ( 仃是一个常数) ( 3 7 ) 否则为0 ，这里所说的连通指e ，e ，之间存在着一条路径，且路径上的每个像素 块与e ，或者e ，之间的颜色差满足式( 3 6 ) ， 由此可以得到相似距离矩阵形。 3 迭代计算完成眉毛分割 首先，归一化相似距离矩阵，令 一! 一三 s = d2 w d2 ， ( 3 8 ) 其中d 为斜对角矩阵，且d 。= ；然后，令，( o ) = y ，迭代计算 f ( t + 1 ) = a s f ( t ) + ( 1 一a ) r ( 3 - 9 ) 直到收敛，这里f ( t + 1 ) 与f ( t ) 都属于f ，_ ra 是个介于0 到l 之间的常数： 假设f 为迭代的结果，容易证明f 与最小化q ( f ) 得到的结果是一致的，事实 上由上述迭代公式可得 f ( ，) = ( 硝) 卜1 】，+ ( 1 一口) ( 嬲) y ( 3 1 0 ) i = 0 义0 a e ：。，则该向量对应的像素块属于眉毛区域，令像素块的标号为1 ；否 则，该向量对应的像素块属于非眉毛区域，令该像素块的标号为0 。最后，根 据迭代的结果，从原始眉毛图像中提取出与原始标号为1 的像素块相连通且迭 代结果为眉毛的像素块，完成眉毛的提取工作，具体而言包括如下步骤： 首先，令集合a 为空集；任意取出一个眉毛像素块对应的向量0 三，将0 加 入集合a ，并将0 的标号改为2 ；其次，从集合a 中任意取出向量口，令 a = a a ) ；以a 对应的像素块为起点，在八个领域中查找标号为l 的所有像 素块加入集合彳，并将这些像素块的标号改为2 ：然后，持续执行上述步骤直 到集合a 为空：最后，把标号为2 的像素块连成眉毛区域，并把眉毛区域放到 一个能够包含它的最小矩形中，即；找出能包含眉毛区域的最大x 坐标，最小 x 坐标，虽大v 坐标，最小y 坐标，用。唧。帆y y w n 表示，则生成的矩形 的四个顶点的坐标分别为 a ( x 。，y 。) b ( x y 。) c ( x 。y 。) d ( x y 。) 保持眉毛区域中的像囊点的r g b 值不变，眉毛区域外部和最小矩形之间的部分 的填充色统一取为眉毛区域外部颜色的均值，从而生成2 5 6 色的纯眉毛图像。 333 实验及结果分析 本文用v c 2 0 0 5 构矬了一个基于半监督学习的彩色眉毛图像分割系统的， 对3 2 节建立的眉毛数据库进行了分割实验其中分块大小取为7 x 7 ，口取为0 , 9 占取为4 0 ，实验的部分结果在圈3 - 3 中给出。 第3 自摹十半监督学目的眉毛目像j 刮方镕 在室内一般自然光照条件下取得的，且对图像的成像质量并没有非常高的要求。 在其它人机交互的图像分割方法中，与本文比较相似的是l a z ys n a p p i n g ，两者 都是通过在原始图像中画上一些线或点标注清楚背景和前景来完成图像分割。 与l a z ys n a p p i n g 相比，应用l a z ys n a p p i n g 进行眉毛图像分割，需要对眼睫毛， 头发等与眉毛颜色相近的地方进行特别的标注而本文并不需要：此外，因为 眉毛区域的边缘比较细微、复杂，l a z ys n a p p i n g 在某些边界的标定上没有本文 准确。图3 4 是应用l a z ys n a p p i n g 对图3 3 中的三幅图进行分割的结果，它的 标注过程除了对眼睛，头发等地方进行了特别的标注外，其余的与图3 _ 3 一致。 撼豳塑 撼豳瞩 图3 - 5 分块大小为6 x 6 和8 k 8 的眉毛幽像分割结果 f i g u r e3 - 5 t h es e g m e n 【a i i o nr e s u l t so f e y e b r o w i m a g e s w i t hp i x e l sb l o c k s i z e6 x 6 a n d 8 ) ( 8 还必须指出的是虽然半监督学习技术具有很好的眉毛分割效果但完成 分割的时间比较长。本文从眉毛库中选出2 0 副眉毛图像( 图像大小均为7 6 8 + 5 7 6 的2 4 位彩色图像) ，在分块的大小分别为6 6 ，7 7 ，8 8 的情况下分别进行了 实验，图3 5 第一行和第二行分别为分块大小为6 6 和8 8 的分割结果表3 1 为三种分块大小下对眉毛图像进行分割所需的时间。 表3 - 12 0 幅图在分块大小分别为6 x 6 7 7 ，8 x 8 下的平均分割时间 t a b l e3 - 1t h ea v e r a g es e g m e n t a t i o nt i m eo f t w e n t yi m a g e sw i t hp i x e l sb l o c ks i z e6 6 ，7 7a n d 8 x 8 分块大小 6 x 6 7 78 8 花费时旬( 微秒) 7 6 4 0 65 0 0 0 0 06 6 5 8 20 0 0 0 0 03 2 3 9 85 0 0 0 0 0 可以看到，分割时间一般需要1 2 分钟以上，这主要是因为在获取相似距离 矩阵的时候，需要进行大量的块问相似度计算。虽然本文采用了约束条件( 3 6 ) 限制需要计算相似度的像素块的数目，但剩余的计算量依然非常大，比如，人 脸皮肤上任意两个像素块的颜色几乎都很接近，因此都需要计算距离。 为了提高运算速度，本文对约束条件式进行了增强( 增强约束下的半监督 眉毛图像分割方法记为e s s ，下同) ：任意两个像紊块e ，e ，x ( i j ) ，如果 它们之叫的颜色差满足( 3 6 ) ，儿他们之l j j 的坐枷、茬满足 蠖圈曩墼 爨i 豳翟 塑囝懋 分块大小 6 x 67 x 7| 8 8 花费时问( 微秒) 2 5 3 5 41 6 6 6 6 71 1 6 6 15 0 0 0 0 06 3 8 8o o o o o o 从表3 2 和图3 7 可以看到虽然分割图像的时间大大减少，但是分割的结果