（信号与信息处理专业论文）基于肤色的人脸检测与识别方法的研究.pdf

武汉理工大学硕士学位论文 摘要 生物识别技术( b i o m e t r i ci d e n t i f i c a t i o nt e c h n o l o g y ) 是利用人体生物特征进行 身份认证的一种技术。常用的生物特征包括：指纹、虹膜、人脸、声音、步态、 笔迹等。与指纹识别、虹膜识别相比，人脸识别更加直接和友好，在身份鉴定、 档案管理、视频检索等方面有着广阔的应用前景。 人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g y ) 是利用计算机分析人脸图像，从 中提取出有效的识别信息，用来“辨认”身份的一门技术。由于人脸是由复杂 的三维曲面构成的可变形体，难以用数学描述，并且所有的人脸结构高度相似， 而人脸图像又受到年龄和成像条件的影响，使得同一人脸在不同条件下的差别 可能比不同的人脸在相同条件下的差别还要大。所以人脸识别是一个极具挑战 性的课题。 本文收集和分析了大量近年来国内外关于人脸检测与人脸识别技术的学术 论文及研究报告，对人脸检测及识别技术的相关算法进行了深入的研究，本文 的研究工作主要包括以下几个方面： ( 1 ) 对国内外人脸检测及识别技术的研究现状进行了系统的分析和总结。研 究了基于肤色的人脸检测技术和基于奇异值分解( s v d ) 和支持向量机( s 田的 人脸识别算法，分析了目前人脸检测及识别技术中亟待解决的难点问题，并讨 论了人脸检测及识别技术的发展趋势。 ( 2 ) 在人脸检测部分，主要研究了基于肤色的人脸检测技术。首先研究了肤 色检测技术涉及到的相关理论，包括人脸图像预处理、色彩空间的转换、肤色 建模等。在此基础上，研究了基于肤色的人脸检测系统，该系统主要包括光线 补偿、肤色建模、闭运算处理、去除非人脸区域和人脸区域标定等几个功能模 块。实验证明，该系统能够实现复杂背景下2 4 位r g b 图像的人脸检测，并且 对于光照、表情等变化具有较高的鲁棒性。 ( 3 ) 在人脸特征提取部分，主要研究了基于独立分量分析o c a ) 和奇异值分解 ( s v d ) 的人脸特征提取方法，并设计了基于整体与局部奇异值分解的人脸特征提 取算法。在人脸分类识别部分，研究了基于支持向量机( s v l 蛐分类识别方法， 并设计了基于支持向量机的人脸分类算法。 关键词：人脸识别，人脸检测，肤色模型，特征提取 武汉理工大学硕士学位论文 a b s t r a c t b i o m e t r i ci d e n t i f i c a t i o nt e c h n o l o g yi sak i n do ft e c h n o l o g yu s i n gi n d i v i d u a l b i o m e t r i cc h a r a c t e r i s t i c st ov e i l f yi d e n t i t y t h eb i o m e t r i cc h a r a c t e r i s t i c st h a tw e u s u a l l yu s ea r ef i n g e r p r i n t , i r i s ，f a c e ，s o u n d , p a c e ，h a n d , v e i na n ds o0 1 1 c o m p e t i n g w i t hf i n g e r p r i n tr e c o g n i t i o na n di r i sr e c o g n i t i o n , f a c er e c o g n i t i o ni sm o r ed i r e da n d f r i e n d l y f a c er e c o g n i t i o nt e c h n o l o g y h a sw i d e a p p l i c a t i o n a e r a si n i d e n t i t y v e r i f i c a t i o n , f i l em a n a g e m e n t , v i d e of r e q u e n c ys e a r c h e sa n ds oo n c o m p u t e rf a c er e c o g n i t i o ni sak i n do ft e c h n o l o g yu s i n gac o m p u t e rt oa n a l y s e f a c ei m a g ea n de x t r a c th e l p f u li n f o r m a t i o nt oi d e n t i f yi d e n t i t i e s f a c ei sa na l t e r a b l e f o r ma n ds t r u c t u r ec o m p o s e do fas e to fc o m p l i c a t e dt h r e e - d i m e n s i o nc u r v es u r f a c e s i ti sh a r dt ob ed e s c r i b e db ym a t h e m a t i c s a n df a c e so fd i f f e r e n tp e r s o n sh a v et h e s i m i l a rs t r u c t u r e f u r t h e r m o r e , t h ef a c ei m a g e sa r eg r e a t l yd e p e n d e n t0 1 1a g e sa n d p h o t o g r a p h yc o n d i t i o n s t h i sr e s u l t st h a tt h ed i f f e r e n c eb e t w e e nt w of a c ei m a g e so f t w od i f f e r e n tp e r s o n st a k e nu n d e rt h es a m ep h o t o g r a p h yc o n d i t i o ni sp r o b a b l yl e s s t h a nt h a tb e t w e e nt w oi m a g e so ft h es a m ep e r s o nu n d e rd i f f e r e n tc o n d i t i o n s s of a c e r e c o g n i t i o ni sav e r yc h a l l e n g i n gp r o b l e m t h et h e s i sc o l l e c t sa n ds t u d i e sl o t so fp a p e r sa n dr e p o r t so i lh u m a nf a c e d e t e c t i o na n dr e c o g n i t i o nh o m ea n da b r o a do ft h e s ey e a r s i th a sd e e p l ys t u d i e dt h e a r i t h m e t i c so fh u m a nf a c ed e t e c t i o na n dr e c o g n i t i o nt e c h n o l o g y t h er e s e a r c hw o r k s m a i ni n c l u d e st h i n g sa sf o l l o w s ： ( 1 ) i th a sa n a l y s e da n ds u m m a r i z e dt h er e s e a r c hc o n d i t i o no f f a c ed e t e c t i o na n d r e c o g n i t i o nt e c h n o l o g ya tp r e s e n t i th a ss t u d i e df a c ed e t e c t i o nt e c h n o l o g yb a s e do n s k i nc o l o ra n df a c er e c o g n i t i o nt e c h n o l o g yb a s e do ns i n g u l a rv a l u ed e c o m p o s i t i o n ( s v d ) a n ds u p p o r tv e c t o rm a c h i n e ( s v 如i t h a sa n a l y s e ds o m ed i f f i c u l tp r o b l e m so f f a c ed e t e c t i o na n dr e c o g n i t i o nt e c h n o l o g yw h i c hd e s i d e r a t l yt ob es o l v e da tp r e s e n t i t h a sd i s c u s s e dt h ed e v e l o p m e n tt i n do ff a c ed e t e c t i o na n dr e c o g n i t i o nt e c h n o l o g y ( 2 ) i nt h ep a r to ff a c ed e t e c t i o n , i th a ss t u d i e df a c ed e t e c t i o nt e c h n o l o g yb a s e d o ns k i nc o l o r f i r s t ，i th a ss t u d i e dt h et h e o r yw h i c hc o n n e c t e dt ot h ef a c ed e t e c t i o n t e c h n o l o g yb a s e do ns k i nc o l o r , i n c l u d i n gf a c ei m a g ep r e p r o c e s s i o n ，c o l o r - p l a c e 武汉理工大学硕士学位论文 t r a n s l a t i o n ，s k i nc o l o rm o d e l i n ga n ds oo h o nt h eb a s i so ft h e s et h e o r i e s ，i th a s s t u d i e dt h ef a c ed e t e c t i o ns y s t e mb a s e do ns k i nc o l o r t 1 l i ss y s t e mm a i n l yi n c l u d e s l i g h tc o m p e n s a t i n g , s k i nc o l o rm o d e l i n g , d i l a t i o n a n d - e r a s i o np r o c e s s i n g , d e l e t i n g f a l s ea r e aa n dg e t t i n gf a c ea r e a 1 1 l er e s u l t sp r o v e dt h a tt h i ss y s t e mc a n p e r f o r mf a c e d e t e c t i o nf u n c t i o nf o f2 4b “r g bi m a g e so nc o m p l e xb a c k g r o u n d a n dt h i ss y s t e m h a sg o o d s t a b i l i t yu n d e rd i v e r s i f i c a t i o no fl i g h to rf a c e ( 3 ) i nt h ep a r to ff e a t u r ee x t r a c t i o n , t h et h e s i sf o c u s e so nt h et h em e t h o d so f i n d e p e n d e n tc o m p o n e n ta n a l y s i s0 c a ) a n ds i n g u l a rv a l u ed e c o r a p o s i l i o n ( s v d ) a n di th a sd e s i g n e daf e a t u r ee x t r a c t i o na r i t h m e t i cb a s e do nt h ew h o l ea n dl o c a l s i n g u l a rv a l u ed e c o m p o s i t i o n i nt h ep a r to fc l a s s i f i c a t i o n ，i th a ss t u d i e dt h em e t h o d b a s e do nt h es u p p o r tv e c t o rm a c h i n e ( s w 0a n dd e s i g n e dac l a s s i f y i n ga r i t h m e t i c b a s e do nt h es u p p o r tv e c t o rm a c h i n e k e yw o r d s ：f a c er e c o g n i t i o n , f a c ed e t e c t i o n , s k i nc o l o rm o d e l ，f e a t u r ee x t r a c t i o n 此页若属实请申请人及导师签名。 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获褥武汉理工大学或其它教育机构的学位或证书而使 用过的材料与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 研究生签名：韭呈星煎日期望i 乙丝p 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即：学校有权保留送交论文的复印件，允许论文被查阅和借阅； 学校可以公布论文的全部内容，可以采用影印、缩印或其他复制 手段保存论文。 ( 保密的论文在解密后应遵守此规定) 研究生签名：复垫啦导师主名：五! =日期2 堡1 2 ：皱( 。 注：请将此声明装订在学位论文的目录前。 武汉理工大学硕士学位论文 第1 章绪论 1 1 生物识别技术概述 1 1 1 生物特征识别技术的应用背景 随着计算机网络、移动电话、监控系统、门禁系统等电子设备步入人们的 日常生活，为保证个人信息的安全性，人类越来越依靠智能卡、身份证、密码 等措施来进行身份认证。然而，这些传统的身份认证方法易于丢失、窃取、伪 造、遗忘，给生活和工作带来极大的不便。在信息技术飞速发展的今天，电子 商务、电子银行、网络安全等应用领域也急需高效的自动身份认证技术，传统 的身份认证方法已经不能很好地满足信息时代对于信息安全的要求。如何才能 更加安全、方便进行身份认证昵? 悄然兴起的生物识别技术也许能解决这个难 题【。 生物特征识别技术 i o m e t r i c s ) 是根据人类特有的可以采集和测量的生物学 特征和行为学特征来进行身份识别的技术。人类的生理和行为特征只要具备以 下性质就可以作为生物特征；( 1 ) 普遍性：这种特征是每个人都具有的；( 2 ) 独特 性：任意两个人的这种特征都不相同；( 3 ) 稳定性：这种特征至少在一定时间内( 相 对某种匹配准则) 是不变的；( 4 ) 可采集性：这种特征可以被定量测量。另外，在 实际应用中还必须考虑性能、可接受性、防欺骗性等问题。也就是说，一个实 际的生物特征识别系统必须满足特定的识别准确性、速度和资源要求，对使用 者无害且能被人接受，对各种欺诈和攻击手段有足够的鲁棒性1 2 j 。 由于生物特征具有不可复制的唯一性，这一生物密钥无法复制，失窃或遗 忘。因此，生物识别技术是目前最为方便与安全的身份认证技术。可用于识别 的生物特征有手形、指纹、脸形、虹膜、视网膜、脉搏、耳廓等，行为特征有 签名、声音、步态、按键力度等。基于这些特征，人们已经发展了手形识别、 指纹识别、人脸识别、签名识别、声音识别、虹膜识别、步态识别等身份认证 技术。随着近二十年来计算机技术突飞猛进的发展，生物特征识别技术无疑是 安全身份认证的首选方式。 武汉理工大学硕士学位论文 1 1 2 生物识别技术的发展前景 生物特征识别技术以其特有的技术优势和市场潜力，在过去的几年里成为 人们关注的焦点。国际社会纷纷推出以生物认证技术为主力的新举措，技术研 究红红火火，行业应用需求大增，生物特征识别技术呈现出蓬勃发展的良好势 头。可以说，生物识剐技术的春天已经到来。 根据i b g 的报告，从2 0 0 2 年到2 0 0 7 年生物识别技术横向应用市场前七名分别 为：民用i d 、监控、计算机网络访问控制、零售，蛆m ，p o s 系统、电子商务、门 禁考勤和警用刑侦；纵向市场前五名分别为：政府、旅游运输、金融、卫生保 健和法律实施。由此，我们可以看到生物识别技术已经渗透到我们生活的方方 面面1 3 1 。 抛弃传统的智能卡，完全依靠人体生物特征，能否真正做到绝对安全呢? 事实上，任何安全认证都无法傲到万无一失，生物识别也不饲外。从2 0 0 0 年开 始，德国、日本、美国、英国陆续有人宣布，他们成功发明了新型的材料以及 工艺过程，可以很方便地采集到人们留在任何地方的指纹，并使用伪造的指纹 成功地通过了安全系统的检验。指纹如此，虹膜、人脸等其他识别信息也难以 幸免。针对这类现象，科研人员在技术手段上增加了多种外围方法或采用多种 生物特征融合方法以提高识别系统的防伪性能。比如指纹识别系统，它可以同 时测量指纹的温度、湿度、压力、弹性，最大限度的达到防伪目的。生物特征 融合识别方法也有了新的进展，德国法兰富尔协会研发了一种多重识别系统， 将一个人的面貌、声音以及运动3 种生物特征相结合，在1 s 内快速完成识别。当 其中的一种生物特征变动时，多重模板识别系统还能依据其他两项生物特征进 行识别。生物识别技术要做到真正的安全可靠，就要求该技术进一步发展完善， 特别是与具体应用相关的算法，多种生物特征融合的算法研究、在不同使用环 境下的算法处理以及在海量数据上应用分类算法的研究等，都是今后需要不断 探索的问题。 无论如何，生物特征识别技术将是2 1 世纪最有发展前景的一项新兴技术。 虽然现在国内技术还不够完善，应用还比较单一，但随着整个行业的共同努力， 不断提高产品性能与整合能力，大幅度降低产品价格，加上国家对行业的大力 扶持，我们相信，在短期内生物识别技术将会飞速发展。随着该技术的不断成 熟和应用范围的扩大，每个人都将享受到生物识别技术带来的快捷与便利。 2 武汉理工大学硕士学位论文 1 2 人脸识别技术概述 1 2 1 人脸识别技术的研究内容 人脸识别属于生物特征识别技术的一种，人脸识别技术的目标是使计算机 具有像人眼一样定位和识别人脸的功能。 总的来说，人脸识别技术的研究内容包括人脸检测、人脸特征提取和人脸 分类识别三大模块1 4 j 。 人脸检测：人脸检测是指在输入图像中确定人脸( 如果存在) 的位置、大 小和姿态的过程。入脸检测系统输入的是可能包含人脸的图像，输出的是图像 中是否存在人脸和人脸数目、位置、尺度等信息的参数化描述。人脸检测任务 的完成涉及从复杂的背景中分割、抽取、验证人脸区域和可能用到的人脸特征 ( 如眼睛、嘴唇等) 。成功的人脸检测系统应能处理实际存在的光线、人脸方向 和距照相机远近变化等各种情况。 人脸特征提取：是检测人脸的某些或所有特征的位置、大小、轮廓线等信 息的过程。由于人脸图像的数据量相当大，为了有效地进行分类识别，就要对 原始图像进行压缩，得到最能反映分类本质的特征，这就是人脸特征提取的过 程。由于人脸具有相似性的特点，并且同人脸在不同情况下会表现出不同的 面部特征，使得寻找一种稳定和有效的识别特征这一工作充满了挑战性。特征 提取是人脸识别中的核心步骤，它决定着最终的识别结果，直接影响识别率的 高低。 人脸分类识别：分类识别就是根据前两步所得到的特征，将待测人脸与人 脸数据库中的人脸进行比对，确认和识别待测人脸的身份。分类识别实质上就 是设计一个分类器的过程。分类器可看成是由硬件或软件组成的一个“机器”，按 己确定的分类判别准则对待识别模式进行分类判别，输出分类结果。常用的线 性分类器包括欧氏距离( e u c l i d e a nd i s t a n c e ) 分类器、马氏距离( m a h a l a n o b i s d i s t a n c e ) 分类器、正态条件下的线性b a y c s 分类器、线性支持向量学习机( s v m ) 。 典型的非线性分类器有最近邻( n n ：n e a r e s tn e i g h t , o o 分类器、p a r z c n 分类器、各 种神经网络( 如r b f - n n ) 分类器、非线性支撑向量学习机( s 田等p 】。 3 武汉理工大学硕士学位论文 1 2 2 人脸识别技术的发展历史与研究现状 1 2 2 1 人脸识别技术的发展历程 人脸识别至今已有将近6 0 年的发展历史。2 0 世纪6 0 年代末7 0 年代初，是人 脸识别研究的起步时期 6 1 。最早的研究者是b l e d s o e 7 1 ，他建立了一个半自动的人 脸识别系统，该系统主要是以人脸特征点问的距离、比率等参数作为识另特征。 早期的人脸识别方法具有两大特点：( 1 ) 大多数识别方法都是基于部件的，利用 人脸的几何特征进行识别，提取的信息是人脸主要器官特征信息及其之间的几 何关系。这类方法比较简单，但是很容易丢失人脸的有用信息，从而在视角、 表情等变化的情况下识别能力差。( 2 ) 人脸识别研究主要是在较强约束条件下进 行的识别。如：假设图像背景单一或无背景、人脸位置已知或很容易获得等， 因此对现实场景产生的图像处理效果不佳。 2 0 世纪9 0 年代以来，随着计算机软硬件性能的迅速提高，以及人们对人脸 识别系统的高要求，使发展更具鲁棒性的人脸识别方法成为时代的必然。于是 基于整体的识别方法应运而生，并且很快成了研究的重点，如主成分分析法和 弹性图匹配法。基于整体的识别方法充分利用了人脸各个特征点之间的拓扑关 系和各个器官自身的信息，可以避免提取面部局部特征的操作，使识别鲁棒性 有所提高。 9 0 年代中期以来。人脸识别方法向着整体识别和部件分析相结合的趋势发 展。研究人员开始逐渐认识到人脸识别算法必须能够充分地利用人脸的各种特 征信息，融合人脸的形状拓扑结构特征、局部灰度特征和全局灰度分布特征等 多种特征因此，出现了很多新的算法，这些算法是将原先单一的算法结合起 来，共同完成人脸识别。 9 0 年代后期，一些商业性的人脸识别系统开始逐渐进入市场，人脸识别技 术成为当今国际安全防范最重要的手段之一但是，这些技术和系统离实用化 还有一定的距离，性能和准确率还有待提高。 2 0 0 0 年前后，人脸识别方法的性能虽然有了一定的提高，但仍与人们的要 求还有一定的差距，现有方法对光照、年龄、表情、姿态、距离等条件的变化 比较敏感，当某些条件发生变化时，识别效果很不理想。目前，人脸识别技术 只能用于某些对识别率要求不高的场合。 4 武汉理工大学硕士学位论文 1 2 2 2 人脸识别技术的研究现状 近1 0 多年来，计算机人脸识别技术有了很大的进展，各种人脸识别方法层 出不穷。根据人脸表征方式的不同，通常将人脸正面识别技术分为三大类：基 于几何特征的识别方法、基于代数特征的识别方法和基于连接机制的识别方法。 基于几何特征的人脸正面图像识别方法是通过人脸面部拓扑结构几何关系的先 验知识，利用基于结构的方法在知识的层次上提取人脸面部主要器官的特征， 将人脸用一组几何特征矢量表示，识别归结为特征矢量之间的匹配，基于欧式 距离的判决是最常用的识别方法。基于代数特征的人脸识别方法主要有特征脸 0 c a ) 法和隐马尔科夫模型( h m m ) 法：特征脸法是基于k - l 交换的人脸识别方 法。隐马尔可夫模型但m m ) 是用于描述信号统计特征的一组统计模型。它使用 马尔可夫链来模拟信号统计特征的变化，而这种变化是间接的通过观察序列来 描述的。基于连接机制的人脸识别方法包括一般的神经网络( a n n ) 方法和弹性图 匹配( d l a ) 方法：神经网络的方法在人脸识别上比其他类别的方法有独特的优 势，它避免了复杂的特征提取工作，可以通过学习的过程获得其他方法难以实 现的关于人脸识别的规律和规则的隐性表达。但是该方法神经元数目多，训练时 间长。基于弹性图匹配的人脸识别方法采用树形拓扑图来表述人脸模式，通常情 况下，属性拓扑图为二维稀疏网络。属性拓扑图上的每一个顶点均包含一特征 矢量，记录了人脸在该顶点位置的分布信息。属性拓扑图可以采用各种描述局 部信息的特征，如小波特征，形态特征和统计特征等。所以，它应该是介于基 于人脸图像部件特征和基于人脸图像整体特征之间的一种人脸识别方法。它不 仅提取了描述人脸图像的局部特征，保留了人脸图像的空间信息，而且在一定 程度上可以容忍人脸从三维到二维投影引起的变形，因此它在众多的人脸识别 方法中占有重要的地位。综合比较这些方法，每种方法都各有优缺点i s j 。 国外研究机构从事人脸识别的研究与实践较早，在美国、德国、日本等发 达国家已经有相关产品问世。1 9 9 6 年美国的f e r e t 研究机构对现有的各种人脸 识别算法迸行了测试，结果表明，比较成熟的识别算法对于数千入的图像迸行 识别检索，识别率可达到9 0 以上。1 9 9 8 年德国西门子公司成功开发了“人像 及视觉访问控制系统( f a c c v a c s ) ”，用于保安系统的访问控制，对几十人的人像 库进行识别检索，识别率接近1 0 0 。2 0 0 1 年日本es o l u t i o 公司推出的“面孔验 证安全系统”，最多可容纳1 0 0 0 人登录1 9 1 。 国内关于人脸识别技术的研究虽然起步较晚，但近年来发展很快，已经成 5 武汉理工大学硕士学位论文 为研究的热点。目前，国内人脸识别理论和方法的研究水平已经达到或接近国 际水平，相关的人脸识别产品也开始闯世。国内生产人脸识别产品的企业，主 要有四川成都的银晨公司和吉林长春的当代公司，其产品主要应用于安全防范、 访问控制、治安管理和信息安全等领域。清华同方和东大阿尔派也都分别推出 了用于犯罪嫌疑人计算机画像的。人像合成系统”。并且，清华大学电子工程系 于2 0 0 5 年1 月研制成功一套大型人脸识别系统并通过了公安部组织的专家鉴 定，达到国内领先水平和国际先进水平。 然而，人脸识别技术本身还有待进一步发展，现有的人脸识别方法对于人 脸姿态交化、光照、表情，遮挡、年龄、模糊等一系列实际情况的鲁棒性还需 进一步提高。另外，由于人脸识别技术的实际应用实时性要求比较高，因此需 要设计更高效的识别算法。还有，在计算机人脸识别系统中，人脸库的存储也 是一个必须考虑的问题。 ， 从提高人脸识别系统实用性能的角度，人脸识别技术有以下发展方向：( 1 ) 进一步研究面部特征抽取和识别算法，提高识别精度；( 2 ) 3 d 形变模型可以处理 多种变化因素，具有很好的发展前景；( 3 ) 提高系统的鲁棒性，降低对环境的条 件限制；( 4 ) 多特征融合和多分类器融合的方法；( 5 ) 提高系统的识别速度，研究 对海量人像数据的分布式检索比对方法；( 6 ) 采用d s p 或嵌入式硬件和软件平台， 研制开发便携的应用产品；研究海量数据的存储、压缩和加密技术i l 哪。 在一些高级信息安全的应用中，还需要研究人脸识别与指纹、虹膜、语音 等识别技术融合的方法，这也是生物特征识别技术的发展趋势。 1 2 3 人脸识别技术的应用前景 人脸识别是生物特征识别领域的重要研究课题，近1 0 年来已经成为一个非 常活跃的研究方向。与指纹、掌纹、视网膜、虹膜等其他生物特征识别技术相 比，人脸识别具有直接、友好、方便、非侵犯性的优点，因而具有极其广泛的 应用前景。 人脸识别可应用在公安、国防、金融、部队、政府部门等需要高度保密的行 业，这些行业需要对进出人员进行严格的管理和控制。在这些行业使用人脸识 别系统后，其管理效率可以得到最大限度的提高，能更好的保障企业安全。 而对于普通的企业来说，基于人脸识别技术的门禁和考勤系统，可彻底杜绝 以往他人冒用门禁卡、盗用密码等手段冒充本人代考勤或者进出入的方式，真 6 武汉理工大学硕士学位论文 正实现行政管理工作的安全性和准确性。 人脸识别还可应用于视频会议、图形检索、入机交互等领域。 随着软件和硬件技术的不断发展，人脸识别系统的应用领域将会交得更加 广泛，服务的行业也会越来越多。 1 3 本文的研究内容 本论文以复杂背景下的r g b 人脸图像为研究对象，在阅读了国内外大量有 关人脸检测与识别的文献资料的基础上，研究了人脸检测及识别算法，本论文 完成的工作主要有以下几点： ( 1 ) 对国内外的人脸检测及识别技术的研究现状进行了系统的分析和总结。 研究了基于肤色的人脸检测技术和基于奇异值分解和支持向量机的人脸识别方 法，分析了目前人脸检测及识别技术中亟待解决的难点问题，讨论了人脸检测 及识别技术的发展趋势。 ( 2 ) 在人脸检测部分，研究了基于肤色模型的人脸检测系统，设计了人脸检 测算法。实验证明，该系统能够实现复杂背景下2 4 位r g b 图像的人脸检测功能， 并且对光照、表情变化具有较高的鲁棒性。 ( 3 ) 在人脸特征提取部分，研究了独立分量分析( i o q 和奇异值分解( s v d ) 的 人脸特征提取方法，并设计了基于整体与局部奇异值分解的人脸特征提取算法。 ( 4 ) 在人脸分类识剐部分，研究了支持向量机( s v m ) 的分类识别方法，并设 计了基于支持向量机的人脸分类算法。 7 武汉理工大学硕士学位论文 第2 章基于肤色的人脸检测技术研究 2 1 人脸检测技术概述 人脸检测是指在输入图像中确定人脸( 如果存在) 的位置、大小和姿态的过 程。人脸检测系统的输入是可能包含人脸的图像，输出是图像中是否存在人脸 和人脸数目、位置、尺度等信息的参数化描述。人脸检测任务的完成涉及从复 杂背景中分割、抽取、验证人脸区域和可能用到的人脸特征( 如眼睛、嘴唇等) 。 成功的人脸检测系统应能处理实际存在的光线、人脸方向和距照相机远近变化 等各种情况【1 1 】。 在很多应用领域中需要自动提取人脸，例如人脸识别、人脸合成和基于对象 的编码等。人脸检测是一项十分困难的工作，原因主要有以下几个方面： ( 1 ) 复杂的成像背景； 人脸结构和纹理的变化较大； ( 3 ) 光照不均匀( 特别是偏光) 影响了人脸特征的规律性。 人脸是受多种因素影响的复杂模式，如何找到一种有效的方法提取人脸的 共性特征来描述人脸模式( 即人脸建模) ，是人脸检测的关键。概括而言，目前 的人脸检测方法可以分为基于统计的方法和基于知识建模的方法两大类。 由于在彩色图像中，最重要、最明显的特征是肤色，基于彩色信息的检测 方法利用恰当的表色系统，把肤色作为实现人脸检测和跟踪的主要参数，在人 脸检测和跟踪方面具有对缩放和微小形变不敏感的优点。因此基于肤色模型的 人脸检测算法在实际中得到广泛的应用。t e r r i l l o n 等人【1 2 1 评估了不同色度空间 和肤色分布模型，z a r i t 等人p 3 l 较了5 种不同的彩色空间来进行肤色分割。通 常，该方法首先利用肤色模型定位人脸候选区域，然后通过形状分析和几何特 征分析来检测人脸。 本章根据实际应用进行了彩色图像中的人脸检测研究。研究了肤色检测技 术涉及到的相关理论，包括人脸图像预处理、色彩空间的转换、肤色建模等。 最后，讨论了肤色检测技术的难点及其发展趋势。 8 武汉理工大学硕士学位论文 2 2 人脸检测与定位方法 人脸检测的基本思想是用知识或统计的方法对人脸建模。比较所有可能的 待检测区域与人脸模型的匹配度，从而得到可能存在的人脸区域。其方法大致 可分为基于统计和基于知识两类。前者将人脸图像视为一个高维向量，将人脸 检测问题转化为高维空间中分布信号的检测问题；后者则利用人脸知识建立若 干规则，从而将人脸检测问题转化为假设，验证问趔1 4 1 。 ( 1 ) 基于统计的人脸检测方法 1 ) 事例学习法。将人脸检测视为区分非人脸样本与人脸样本的模式分类问 题，通过对人脸样本集和非人脸样本集进行学习以产生分类器。 2 ) 子空间法。将k l 交换引入人脸识别，在人脸识别中利用主元子空间( “特 征脸”) ，而在人脸检测中利用的是次元予空间( “特征脸”空间的补空间) 。用 待检测区域到特征脸子空间的距离做为检测统计量，距离越小，表明越像人脸。 子空间方法的优点在于简便易行，但没有利用反例样本信息，对与人脸类似的 物体辨别能力不佳。 3 1 空间匹配滤波器法。包括各种模板匹配法、合成辨别函数法等。 ( 2 ) 基于知识建模的人脸检测方法 1 ) 器官分布规则：虽然人脸在外观上变化很大，但遵循一些几乎是普遍适用 的规则，如五官的空问位置分布大致符合。三停五眼”等，检测图像中是否存 在人脸就是测试该图像中是否存在符合这些规则的图像块。这种方法一般有两 种思路：一种是“从上到下”，其中最为简单有效的是m o s a i c 方法【，它给出 了基于人脸区域灰度分布的规则，依据这些规则对图像从粗分辨率到高分辨率 进行筛选，以样本满足这些规则的程度做为检测的判据。另一种思路是。从下 至上”，先直接检测几个器官可能分布的位置，然后将这些位置点分别组合，用 器官分布的几何关系准则进行筛选，找到可能存在的人脸区域。 2 ) 轮廓规则：人脸的轮廓可以简单地看成一个近似椭圆，于是人脸检测可以 通过椭圆检测来完成。g o y i n d a r a j u 提出认知模型方法【1 4 1 ，将人脸建模为两条直 线( 左右两侧面颊) 和上下两个弧( 头部和下巴) ，通过修正h o u g h 变换来检测 直线和弧。 3 ) 颜色、纹理规则：同民族人的面部肤色在颜色空间中的分布相对比较集中， 颜色信息在定程度上可以将人脸同大部分背景区分开来。 9 武汉理工大学硕士学位论文 4 ) 运动规则：通常相对背景来说，人总是在运动的，利用运动信息可以简单 有效地将人从任意复杂背景中分割出来，其中包括利用瞬眼、说话等方法的活 体人脸检测方法。 5 ) 对称性：人脸具有一定的轴对称性，各器官也具有一定的对称性。 z a b r o d s h k y l “瞧出连续对称性检测方法。检测一个圆形区域的对称性，从而确定 是否为人脸；r i e s f i e l d t l 4 】提出广义对称变换方法，检测局部对称性强的点来进行 人脸器官定位。我们则定义方向对称变换，分别在不同方向上考察对称性，不 仅能够用来寻找强对称点，而且可描述有强对称性物体的形状信息，在进行人 脸器官定位时更为有效。 2 3 肤色检测技术 肤色检测是指在图像中选取对应于人体皮肤像素的过程。随着视频图像采 集设备的普及，近年来对图像中肤色区域分割的研究日趋活跃【坷。 肤色在人脸检测和跟踪中是一种有效的特征。尽管对于不同的人肤色差异 可能很大，但是差异主要存在于亮度上，而不是颜色上。在色彩空间中，肤色 只是其中很窄的一部分频带，因此可以根据颜色信息来检测像素点是否具有肤 色特征。通过边通量分析和区域增长，对肤色像素点归类并且找到可能的人脸 区域【1 6 1 。基于颜色的系统可以在不同的视角中均能检测到人脸，不受人脸姿态 变化的影响。根据颜色进行人脸检测的问题在于人所感知到的颜色与到达视网 膜的光线的频率并不是一样的。在同一天中的不同时候，同一个物体所反射出 的光的频率是不一样的，这使得在彩色图像中的像素有着不同的颜色值。而且， 不同的摄像机得到的图像也有着不同的色彩偏差，这样当使用不同的成像设备 时，就需要对颜色信息进行重新校准。 由此看来，不同的检测方法各有优劣。由于人脸在空间中的分布非常复杂， 要建立人脸在高维空问中的精确分布模型是一项非常困难的任务，要建立一个 高鲁棒性，在各种情况下都通用的人脸检测系统目前来说非常困难【1 刀。因此， 如何根据实际需要，综合运用各种方法，取长补短，减少问题的复杂度是解决 人脸检测问题的一条切实可行的途径。 在与人有关的各种机器视觉系统中，肤色检测技术正得到越来越多的应用， 具有巨大的市场潜力。目前比较典型的应用包括人脸检测与识别、表情识别、 手势识别、基于内容的图像与视频检索、人机接口技术、肌体检测等方面；也 武汉理工大学硕士学位论文 包括视频监控、皮肤病诊断等。可见，肤色检测不仅是人脸或手势等身份、情 感和行为识别系统的重要组成，而且在安全防范、反恐、医疗保健、人脸的化 装和整容的检测中的应用也日趋重要【l e l 。 2 4 基于肤色的人脸检测 2 4 1 人脸图像预处理 在对人脸图像进行特征提取和分类之前一般要作预处理，主要包括几何归 一化和灰度归一化。几何归一化是指根据人脸定位结果将图像中人脸变换到同 一位置和同样大小。灰度归一化是指对图像进行光照补偿等处理，光照补偿能 够在一定的程度上克服光照变化的影响而提高识别率。 2 4 1 1 几何预处理 ( 1 ) 图像平移 图象平移就是将图象中所有的点都按照指定的平移量水平、垂直的移动。 图像平移只是改变图像在屏幕上的位置，图像本身并不发生变化，它是几何变 换中最简单的一种 1 9 , 2 0 。下面讲述图像平移的基本原理。 假设源图像区域某象素点的坐标为( x o ，y o ) ，平移( 1 x o f f s e t ，m o f f s e t ) 后坐标 变为( 而，_ ) ，。) ，如图2 1 所示。 达： 图2 - 1 图像平移示意图 由图像平移示意图可以看出，( 而，) 和( 而，y ，) 的关系可以用下面的式子表 武汉理工大学硕士学位论文 m x l - x o + i x o f f s e t + l x o f # e t ( 2 - 1 ) j l 辨。l 。 利用齐次坐标，变换前后图像上的象素点昂( 而，) 和p ( 工，y ) 之间的关系可 m 珊】 刚 】 ， x o - x - 一缸缈 ( 2 q 4 ) 对源图的每个像素( ，) ，根据用户设定的偏移量获取偏移后的坐标值 ( x o + l x o f f s e t ，y o + i y o f f s e t ) ，然后将像素( x o ，y o ) 的值赋给 ( x o + l x o 颓s e t ，y o + i y o f f s e t ) 即可实现图像的平移。 假设左右眼的瞳孔为t k ，y 2 ) ，咒k ，y 1 ) ，平移图像中任一点为，旋转后 的点为( 而一再) ，则绕右跟瞳孔冠旋转角度为： 武汉理工大学硕士学位论文 如图2 - 2 所示图像旋转坐标图。 旋转后： 其矩阵表达式为： y 0 p a 瞅蛳丝= 匕 而一t 墨 只 1 图2 - 2 图像旋转坐标图 仁：舞翟瑞毛 ( 2 5 ) ( 2 6 ) 。：( 率鳓斟 弘力 ( 3 ) 图像缩放 由于在成像过程中，图像大小不一，从而剪裁后的图像大小不等，因此要对 剪裁后的图像进行缩放变换，使得图像具有统一的尺度大小【加】。图像缩放在几 何变换中属于比较麻烦的一种，因为在放大和缩小的过程中所应用的原理不大 相同。设图像在水平方向上的缩放比率为z o o m x ，在垂直方向上的缩放比率是 z o o m y ，那么源图像中点( 而，) 在新图像中对应的点为： p x o 砌艋( 2 8 ) l m - y o x z o o m y 、7 针对放大比率与1 的关系共有四种情况，这里为便于讨论，只考虑两种特 殊情况( 在水平和垂直方向上同时放大或同时缩小的情况) ，下面针对这两种情 武汉理工大学硕士学位论文 况分别进行讨论： 1 诏! 两个方向上同时放大时，也就是历鲫 l 和2 幻辨y 1 的情况由于 放大图像产生了新的像素，必须通过插值的方法来处理新增的像素。 2 ) 在两个方向上同时缩小时，也就是z d d ，横t 1 和z o o m y t l 的情况例如 同时缩小o 5 时，新图像中的一个像素对应源图像中的四个像素。这样在进行像 素操作时，原则是每行中每相邻两个像素取一个，每隔一行取一行的方法。 上述两种情况下图像缩放示意图如图2 - 3 所示。 卜 一 _ _ 图2 3 图像缩放示意图 2 4 1 2 灰度预处理 脸像一般可分为彩色图像和灰度图像。彩色图像的像素点是由r ( 红色) 、 g ( 绿色) 、b ( 蓝色) 三元色混合而成，不同含量的r 、g 、b 组成不同的颜色。 灰度图像则是只含亮度信息，不含色彩信息的图像，其亮度是连续变化的，要 表示灰度图像就需要把亮度值进行量化。通常划分为0 2 5 5 共2 5 6 个等级，0 最暗( 全黑) ，2 5 5 最亮( 全白) 2 1 】。 对于彩色图像，可先对其进行灰度化处理，具体过程如图2 4 所示。 i 读取图像l 一得到红绿蓝三l 一计算像素l 一像素点颜色分l 卜j 得到灰度 l数据广1 1色分量广 点灰度值广1 量重新赋值广 图像 i 图2 - 4 图像的灰度化流程 常用的灰度图像预处理算法有以下几种，下面进行简单介绍。 ( 1 ) 图像平滑 图像平滑主要是为了消除噪声。噪