（信号与信息处理专业论文）基于二代身份证的人像识别认证系统.pdf

摘要 摘要 人脸识别系统以其方便、非侵入的特点受到军事、商业、安全、信息等应用领域的青睐。经过 3 0 多年的发展，自动人脸识别技术取得了长足的进步。但是，由于人脸的外观总是处于不断的变化 之中，一般的、无约束环境下的人脸识别问题远未解决。 本文分别研究了自动人脸识别系统的各个关键算法，主要工作和贡献包括： 1 ) 人脸检测定位 人脸检测定位是自动入脸识别系统实现的第一步。本文利用肤色模型缩小搜索范围，再利用扩 展类h a a r 特征进行基于自动提升算法的人脸检测，降低了系统的误检率，并满足系统实时性的要求。 2 ) 面部关键特征定位 面部特征精确配准是鲁棒实用的人脸识别系统的基本前提。本文算法结合了眼睛的灰度与边缘 信息，将左右眼分开查找，最后利用眼睛模板完成瞳孔位置的精定位。根据眼睛和嘴唇的几何位置 关系，得到了嘴唇中心位置。改进了传统的主动形状模型算法，利用已经得到的关键点位置初始化 平均形状模板，并对形状进行区域约束，提高了定位精度和速度。 3 ) 人脸描述特征及基于单样本的核心识别认证算法 对于人脸描述，本文给出了单训练样本系统的鲁棒描述方法。基于局部g a b o r = 值模式的直方 图匹配方法采用了g a b o r 小波，局部二值模式、局部空间直方图等不同层次的局部特征提取过程， 对表情和误配准等问题具有较高的鲁棒性。本文通过简化g a b o r 滤波器提出了局部扩展h a a r 二值模 式的直方图匹配算法，采用积分图方法极大地降低了计算复杂度，提高了系统实时性，并且性能仍 能满足系统要求。这些算法在本质上无需在一个训练集上进行训练，因而避免了基于统计学习人脸 建模方法的推广能力问题。 4 ) 基于二代身份证的人像认证系统总体设计方案 研究了如何设置现场环境、选择摄像设备、论证核心的检测算法与认证算法，并给出了整个系 统的运作流程。 关键词：人脸检测肤色模型，自动提升算法( a d a b o o s t ) ，眼睛定位，主动形状模型，单样本，局部 g a b o r 二值模式 a b s t r a c t a so n eo ft h ef e wb i o m e t r i cm e t h o d st h a tp o s s e s st h em e r i t so fb o t hh i 曲a c c u r a c ya n d l o w i n t r u s i v e n e s s ，a u t of a c er e c o g n i t i o n ( a f r ) h a sav a r i e t yo f p o t e n t i a la p p l i c a t i o n si ni n f o r m a t i o ns e c u r i t y , l a we n f o r c e m e n ta n ds u r v e i l l a n c e ，a c c e s sc o n t r o l ，a m o n go t h e r s a f t e rm o r et h a n3 0y e a r s d e v e l o p m e n t , a f rh a sm a d eg r e a tp r o g r e s se s p e c i a l l yi nt h ep a s tt e ny e a r s h o w e v e r ，t h eg e n e r a lf a c er e c o g n i t i o n p r o b l e mi s s t i l lu n s o l v e dd u et oi t si n h e r e n tc o m p l e x i t y , w h i c hc o m e sf r o mt h ec o n s t a n t l yc h a n g i n g a p p e a r a n c eo f h u m a nf a c e ，s u c ha sv a r i a t i o n si np o s e ，i l l u m i n a t i o na n de x p r e s s i o n t h em a i nr e s e a r c hw o r ka n dc o n t r i b u t i o n so f t h i sd i s s e r t a t i o na r ea sf o l l o w s ： 1 ) f a c ed e t e c t i o n f a c ed e t e c t i o ni st h ef i r s ts t e po fa f rs y s t e m t of u l f i l lt h er e a l - t i m er e q u i r e m e n to ft h ed e t e c t i o n s y s t e m , c o m p l e x i o nm o d e li s u s e dt od e t e c tp o s s i b l ef a c ea r e aa tf i s t ，a n dt h e nt h ea d a b o o s tc l a s s i f i e ri s u s e dt od e t e c tf a c er e g i o np r e c i s e l y 2 ) f a c i a lf e a t u r ea l i g n m e n t s o b e le d g e sa r ec o m b i n e dw i t hg r a yi n f o r m a t i o nt og e tt h ee y el o c a t i o na n dt h ee y e b a l lr a d i u s a f t e r t h a t , t h ep u p i lc e n t e r sa r ep r e c i s e l ye x t r a c t e db yt h ee y et e m p l a t e sm a t c h i n gp r o c e s s t h eg e o m e t r i c r e l a t i o n s h i po f f a c i a lf e a t u r e si su s e dt ol o c a t et h em o u t h w ed i s c u s st h ea c t i v es h a p em d d e la l g o r i t h ma n d u s ee y ep o s i t i o n st oi n i t i a l i z et h es h a p ef i n a l l y , w h i c hs h o r t e n st h ei t e r a t i v et i m e s 3 ) r e c o g n i t i o n v e r i f i c a t i o na l g o r i t h mb a s e do n o n ep e r s o np e ri m a g e s y s t e m w ed i s c u s st h em e t h o dw h i c he x t r a c t st h eh i s t o g r a ms e q u e n c eo fl o c a lg a b o rb i n a r y p a t t e r n s ( h s l g b p ) f r o mt h em a g n i t u d e so fg a b o rc o e f f i c i e n t s t h e nw eu s es i m p l i f i e dg a b o rf i l t e r st ot a k ep l a c e o ft h et r a d i t i o n a lo n e s ，r e d u c et h ec o m p u t a t i o n sa n da c c e l e r a t et h ep r o c e s s i n g i na d d i t i o n ，t h e s et w of a c e m o d e l i n gm e t h o d sd on o tn e e dt h et r a i n i n gs e tf o rs t a t i s t i cl e a r n i n g ，t h u st h ea l g o r i t h mc a ba v o i dt h e g e n e r a l i z a b i l i t yp r o b l e m 4 ) t h ed e s i g no f t h ef a c er e c o g n i t i o ns y s t e mb a s e do nn a t i o n a lt dc a r di i w ed i e u c s ss o m ec o m m o nk e yi s s u e si ns y s t e md e s i g n ，s u c ha st h ew o r k p l a c ee n v i r o n m e n td e s i g n , i m a g i n ge q u i p m e n ts e l e c t i o n , a n dk e r n e lr e c o g n i t i o na l g o r i t h ma r g u m e n t a t i o n f i n a l l y , ap r o c e s s i n gf l o w c h a r tf o rt h ew h o l es y s t e mi si m p l e m e n t e d k e y w o r d s ：f a c ed e t e c t i o n , c o m p l e x i o nm o d e l ，a d a b o o s t , e y ed e t e c t i o n , a c t i v es h a p em o d e l s ，s i n g l e s a m p l e ，l o c a lg a b o rb i n a r yp a t t e m l i 东南大学学位论文独创性声明 本人声弱所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：日期： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：导师签名 期 第一章绪论 1 1 研究背景和意义 第一章绪论 随着信息化进程的日益加快，信息安全和公共安全越来越显示出其前所未有的重要性。传统的 身份认证方法主要借助身份标识物品( 如钥匙、证件、a t m 卡等) 和身份标识知识( 如用户名和密 码) ，一旦证明身份的标识物品和标识知识被盗或遗忘，其身份就容易被他人冒充。这些缺点使得它 们己经越来越不能适应社会发展的需求，同时，国家公共安全、信息安全等关系国计民生的领域更 需要高可靠性、高安全性的全新身份验证技术，尤其是美国遭遇“9 l l ”恐怖袭击事件之后，安全问 题更加成为人们关注的热点问题。而生物特征识别技术被认为是这些需求的终极解决方式。 生物特征识别是模式识别中非常活跃的分支，其含义就是根据人身所固有的、能够唯一标识其 身份的生理特征或行为特征，来实现身份鉴别或验证。生理特征通常要满足普遍性、独特性和稳定 性，如人脸、指纹、虹膜，视网膜、掌纹、d n a 等；行为特征通常是指人类个体的习惯性行为特点， 如笔迹、声纹、步态等。与传统的身份验证方法相比，生物特征认证技术具有不会遗忘、不易窃取 和伪造、随身携带、随时随地可用等优点，比传统的身份认证方法更加安全和方便。据专门提供生 物识别产业相关咨询服务的美国公司i n t e m a t i o n a lb i o m e t r i cg r o u p ( i b g ) 版的一本关于生物识别市 场及产业趋势的调查分析报告书”b i o m e t d cm a r k e ta n di n d u s 时r e p o r t2 0 0 7 2 0 1 2 , , i l l 显示，2 0 0 7 年全 球生物识别市场收入超过3 0 亿美元，并且今后5 年内将以超过每年8 亿美元的幅度递增，至2 0 0 7 年将达到7 4 亿美元( 见图1 1 ) 。 2 0 0 7 2 0 0 82 0 0 92 0 1 02 0 1l 2 0 1 2 图1 - 12 0 0 7 - 2 0 1 2 国际生物辨识市场收入展望 人脸识别技术是最主要的生物特征身份认证技术之一。在各种生物特征认证技术中，其市场份 额仅次于指纹识别技术。它涉及模式识别、图像处理、计算机视觉、生理学、心理学及认知科学等 潮 舢 锄 泐 姗撇 撇 姗 。 东南大学硕士论文 相关学科领域，并同基于其它生物特征的身份鉴别方法以及计算机人机感知交互的研究领域相互交 融，广泛应用于国家安全、公安、司法、海关、电子商务、安全监控、门禁保安、重要集会等许多 领域。刚刚颁发的二代身份证由于内藏数字芯片，可以方便地与机具进行相互认证，通过机读信息 进行安全性确认，完成信息交换。将其与人脸识别技术相结合，必将提供一种更加可靠、安全和方 便的身份认证手段，在更加方便人们信息获取的同时，保障信息访问的安全合法。 1 2 人脸作为生物特征识别方法的优势与不足 可供选用的生物特征识别手段很多，但在身份鉴别方面的安全性，可靠性等性能上各有千秋。 其中，人脸识别是人类用来互相识别的最重要的方法。与其它生物特征识别技术相比，人脸识别在 可用性方面具有独到的技术优势吲，这主要体现在： 1 可以隐蔽操作，尤其适用于安全监控，这是指纹、虹膜、视网膜等其他人体生物特征识别技 术所不能比拟的； 2 非接触式采集，没有侵犯性，容易被接受。而指纹和虹膜都需要用户一定程度上的配合，给 用户带来不便和心理压力； 3 具有方便、快捷、强大的事后追踪能力。可以在事件发生的同时记录并保存当事人的面像， 从而可以确保系统具有良好的事后追踪能力，而一般人不具备指纹、虹膜鉴别能力； 4 图像采集设备成本低。目前，中低档的u s bc c d c m o s 摄像头价格已经非常低廉，基本成 为标准的外设，极大地扩展了其实用空间：另外，数码相机、数码摄像机和照片扫描仪等摄像设备 在普通家庭的曰益普及迸一步增加了其可用性。虹膜识别对采集到的虹膜图像要求极高，指纹的输 入效果受到温度、湿度、压力等影响； 5 可交互性强。例如，对于指纹、虹膜等识别系统，一般用户对识别往往是无能为力的，而对 人脸来说，授权用户的交互和配合可以大大提高系统的可靠性和可用性。 然而，人脸作为生物特征识别技术也有其固有的缺陷，这主要表现在： 1 特征稳定性较差。人脸是有极强可塑性的三维柔性皮肤表面，会随着表情、年龄等的变化而 发生改变，皮肤的特性也会随着年龄、化妆乃至整容、意外伤害等发生很大变化； 2 可靠性、安全性较低。人类的面孔总体是相似的，众多的人口使得很多人的面孔之间的差别 是非常微妙的，技术上实现安全可靠的认证有相当难度； 3 图像采集受各种外界条件影响很大，因此识别性能偏低。 1 3 自动人脸识别系统描述 自动人脸识别( a u t o m a t i cf a c er e c o g n i t i o n ，a f r ) 是指利用计算机分析人脸图像，从中提取 有效的识别信息，进而辨认身份的一门技术。广义的a f r 识别能力包括以下不同功能的任务： 1 人脸检测与跟踪 人脸检测任务要求判断计算机的“眼睛”摄像头观察到的“影像”中是否存在人脸。如果 一2 第一章绪论 存在，需要同时给出其在图像中的坐标位置、人脸区域大小等信息。而人脸跟踪则需要迸一步输出 所检测到的人脸位置、大小等状态随时间的连续变化情况。 2 面部特征检测与提取 这一任务既要求确定面部图像中e 曼睛、鼻子、嘴巴等器官的位置，还要求对这些器官及其面部 轮廓的形状信息作出描述。 3 人脸属性分类 根据面部特征检测与提取的结果，结合面部图像中的亮度分布信息，对检测到的人脸的性别、 表情、种族、年龄等属性做出判断。 4 基于人脸图像比对的身份识别( w h oi sh e ? ) 即通常意义上的人脸识别问题。通过将输入人脸图像与人脸数据库中所有已知原型人脸图像计 算相似度并对其排序来给出输入人脸的身份信息。这包括两类识别问题：一类是无拒识的闭集人脸 识别问题：即假定输入的人脸一定是人脸库中的某个个体；另一类是有拒识的开集识别，即首先要 对输入人脸是否在已知人脸库中做出判断，如果是，则给出其身份。 5 基于人脸图像比对的身份验证( a m1w h o mic l a i mi ? ) 即通常意义上的人脸确认问题。系统在输入人脸图像的同时输) k - - 个用户宣称的该人脸的身份 信息，系统要对该输入人脸图像的身份与其宣称的身份是否相符作出判断。 在这几种不同的功能中，尤其需要注意的是识别问题与验证问题的区别。一般来说，识别是一 个经典的多类分类问题，而验证则通常是一个二类判别问题m q 。但其中涉及的很多关键问题是一 致的，多数技术方法是通用的。 一个基本的a f r 系统框图如图1 2 所示，首先经过图像传感器( 如u s bc c d c m o s 摄像头) 获取图像，经预处理后检测是否存在有效人脸；如果有，则通过特征提取，得到标识人脸个体的有 效特征( 包括特征降维处理) 。训练时，对识别分类器进行训练，以得到一个识别率尽可能高而拒识 率尽可能低的分类器：识别时，将提取的人脸特征送入训练好的分类器并根据分类器的输出得到识 别结果。 识 别 结 果 图1 - 2 a f r 系统基本框图 从识别的角度出发，我们希望数字图像能够尽可能地保留原图像的信息，但在实践中，由于场 合不同，输入图像保留的信息也不一样。灰度图像失去了颜色信息：二维图像则失去了深度等三维 信息：红外图像仅和热辐射有关，分辨率太低；s k e t c h 图像则失去了纹理信息。除了图像形态，输 入设备也不尽相同，有的图像是由c c d 摄像头拍摄的，有的则是照片扫描或报纸扫描等等。由于应 东南大学顼士论文 用环境的不同，所得图像的性质也不同，这实际上会影响到以后提取的特征也有所不同。本文的输 入图像为二维彩色图像。 人脸预处理包括人脸检测以及人脸归一化，目的在于尽量去除环境和其它干扰条件对人脸图像 的影响。人脸检测可以看成人脸( f a c e ) 和非人脸( n o n f a c e ) 两类分类问题，是人脸识别系统的关键部分， 检测的成功与否或检测的准确性将直接影响系统的性能。人脸检测一般可分为复杂背景和简单背景 两类。监控、跟踪等主要在复杂背景下，这也给人脸检测造成了一定的困难。人脸检测的结果要受 到人脸尺度、方向、姿态、表情、遮挡、光照等情况的影响。人脸归一化处理将需要比对的人脸图 像变成同尺寸，并尽可能地消除姿态、光照变化的影响。 特征提取的方法多种多样，目的在于找出最能鉴别人脸的特征，同时也满足系统实时性和鲁棒 性的要求。 分类器设计是模式识别的难点。在人脸识别中，常用的分类器有以下几种： 1 最小距离分类器。相似度量是以检测样本到类中心的距离大小为判据； 2 最近邻分类器0 - n n ，k n n ) 。相似度量以检测样本到模板的距离为判据； 3 贝叶斯分类器。如果知道各类的先验分布和条件分布，就可以采用最大后验估计( m a p ) 的方 法进行分类。在人脸识别中，有时假定入脸服从高斯分布，能够得到不错的结果； 4 支撑矢量机( s v m ) 。是基于结构风险最小化而得出的。尤其在小样本情况下，既降低了训练 集的错分风险，又降低了未知人脸( 如检测集) 的错分风险，在人脸识别中已逐渐得到应用。 5 神经网络分类器f n n c ) 。一般一个3 层网络对应模式识别中图像输入、特征提取、分类3 部 分。通常n n c 有多层感知机( m l p ) 模型、b p 网络、径向基网络等。s v m 也借鉴了神经网络的思想。 1 4 人类视觉系统的生理学提示 人自身进行人脸识别是简单而又自然的，即使在视觉刺激上差异非常大( 如不同视角、表情变 化、年龄增长、佩戴饰物甚至乔装) 的情况下也能相当好地识别。但计算机识别就困难得多。对比 于人类识别，机器识别的优点是可以处理大量的人脸图像。研究人脸识别的生理物理学特性可以为 a f r 的发展提供帮助。从生理物理学中的一些现象和实验结果来看，人脸识别和普通的目标识别不 同，具体表现在： 1 构造效应的影响。每一个人脸的空间构造都具有某种和谐性，其中的任何变化都可以感受到， 而目标识别不存在这种情况。 2 识别的信息。人脸识别采用全局表示，或全局与局部的联合表示。目标识别则基于局部差异 的位置和自然属性。 3 描述的不同。通常对人脸进行准确的语言描述非常困难，而描述某个物体，就可以较容易地 抓住本质特征。 4 光照方向的敏感性。比如，对于下方光照，人脸识别变得很难。光照变化对其它物体识别影 响不明显。 5 测量变化。比如拉远入眼和鼻子的距离会影响人脸识别的正确性，而物体的测量变化基本不 4 第一章绪论 影响分类。 6 面内和蕾外旋转。入脸识裂较明显地受到夏内、霭外旋转的影晚，雨昼标识蹦赆无班限割。 总之，人脸识别是不同于目标识别的一个专门的过程。生理物理学和神经生理学可以给机器人 脸识别提供有益的启示： 1 人脸识别是全局特征和局部特征相结合的结果。由全局到局部相当于一个由粗到精的过程。 脸部特征对识别的重要程度不同，眼睛最具有辨别能力。某些审美观点如美丽、魅力等也会对识别 产生影响。 2 空间频率分析。有研究表明，针对不同的识别任务，低频和高频分量有不同的作用，低频分 量主要提供国像鲍全局描述，离频分量主要编码罄像的绍节， 3 光照，姿态的变化是人脸识别的两大难点。 1 5 人脸识别系统发展与现状 1 5 1 人脸识别系统的3 个发展阶段 人脸识别的输入图像通常有3 种情况：歪匿、顿斜、侧压。盘于实际情况的要求，对人舱正面 图像识别的研究最多，其发展大致可分为3 个阶段1 7 l ： 第阶段以b e r t i l l o n ，a l l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征。1 8 9 3 年， b e r t i l l o n 用条简单语句与数据库中某一张脸相联系，同时与指纹分析相结合提供了一个较强的 识别系统。为了提高脸部识别率，a l l e n 1 为待识别人脸设计了一种有效和逼真的摹写，p a r k e ”j 贝u 用 计算机实现了这一想法，并产生了较高质量的人脸灰度图模型。这一阶段的工作特点是识别过程完 全依赖于操作人员。显然这不是一种可以完成自动识别的系统。 第二阶段是入帆交互式识别阶段。2 0 世纪年代，美、荚等发达国家开始重视人脸识裂筋研 究工作并取得一定进展。1 9 7 2 年，g o l d s t i o n ，h a r m o n 和l e s k 用几何特征来表示人脸正面图像【l 。 他们采用2 l 维的特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统。k a y a 和 k o b a y a s h i 则采用了统计识别方法用欧氏距离来表征人脸的特征j ，如嘴唇与鼻子之间的距离，嘴 唇的高度等。更迸一步地，t , k a n a d ( m n a g a o ) 设计了一个高速且有一定知识导引的半自动回溯识别 系统”“，创造性地运用积分投影法从单i 蝠图像上计算出一组脸部特征参数，再利用模式分类技术与 标准人脸相匹配。k a n a d 的系统实现了快速、实时的处理，是一个很大的进步。总的来说，这类方 法需要剥用操作员的某些先验知识。仍然摆脱不了人工干预， 第三阶段是真正的机器自动识别阶段。从1 9 9 0 年代起，由于计算机、数字图像处理、模式识 别等技术的发展，加上人们对人脸图像自动识别的迫切需求，人脸模式识别方法有了较大的突破， 提出了多种机器全自动识别系统。从1 9 9 6 年起美国军方开始组织人脸自动识别系统大赛，勒克菲勒 大掌的f a c e l t 系统获得冠军，到目前为止，已经有越来越多的系统应用于机场、火车站、公共场所 和重点控制地区。 s 东南大学硕士论文 1 5 2 现有人脸识别系统 国外主要的商业人脸识别系统有： v i s a g ef a c e t o o l s ：提供商是v i s a g e 公司；根据运动和肤色特征从输入图像中定位人脸，通过 模板匹配定位眼睛、嘴巴等部位，已用于机场、车站等公共场所的逃犯追捕、门禁系统控制等方面。 f a c e v a c s s d l ：提供商是c o g n i t e c 公司，算法主要采用了多阶高斯导数滤波系数，并对这些 特征进行判别分析用于最终的匹配识别；已用于悉尼国际机场 p e r s o n s p o t t e r ：提供商为n e v e nv i s i o n ，基本算法为基于g a b o r 特征的人脸识别方法，其前身为 e y e m a t i c ； z nf a c ei i ：提供商为z nb o e h u mg m b h ，基本算法来自于美国u s c 和德国b o c h u m 大学联合 开发的基于g a b o r 特征的弹性图匹配人脸识别方法； f a c e e x p l o r e r ：提供商为v i i i s a g e ，基本算法来自于m i t 的特征脸技术，后来融合了1 c a 技术和 弹性图匹配技术； h u n t e r ：提供商为l a u ，基本算法来自于m i t 的特征脸技术； f a c e s n a p ：提供商为c v i s ，基本算法来自于弹性图匹配技术： b i o i d ：提供商为b i o i d ，基于人脸、声纹和唇动三者盈合进行身份认证： 国内人脸识别始于1 9 7 0 年代末，主要有中科院自动化所、中科院计算所、清华大学、哈尔滨 工业大学、中国科技大学、上海交通大学等单位。初期工作仅限于人脸几何特征提取及识别。经过 几十年的努力，国内对于人脸特征提取及识别理论和方法的研究水平已经达到或接近国际水平。推 出的人脸识别系统有： 中科奥森识别系统：由中科院自动化所李子青研究员研究小组研发； 大型人脸综合识别系统：由清华大学电子工程系苏光大教授研究小组开发； g o d e y e ：中科院计算所高文研究组开发的g o d e y e 人脸识别系统； k d - f a c e 2 0 ：中国科技大学电子科学与技术系庄镇泉教授研究开发的人脸识别考勤系统。 上海银晨智能识别科技有限公司研制了人脸识别出入控制系统，该系统已成功应用于人民大会 堂“十六大”会议代表身份认证、各大银行、上海公安局等，人脸识别时间 i s ，误识率 3 3 6 ；c , + c b _ 2 3 ：；c ? + 4 c ：5 1 ：c ：+ i 1 g 1 8 1 5 ； 伫：， i c ，一主g 届；c ，屈；c ，+ 三g 屈；c + 丢g 屈 。 2 3 2 二值化处理 在选择了适当的色彩空间，建立了有效的肤色模型后，就可以对被检测图像进行肤色滤波，从 而将包含被检测人脸的肤色区域从复杂背景中抽取出来，达到对人脸位置初步甄选的目的。本文的 肤色滤波算法分为以下几步： 1 ) 对被检测图像逐点扫描，将每个像素的r 、g 、b 值根据公式转换为y 、c r 、c b 值： 2 ) 根据式( 2 2 ) 判断该像素是否属于在肤色空间内，若属于，则认为该点为肤色点( 标记为1 ， 显示为白色) ；若不属于，则视该点为非肤色点( 标记为0 ，显示为黑色) ； 3 ) 重复步骤1 ) 、2 ) ，直到整幅图像变成二值图像。 图2 - 4 给出了肤色分割算法的结果示例，其中( a ) 为原始图像，( b ) 为朕色分割后的二值化图 像，白色表示肤色区域，黑色为背景区域。 ( a ) 原始人脸闺像( b ) 肤色分割| 垄| 像 图2 - 4 基于肤色的人脸区域划分 根据分割结果可以看出，肤色模型能够较好地分离图像中的肤色区域，但分割得到的图像中不 仅包含人脸区域，也可能包含其他肤色区域( 如手、脖子等) 和类肤色的背景区域，所以必须对分 割得到的肤色区域进行筛选，以得到真正的人脸区域。 2 3 3 形态学运算与区域删除 在上述肤色区域初始分割的基础上，要将各分散的肤色像素构成一个个人脸区域，我们将使用 数学形态学的方法来进一步确定肤色区域。数学形态学在图像处理和模式识别领域应用较多，其基 本思想是利用一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目 的。利用数学形态学的几个基本概念和运算，将结构元素灵活地组合分解，应用形态变换达到分析 的目的。数学形态学方法与其它空域或频域图像处理和分析方法相比，具有一些明显的优势，如易 1 3 一 东南大学硕士论文 于有效地消除噪声并保留图像原有信息：易于并行处理和硬件实现等。下面介绍几个本文采用的操 作，以二值化图像为对象进行说明，运算过程中，仅有给定的目标图像x 和结构元素b 参与，其中 b 的形状是影响运算结果的关键因素。 1 腐蚀和膨胀 设x 和b 为二维欧式空闻中的两个集合。对于二值图像，设( x ) 6 表示x 平移b 而得到的图像， 即 ( z ) 。= y i ) ，= x + 6 ，z x )( 2 3 ) 则腐蚀和膨胀的定义分别为： 腐蚀： x o b = n ( x ) 一。= y l b s ，o ，+ 占) 研 ( 2 4 ) 膨胀： x o b = l j ( z ) 。= j ，i ) ，= x + 6 ，x x ，b 召 6 e 8 2 开和闭 开和闭运算是基于腐蚀和膨胀运算基础上的。开运算为先腐蚀后膨胀 蚀，定义如下： 开运算： x 。b = ( 婀口) o b 闭运算： ( 2 5 ) 闭运算则为先膨胀后腐 ( 2 6 ) x b = ( r o b ) o 丑( 2 7 ) 对图像进行开运算可以达到如下效果：消除细小对象；在细小粘连处分离对象；在不改变形状 的前提下。平滑对象的边缘：而闭操作可以起到如下作用：填充对象内细小空间：连接邻接对象； 在不明显改变面积的前提下，平滑对象的边缘。本文算法先对二值化肤色图像进行一次闭运算，填 充白区内黑洞，再进行一次开运算。 根据系统需要，人脸区域必须达到一定大小才能满足后续识别，为此要删去一些小面积区域。 为了剔除这些干扰区域，首先需要对该二值图像进行区域标记，即将图像视作由一个个连通区域组 成。对这些连通区域采用不同的标记，本文采用的是一种改进的空穴检出算法，流程如下： 1 ) 设定一个标记矩阵，初始化为0 ： 2 ) 寻找一个目标的开始像素( 即像素为1 的白色点) ，并将标记值加l ，同时该点的标记改为 当前标记值： 3 ) 当前像素的正向搜索。找到没有标记过的白色点，正向搜索其周围有没有标记值为当前值 的白色像素，若有，将当前像素的标记改为当前标记值； 4 ) 所有像素的反向搜索。找到没有标记过的白色点，反向搜索其周围有没有标记值为当前值 - 1 4 第二章人脸自动检测 的白色像索，若有，将当前像素的标记改为当前标记值： 5 ) 若正向反向都没有像素，表示当前目标的所有像素已经别遍历，转步骤2 ； 6 ) 若步骤2 ) 中没有寻找到开始像素，表示所有的连通区域均已检出。 区域标记后，扔掉那些面积过小的区域块。具体效果见图2 - 5 。 ( a ) 原始人脸例像 ( b ) 处理后剧像 图2 - 5 数学形态学处理与区域删除 2 。4 基于b o o s t i n g 技术的人脸检测 2 。4 1 扩展h a a r 特征描述 h a a r 函数系是一组完备的正交函数系，由荷兰数学家h a a r 于1 9 1 0 年提出，h a a r 函数只有两个 函数取值：1 和i ，因而计算简单快捷。h a a r 函数系的定义如下： h ( 0 ，f ) = 1 0 t 咧 荔：荔；：三复：荔：爱 c z ， 【彬： e w 。 nf = i + 1 i i ) = o ；互= z 】 i i i ) l 彻i l e 只 厂 a ) 曩= ”，+ 1 ( 添加一个特征) b ) 使用p 和n 训练一个有吩个分类器的特征( 使用a d a b o o s t 算法) c ) 在测试集上测试，得到f 和口 d ) 降低这个分类器闽值，直到这个分级分类器的检测率不小于d 口- 1 i v ) 置反例集合n 为空集 v ) 如果f # 。叫在不包含入脸的样本集合上运行分类器r 把所有误检为正例的样 本加入到反例集合中 e n dw h i l e 2 4 5 人脸检测流程 训练样本的大小决定了弱分类器处理对象的大小。本文选用的训练样本图像大小为2 4 x2 4 ， 理论上弱分类器也只毹检测大小为2 4 2 4 左右的人脸。而实际待检测图像中的人脸存在尺度的变 化，为了能够检测出各种尺度的人脸，需要引入多尺度检测机制。 常用的尺度变化方法有很多种，一种是将分类器尺度进行变换，需要改变弱分类器的阔值，实 现复杂。但检测速度较快：另一种是对图像在不同尺度下缩放，实现简单，但比前一种方法稍微费 时( 尤其是在大尺度图像下) 。 本文使用的多尺度缩放系数s c a l e = 1 2 5 ，基本位移步长a = 1 5 。在第一种方法中，随着待检测 矩形区域边长每次增大1 2 5 倍特征判断闽值也增大1 2 5 2 = 1 5 6 2 5 倍，矩形特征的坐标位置则扩 大1 2 5 倍。若使用边长为2 4 x 1 2 5 = 3 0 的窗口来检测，其位移步长为1 5 x 1 ，2 5 = 1 8 7 5 2 ，检测 时各弱分类器所对应的h a a r 特征的位置参数将放大到原来的1 2 5 倍，阈值参数日则放大到原来的 ，2 3 东南大学硕士论文 1 2 5 2 ：1 5 6 2 5 藩。这样的过程需要不停地对弱分类器变换操作，实现较复杂，但积分图像只需计 算一次，从而有效地减少了计算量，加快了检测速度。第二种方法每缩小一次图像就需要重新计算 积分图像。 假设前端肤色检测后人脸区域为( x o ，y o ，风) ，其中( ，y o ) 为人脸区域外接矩形的左上角 顶点，和风分别为外接矩形的宽度和长度。考虑到可能会有头发衣物的遮挡，将搜索区域重新 设定为 o ，y ，w ，日) = ( x o - 0 1 ，一o 2 5 - 风，1 2 ，1 - 4 y 0 ) ( 2 - 3 3 ) 搜索过程如下： 1 ) 设当前检测窗口大小为h x w = 2 4 2 4 ，s c a l e = 1 2 5 a = 1 5 ，计算积分图； 2 ) 将区域左上角h w 的子图像输入级连分类器，根据其输出判定此子图像是否为人脸； 3 ) 向右平移步长，将此子图像送入分类器判断是否人脸； 4 ) 重复3 ) 。直到区域右边界： 5 ) 向下平移步长，从左至右将此子图像送入分类器判断是否人脸直到整个图像的右下角； 6 ) h 卜f l o o r ( h s c a l e ) ，w - f l o o r ( w s c a l e ) ，卜f l o o r ( a s c a l e ) ： 7 ) 若h 日或w 矿，结束，否则跳至2 ) 。 以上检测完毕后，在检测结果中常常会出现重叠现象，即在一个人脸的周围检测出了多个位置 和大小都差不多的矩形框。必须通过个合并过程把这些矩形框合并，才能获得最终结果。合并时 通常要保证被合并的矩形框必须有足够大的重叠面积且大小应该比较相近。 使用下面算法来进行合并： 1 ) 对每一个检测出来的矩形框都设置一个检测强度d ，初始值为l ； 2 ) 对任何两个检测出来的矩形框，如果其重叠面积大于各自面积的3 4 ，则把两个矩形框的检 测强度d 分别增加】； 3 ) 删除检测强度小于等于2 的矩形框； 4 ) 依据检测强度把相互重叠比较大的检测框进行加权合并。 可见，合并相当于是对检测出来的原始矩形框的一个平均，可以消除噪声使得检测结果更精确。 图2 1 4 人脸检铡结果 2 4 - 第二章人脸自动检测 2 5 检测性能分析 实验所用为1 8 g h z 主频、5 1 2 m b 内存、p e n t i u m ( r ) 4 上的p c ，以v c + + 编程实现。 测试集l ：b i o l d 数据库( 1 5 2 0 张灰度图) ： 测试集2 ；综合人脸库，包含实验室人员和从i n t e r n e t 上下载的一些图片( 2 3 3 张彩色图片。共 2 5 0 张人脸) 。统一至3 2 0 2 4 0 大小，人脸大小均大于6 4 x 6 4 ，背景复杂、部分图像人脸非端正、 质量较差。 测试集3 ：视频序列的检测( 1 5 s 视频序列2 0 f s ) ，每帧图像单张正面人脸，部分帧不含入脸。 测试分几个方面： 1 ) 在测试集1 上利用a d a b o o s t 方法检测人脸。 所有1 5 2 0 个人脸中检测出了1 4 9 8 个人脸，检测率为9 8 6 。 2 ) 基于测试集2 ，分别进行使用和未使用肤色预处理的实验，结果如表1 1 。 表2 - 1 综合人脸库人脸检测结果 检测率误检率平均检测时间 使用肤色 9 5 2 64 8 3 7 m s 未使用肤色9 5 6 1 96 7 1 8 3 m s 3 ) 基于测试集3 ，分别进行使用和未使用肤色预处理的实验，结果如表1 - 2 。 表2 - 2 视频序列人脸检测结果 检测率误检窗口平均检测时间 使用肤色 9 6 3 34 7 2 2 m s 未使用肤色 9 7 o 86 7 8 3 m s 本文使用的结合肤色信息的a d a b o o s t 人脸检测算法能分析如下： 1 ) 检测率和误捡率基本达到了主流方法的水平，同时误检率比单纯使用a d a b o o s t 方法要低。 2 ) 从测试集2 的结果来看，检测率与图像质量和人脸是否存在平面与深度旋转有很大的关系。 综合人脸库中，图片质量较好且人脸旋转角度较小的图片检测率基本上可达到1 0 0 ，而大多未检出 人脸存在面部遮挡，少部分因为光线不均匀或模糊。本文检测方法对于人脸左右摇摆不超过2 0 。、 上下俯仰不超过4 5 。时基本上都能正确检测出来。 3 ) 普通摄像头输出一般为3 2 0 2 4 0 的彩色图像，从测试集3 的性能来看。我们的检测时间约 为4 7 2 2 m s ，每秒约可处理2 1 帧图像，能够满足实时处理的需求。 4 ) 基于肤色模型的人脸检测方法不能检测灰度图像。 5 ) 本文方法主要是在p a u l v i o l a l 3 8 i 的基础上扩展而来的，相对原方法采用了r a i n e r l i e n h a l - t 3 9 , 4 0 , 4 1 】 等人提出的扩展的矩形特征，相比v i o l a 采用的矩形特征而言主要是增加了4 56 旋转的矩形特征， 扩大了训练范围，提高了检测率，并且降低了误检率。 2 5 - 东南大学硕士论文 2 6 本章小结 本章讨论了自动人脸检测算法。首先回顾了人脸检测方法的发展，并重点讨论了两种较为成熟 的人脸检测技术，即基于肤色的方法和基于a d a b o o s t 的方法。本文给出的算法结合了两者的优点： 先利用肤色模型缩小搜索范围，再利用扩展类h a a r 特征进行基于a d a b o o s t 的人脸检测，降低了系 统的误检率，将每帧的人脸检测时间降低到了4 7 2 1 m s ，使其满足系统实时性的要求，实验结果表明 了所提出方法的有效性和快速性。 但是，本章方法均假定人脸图像是正面或者接近正面，一般不超过左右1 5 。当人脸的偏转角度 较大时将导致方法性能下降；此外，面部饰物、复杂背景对算法也有较大的影响。 2 6 第三章面部特征点定位 在人脸的不同特征中，眼睛、嘴和鼻子是用于人脸识别和3 d 姿态估计的常用特征，因此本文 主要定位脸部特征的目良睛、嘴，鼻子。 3 。1 眼睛定位算法 由于距离的不同，从视频中检测到的人脸图像其尺寸和角度并不确定，这就给后续操作带来了 很大的困难，所以首先要把人脸图像尺寸归一化。如果单纯按大小缩放，可能会失去很多有价值的 信息，所以，本文首先采用人脸图像中眼睛定位方法，以眼睛的坐标位置为基准，进行同比例缩放， 以期得到符合要求的尺寸归一亿入脸图像。 眼睛是重要的人脸特征，眼睛定位也是识别系统的重要环节。眼睛本身有很多特点可以在识别 或定位中应用，例如灰度特征，对称性，位置信息等等。本文讨论的眼睛定位实际属于虹膜定位， 即确定眼睛虹膜中心的坐标，并以此坐标为基准，