（通信与信息系统专业论文）手机人脸识别方法研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘，要 作为生物特征识别技术中备受关注的一个重要分支，人脸识别技术由于具 有非接触、易于采集等优点而被广泛地应用于视频监控、人机交互等各个领域。 随着科技的发展，在网上购物、手机银行日益盛行并为人们所接受的今天， 手机作为人们日常生活中使用的较普遍的通信工具，已经具备了类似于个人电 脑在人们生活中所起的作用，并且也有较广阔的应用前景和发展空间。然而， 基于网上支付的手机的安全性问题是人们在使用过程中不得不考虑的首要问 题，本文就是在对人脸识别相关技术进行研究的基础上，结合手机拍摄的人脸 图像进行分类识别，从而达到提高手机在使用过程中安全性的目的。本文主要 工作如下： 1 ) 依据论文工作的需要，构建了多角度的实验室用手机人脸数据库作为下一 步人脸检测和人脸识别的基础和前提； 2 ) 对现有的经典人脸检测方法进行分析总结和仿真实现，通过比较各种算法 的检测率和时间复杂度，给出具有较佳性能的检测方法作为后续人脸识别 算法的依据； 3 ) 考虑到手机存储空间和运算能力的限制，考虑使用基于镜像奇异值分解的 单样本人脸识别方法，通过和常用的用于单样本人脸识别的主成分分析方 法和g a b o r 滤波方法相比较，得出本算法在识别精度方面较其他几种方法 有所提高的结论； 4 ) 结合两层离散小波分解的良好降维特性和近似信息保持特点以及动态加权 鉴别能量分析方法的系数选择特点，将两者结合起来用于对手机人脸数据 库进行分类识别，并同时比较了所用方法与传统子空间方法、动态加权鉴 别能量分析方法以及鉴别能量分析方法的识别有效性和时间复杂度； 5 ) 考虑到手机人脸识别的具体应用，提出了实用的手机人脸识别系统方案， 并对方案中各部分的功能做出详细的描述。 关键词：生物特征；人脸识别；手机；人脸检测；主成分分析；小波分解；鉴 别能量分析； a b s t r a c t t h et e c h n o l o g yb a s e d0 nf a c er e c o g n i t i o n i sa l li m p o r t a n tb r a n c h 1 nt n e t e c h n 0 1 0 9 yo f b i o m e t r i ef e a t u r er e c o g n i t i o nb e c a u s eo f i t sm e r i t so fn o n c o n t r a c t 、 e a s vc 0 1 1 e c t i o n ，i ti sn o wb e i n gw i d e l yu s e di n t h ea r e ao fv i d e os u r v e l l l a n c e 、 h u m a nc o m p u t e ri n t e r a c t i o na n ds oo n w i t ht h ed e v e l o p m e n to fm o d e r nt e c h n o l o g y , o n l i n ep u r c h a s i n g 、m o b l l e b a n k i n gi sm o r ea n dm o r ep r e v a l e n ta n dh a sw i d e l y b e e na c c e p t e db yp e o p l e1 1 1o u r l i f e a sa nc o m m o nc o m m u n i t i o nt o o l s i no u rd a i l yl i f e ，m o b i l ep h o n e isn o w p l a y i n ga ni m p o r t a n tp a r tl i k ep e r s o n a lc o m p u t e r b e s i d e s i th a sb r o a da p p l l c a t l o n d r o s p e c t sa n ds p a c ef o rd e v e l o p m e n t i nm a n ya r e a s w h i l ew h e n w eu s et h em o b l l e p h o n et h es a f e t yb a s e d o no n l i n ep a y m e n ti s a ni m p o r t a n ti s s u eh a st ob e c o n s i d e r e d t h et e x ti sd o n eo nt h eb a s i s o ft h er e s e a r c ho ff a c er e c o g n l t l o n t e c h n o i o g y ，b yc o m b i n i n gt h ef a c ei m a g e sg o t t e nf r o mt h em o b i l ep h o n e t od ot h e p r o c e s so fc l a s s i f i c a t i o na n dr e c o g n i t i o n ，a c c o r d i n g l yw ec a n a c h i e v et h ep u r p o s e o fi m p r o v i n gt h es a f e t yo f m o b i l ep h o n ew h e nu s i n g t h em a i nt a s ko ft h l sp a p e s a sf o l l o w s ： 1 、b a s e do nt h en e e do ft h ep a p e r ，c o n s t r u c t eam u l t i - a n g l ef a c ed a t a b a s eu s l n g t h em o b i l ep h o n ea st h ep r e c o n d i t i o no f t h en e x tw o r ko ff a c ed e t e c t i o na n d f a c er e c og n i t i o n ； 2 、m a k et h es u m m a r ya n dd ot h es i m u l a t i o no f t h em a i nf a c ed e t e c t i o nm e t h o d s n o we x s i s t i n g ，b yc o m p a r i n gt h ed e t e c t i o nr a t ea n dt h et i m ec o m p l e x i t yo f t h e m a ns c h e m ew h i c hh a sb e t t e rp e r f o r m a n c e i sg i v e na st h ef o u n d a t i o no f t h es u b s e q u e n tf a c er e c o g n i t i o nm e t h o d s ； 3 ic o n s i d e r i n gt h er e s t r i c t i o no fm e m o r ys p a c e a n dc o m p u t i n gc a p a b i l i t yo f m o b i l ep h o n e ，t h es i n g l es a m p l ef a c er e c o g n i t i o nm e t h o d b a s e do nm l r r o r s i n g u l a rv a l u ed e c o m p o s i t i o ni sp r o p o s e d ，b yc o m p a r i n g w i t ht h eo t h e rs l n g l e s 锄p l ef a c er e c o g n i t i o nm e t h o d ss u c ha sp r i n c i p l ec o m p o n e n t a n a l y s l sb a s e d m e t h o da n dt h eg a b o rm e t h o d ，i nr e s p e c tt ot h e f a c er e c o g n i t i o nr a t e ，t h e m e t h o dp r o p o s e di nt h i sp a p e ri si m p r o v e dm o r e o rl e s st h a nt h eo t h e r s 4 1b a s e do nt h ed i m e n s i o nr e d u c t i o nm e r i t so fd i s c r e t ew a v e l e td e c o m p o s i t i o n a n dt h ea b i l i t vo fc o e f f i c i e n ts e l e c t i o nc h a r a c t e r i s t i c so fd y n a m i cw e i g h t e d d i s c r i m i n a n tp o w e ra n a l y s i s ( d w d p a ) ，c o m b i n i n gt h et w o o ft h e mt ot h e d a t a b a s ec o m i n gf r o mt h em o b i l ep h o n et od ot h et a s ko f f a c er e c o g n i t i o n ，a n d g i v et h ec o m p a r i t i o no ft h ep r o p o s e dm e t h o da n dt h es u b s p a c em e t h o d s t h e d y n a m i cw e i g h t e dd i s c r i m i n a n tp o w e ra n a l y s i sm e t h o da n dt h ed i s e r i m i n a n t p o w e r a n a l y s i sm e t h o do nr e c o g n i t i o nr a t ea n dt i m ec o m p l e x i t y 5 ) c o n s i d e r i n gt h ea p p l i c a t i o no ft h et e c h n o l o g yo ff a c er e c o g n i t i o no nm o b i l e p h o n e ，as y s t e mi s s u eb a s e do ni ti sp r o p o s e d ，a n dt h ed e t a i l so fa 1 1p a r t so ft h e s y s t e mi sa n a l y s e d k e yw o r d s ：b i o m e t r i cf e a t u r e ；f a c er e c o g n i t i o n ；m o b i l ep h o n e ；f a c ed e t e c t i o n ； p r i n c i p l ec o m p o n e n ta n a l y s i s ；w a v e l e t d e c o m p o s i t i o n ；d i s e r i m i n a n tp o w e r a n a l y s i s 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 生物特征识别技术概述 近年来，随着信息科学技术的飞速发展和社会的不断进步，身份识别已经 成为在人们的日常生活中经常会遇到的问题，尤其对快速而有效的身份识别技 术的需求日益迫切。而在传统的个人身份鉴别过程中，人们使用的主要识别工 具包括钥匙、口令卡、身份证、密码等，但是这些传统的基于身份鉴别手段的 方法由于存在容易丢失、密码被忘记甚至被窃取等问题而易引发一系列的安全 问题，从而可靠性也随之降低。而基于人体与生俱有并且便于随身携带的生物 特征识别的方法则能够有效地克服在使用传统识别方法过程中所面临的潜在 的安全问题，此外，由于基于人体的生物特征具有其内在的不可复制、不可改 变等的优点，从而使它具有更好的安全性、有效性和可靠性，因此，基于生物 特征的身份识别和认证技术已经被广泛地应用于涉及法律实施、海关、医学、 档案管理、视频会议等各个方面。 一般地，常用的生物特征主要分为包括指纹、虹膜、掌纹、人脸、视网膜、 d n a 等的生理特征以及包括步态、语音、击键、签字等的行为特征两个方面， 而生物特征要想得到广泛的应用和推广则必须满足以下的四个条件【2 】：( 1 ) 普遍 性：每个人都具有该种特征；( 2 ) 惟一性：任意两个人( 即使是双胞胎) 之间都不 存在相同的该特征：( 3 ) 稳定性：该种特征不会随着时间的变化而发生明显的变 化；( 4 ) 可采集性：可以进行定量的采集。在常用的生物特征中，人脸识别由于 其友好、人性化、非接触、易于获取和采集等优点而被广泛地应用于视频监控、 商业、安全、出入境控制等诸多领域中。而且目前就有不少国家和地区( 欧盟、 美国、我国香港等) 已经开始使用将人脸等生物特征图像存储于电子护照中的 基于生物特征的电子护照；此外，不管是在2 0 0 8 年的北京奥运会还是在2 0 l0 年的上海世博会上，人脸识别技术均在该期间发挥了其特有的优势，保障了整 个过程的安全性。 一 基于生物特征识别技术的一般过程主要包括训练样本的注册阶段和测试 样本的识别阶段两个部分，人脸识别作为生物特征识别技术中的一种同样也满 足如图1 1 所示的基本框图： 西南交通大学硕士研究生学位论文第2 页 1 2 手机人脸识别概述 图1 1 人脸识别框图 随着移动手机厂商的不断努力，手机作为一种方便快捷的用于日常交流的 工具已经成为人们日常生活中的必需品，目前，随着嵌入式技术和消费市场的 不断推动，移动设备技术也正在走向一个全新的历史时期，如今人们使用的移 动手机一般都具备如摄像、收音机、网页浏览等的功能，此时，手机就不再仅 仅是一个普通的用于语音交流的电子设备了，它越来越类似于个人电脑在人们 生活中所起的作用。同时，由于电子商务、网上购物等业务在近几年的日益流 行并广泛地为人们所接受，在手机上添加基于生物特征的认证功能已成为其发 展的必然趋势，因为尽管一般来说手机自身都带有设置数字密码和s i m 卡锁 的功能而使其在一定程度上能保证手机使用上的安全性，但是随着手机理财、 手机银行、手机购物等新应用在近几年的不断涌现和发展，越来越多的人将通 过手机这一方便而快捷的通道购买商品和服务，基于此，一些安全问题也随之 出现，在这个双方不直接见面交易的过程中，潜在的安全问题也变得越来越凸 显，为了提高此时手机使用上的安全性，使用较为复杂的密码或密码串就成为 了目前交易中使用较多的方法，但是如果我们对周围不同的设备使用相同的密 码的话，那么在得到使用方便的同时也增加了安全隐患p j ，此外，一旦手机丢 失或被盗取，那么，存放于手机里的一些个人敏感信息就会随之丢失并且很有 可能被人用于非法活动而给自己带来不必要的麻烦甚至个人经济和精神方面 的损失。基于人脸识别的突出优点，近年来人们试图将人脸识别技术嵌入到具 有摄像功能的p d a 、手机以及其他的移动设备中【4 嗡】，通过其本身所具备的面 部特征识别这一功能来达到对使用者的身份进行确认的目的，从而保障手机在 西南交通大学硕士研究生学位论文第3 页 置_ l 一, i h ii i i 量曼曼曼曼曼皇曼曼曼寰皇 使用过程中的安全性。基于手机终端的人脸识别过程可用图1 2 进行描述。 使用 图1 - 2 基于手机终端的人脸识别框图 1 2 1 手机人脸识别研究现状分析 目前，针对将人脸识别技术应用于手机平台这一技术已存在一些有用的方 法，但是由于手机本身在存储量以及其运算速度等方面的限制，因此，不能使 用占用较大存储空间的常用的人脸识别算法【9 】于手机系统中，从而也使得目前 的手机人脸识别技术存在着不少问题，并且真正将人脸识别技术嵌入到手机终 端设备并达到较好识别和认证效果的技术还有待进一步的研究深入。 在手机人脸识别的初期，s h i b n a t hm u k h e r j e e t l 0 】就首先提出在移动设各上 使用基于类特征模型的人脸认证方法，虽然该方法对存储量和计算能力的要求 较高，但是它也为这一领域的发展开辟了一个新的方向；同时文】中也将人脸 定位技术应用于移动设备( 如n o k i an 9 3 i 和n o k i an 8 l0 等) 中；而常用的用 于p c 机的不管是基于类h a a r 特征【1 2 】还是支持向量机【1 3 】以及神经网络的方法 也都被广泛应用于手机人脸识别系统前期的人脸检测过程中；此外，和其他人 脸检测方法一样，基于肤色模型的人脸检测方法也在文1 1 4 ”】中被提出并用于手 机平台。针对由于光照的变化对人脸识别有较大影响的事实，p a o l oa b e n i 【”】、 s u n g u k 1 6 】等分别介绍了将人脸识别应用于由手机拍摄的光照变化较大的人 脸图片的预处理过程中用于部分地消除由于光照变化对手机人脸识别造成的 影响；而由于手机在使用上的特殊性，在解决手机人脸识别过程中面临的实时 性问题上，文【1 71 8 】中也分别提出了基于结合局部随机基特征和神经网络和基于 视觉显著性和神经网络的特征提取和分类识别方法。在生物特征识别技术中， 多模态的识别方法是近几年人们研究的热点，和在p c 机上的应用一致，将人 西南交通大学硕士研究生学位论文第4 页 脸特征和其他生物特征( 如掌纹、指纹等) 相结合的多模态手机人脸识别【1 9 2 0 】 技术也被人们广泛地使用。基于研究者的共同努力，2 0 10 年，英国的曼彻斯 特大学首次公开亮相了其全球首款可以植入手机的面部识别和验证软件【2 ，这 为人脸识别技术应用于手机平台又开辟了一条新的途径同时也缩短了该技术 走向成熟的时间。 1 2 2 主要存在的问题 。 尽管在研究者们的共同努力下，基于p c 机的不少人脸识别方法都已经能 达到较高的识别精度同时在时间复杂度方面也得到了降低，此外在手机人脸识 别方面也已经形成了不少有效的方法，但是考虑到手机使用平台的特殊性，存 放于手机里的用于比对手机主人身份的训练人脸图像的多少、采集人脸图像时 手机摄像头距离人脸的远近、环境光线的变化以及各种不同手机自身摄像头分 辨率的高低等都会对这一具体应用环境带来极大的挑战；而且最重要的是手机 不如p c 机一样拥有相对充裕的存储资源和较强的计算能力，因此，作为人脸 识别应用中的新领域，这些涉及应用中的具体问题还有待人们迸一步的研究和 解决。 1 3自建手机人脸数据库介绍及人脸图像预处理 手机拍摄的人脸图像一般都是由人脸、背景、噪声等组成的，而背景和噪 声的不同干扰会对人脸检测和识别造成较大的影响，而且在使用手机采集人脸 图像的过程中大都存在以下的几种情况：光照、天气等造成的人脸图像光照分 布不均匀、不对称；拍摄的高度、位置、角度及手机距离人脸的远近等主客观 方面的因素造成的人脸图像的模糊、形变，从而会影响人脸检测以及最终的人 脸识别效果。在模式识别和图像处理领域，通常采用预处理技术来减轻各种干 扰，去除原始图像数据中的冗余信息，并尽可能较大程度地减轻其对人脸检测 和人脸识别的影响，以便后续过程中对人脸图像的处理。 1 3 1 人脸图像库的获取 想要对基于手机终端的人脸图像进行识别，有代表性的手机人脸图像数据 库对于整个过程的实现都是必备的前提，而且数据库中所包含的不同类别条件 下的人脸图像也会对后期的人脸检测和分类识别产生较大的影响。本文考虑到 手机人脸识别应用的特殊性，建立了一个多角度的手机人脸数据库。 西南交通大学硕士研究生学位论文第5 页 首先主要使用了联想$ 5 2 0 、诺基亚5 2 3 0 、诺基亚e 6 3 等型手机对1 1 4 人 进行了人脸图像的采集，这些采集的人脸图像中不仅包括了不同的光照( 白天、 晚上、室内、户外) 和表情( 睁眼、闭眼) 条件下的人脸图片，还考虑到了不 同年龄以及不同天气条件对人脸识别的影响，因此，该数据库中包括了不同年 龄的人群同时也采集于不同的时间和背景；同时数据库中不同性别的比例也被 控制在近似为1 ：1 的范围内；此外，该人脸数据库中还包括了距离手机摄像头 不同距离下的人脸图片。由于不同手机摄像头分辨率的区别，本文对采集到的 人脸图像统一标定为2 4 0 3 2 0 像素大小的j p e g 格式的彩色图像。图1 3 描述 了本文手机人脸数据库中的部分人脸图像。 1 3 2 人脸图像预处理 图1 - 3 部分手机人脸图像 直接由手机获取的人脸图像由于存在着各方面的噪声和干扰而影响最终 人脸识别的效果，常用的用于人脸图像预处理的方法主要有中值滤波、直方图 均衡、光照以及尺度的归一化等操作，而本文中则主要使用了基于几何归一化 和直方图均衡的预处理方法，该预处理过程可以减少采集时由于光线的变化和 相机的差异所引起的不确定性因素以及部分地消除由于亮度和对比度引起的 图像间的较大差异，从而提高人脸识别时所提取特征的鲁棒性，本文中使用的 图像预处理方法简介如下： 几何归一化 通常，由手机拍摄得到的人脸图像在直接用于人脸检测和识别时由于尺寸 不统一或过大而使得提取的特征过多、计算的时间消耗较多同时所需的存储量 较大，为解决这一问题，本文使用了双线性插值的方法对由手机采集的人脸图 像进行几何归一化操作。归一化之后的人脸图像像素大小统一为1 2 8 12 8 。 西南交通大学硕士研究生学位论文第6 页 直方图均衡化 在图像处理中，直方图均衡化处理方法是多种空间域处理技术的基础，它 可以有效地用于图像的增强。在应用时，它是将具有比较集中灰度直方图分布 的原始图像变换成在整个灰度范围内均匀分布或近似为均匀分布的图像，也即 利用直方图均衡化操作可以实现对输入图像像素灰度的重新分配，使图像的对 比度得以调整，从而达到对图像增强的目的。因此，在图像处理的过程中，使 用直方图均衡化处理可以部分地去除由于图片采集过程中引入的噪声对识别 的影响。 1 4 研究内容及论文工作安排 根据本文所要研究的手机人脸识别方法这一内容，本文分别对手机人脸图 像的获取、预处理、检测以及特征提取等过程进行讨论。在大量地阅读和总结 国内外相关文献的基础上，本文重点从以下几章对这一问题进行研究和论述： 第一章阐述了生物特征识别和手机人脸识别概况以及手机人脸识别的研 究现状，并对现有手机人脸识别应用中存在的问题进行分析与总结；同时对本 文中将要使用的自建手机人脸数据库进行介绍和描述； 第二章在对人脸检测技术分析的基础上详细介绍了目前常用的几种经典 人脸检测方法，并在手机人脸数据库上进行验证和对比同时给出本文中使用的 人脸检测方法； 第三章考虑到手机平台存储资源的限制，提出使用基于镜像奇异值分解 的单样本人脸识别方法用于手机人脸图像的特征提取，对比主成分分析、二维 主成分分析以及g a b o r 滤波等其他单样本人脸识别方法在手机人脸数据库上 做以比较并给出比较结果，验证所用方法的有效性； 第四章使用结合小波分解和动态加权鉴别能量分析的人脸表示方法对检 测得到的手机人脸图像进行人脸表示和系数选择，并在识别精度和时间复杂度 方面与动态加权鉴别能量分析方法和鉴别能量分析方法以及经典的子空间方 法做以比较，同时给出各方法的识别曲线和时间复杂度； 第五章针对手机人脸识别在工程实践中的具体应用，在折衷考虑整个手 机人脸识别过程各部分精度和时间复杂度的前提下，给出用于手机人脸检测和 人脸识别的方法方案，并对方案中各部分功能给以详细的介绍和描述。 最后对本文的工作做以总结和评价，并指出进一步研究的方向。 西南交通大学硕士研究生学位论文第7 页 第2 章手机人脸检测 一般地，生物特征识别技术中的人脸识别技术主要分为两个阶段【2 2 】：人脸 检测和人脸识别。而人脸检测( f a c ed e t e c t i o n ) 技术即是检测输入图像中是否包 含有人脸并且在输入图像中包含有人脸的情况下确定所包含人脸的数量并标 识出所有人脸的位置、大小、位姿等的过程【23 1 。近几年来由于其在安防、视觉 监控、海关等领域的广泛应用，人脸检测技术才开始作为一个十分活跃的独立 门类而受到研究者们的普遍重视。但是由于人脸图像中存在着诸如【2 4 】尺寸大小 的变化；人脸中( 如外貌、肤色、表情、年龄、发型、化妆等) 相对复杂的细 节的变化；人脸图像自身所处的不同角度和姿态以及人脸图像在成像时存在的 复杂而多变的背景；人脸部存在的附属物( 如头发、眼睛、胡须和其他饰物) 的遮挡以及环境光照和背景的复杂变化等，使得人脸检测技术在应用中受到极 大的挑战，现有的各种人脸检测方法在对图像进行检测时仅对某一特定类型的 输入图像是有效的，而如今却没有一种通用的用于人脸检测的有效方法。 对于手机这一特殊的使用平台来说，当将人脸识别技术应用于其上时，由 于手机距离人脸的远近、手机本身分辨率的高低、使用手机时不同的环境和天 气情况、拍摄人脸图像时头部的偏转等因素的影响，使得手机人脸识别技术在 应用中面临更多的现实问题。 2 1 人脸检测的性能评价指标 目前广泛应用于评价人脸检测算法性能的指标主要有【2 】： 检测率( d e t e c t i o nr a t e ) ：这一指标是用来评价人脸检测系统性能的最重要 的指标，它表示正确检测出来的人脸图像个数和被检测图像中总人脸个数之 比： 拒检率( f a l s er e j e c t i o nr a t e ) ：是指没有被检测出来的人脸图像的个数占总 人脸图像数的比例； 误检率( f a l s ed e t e c t i o n ) ：是指人脸检测系统错误地将检测图像中的非人脸 图像当作人脸图像而被检测出来的个数占总检测图像的比例； 此外还有检测速度和检测精度。 一般地，在人脸检测系统中，检测率和误检率以及检测速度和检测精度分 别形成一对矛盾，当提高人脸检测系统的检测率时相应的误检率也会有所提 高：而检测精度相对较高的人脸检测算法一般其复杂度也较高，相应地其检测 西南交通大学硕士研究生学位论文第8 页 速度势必随之下降，特别是对于计算资源和计算能力有限的手机应用系统来 说。要保证良好的检测性能，就需要根据具体的应用背景和不同的应用需求在 相互矛盾的这几者之间寻求折衷以找到比较满意的人脸检测方法。 2 2 手机人脸检测算法比较 作为人脸识别中较新的应用领域，手机人脸识别技术由于在应用时会遇到 各种各样的实际问题而使得对这一领域的研究发展较慢，应用于该领域内的人 脸检测方法也大多是基于传统方法上的融合和在其基础上的改进【25 1 ，例如在文 献【2 6 2 7 2 8 】中就分别使用了具有二分类性质的支持向量机方法、基于a d a b o o s t 的方法以及基于肤色模型的人脸检测方法对手机拍摄的人脸图像进行检测，基 于此，本章首先对现有的人脸检测方法给以分类，在分类总结的基础上详细介 绍几种常用的经典人脸检测方法并对自建的手机人脸图像进行检测并对其检 测率和时间复杂度进行比较分析。 2 2 1 人脸检测技术概述 人脸检测技术在近几年已经有了较大的发展并日趋成熟，针对不同的应用 背景人们也提出了相应的人脸检测算法，并取得了丰硕的成果。现有的不少人 脸检测方法都能在某一方面或某些方面解决人脸检测过程中遇到的部分问题， 但对复杂条件下的人脸检测领域还存在着许多尚未解决的问题。下面从不同角 度对目前已有的人脸检测方法进行如下的分类： 1 ) 基于模板匹配的人脸检测 基于模板匹配的人脸检测方法，是通过人工预定义或由函数参数化得到一 个通常表现为正面人脸的人脸模式来作为模板匹配中的标准人脸模板，对于给 定的输入图像，通过分别计算标准人脸模式和输入图像中人脸轮廓、眼睛、鼻 子、嘴巴等的相关值，根据所得相关值大小得到是否包含有人脸的结论。该方 法在使用上较为简洁，然而它并不能有效地对在尺度、姿态和形状上存在明显 变化的图像进行人脸检测或检测效果较差。基于此，多分辨率、多尺度、子模 板以及变形模板、预滤波 2 9 - 3 2 等方法都被用于解决基本的模板匹配方法在检测 人脸图像时不能对图片形变变化较大的情况有较好适应性的问题。但是由于该 类方法的检测性能对所用的标准模板有较强的依赖性，因此对于可能存在不同 变化情况的手机人脸图像来说适用性不强。 西南交通大学硕士研究生学位论文第9 页 2 ) 基于统计方法的人脸检测 基于特征空间的人脸检测 基于特征空间的人脸检测方法通过寻找人脸的不变特征来对是否为人脸 模式这一关于二分类问题进行判断。主元分析方法( p c a ) 是较早用于人脸检测 的基于特征空间的方法【33 1 ，它可以去除非人脸样本之间较大的相关性，从而保 留各人脸图像之间的聚类性。此外，基于因子分解的方法【3 4 1 和基于f i s h e r 准 则的方法【3 5 1 以及在此基础上形成的混合方法【3 6 1 也被用于人脸检测领域。一般 地，基于特征空间的人脸检测系统对样本空间大小有较强的依赖性，而由于非 人脸样本空间的开放性，因此使用过程中不可能得到包含所有可能的非人脸样 本。 基于神经网络的人脸检测 基于神经网络( n e u r a ln e t w o r k ) 的人脸检测方法通过把一个或多个神经网 络直接应用于输入图像中的各个部分，对其最终结果进行判决以达到对输入图 像进行是否为人脸样本集判断的目的。 r o w l e y p7 j 等首先将人工神经网络技术应用于人脸检测领域，他通过使用 自举方法对输入样本图像进行训练，减少了训练过程中使用的非人脸样本的数 量从而加快了训练的速度，该方法对正面和垂直的人脸图片的检测取得了较好 的效果；s u n g t m 等使用神经网络产生的判别函数来对是否属于人脸模式使用 基于距离的度量做出判断；然而，不论是r o w l e y 还是s u n g 所使用的方法都 不能对涉及旋转的输入图像进行有效的检测。两年后，r o w l e y 3 9 】等又在先前 工作的基础上做了改进，使之对待检测的输入图像有较好的适应性。此外，人 们在各方面也做了不少努力，以使基于神经网络的人脸检测方法在检测速度和 精度方面都达到某一方面的要求；近年来，基于神经网络和其他方法相结合的 人脸检测方法不断出现【4 0 4 1 】；同时，把神经网络和其他不同特征结合起来对输 入图像进行检测也不断出现新的方法【4 2 1 。 虽说每一个神经网络都能够得到是否包含有人脸的训练结果，而在基于神 经网络的人脸检测方法中，对神经网络的训练一直都是一个较难解决的问题， 因为和人脸识别过程不同，人脸检测的主要任务是区分输入图像中是否包含有 人脸。通常想要得到包含有代表意义的人脸图像样本是容易的，而由于非人脸 样本空间的开放性，想要得到不含有人脸的有代表性的非人脸样本则不那么容 易。此外，为了得到期望的结果，在神经网络训练过程中还需要对神经网络的 网络层数、每一层网络的结点数以及学习率等不断做出调整，而这一调整过程 极大地受人的经验的影响，从而也在一定程序上限制了其应用和推广。 西南交通大学硕士研究生学位论文第10 页 基于支持向量机的人脸检测 支持向量机( s v m ，s u p p o r tv e c t o rm a c h i n e ) 方法 4 34 4 】是从线性可分情况下 的最优分类面发展而来的广泛地应用于图像处理、模式识别、线性回归等领域 的基于结构化最小风险的统计学 - 3 方法。该方法是由v v a p n i k 4 5 】等首先提出 并由o s u n a 等【4 6 】首先用于人脸检测领域的。 作为和很多分类器一样的线性分类器，支持向量机分类超平面选择的依据 是最小化期望分类误差，并且最优超平面的求解过程是通过解决一个线性约束 条件下的二次规划问题得到的，而该寻找最优超平面的过程在时间和空间上的 复杂度一般都较高，计算量较大，因此，一直以来，对时间和空间的较高要求 限制了该方法广泛的应用，直到p l a t t 在【4 7 1 中提出基于s m o ( s e q u e n t i a lm i n i m a l o p t i m i z a t i o n ) 的方法才有效地解决了支持向量机在应用中遇到的复杂度高、收 敛速度慢的问题。同时，结合支持向量机和其他不同特征的人脸检测方法也经 常被人们采用【4 乳”】，这些方法大都是首先在对输入的高维图像进行降维的基础 上使用支持向量机进行是否是人脸的二分类操作。此外，结合支持向量机和其 他检测方法的人脸检测算法也被人们广泛使用。 和神经网络方法不同，支持向量机方法对经验的依赖性较弱，因此，在应 用中较神经网络简单，但是对其分类器训练的速度以及训练过程中使用的支持 向量的个数一直以来都是研究者们面临的棘手问题。 基于b o o s t i n g 的人脸检测 b o o s t i n g 提升方法是一种通用的学习算法，它可以有效地提高算法的性 能。基于b o o s t i n g 的分类方法最早应用于具有二分类性质的赌博中，其思想主 要来源于p z j 中的可能近似正确( p r o b a b l ya p p r o x i m a t e l yc o r r e c t ，p a c ) 理论。 而在b o o s t i n g 方法基础上发展起来的由v i o l a t 5 3 】等首先用于人脸检测的 a d a b o o s t 方法是目前公认的用于人脸检测的较好的方法，但由于该方法使用积 分图和类h a a r 特征作为输入待分类特征，其运算量较大，因此，后人在此方 法的基础上提出了基于不同特征的a d a b o o s t 人脸检测方法【5 4 5 5 1 ，以及结合 g a b o r 特征和肤色模型的a d a b o o s t 人脸检测方法 5 65 7 】和a d a b o o s t 方法的改进 算法【5 8 。6 0 1 ，适应了不同的单一条件下对人脸检测方法的需求。无论在检测速度 还是在检测精度上都得到了较好的人脸检测效果。 基于肤色模型的人脸检测 基于肤色模型的人脸检测由于计算复杂度低、对旋转、尺度变化的鲁棒性、 不受表情变化等的影响以及可以作为其他如形状特征和几何特征的有效补充 西南交通大学硕士研究生学位论文第”页 而得到了广大研究者们的关注【6 1 1 ，肤色信息可以看作为区别人脸和非人脸部分 的有效工具。一般地，根据有没有涉及成像的过程，基于肤色的人脸检测方法 可以分为两种基本的类型【6 2 】：基于统计的方法和基于物理的方法。基于统计的 方法通过建立肤色统计模型来对输入图像进行肤色检测，该过程主要可以分为 颜色空间的变换和肤色建模两个阶段；基于物理的方法则是通过研究肤色反射 模型和光谱特性来对肤色进行检测的。 人脸的肤色在不同的颜色空间中具有较好的聚类性，一般地，认为不同肤 色的差异主要是由亮度引起的，而受色度的影响较小【6 3 】，所以为了减轻肤色受 光照强度影响的程度，充分利用其在色度空间的良好聚类性，通常都是将肤色 从一种颜色空间转换到另一种颜色空间，而在肤色建模中常用的颜色空间主要 有y c b c r 空间、h s v 空间、h i s 空间以及y i q 空间等 6 4 - 6 9 】，使用不同的肤色 空间会产生不同的检测效果，在肤色建模过程中通常使用的是基于参数空间的 高斯模型。而在对输入图像进行肤色建模后就需要对其进行二分类判断以得出 是否包含有人脸图像的结论。 由于肤色对由光照、照相机成像参数、种族、年龄、性别、背景等所引起 的变化比较敏感，因此其检测过程也面临不少问题。 其他人脸检测方法 除了以上所述人脸检测方法之外，基于贝叶斯分类器【7 0 1 的方法通过对局部 表观连接概率和多分辨率人脸子模式进行估计达到对输入待检测进行检测的 目的；同时基于隐马尔可夫模型【7 1 】的人脸检测方法则是利用概率统计的方法来 对时序数据进行模拟识别的分类器；而基于局部二值模型7 2 】的方法当用于人脸 识别时较多的用于计算训练模式的相似度，通过相似度的大小对人脸模式进行 检测。 2 2 2 文中使用的几种人脸检测方法比较 由于在用手机对人脸图像采集时，光照的变化、姿态的调整、表情的多样 性以及有无遮挡等对图像的检测都会产生不同的影响，基于已有的对人脸检测 方法的研究，接下来本章将对常用的人脸检测方法进行详细描述并在第一章中 介绍的手机人脸数据库中进行比较验证，由于各人脸检测方法对人脸候选区域 合并的过程是基本一致的，所以本章中将主要介绍各方法的训练过程。 西南交通大学硕士研究生学位论文第12 页 暑曼舅曼量曼曼曼皇曼舅曼鼍曼曼曼曼曼曼曼曼e l l i e i l o 皇皇曼曼舅曼舅曼曼鼍量鼍曼曼曼曼曼皇 1 ) 基于神经网络的人脸检测 在基于神经网络的人脸检测方法中，常用的是基于输入层、隐含层和输出 层的三层网络，其训练过程如下： 假设神经网络的输入层、隐含层、输出层的单元数分别为、三、膨，给 定神经网络的输入矢量z = ( ，五，h 一。) ，隐含层输出矢量h = ( ，鸟9o ，, 吃一。) ，并 指出网络的实际输出矢量】，= ( ，y l ，y m 一。) ，训练过程中的目标输出矢量为 d = ( 或，d l ，九一。) ，网络的输入层到隐含层单元的权值为矿，隐含层到输出单 元的权值为形，此外，分别用口，够表示输入单元和隐含层单元的阈值。选定 人脸和非人脸样本集作为训练样本集； 分别设定各权值和阈值的接近于零的随机值作为初始值，设定精度控制参 数占和学习率口； 从训练样本组中选取一个训练模式加入到神经网络，并给定其目标输出； 分别利用式( 2 一1 ) 、( 2 2 ) 计算给定训练模式隐含层第j 个单元的输出和输出 层各单元的输出： h j = 厂( 形，j 五十办) i = 0 ( 2 1 ) 雎= ( 彤，t 乃+ 幺) ( 2 2 ) ( 1 ) 比较输出向量和目标向量，得到m 个输出误差项：喀= ( 矾一虬) 从( 1 一以) ； 同时对隐含层的每个单元彳导至0 个误差项：巧= 吵o ) 笔唣巧 ( 2 ) 根据设定的阈值和学习率分别计算隐含层和输出层中各权值的调整量 和阈值的调整量 。t ( ，z ) = ( 口( 1 + 三) 幸( ，t ( 以一1 ) + 1 ) 事驴h i ) ，、 巧，( 甩) = ( a ( 1 + ) ) 掌( 形，j ( 胛一1 ) + 1 ) 幸西木西 z 。3 销端a l ( 1 二嚣二戮- 一1 瓣1 雾 协4 ， 矽，( ，1 ) = (+ ) ) 幸( 矽，( 忍) + ) 幸万； 、 ( 3 ) 根据权值的调整量和阈值的调整量分别调整相应的权值和闽值： ，t ( ，z + 1 ) = 。i ( ，z ) + ，t ( 厅) ，l ，( ，z + 1 ) = k ，j ( ，z ) + 形，( 刀) ( 2 - 5 ) 嚷( 刀+ 1 ) = 幺( ，z ) + a l g a ( n ) ，( 刀+ 1 ) = 矽，( 珂) + 矽，( 力) ( 2 6 ) ( 4 ) 分别判断每次当尼取1 到肘之后的精度是否达到控制精度的要求，如果 不满足，则返回第( 3 ) 步继续进行迭代，否则执行下一步； 西南交通大学硕士研究生学位论文第1 3 页 ( 5 ) 神经网络训练过程结束，将得到的有效权值和阂值保存到文件中，以各 以后使用。 2 ) 基于支持向量机的人脸检测 使用支持向量机进行人脸检测的过程是通过分类超平面实现的，在实现过 程中尽量使两类待分类模型分别完全位于该超平面的两侧，并且同时保证两类 模型到分类超平面的距离达到最大，而距离分类超平面最近的待分类的数据点 就被称为支持向量。其基本示意图如图2 1 所示：从图中可以看出，图( b ) 情况 下得到的分类超平面比图( a ) 情况下的超平面具有更强的分类能力。 图2 一1 支持向量机分类器示意图 以下分别对线性可分和线性不可分情况下使用支持向量机实施二分类过 程进行介绍： ( 1 ) 线性可分 对于线性可分的两类输入样本的情况来说，假设训练样本的输入数据集为 d = ( ，咒) ，在此y i 一1 ，1 ) ，分别代表入脸和非人脸两类模式的类别标识。 在结构化风险最小原则的指导下，分类超平面可以表示为： w 宰x + 6 = 0 ( 2 - 7 ) 在线性约束条件下，可以通过求解式( 2 8 ) 所示的二次优化问题得到其最优 分类超平面： 1 r a i n ( w ) = | 1w | | 2 z ( 2 8 ) 其中，约束条件为： 硝( w 事t ) + b - i o ，f = l ，2 ，( 2 9 ) 西南交通大学硕士研究生学位论文第14 页 为了求得式( 2 8 ) 的最小值，可以引入拉格郎日乘子，最终得到其最优分类 面表示式： ， 厂( 工) = s g n ( w 宰x + b ) = s g n ( a ；y , c x , 工) + 矿) i = 1 ( 2 10 ) 其中的口? 为每一个支持向量对应的拉格郎日乘子，茚为每一类的分类阈值。 ( 2 ) 线性不可分 式( 2 10 ) 得到的最优分类面中仅包含有内积的求和运算，因此计算复杂度 较低。但是生活中并不是所有的情况都适合于使用线性可分的模型，当待分类 的两类模型为线性不可分时，