（电路与系统专业论文）复杂背景下人脸图像的实时检测、定位及其应用.pdf

摘要 f 1 人脸的检测与识别自8 0 年代开始就一直是计算机视觉和模式识别领域的重要澡题随 着计算能力的提高和网络化的普及，该研究方向在安全保密、人机交互和人工智能领域有 着日益广阔的应用前景。但由于人脸是柔性变形体，人脸模式的多样性和图像获颤过程中 的不确定性都导致人脸在图像空间中的分布非常复杂，建立人脸在高维图像空间中的精确 分布模型是一件非常困难的事。近期大量附研究人员都围绕着经验知识的提取、统计特征 的分析、神经网络的自学习等方面进行了广泛的研究，但研究成果表明该领域还存在复杂 背景中检测速度慢、实拍图像检测和识别率低、检测和识别分离等问题，以至得到实际应 用的非常有限。1 丫 本文在分析总结以往的人脸检测算法的基础上，提出了静态图像中肤色和多个模板相 结合的方法。在保证检测率的前提下以每幅小于1 秒的速度完成静态复杂背景中的人脸检 测。根据对现场拍摄的视频图像序列分析后提出了运动矢量聚类、运动边缘的椭圆环匹配 等算法，利用运动信息进一步提高了算法的运算速度和检测的准确率，给出了很好的效果。 针对检测和识别分离的问题，本文提出通过眼球中心的精确定位来对人脸进行归一以提高 后端识别的效率论文先以约束方程缩小检测区域再设计代价函数来寻找眼球中心的最优 匹配点，得到了9 0 p 2 上的精确定位率。最后我们还设计完成了人脸定位拍摄、基于人脸 的智能签刨两个实用系统来验证我们的算法，通过在实际拍摄环境中对系统进行的测试表 明本文的算法能基本达到实用的水平。 关键字：肤色检测模板匹配，运动边缘，霍夫变换，眼球定位 图书分类号：t p 3 9 1 4 ! ! ! ! ! 型 a b s t r a c t a u t o m a t i ch u m a nf a c ed e t e c t i o na n dr e c o g n i t i o nh a v eb e e na n i m p o r t a n tt a s ki np a r e m r e c o g n i t i o na n di m a g ep r o c e s s i n g w i t ht h ei m p r o v e m e n to ft h ec o m p u t e rc a p a b i l i t ya n dt h e p o p u l a r i z a t i o no ft h en e tw o r k ，t h e r ea r em o r ea n dm o r ea p p l i c a t i o n si nt h i sf i e l do n s e c u r i t y , u s e r i n t e r f a c ea n da r t i f i c i a li n t e l l i g e n c e f o rs t r u c t u r eo f t h ef a c ei sf l e x i b l ea n dt h ed i s t r i b u t i o ni s v e r y c o m p l e x ，i ti sd i f f i c u l tt ob u i l dt h ep r e c i s em o d e li nah i g hd i m e n s i o ns p a c e t h e s ey e a r sm a n y r e s e a r c h e r sh a v ec o n c e n t r a t e do nt h i s f i e l d ，a n dm a n ym e t h o d ss u c hl i k et h ee x t r a c t i o no ft h e e x p e r i e n c e ，t h ea n a l y s i so ft h es t a t i s t i c a lc h a r a c t e ra n dt h en e u r a ln e t w o r kh a v eb e e np u tf o r w a r d b u tt h er e s u l ts h o w st h a tt h e r ea r es t i l lh a v em a n y p r o b l e mf o re x a m p l et h el o ws p e e do l lc o m p l e x b a c k g r o u n d ，t h el o wr e c o g n i t i o nr a t eo nr e a l p i c t u r e ，t h es e p a r a t i o no ft h ed e t e c t i o na n dt h e r e c o g n i t i o na n ds oo n s on o wt h e r ea r es t i l ll i m i t e da p p l i c a t i o n sh a v eb e e nh e a r d i nt h i s t h e s i s ，ac o m b i n e dm e t h o du s i n gb o t hs k i n c o l o rd e t e c t i o na n d m u l t i t e m p l a t e m a t c h i n gh a sb e e np r o p o s e d ，w h i c hb a s e do nt h es u m m a r i z a t i o no ft h et r a d i t i o n a lm e t h o d s t h e d e t e c t i o no ft h ef a c ei nt h ec o m p l e xs t a t i ci m a g ec a l lb ef i n i s h e di nas e c o n dw i t ha na c c e p t a b l e d e t e c t i o nr a t e m o t i o nv e c t o rc l u s t e r i n g ，e l l i p s er i n gm a t c h i n gb a s e do nm o v i n ge d g e ，e t c ；h a v e b e e na d d r e s s e d ，w i t ht h ea n a l y s i so ft h ev i d e os e q u e n c e t h e v e r a c i t ya n dt h es p e e do f o u rm e t h o d h a v eb e e nh i g h e rs i n c ew ei n t r o d u c et h em o t i o ni n f o r m a t i o n a i ma tt h es e p a r a t i o no ft h ef a c e d e t e c t i o na n df a c er e c o g n i t i o n ，am e t h o df o rt h ee x a c tl o c a l i z a t i o no nt h ec e n t r a lo f t h e e y e b a l lh a s b e e np r e s e n t e d ，w h i c hr e g u l a r i z e st h ef a c et oi m p r o v et h er e c o g n i t i o nr a t e f i r s tw eu s er e s t r i c t i o n e q u a t i o nt or e d u c et h es e a r c ha r e a , a n dt h e nac o s tf u n c t i o nh a sb e e np r o p o s e dt of i n dt h ea c t u a l p o s i t i o no f t h ee y e b a l l t h et e s tr e s u l ts h o w sm o r e t h a n9 0 l o c a l i z a t i o nr a t e a tl a s t ，a na u t o m a t i ch u m a nf a c el o c a l i z a t i o na n ds h o o t i n gs y s t e ma n da ni n t e l l i g e n c es i g n s y s t e mh a v eb e e ni n t r o d u c e dt ov a l i d a t eo u rm e t h o d s t h et e s t i n gr e s u l t ss h o w st h a t ，i tc a nb e a p p l i c a b l ei nt h er e a lw o r l d k e y w o r d s ：s k i n - d e t e c t i o n ，t e m p l a t em a t c h i n g ，m o v i n ge d g e ，h o u g ht r a n s f o r m ，e y e l o c a t i o n 2 第一章概述 第一章概述 1 1 引言 复杂背景中人脸图像的检测、识别以及局部特征的提取是计算机视觉领域的一个重要 课题在安全保密、人机交互和人一 智能领域有着广阔的应用前景。近- 二十年来。随着计 算机和信息技术的发展，这一课题得到了更为广泛的重视。我们在总结国内外最新研究成 果的基础上，针对人脸图像的检测和局酃特征提取进行了研究，并提出了一些新的算法， 做了一些有益的尝试。在算法研究的基础上 统，有较高的实用价值。 本文将先介绍一些相关理论的基本概念 全面的综述，在综合分忻各种方法的基础上 特点。 1 2 计算机视觉研究的基本概念 我们还根据不同的应用完成了两个实际的系 再对国内外该领域的研究状况进行一个较为 结合实际的应用背景介绍本论文算法的一些 计算机视觉 3 5 】是指用计算机来实现人的视觉功能也就是用计算机来实现对客观二 维世界的理解和分析，它是- - f l 与生物神经学、计算机科学、信息科学密切相关的边缘科 学，涉及到图象分析、模式识别和机器智能等领域，在工业控制、人机交互、专家系统等 方面有着广阔的应用前景。 根据生物神经学的研究，人类的视觉系统的感受部分是视网膜，它是一个二维采样系 统。= 维物体的可见部分投影到视网膜上，人们按照投影到视网膜上的二维图象来对物体 进行三维理解。所谓三维理解是指对被观察对象的类别、形状、尺寸、离开观察点的距离、 质地和运动特征( 方向和速度) 等的理解。如果把三维客观世界到- 二维投影像视为正变换， j ! i 计葬机视觉系统可以视为二维投影图象到三维客观世界的逆变换，也就是根据二维投影 幽象重建= 维客观物理世界。从二维客观世界到两维投影像有一维信息从显露变为隐含， 计算机视觉系统首先要把这种隐含的三维信息提取出来，随后才能进行理解。 据统计，人所感知的外界信息有8 0 以上是由视觉得剑的，而在这些视觉数据中却含 订人馘的无关共至使人误解的的偏芹，并且数据本身不会显示出相应的相关性平不变形 f u 人类的 见觉系统从视网膜剑认知的各个阶段却能以某种方式理解或船理这些杂乱无 啦的 m 觉输入数据。冈此，从应川的观点来舀，计算机视觉这一 i ，f 究课题的内弈是假明确 的：在物理学和光学的基础上，对一幅国像必须完成哪些处理，如何表示和利“ 客观t 廿= 界 s u 刑世知识这自然要：k 汁算机观觉具_ 仃认知信息处理的功能。 第一章概迷 计算机视觉系统包括图象分割、图象识别和图象的重建等。图象分割是指合理的把一 幅箍体图象分割成若干个相对独立又密切相关的子图象以便于计算机处理、分析和理解， 人像的检测问题即属于这一范畴；图象识别是指根据图象特征( 频谱、色彩、灰度、纹理、 组成结构等) 确定输入图象与参考图象的匹配关系，人像的识别属于这类范畴；图象的重 建，是指根据一定的数学模型重构图象，重现图象的某些特征( 频谱特征等) ，或者得出图 象的照度和色度分布等。 图像分割是计算机视觉研究中的一个极为重要的基本问题，分割结果的优劣影响着随 后的图像分析、理解和景物恢复求解的正确与否。引入物体模型将有助于分割，但在大多 数的情况下并不知道场景中有什么物体，因而在初始分割时很难应用模型知识约束和改进 分割效果。综合利用图像几何结构与强度信息的统计特性，采用并行自适应层次化网络模 型是二维图像分割的一种较为有效的方法。 尽管图像分割这一步骤本身根据不同的要求有不同的分割结果，但这并不排除在具体 应用中，根据特定的环境需求，获得成功的图像分割结果，特别是在一些二维图像处理与 识别晌应用中。另外，在视觉应用的许多问题中往往无需精确的分割就能达到应用的目的。 计算机视觉的难点：由于客观世界的二维投影图象受光照条件、反射特性、感光特 性、观察角度等因素的影响包含了许多随机因素，从而增加了图象分析和理解的难度： 计算机视觉系统缺乏客观三维世界的先验知识，不能很好的利用人r 智能原理进行推理 和判断。 基于上述的问题知识在视觉信息理解中的有着非常重要的作用。初级视觉的研究在 许多重大问题上已取得了进展，但是在高层次视觉中知识的利用收效甚微。我们都知道让 机器模仿一个儿童来区分幅图像中的人和物体是极为困难的，但这对儿童来说却是一件 相当简单的事。图画中各个组成部分实际上都有着不同的属性，入的视觉系统可以迅速将 感知的二维图像解释成三维景物而机器中最复杂的程序在解决这些简单的视觉问题依然 困难重重。虽然使计算机视觉完全具有或接近人的视觉能力是一个遥远的目标但通过对 视觉生理学和心理学的研究将逐渐揭开人类的视觉机理。在目前的实际麻川中若想建立机 器视觉理论，需要我f _ i 深入的了解人的视觉的“认知”过稠。早期的多数视觉研究r ：作人 鄙集中r 耳种| 璺| 像葬子的研究与论证，忽视了诸如知识表示、推理及知识库的构造，以及 庄不同摸块融合时如何控制其不确定性等闷题。如果我们希望建造一个具有一定智能的视 觉系统，必须依赖= f 视觉感知系统中各种形式的基本知识。在本文介纠的人脸捡测和特征 疋他：外0 题姚f f j j j 时人脸结构皮其特祉的一些知口 描述。 4 第一章概述 1 3 模式识别的一些基本概念 模式识别 3 6 】是计算机视觉的关键课题。模式识别的问题是指对系州过程或事件的 分类与描述。要加以分类的一系列过程或事件可以是一系列的物理对象，或者是一些比较 抽象的如心理状态等。具有某些相类似的性质的过程或事件就分为一类。对于一个特定的 问题芙f 模式分类的数目是由应用所决定的。例如，考虑识别英文字母问题，应该是一 个二十，i 类的问题。另外如果我们的兴趣是俄文字母与英文字母区分开，则面临的就是一 个仅仅分成两类的问题。又如我们研究的人像的检测和识别的问题：就人像的检测问题来 看，我们的* 趣仅仅是把人脸图象和非人脸图象区分开来，这是一个两类问题：而人像的 识别问题，模式类的总数应该是数据库里所有登记注册的人数。对于某些问题，开始时可 能并不知道到底恰好有多少类而需要观察许多有代表性的模式之后才能决定。在这种情 况下，我们需要奇明t 当我们观测越来越多的模式时新的类别出现的可能性。通闱模式 识别系统由以下几部分尘日成： 礴式 ；兜策 图1i 通用模式识别系统 其中特征提取和分类器的设计是模式识别系统的核心。所谓特征提取就是对模式的某 些物理性质进行数学描述。具体讲就是对原始数据进行变换，得到最能反映模式分类的本 质特征。一股我们把原始数据构成的空间叫测量空间而分类识别通常在特征空间中进行。 通过变换可以把维数较高的测量空间中表示的模式变成维数较低的特征空间中表示的模 式。常州的特征有：统计特征，结构特征逻辑特征，数学变换特缸e ( f o u r i e r 变抉，w a l s h 变换，w a v e l e t 变换等) 。分类器的设计要求具有一定的容错性、鲁阵性和可扩展性。 映式识州方法概述 1 3 1 模板匹配方法 摸扳匹配是一种赢观而有效的方法，它使用一组模板米刻划模式类的内在特征，对r 一个 _ 卜沁炎刖l f 0 输入映，记! 它i _ 每个类的换扳 l i 以比牧，撇抛坝允选定的匹雌h e 则或嚣捌1 以 5 第一章概述 性准则来加以分类。这种方法已经在印刷字符识别装置及银行支票阅读装置中有成功的应 用。模板匹配的缺点在于：对于每一个模式类，选择一个好的模板和确定一个恰当的匹配 准则是困难的，特别是当属于同一类的模式存在较大的畸变时这种困难特别明显。近年 来提出的“可变形模扳”和“松弛模板”一定程度克服了这个缺陷。 1 3 2 统计模式识别 统计模式识别方法对己知类别的模式进行各种特征的提取和分析，选取对分类有利的 特征，并对其统计均值等按己知类别分别进行学习，按贝叶斯最小误差准则，根据以上统 计特征没计出一个分类误差最小的决策超平面，识别的过程就是对未知模式进行相同的特 征提取和分析，通过决策平面方程决定该特征相应的模式所属的类别。 统计模式识别在遥感图象、谷物分类、医学诊断、心电图分类、可靠性等方面有成功 的应用。 1 3 3 句法模式识别 对于某些类型的模式识别问题，描述模式的结构信息起着重要的作用，而识别过程不 仅包括把模式指定到某一特定的类，而且还包括对该模式进行结构分析。这种类型的模式 识别的典型例子是图片识别，或者更一般的是景物分析句法模式识别是专门针对这一类 问题而发展起来的。 它用已知结构信息的模式作为训练样本，先识别出基元和它们之间的连接关系，并用 字母符号表示它们，然后用构造句子的方法来描述生成这些场景的过程，并由此推断出生 成该场景的一种文法规则这就是训练过程在识别过程中，要对未知结构的模式进行基 元识别及其相互结构关系分析。然后利用训练过程中获得的文法对其作句法分析，如果它 能被已知结构信息的文法分析出来，则该幅未知图象模式具有与该文法相同的图形结构； 否则就可判定不是这种结构。 1 3 4 神经网络模式识另l j 4 8 1 人工神经网络理论起源于生物神经学生物神经学的研究表明，脑神经元是信息理解 和处理的基本单元。在人脑中大约有着超过1 0 “个神经元，每个神经元连接到数千个其他 的神经元上形成一个巨大的网络，这种神经元之间的连接的数字达到1 0 “个以上，它们具 订并行处理、分布存储的特征。 虽然人们目前还不完全理解信息在人脑中的储存、表达和处理方式，但是从脑神经元 的连接7 式得到启发，兴起了人f 神经网络理论的研究，而且在模式识别领域也获得了“ 泛的应用。 6 第一章概述 在模式识别的应用中，神经网络的输入是待识别模式经过信息处理提取的特征矢量。 神经网络分类器把特征空间划分成不同的区域，每一个区域对应于一个模式类：分类器性 能的瓶颈是不同模式类在特征空间分布的交迭。所以一个理想的神经网络分类器要求选取 具有代表性的训练样本以获得优化的划分平面，同时还要求特征空间具有良好的区分度， 使得不同模式类的交迭尽可能小。 。 1 4 目标检测以及方法概述 1 4 1 问题的定义 目标检测，是指在复杂背景的图象或场景里检测出目标模式。这里的目标模式可以是 刚性物体，也可以是非刚性物体 刚性物体的检测比较容易，而非刚性物体的检测相对困难，这是因为f 形状不规则， 而且具有随机性，难以建立合适的数学模型；场景复杂，而且有的图景和检测目标比较 相似。这不仅要求我们建立精确的模型正确分割背景和目标还要求利用先验知识和人工 智能原理进行推理判断。 目前的计算机视觉技术还没有完全解决模式分割和目标检测的问题我们所研究的人 脸图象检测属于非刚性物体的检测但又有其特殊性，因为对于人脸图象，我们可以利用 简单的先验知识估计它的空间分布和边界，这样就合理的简化了问题的难度，不必要进行 一股意义上的目标分割，又能够对问题进行深入的研究。为明确起见，我们把这类检测问 题定义为“具有稳定性空间边界的目标检测”。 1 4 2 经典的非刚性目标检测方法 非刚性目标检测的个主要宙难是：怎样建立恰当的数学模型来合理的描述目标模式 的多样性。在这方面，已经提出了四种比较有代表性的方法。下面对这些方法作一个简要 的介绍： 基于视觉的相关摸板( v i e w - b a s e dt e m p z a t e ? 固定的相关模扳就象一个匹配滤波器在检测目标时。通过计算候选位置的图象与参 考模扳之间的匹配度，再通过一个阅值门限进行判决，如果匹配测度大f 门限即认为检测 到了目标。 由1 r 目标模式的外观和结构受观察角度、光照条件、形变等因素的影响，所以一个直 观的想法是：把从不同角度观察到的目标的二维投影图象存储起来作为模板，这就是所谓 的“基于视觉的相关模板”。这里涉及到的一个关键问题是观察角度的采样和模板数目的确 定篮求是描述能力强，同时又简单有效。例如对特定型号b 机的检测可以从常见的观 7 第一章概述 察角度采样，得出飞机的二维投影图象模板，利用这些模扳来实现飞机的检测。 这种方法的缺点：建立恰当的模板和确立相应的匹配准则比较困难。 子空间的方法 子空间方法的基本思想是：对于同一个模式类，虽然它的测量空间是一个高维空间， 但实际上它的所有样本仅仅分布在一个较小的，易于参数化的低维子空间里 子空间的构造使用主元分析方法，也就是通过计算目标模式样本协方差矩阵的特征向量来 构造优化子空间基矢量。优化子空间具有下列特性：对于目标模式可以通过子空间基的 线性组合重构，而且重构误差较小：而对于非目标模式重构误差较大。 利用这个特性，可以进行目标模式的检测：把目标模式在子空间上进行投影，然后用投影 的线性组合重构目标模式，如果重构误差小于一定的阈值，则认为检测到了目标模式。 目前这个方法已经成功的用于识别和检测经过预分割的目标，例如人脸图象的识别，但是 对于复杂背景下的目标检测，效果不是很理想。 可变形模板方法 可变形模板和经典的相关模板从原理上来说是一致的不同的是可变形模板具有一定 的可变机制，所以这种方法比较适合于描述非刚性物体 可变形模板方法在人像检测和人像特征的提取方面有成功的应用y u i l l e ，h a l l i n a n 和 c o h e n 使用曲面和曲线对人的脸、眼、鼻、唇等进行建模 1 】。这些曲面和曲线的参数可以 在一定的范围内变化检测的过程实际上就是把可变形模扳与原始图象或经过预处理的图 象( 边缘图象，峰值图象，谷值图象) 进行匹配的过程在匹配过程中，需要建立恰当的 能量函数加以约束通过最小化能量函数，使可变形模板向目标模式逼近，最后收敛到目 标模式的位置。 这种方法的缺点是计算量大，而且对于多目标的检测不理想。 利用图象特征的不变性 使用这种方法的前提是：即使目标模式的观察角度、光照条件、形状等有一定的差异 但是它的某些几何或物理特征存在一定的不变性进行目标检测的时候，如果候选模式满 足这些不变性，就认为检测到了目标模式。 f o r s ”h 【2 】等利用刚性物体点和轮廓的几何不变性，为这类目标的检测问题提供了一个 有效的方法。对于灰度图象，可以利用其不同部分灰度比值的不变性进行检测。s i n b a 3 1 ：把 这种思想用于人脸图象的检测问题，取得一定的成功 这种方法的优点是简单、快速，但是找到目标模式的不变性特征比较困难 r 第一章概述 1 5 人脸检测和定位综述 4 3 8 随着社会的发展，各个方面对快速有效的自动身份验证的要求日益迫切。由于生物特 征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证的最理想依据。 生物特征包括生理特征( 如人脸、指纹等) 和行为特征( 如笔迹等) 两种。在众多的生物 特征中具有实际应用价值的特征通常需要具备以下几个特点：普遍性、唯一性、稳定性、 取样的方便性、用户的接受性、样本的防伪性、计算的复杂性。这些也是评判生物特征选 取好坏的重要标准。其中，利用人脸特征进行身份验证又是最自然直接的手段，相比其它 人体生物特征它具有直接、友好、方便的特点易于为用户所接受。人脸的检测和识别是 人类视觉最杰出的能力之一，它的研究涉及模式识别、图像处理、生理学、心理学、认知 科学，与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系， 因此早在六七十年代即引起了研究者的强烈必趣。进入九十年代由于各方面对人脸检测 识别系统的迫切需求，人脸检测识别的研究重新交得非常热门。目前美国等国有许多研究 组在从事人脸识别的研究，这些研究受到军方、警方及大公司的高度重视和资助，美国军 方每年还专门组织人脸识别比赛以促进这一领域的发展在国内，也开始有一些学校从事 相关的研究。近几年来在这个领域的研究取得了很大进步，国际上发表有关论文的数量大 幅增长，ieee 的pa mi 汇刊还于1 9 9 7 年7 月出版了人脸识别专辑 4 】，每年的国际 会议上关于人脸识别的专题也屡屡可见并且在网上还分别有关于人脸检测和人脸识别的 主页。 常用的人脸检测和识别实验库c m u 、m i t 、o r l 、p u d u 、美国军方的feret 库 等其中feret 库最为权威，它包括多人种、多年龄段、各种表情变化、光照变化、 姿态变化的图像图像的数量和实验人数也非常多，可以充分地验证人脸识别算法。另外 如mit 、0rl 等库也可以用来验证算法在某些方面的能力。专门测试人脸检测和定位 算法的图像库仅有c m u 且只有灰度图像。 1 5 1 人脸检测与定位方法综述 人脸检测的基本思想是用知识或统计的方法对人脸建模，比较所有可能的待检测区域 与人脸模型的匹配度，从而得到可能存在人脸的区域其方法大致可分为基于统计和基于 知识两类。前者将人脸图像视为一个高维向重，从而将人脸检测问题转化为高维空间中分 布信号的检测问题：而后者则利用人的知识建立若干规则从而将人脸检测问题转化为假 设验证问题。 鏊p 统计的八睑捡溅力法 9 第一章概迷 1 ) 事例学习。将人脸检测视为区分非人脸样 本与人脸样本的两类模式分类问题，通过 对人脸样本集和非人脸样本集进行学习以 产生分类器。目前国际上普遍采用人工神 经网络进行样本学习，h e n r yar o w l e y 5 】 采用的神经网络结构如图2 1 ，他利用人脸 各个器官和局部特征的分布位置来设计神 经元结构，网络分为三层，输入层( 2 0 2 0 象紊) ，隐层( 共2 6 个接受野用来检测 侈 图2 1 h e n r yar o w l e y 设计的神 经网络结构 不同大小和方向的特征) ，输出层( 个输出神经元) 。 2 ) 子空间方法。pentl and 等将k l 变换引入了人脸检测【7 】，在人脸识别中 利用的是主元子空间( 特征验) ，而人脸检测利用的是次元子空间( 特征脸空间的 补空间) 。用待检测区域在次元子空间上的投影能量。也即待检测区域到特征脸子 空间的距离为检测统计量，距离越小，表明越像人脸。子空间方法的特点在于简 便易行，但由于没有充足的反例样本信息，对与人脸类似的物体辨别能力不足， 在文章中 5 】提出了b o o t s t r a p 算法，对此问题在一定程度上进行了解决。同时这种 方法还存在运算量太大的问题。 3 ) 空间匹配滤波器方法【8 】。包括各种模板匹配方法、合成辨别函数方法等。 基f 知识建模的八验检灏方法 1 ) 器官分布规则：虽然人脸在外观上变化很大，但遵循一些几乎是普遍适用的规则如 五官的空间位置分布大致符合三停五眼等，检测图像中是否有人脸即是测试 该图像中是否存在满足这些规则的图像块这种方法一般有两种思路：一种是“从 上到下”，其中最为简单有效的是yang 等人提出的mos aic 方法【9 1 ，它给 出了基于人脸区域灰度分布的规则，依据这些规则对图像从粗分辨率到高分辨率 进行筛选，以样本满足这些规则的程度作为检测的判据另一种思路则是从下至 上，先直接检测几个器官可能分布的位置，然后将这些位置点分别组合，用器官 分布的几何关系准则进行筛选，找到可能存在的人脸 ：) 轮廓规则：人脸的轮廓可以简单地看成一个近似椭圆，而人脸检测可以通过椭圆检 测来完成f 1 0 】。goy i 1 1dar aj u 提出认知模型方法。将人脸建模为两条直 线( 左右两侧蕊颊) 和上下两个弧( 头部和下巴) ，通过修正ho ugh 变换来检 1 0 第一章概述 测直线和弧f 1 1 。近期ta nkus 利用凸捡测的方法进行人脸检测f 1 2 】 3 ) 颜色、纹理规则：同民族人的面部肤色在颜色空间中的分布相对比较集中，颜色信 息在一定程度上可以将人脸同大部分背景区分开来( 1 3 】。lee 等设计了肤色模型 表征人脸颜色，利用感光模型进行复杂背景下人脸及器官的检测与分割【1 4 】。da i 利用了sgld ( 空间灰度共生矩阵) 纹理图信息作为特征进行低分辨率的人 脸检测 1 5 】。sa be “1 6 】等则将颜色、形状等结合在一起来进行人脸检测。 4 ) 运动规则：通常相对背景人总是在运动的，利用运动信息可以简单有效的将人从任 意复杂背景中分割出来。其中包括利用眨眼、说话等方法的人脸局部运动检测方 法。也可以利用运动信息进行头部运动跟踪检测。 5 ) 对称性：人脸具有一定韵轴对称性，各器官也具有定的对称性。zabr 0d s hky 提出连续对称性 检测方法，检测一个圆 形区域的对称性，从而 确定是否为人脸 1 7 1 ： riesfield 提 图2 2 参数可调的器官模型 出广义对称变换方法， 检测局部对称性强的点来进行人脸器官定位u s l 6 ) 可变形模扳法 1 9 】 2 0 】可以视为几何特征方法的一种改进，其基本思想是：设计一个 参数可调的器官模型( 即可变形模板，如图2 2 所示) ，定义一个能量函数，通过 调整模型参数使能量函数最小化此时的模型参数即作为该器官的几何特征。这 种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能 由经验确定，难以推广：二是能量函数优化过程十分耗时，难以实际应用。基于 参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前 处理和精细的参数选择同时，采用一般几何特征只描述了部件的基本形状与结 构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且 目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。 1 6 人脸局部特征提取和定位综述 人脸识别本质上是三维塑性物体二维投影图像的匹配问题，它的困难体现在：( 1 ) 人脸 塑性变形( 如表情等) 的不确定性：( 2 ) 人脸模式的多样性( 如胡须、发型、眼镜、化妆 等) ：l3 ) 幽像获取过程中的不确定性( 如光照的强度、光源方向等) 识别人脸主要依据 l l 第一章概迷 人脸上的特征，也就是说依据那些在不同个体之间存在较大差异而对于同一个人则比较稳 定的度量。由于人脸变化复杂，因此特征表述和特征提取十分困难。在对人脸图像进行特 征提取和分类之前一般需要做几何归一化和灰度归一化。几何归一化是指根据人脸定位结 果将图像中人脸变换到同一位置和同样大小，灰度归一化是指对图像进行光照补偿等处理， 光照补偿能够定程度地克服光照变化的影响而提高识别率 2 1 】。 几何归一化必须建立在人脸准确定位的基础上，定位的精确程度对于人脸识别的准确 与否有着直接的关系，仅使用一般的人脸检测结果很难达到精确定位，在本论文中根据三 停五眼原理通过眼睛瞳孔的特征描述进行较为准确的定位，从而以人的瞳孔距离为标准 进行几何归一化。所谓“三停五眼”即人的发际到眉毛的距离、眉毛到鼻的距离和鼻到下 颁底部的距离大致相等谓之“三停”；人的左耳孔到左眼外角、左眼外角到左眼内角、左 眼内角到右眼内角、右眼内角到右眼外角、右鼹外角到右耳孔的距离相等谓之“五眼”。关 于通过人脸局部特征提取来达到待确定位的方法可概述如下： 1 ) 基于投影直方1 蛩 3 9 】，这种方法采用的是一种直方图匹配的方法。通过纵向和横向 灰度直方图的分析来得到眼球的位置，由于人 眼的灰度特征与人脸其它部位有明显不同，直 方图匹配的方法很容易地得到眼睛的大致位 簧，匹配的理想效果应该如图所示：这种方法 快速有效，但比较容易受光线变化的干扰。 2 ) 基于变形模板匹配 4 0 】 由于眼和嘴的形状与一些几何图形相似，可 以利用可变形模板模型对它们进行提取这种思 想来源于霍夫变换。可变形模板由一组参数定 义，这些参数可由对轮廓变形过程的先验知识确 定，完成模板的建立之后再通过构造合适的能 图23 理想的两眼投影直方圈 黄函数来寻找最优点眼睛模板的结构通常如图2 4 的不断调整和逼近后找到最优匹配点后，整个眼 睛的具体特征参数也可以得到了，但算法明显运 算鬣极大。 3 ) 基于对称变换f 4 l 】 图2 4 一种眼睛模扳 整个模板共有7 个参数，当通过参数 图2 5 人服模型的方向对称变换值 2 第一章概述 在计算机视觉研究领域中。对称性被认为是识别物体可利用的基本性质之一，它包括 点对称性( 也叫中心对称性) 和轴对称性。绝大多数自然物体或人造物体都存在着这两种 对称性，对于人脸图像来说。人眼、眉毛、嘴色等都具有很强的点对称性。特别时眼睛中 心点的强对称性如图2 5 ：对人脸偏转、表情变化、光照变化等条件不敏感( 但要求眼睛整 体基本可见) ，因而具有很好的鲁棒性。 4 ) 基于约束方程 4 2 】 约束方程是通过人的一系列先验知识，对所有的待测点进行排除从而使保留的点为 匹配点。在眼球的检测中，通常有以下一些约束：瞳孔足够略、瞳孔上部和下部为额头和 脸颊应比较亮、眼睛部位边缘较为丰富等。 1 7 目前该领域存在的问题 自9 0 年代人脸检测、识别成为计算机视觉和模式识另u 领域的热门课题以来，从事这方 面领域研究的国内外研究人员，提出各种各样的方法，上述这些方法便是其中的典型代表， 在对这些算法进行分析和研究后可以发现目前在该领域还存在着以下几个问题。 人脸检测： a 复杂背景下实时的多人脸检测 由于人脸是非刚体的，因此用传统的模式识别中的知识建模的方法很难得到很好的效 果。特别是在复杂的背景下，周边物体有相类似的边缘、纹理、颜色、形状分布，很难同 时保证漏检率和误检率。用神经网络等非知识描述的方法又需要耗费大量的时间和收集 大量的样本。 b 对于人脸的偏转、侧转的人脸检测。 在知识建模的方法中旋转和侧转的人脸所需描述的参数更多，往往很难达到精确的 描述，肤色统计等方法虽然可以避免这个问题，但也必须与其他方法的结合。而基于统计 的方法也很难解决人脸的偏转和侧转，并且运算量过高而无法进行实用。 c 同时保证检测速度和检测准确率。 人脸识别： a 对t t e - 端正人脸的识别的准确性。 目前入脸识另1 】的方法主要有p c a 等这些方法对入脸所处的位置有很高的要求t 因此 虽然已经有实用的身份证识别系统，但对于实际拍摄图像的识别还没有很好的应用算法。 b 对于不同尺度的人脸识别的准确性 c 识别人脸的速度 1 3 第一章概述 1 8 论文介绍的工作： 我们的研究重点在于人脸检测及通过局部特征的检取来实现人脸的精确归一。提出了 以下一些新的思路和算法： a 结合肤色检测、模扳匹配、经验知识约束等方法，实现静态复杂背景图像的人脸检 测，对人脸的偏转和侧转有较好的鲁棒性。 b 结合肤色检测和运动信息，在实际的运动图像序列中较为准确的完成人脸识别。在 现有的算法基础上，提出了鲁棒的扫描归并算法、运动矢量聚类、运动边缘的椭圆环匹配 等方法。 c 为了解决人脸识别对人脸偏转、尺度的敏感问题，在本论文中设计了一个新的代价 函数，能快速有效的找到人的眼球位置，从而完成对人脸的标准归一，以提高后端识别的 效率。 d 结合人脸检测和识别算法，根据具体应用设计完成了复杂背景下的人脸定位拍摄系 统和智能签到系统。 1 9 论文的内容安排 第二章：主要介绍复杂背景静态图像中的人脸检测算法和实验结果，并详细介绍了肤 色空间和模板匹配相结合的算法步骤。 第三章：基于运动图像的人脸检测，通过对标准图像序列和实际拍摄的图像序列进行 分析( 主要针对常见的头肩图像序列) 。在普通算法的基础上，针对运算速度、鲁棒性等方 面进行了改进，并对四种算法模拟结果进行了各方面的比较。 第四章：提出一种结合条件约束和代价方程的眼球中心定位的方法，并对大量实际图 像进行了测试 第五章：结合上述几章的算法，介绍硕士阶段完成的两个系统。分别是人脸自动定位 拍摄系统、基于人脸识别的智能签到系统。 第六章：总结硕士阶段的工作，并对将来的研究方向进行展望 4 第二章基于静态复杂背景的人脸检测 第二章基于静态复杂背景的人脸检测 人脸检测是计算机视觉的一个重要课题，在很多方面有着广阔的应用前景首先，一个 完善的自动人像识别系统应该包括复杂背景下的人脸图象的检测和定位：另外人脸图象检 测在人机交互、安全保密和医疗监护系统方面也有着潜在的应用。 2 1 概述 复杂背景：生活中实际拍摄的背景照片，光照条件自然且背景中含有多种物体。人脸 图象的检测：是指从复杂背景的图象中检测出所有不被其他物体遮挡的人脸图象( 包括侧 转和旋转的人脸) 。 2 1 1 人脸检测的难点： 人像检测的难点在于人脸图象固有的多样性，主要体现在以下四个方面： 外观和面部表情的差异。入脸的形状和表情是千差万别的，每个人由于种族、肤色、 遗传等原因，特征都不一样；即使是同个人由于表情的不同和是否化妆等，也存在一定 的差异。特征的隐现。眼镜、胡须等会影响人脸图象外观，而且这些特征的出现还有可 能使原来的特征发生变化，例如由于眼镜的反光就使原来比较暗的眼都区域变得比较亮， 而留胡须就使唇部区域变得比较暗人脸位置的变化而引起脸部各个器官空间位置的变 化如人脸的侧转和旋转。外部因素影响光线的强弱、方向，阴影的遮掩，观察点的不 同等。 2 1 2 人脸检测的各种生物依据 虽然人脸图象具有多样性和不规则性。但是人脸图象也存在一些共性：都由眼睛、 鼻子和嘴唇等组成而且空间位置相对固定。人脸图象各个组成部分的图象灰度比值具 有定的不变性。肤色等空间分布比较稳定。利用这些共性，可以把人像的检测问题归 结为“具有稳定性空间边界”的目标检测问题。 从上述条件出发，我们提出了一种将肤色检测和多种模板匹配相结合的方法，其结果 住检测速度上火大高于神经网络、边缘检测和模板匹配的方法，而误检率又远低于肤色检 测锋方法，为实时系统的实际应用提供了手段下面我们分六个部分进行介绍：( 1 ) 肤色 空间的统计；( 2 ) 肤色检测及其后续处理：( 3 ) 人脸形状匹配参数发计和检测：( 4 ) 亮度 比例模扳的设计和检测：( 5 ) 实验系统：( 6 ) 实验结果 2 2 肤色空间统计 2 2 i 肤色空问映射： 第二章基于静态复杂背景的人脸检测 传统的静态数字图象是存放在r g b 三色空间的，r g b 三分量不能反映物体实际颜色， 并且三者也不是相互独立的因此要想对肤色在整个色度空间分布进行统计首先要找到由 r g b 三色空间向某种色度空间的映射变换常用的肤色检测空间有以下几种： a ：r g b 归一化 将r g b 中任意两个分量除以r + g + b ，归一化剑o l 后用颜色常 数索引的方法进行判定 2 2 】。 b ：h i s 将r g b 三分量变换为色度、亮度、饱和度三维空间，利用其中的 色度空闻对颜色进行分类。 c ：c y m k将r g b 三色取反后可得c y m k 空间，据统计研究固定人种的c y m k 空间分布大致在一个固定的区域，而不同人种间区别则较大。 d ：c b c r 将r g b 三色空间映射到y c b c r 空间取其中的c b c r 两维空间作为统 计分布空间。 在本文的实验中选用c b c r 空间作为肤色分布统计的映射空间，该空间的优点是受亮 度变换的影响较小，且两维分布能较好的限制肤色分布区域，误检率小。 2 2 2 肤色统计分布： 经过统计证明不同人种的肤色区别主要受亮度影响，受色度影响较 小。因而剔除y 分量后的c b c r 两维空间能较好的反映不同人种的肤色 分布。在本文的实验中选取人脸眼睛以下，嘴唇以上的狭长块作为肤色 圈2l 肤色采集 的统计区域如图2 1 所示。 区域 为了使统计肤色分布更具有代表性，实验选取了不同肤色、不同光照的人脸图象作为 样本，并对高加索人种和蒙古人种进行了统计结果比较如图2 2 所示其中a 为2 0 幅不 同光照条件下亚洲人的肤色统计分布( 样本来自复旦大学电子工程系工控实验室) ；b 为2 0 幅高加索人的肤色统计分布( 样本来自美国普度大学图象处理实验室) 。c 为上述两者加起 来的肤色分布共4 0 幅图象。 【星| 2 2 肤色统计分布 6 第二章基于静态复杂背景的人脸检测 由上图可知在c b c r 空间内肤色分布相比于整个空间而言仅是很小的一个区域，并且 受人种的影响不大。利用直方图的方法根据统计所得的数据去除与中心区域不连续的区 域块去除分布概率小于o 2 的点，- p a 得到一个分布区域，将该区域归化到 o ，1 】区间 后可得c b 0 4 8 ，0 5 5 、o r 0 5 3 ，0 6 2 1 。由于图像色彩的空间分布除了和物体本身有关 夕 光照 颜色的变化也会有一定的影响，但是实验证明即使光照条件有一定的变化，我们所得到的 肤色空间分布仍有较好的鲁棒性。 2 3 肤色检测及其后续处理 实验证明仅凭肤色无法单独完成检测人脸的工作，这主要是由于肤色在色度空间分 布不是完全独立的，也就是说有其他物体的颜色具有和肤色相似或相同的分布；人脸也 有一些局部的色度不属于肤色的