（电路与系统专业论文）人脸检测算法及其应用研究.pdf

f ：渔夫学颇卜学位论立 人脸 考= 测算注及其应用研究 摘要 人脸检测是计算机视觉、模式识别、人机交互研究中一个很受关注的研究热 点，在自动人脸识别系统、视觉监控、基于内容的检索等领域都有着广泛的应用。 由于人脸模式错综复杂、易受干扰，所以人脸检测又是一个很有挑战性的课题。 目前的人脸检测算法一般都存在计算量大、速度慢、误报率高的弱点。 本文着重研究了一种适合在考勤系统和安保系统等应用领域的自动人脸检 测算法，同时设计了两套基于该人脸检测算法的应用工程系统的框架结构。人脸 匹配的确是考勤系统在检测得到人脸后需要做的一项重要工作。由于时间关系， 本文对人脸匹配方面只是做了初步的理论探讨，没有做实验验证。 其中，人脸检测算法针对工程应用的特点对图像采集做了一些合理的约束， 使之具有良好的鲁棒性和实时性，能够满足实际需要。人脸检测算法的主要思路 为利用序列图像的差分信息检测运动目标，对运动目标图像实施肤色检测，生成 候选人脸区域，然后利用眼睛特征验证候选人脸并提取人脸特征，同时分割出人 脸部准确区域。实验表明本算法能够很好地适应不同的环境光照条件，在上述领 域内具有良好的检测性能。 本文主要依照系统设计并人脸检测的顺序来进行论文结构安排。最后，本文 对论文的工作做了总结并对存在的若干问题做了说明。 关键词： 运动检测，肤色模型，人脸检湖 上海大学硕士学位论文 人脸检测算法及其应用研究 a b s t r a c t f a c ed e t e c t i o nh a sb e e nar e s e a r c hf o c u so fc o m p u t e rv i s i o n ，p a t t e mr e c o g n i t i o n a n dh u m a n - c o m p u t e ri n t e r a c t i o nf o ral o n gt i m e i ta l s oh a st h ea p p l i c a t i o ni naw i d e r a n g e o ff i e l d ss u c ha sa u t o m a t i c f a c e r e c o g n i t i o n ，v i s i o n s u r v e i l l a n c ea n d c o n t e x t - b a s e dr e t r i e v a l h o w e v e r ，f a c ed e t e c t i o ni sam o s tc h a l l e n g i n gt a s kb e c a u s eo f t h ew e a k n e s so fl a r g ec o m p u t a t i o n ，l o we f f i c i e n c ya n dm a n yf a l s er e p o r t sa m o n gt h e d e t e c t i o nr e s u l t i nt h et h e s i s ，a na u t o m a t i cf a c ed e t e c t i o nm e t h o di sp r e s e n t e d ，a n dt w oa p p l i c a t i o n s y s t e m sb a s e d t h em e t h o da r ed e s i g n e d a l t h o u g hf a c em a t c h i n gi si n d e e do n eo ft h e i m p o r t a n ts t e p si nt h ee m p l o y e e - c h e c k i n gs y s t e m ，i ti sj u s td i s c u s s e ds i m p l ya n dn o e x p e r i m e n ti sd o n ed u e t ot h el i m i t e dt i m e s o m er e a s o n a b l er e s t r i c t i o n sa r em a d ew i t ht h ec a p t u r e di m a g e si no r d e rt o g e t t h es t e a d ya n dr e a l t i m em e t h o do ff a c ed e t e c t i o na n dm e e tw i t ht h ea c t u a ld e m a n d s t h em e t h o df i r s t l yd e t e c t st h em o t i o nr e g i o nf r o mt h em o t i o ni m a g es e q u e n c eb a s e d o n i m a g e d i f f e r e n c ea n d g e t st h es u b i m a g eo fc o n t a i n i n g t h em o t i o n t a r g e t s t h e nt h e s u b i m a g ei sd e t e c t e da n dm a p p e di n t oab i n a r yi m a g eb yt h es k i nc o l o rm o d u l e s r e s p e c t i v e l y as e r i e so fp o s tt r e a t m e n t sa r ed o n et og e tt h eb i n a r yi m a g eo ff a c e c a n d i d a t e a n dt h e ne a c hf a c ec a n d i d a t ei sv e r i f i e da n dt w oe y e sa r ed e t e c t e db yu s e o fs o m em e a n s a t l a s t ，t h ee x a c tf a c ei sl o c a l i z e da c c o r d i n gt h er u l eo ff a c es t r u c t u r e e t c e x p e r i m e n t sm a k e i tc l e a rt h a tt h em e t h o dc a l la d a p tt ot h ed i f f e r e n ti l l u m i n a t i o n w e l la n dh a v eg o o dd e t e c t i o na b i l i t yi nt h ea b o v ef i e l d s t h i sp a p e ri s m a i n l ya r r a n g e db y t h eo r d e ro f s y s t e md e s i g na n dh o w t od e t e c t h u m a nf a c e f i l m i l y , a l lo v e r v i e wo f t h ep a p e ri sp r e s e n t e da n dt h ee x i s t i n gp r o b l e m s a r ed i s c l _ u s s e d k e yw o r d ：m o t i o nd e t e c t i o n ，s k i n c o l o rm o d e l ，f a c ed e t e c t i o n 圭堡查堂堡! ：堡三! ； 叁堕堡婴竺堡塾茎堕里望丝一 1 1 研究背景与意义 第一章前言 人脸检测问题最初来源于人脸识别，而人脸识别的研究可以追溯到2 0 世纪 七十年代，经过几十年的曲折发展己日趋成熟。一个完整的人脸自动识别系统一 般包括人脸自动检测，特征提取和匹配识别等几个部分。其中，作为人脸识别的 1 第一步，自动检测起着至关重要的作用，但是早期的人脸识别研究主要针对具有 较强约束条件的人脸图像( 如无背景的图像) ，往往假设人脸的位置己经知道或者 很容易获得，因此人脸检测问题并未受到重视。近几年随着电子商务，视觉监测 等应用的发展，人脸识别成为最有潜力的生物身份验证手段，这种应用背景要求 自动人脸识别系统能够对一股环境图像具有一定的适应能力。由此，所面临的一 系列问题使得人脸检测成为一项十分重要而又基础性的技术，近年来成为模式识 别与计算机视觉领域内一项受到普遍重视、研究十分活跃的课题。当然，人脸检 测的应用背景如今已经远远超出了人脸识别系统的范畴，在基于内容的检索、数 字视频处理、视觉监测等方面同样有着重要的应用价值。 本文所提到的人脸检测( f a c ed e t e c t i o r i ) 是指在输入图像中确定所有人脸( 如 果存在) 的位置与大小，同时定位人脸的有关特征。 人脸作为人类自身再熟悉不过的一个组成部分，其检测问题却是一个极具挑 战性的课题。首先人脸是一个包含五官、毛发等的极不规则的复杂待测目标，不 同的人脸在形状、大小、颜色、质地等方面都有很大的变化性；其次为了实现检 测方法的稳定可靠性，我们要考虑人脸在各种复杂的背景中，不同的方向、角度、 尺度等情况下所展现出来的不同表象：再次，我们所基于的检测对象或称环境大 多是由图像捕捉设备所采集的数字图像或视频流中的数字图像序列，所以采集条 件特别是光照条件包括光源的方向、明暗、色彩等都会对图像的效果产生很大的 影响，进而影响我们对人脸的检测；另外，人脸上还可能长有胡须、戴有眼镜或 其他装饰品等，这些也同样是我们设计实际应用系统的人脸检测算法时不可忽视 卜海大学硕t 论文 入脸检测算法及其应用研究 的因素。尽管人脸检测有一定的难度和复杂性，但是通过合理地规划约束有关应 用系统，我们相信可以设计出一种具有良好性能的实用人脸检测算法。基于该项 技术，我们可以开发不同形式的应用系统( 如入脸特征考勤系统，住宅小区安全 管理系统等) ，运用于社会相关机构、单位和企业。一方面促进社会的安全、稳 定和发展，同时还可以取得良好的经济效益。 1 2 人脸检测方法综述 正如前面提到的。人脸检测问题在近十年中得到了广泛的关注和长足的发 展，我们对现有检测算法的学习和总结必将给我们寻求种在某些应用领域内的 有效人脸检测方法的研究带来启发和帮助。 在总结现有人脸检测算法之前，我们首先对不同检测算法所用到的人脸模 式特征做一个简要介绍。总结发现，在不同的人脸检测方法中，人脸模式的特征 无外乎肤色特征和灰度特征两个方面。其中，肤色是人脸的重要信息，其不依赖 于面部的细节特征，对于旋转、表情等变化情况都能适应具有相对的稳定性并 且和大部分背景物体的颜色相区别。因此肤色特征在人脸检测中成为最常用的一 种特征。此外，灰度特征包括人脸轮廓特征、人脸灰度分布特征( 镶嵌图特征、 直方图特征等) 、器官特征( 对称性、空间分布等) 、模板特征等。灰度特征可以 提供更细致和更精确的人脸信息。这些特征在人脸真伪确认、特征提取以及人脸 匹配等方面具有更大的优势。本节的以下内容是从方法论的角度概要性地总结一 下现有的几种主要的人脸检测思想，当然这种分类的界限并不是绝对的，而且结 合几种思想于一体的检测方法也普遍存在。 1 2 1 基于知识的自顶向下的方法 这种方法是基于我们在认识人脸的过程中所总结出来的一些先验知识，把人 脸特征和相应的关系归结成为一些复杂程度由简而繁的规则。例如：“f 面人脸 都包括两只位置相互对称的眼睛，鼻子和嘴等”、“灰度图像中眼睛要比脸上其他 地方睹”等。先提取输入图像中的人脸特征，随后运用这些规则对这些候选的特 征进行鉴定。为了减少错误检测率，通常还进行一定验证后续处理，从而搜索出 彳：；合规律的人脸区域。 e 海大学碗 论文 人脸捡测算法及其应用研究 1 2 2 基于人脸特征的自底向上的方法 这种思想首先用各种数字图像的处理办法对输入图像进行处理，根据处理结 果提取出来的某些特征与人脸的某些共性特征进行比较，借此来判断某一区域是 否为人脸。举例来说，我们可以用数字图像处理中常用的提取边界的方法在输入 图像中寻找边界，然后试探哪些边界能像正面人脸的左边界线、右边界线和发髻 线那样构成入睑轮廓：还可以利用从图像中提取出来的色彩和纹理信息与人脸的 色彩和纹理模型进行比较，得出可能的人脸区域。当然各种人脸特征的综合运用 对于提高检测算法的性能会有很大帮助。 1 2 3 模板匹配的方法 该方法首先建立并存储一些人脸模板作为标准，可以包括正面人脸或是单独 的眼睛、鼻子、嘴。利用一些算法柬计算各待测区域与标准模板的相似程度或称 相关性。利用这一相似程度来判决某一区域是否为人脸。这个方法的优点是使用 简单，但是它不能很好地处理尺度、方位、形状等因素不同变化，导致实际检测 效果不是很理想。针对这些缺点，一些研究人员提出了采用多分辨率、多尺度、 局部模板和可变模板的人脸模板匹配检测方法。 1 2 4 基于人脸外观的方法 这种思想是指通过搜集大量的人脸和非人脸样本作为训练集，用人工神经元 网络、支持向量机( s v m ) 等方法训练出一个分类器来检测人脸。这种思想与 ， 其他思想的不同之处在于，它并不首先人工的对人脸进行分析或是抽取模板，也 不对输入图像进行复杂的处理；而是利用大量的人脸整体外观用结构化的方法来 训练出人脸检测的分类器。这个分类器通常表述为某一特征描述函数或特征分布 模型，从而通过这个分类器区分出入脸和非人脸。该方法往往要考虑减少用于表 征人脸的特征空间维数，以便降低计算复杂度和提高人脸检测效率。在这类方 法中，特征向量、统计学、信息学等思想也得到了运用。 可见，由于人脸检测问题的复杂性，上述各种方法都存在着自身的优缺点和 适用领域，无论那一类方法都无法适应所有的情况。目前，可行的办法是针对人 上海大学硕士论文 人脸检测算法及其应用研究 脸检测应用领域内某个或某些特定的问题相应地提出一种有效的人脸检测算法。 1 3 人脸检测的有关应用 本论文的工作来源于上海市教委的一个课题，该课题的目的是研究一种有效 的人脸检测技术，同时开发基于该技术的相关应用系统。考虑到实际情况，我们 设想将人脸检测技术应用于单位考勤，安全接入控制和住宅小区人员车辆管理等 方面。在实际应用中系统的规划设计是基础性的，合理的规划设计是系统顺利 实现的一个重要因素，可以有效地降低系统费用和实腌难度。 在研究和实践过程中，我们发现在很多情况下单凭一种信息或某一种方法很 难得到满意的检测结果因此，在构造实际系统时，应优先考虑使用能够反映人 脸不同特征的多源信息，并通过对多源信息的融合处理以提高检测的可靠性和鲁 棒性另外，在很多场合，要求系统能快速地从图像中检测出目标物体此时， 在不影响系统总体性能的前提下，可以考虑对问题作必要的和合理的简化处理以 便开发出相应的快速算法以满足实际系统对实时性的要求 在研究过程中，我们将系统设计和算法研究综合考虑，以便增强算法的有效 性和应用系统的扩展性。由此，在人脸检测算法研究过程中，我们充分考虑实际 应用环境和有关要求，注重提高算法在上述应用领域的有效性和实时性。本文提 出一种人脸检测算法。其主要思路是利用视频序列图像的差分信息得到运动目标 的子图像；采用两种肤色模型判决该包括运动目标的彩色图像，经过处理得到人 脸候选区域；随后利用眼睛部位的特点对候选人脸进行验证，确认该区域是否为 人脸；最后采用基于脸部边缘和h o u g h 变换检测椭圆或者采用基于人脸特征空 间几何分布关系分割人脸，从而得到人脸的准确区域。 1 4 论文的主要内容 本文就针对单位考勤，视频监测控制等领域的人脸检测算法进行了研究，同 时规划设计了基于这项技术的有关应用系统。文章的主要结构安排如下：第一章 主要介绍了人脸检测的研究意义和研究现状，同时对本文的主要工作和结构安排 做了一个简要说明；第二章首先介绍了在有关应用系统实现时需要解决的一些问 题，然后提出了两套应用系统的规划设计，并相应地说明了系统的工作流程；第 e 海大学颂士论文人脸检测算法及其应用研究 三章主要介绍了如何检测运动目标区域，提出了一种基于序列图像差分的运动目 标检测方法，这是本文所提出的人脸检测算法的第一步；第四章主要介绍了两个 肤色模型和各自的优缺点，我们提出了综合利用两者的优点来获取较好的人脸候 选区域判决结果以及有关处理策略；第五章主要介绍了本文采用的人脸验证和人 脸分割办法，解决如何确认人脸候选区域的真伪并得到人脸的准确区域；第六章 对论文馓了总结，并指出若干有待解决的问题。 海大学硕士论文 人脸检测算法及其应用研究 第二章人脸检测应用系统的规划 2 1 引言 前言已经提到一种可以适应所有情况的人脸检测算法是不切实际的，但是 在现有研究和实验的基础上，针对某些领域内寻求一种有效的人脸检测方法却 是现实可行的。大量的工程实践经验表明在系统设计中对一些环境进行合理的 约束不会对系统的功能产生过多的影响，但是它可以大幅度地降低系统实现的 复杂度和造价成本。因此，我们在研究人脸检测算法时充分考虑有关系统的特 点，从而提高算法的实用性和有效性。 基于各方面的原因，我们优先考虑解决单位考勤，安保监控和身份鉴定接 入等应用领域的人脸检测问题。这些实用系统对算法的实时性和可靠性要求高 于其他系统，因此，在设计算法的过程中，我们必须充分考虑系统特点和要求， 权衡取舍不同的性能指标，使得系统在全局达到最优。多方面的因素都有可能 影响到人脸检测算法的性能，包括光照情况，场景变化，人体的姿态，脸部表 情等等。人脸检测算法方案可以寻求不同的解决途径，因为不同的检测途径可 能在小同的检测应用场合具有优良的性能。首要考虑的问题是上述系统选取怎 样的检测方案和人脸特征。在科研实践中，理论研究成果能够被投入实际应用 是一件令人兴奋的事情，我们期待在理论实践过程中不断提高研究水平和完善 系统性能。基于现有的实验条件和研究成果，我们设计出了部分应用系统方案， 同时研究了有效，稳定的人脸检测算法。 2 2 系统规划设计 存现有技术条件下，设计实现一个或多个应用系统，为社会各应用领域 提供史好的服务是本课题研究目的之。本章节，我们对两套有关的应用系统 方案将做较详细的描述介绍。 t 簿大学颁十论文 人脸检测算法及其应用研究 2 2 1 系统规划设计一 系统名称：基于人脸检测和人脸匹配的考勤系统 系统功能：本系统能够自动采集人员图像，检测得到人脸，同时获取人员 身份# 信息，将采集得到的人脸和存储在系统中与身份卡对应的人脸进行匹 配，确认人员身份的真伪，完成一对一的身份验证工作。此外，该系统具有相 应的数据库管理功能和出错报警功能等，可以广泛运用于工矿企业和各事业单 位完成员工考勤等工作或其他身份验证接入控制，具有广阔的市场应用前景。 本系统主要由计算机软件处理平台和用于信息采集的硬件设备组成。除了 软件系统之外，系统需要的硬件设备：一台微机，一部身份信息读卡机，一部 彩色工业摄像头，一部红外传感器和其他设备连接器。其中，当系统需要同时 处理多个考勤点时可能额外需要一块扩展串口卡和相应的信息采集设备。系统 结构框图参见图2 一l ： c 图2 一l ：基于人脸检测和人脸匹配的考勤系统结构框图 工作流程：人员手持身份信息卡走近考勤信息读卡机，触发红外传感器， 启动摄像机摄取运动目标图片序列。读卡机提取用户信息，利用用户信息提取 出存储于软件管理系统的标准脸部图像；与此同时，软件系统从图片序列中检 测人脸部图像，提取出准确的人脸区域和人脸特征，利用相应的匹配算法衡量 两者的相似度量。若相似度量大于某个阈值，系统判定实际持卡人和考勤卡注 册信息吻合，否则系统判定人员信息不匹配，同时通知有关人员进行其他处理。 个q 选方案是将人员的标准脸部图像存储于用户信息卡，读卡机提取人员身 份信息同时读出内部脸部图像特征数据，进行相应的匹配判决处理。这些可选 【：海人学顺十论文 人脸检测算法及其应用研究 方案司以依据不同的实际情况加于选择，为系统实现提供了更大的选择空间 具有更好的灵活性。系统的流程框图参见图2 - - 2 ： 图2 2 ：基于人脸检测和人脸匹配的考勤系统的流程框图 2 2 2 系统规划设计二 系统名称：住宅小区人员车辆进出检测系统 系统功能：本系统可以自动采集运动目标图像，通过人脸检测算法判别运 动目标类型，即人员和车辆。若运动目标为人员，则检测出人脸区域，将脸部 - 图像存储到数据库。假如运动目标属于车辆等，则系统转到车辆处理单元，提 取有关车辆信息例如车牌等特征，同时将有关信息保存到数据库。该系统可以 减少存储图片数据量，节省系统资源，同时可以对进出住宅小区的人员车辆监 控，可以随时查看住宅小区的进出人员车辆信息，增强小区的安全保障能力。 类似，本系统也主要由计算机软件处理平台和用于信息采集的硬件设备组 成。除了软件系统，系统还需要的硬件设备包括：台微机，一部彩色工业摄 像头，两部红外传感器，一部地感线圈，一块串口扩展卡和其他设备连接器。 住宅小区的进口和出口应该分开处理，即采用两套系统，分别管理进口或 出口。当然软件系统的功能是完全相同的，区别在于图像采集设备的安装位置 不一样。进出 分开管理的目的是为了可以采集到清晰的视频图像，保证系统 能够及时处理进出目标，同时可以降低软件实现的难度。软件系统采用模块化 结构，多个模块分别处理不同的事务增强系统的可扩展性。目前系统主要设 计两大模块：一部分处理车辆管理，包括车牌的检测和识别等，( 利用本实验 室的已有研究成果) ，另外一。部分处理人员管理，包括人脸的检测等。在此条 件下，人脸识别受到各方面因素的限制目前很难达到实用要求。主要原因在于 特定人脸图像和存储在数据库内的大量人脸图像进行穷尽搜索匹配，时间是无 人脸检测算法及其应用研究 法控制的：此外，进出人员可以是一个或多个，包括多人脸检测问题，同时识 别也是不现实的。系统结构框图参见图2 3 ： 图2 3 ：住宅小区人员车辆进出检测系统结构框图 工作流程：当人员和车辆出入住宅小区时，红外传感器或地感线圈被触发 从而启动图像采集设备捕捉图像序列。我们通过序列图像差分检测得到包括运 动目标的子图像，对得到的子图像进行人脸的粗检。假如粗检结果不包括候选 人脸则判为非人员目标，系统转入车辆检测处理模块，否则转入人脸检测模块， 进行人脸的进一步检测。当然，假如人脸的进一步检测得到否定结果则系统重 新转入车辆检测处理模块。最后，系统将得到的人脸和车辆信息保存到数据库， 以便系统随时可以进行查询。系统的流程框图参见图2 4 ： 一一 f 开始1 热抛毒 上海大学硕士论文 人脸检测算法及其应用研究 图2 - - 4 ：住宅小区人员车辆进出检测系统流程框图 2 3 应用系统与视频采集模块的接口 由摄像机采集的数字视频序列通过u s b 接口或图像采集卡输入现场微机 现场讨算机需要提供相应的函数接口来进行实时处理。 2 3 1v c + + 6 0 提供的视频采集接口 w i n d o w s 下视频编程接口( v f w ) 是一个关于数字视频的软件包，它使得视 频数据的采集和编辑得以简化。v f w 提供了v b x 和a v i c a p 窗口类等主要 编辑工具，只需通过发送消息或设置属性等简单的操作就可以完成视频采集及 编辑工作。为了支持v f w ，v c + + 6 o 提供了许多专门的库文件，如：v f w 3 2 1 j b 、 m s a c m 3 2 1 i b 和w i n m m 1 i b 等，特别是它提供了功能强大、操作简单类似于 m c i w n d 的窗口类a v i c a p 。 a v i c a p 窗1 3 类提供的几个关键的宏及函数 采集窗口也就是被采集的视频图像的预览窗口。 用函数g h w n d c a p = c a p c r e a t e c a p t u r e w i n d o w 0 返回采集窗1 3 的句柄 ( g h w n d c a p ) 。随后用c a p d r i v e r c o n n e c t ( g h w n d c a p ，i n d e x ) t i p 可实现采集窗 口和指定的采集设备( 即摄像头) 的连接( i n d e x 是指定的采集设备的号码， 本系统设为0 ) ； 用c a p c a p t u r e g e t s e t u p c a p c a p t u r e s e t s e t u p 即可获取设置当前采集参 数：c a p g e t v i d e o f o r m a t c a p s e t v i d e o f o r m a t 用于获取设置视频格式。如可设 置视频采集帧速、帧分辨率、采集方式等。 a v i c a p 窗口类提供了七种回调函数来对不同的事件进行处理。用 c a p s e t c a l i b a c k o n f r a m e 登记注册的回调函数在每采集完一帧数据时被调用， 通过这个回凋函数即可获得采集到的数据并对它进行处理。 2 3 2 软件具体实现 在v c + + 6 0 开发环境中创建名为f a c e d e t e c t 的工程，假定已经将摄像头 ! 塑查堂堕；! ：丝茎 壁羔堕塑墅查墨望垄型旦! ! ! l 通过图像采集卡或u s b 接口与系统计算机相互连接。 在f a c e d e t e e t v i e w c p p 文件中定义g l o b a l 变量： h w n d g h w n d c a p ； l p b l t m a p i n f 0 l p b i ； i n tn w i d t h ； i n tn h e i g h t ； 初始化程睁段如下： g h w n d c a p = c a p c r e a ， i ， ，, t e c a p t ，u r e w i n d ，o w ( - n u m l - h lw s _ ，v i s i b l e w s child0,0 n w i d t h n h e i g h t t h i sw n d i d _ c a f w n d ) ； c a p s e t c a l l b a e k o n f r a m e ( g h w n d c a p ，& c a p p r o c ) ； c a p p r e v i e w r a t e ( g h w n d c a p ，2 5 0 ) ； c a p d r i v e r c o n n e c t ( g h w n d c a p ，o ) ； d w o r d d w s i z e = c a p g e t v i d e o f o r m a t s i z e ( g h w n d c a p ) ； i p b i = ( l p b i t m a p i n f o ) n e u n s i g n e dc h a r d w s i z e ； c a p g e t v i d e o f o r m a t ( g h w n d c a p ，l p b i ，d w s i z e ) ； l p b i 一 b m i h e a d e r o b i w i d t h = 3 2 0 ； - l p b i b m i h e a d e r b i h e i g h t = 16 0 ； l p b i b m i h e a d e r b i b i t c o u n t = 2 4 l ； l p b i 一 b m i h e a d e r b i c o m p r e s s i o n = 0 l ； l p b i - b m i h e a d e r b i s i z e l m a g e = ( i o n 曲( 3 2 0 2 4 0 。3 ) ； l p b i 一 b m i h e a d e r b i c i r u s e d = ( i o n 勘( 2 5 6 。2 5 6 。2 5 6 ) ； i p b i - b m i h e a d e r b i c i r l m p o r t a n t = 0 l ； i f ( ! c a p s e t v i d e o f o r m a t ( g h w n d c a p ，l p b i ，d w s i z e ) ) m e s s a g e b o x ( “u n s u p p o r t e dm o d e ”) ； r e t u r n ； 上海大学坝上论文 人脸检测算法及其应用研究 其中c a p p r o c 为回调函数，每次图像采集结束后，即会调用此函数。人脸 检测算法的运动目标检测，人脸区域检测和特征提取以及人脸匹配等操作都可 以在此函数内实现，其原型为： l r e s u l tc a l l b a c k c a p p r o e ( h w n d h w n d l p v i d e o h d r l p v h d r ) i f ( 1 p v h d r - d w f l a g s v h d r - d o n e ) 视频缓存已经装满 此处l p v h d r - l p d a t a 中存放的即为捕捉的一帧视频数据 此处进行各种处理 r e t u r n ( l r e s u l t ) t r u e ； ) ) 海大学硕士论文 人脸检测算法及其应用研究 第三章运动目标的检测算法研究 3 1 运动检测概述 运动检测可以进行目标跟踪和目标提取等，同时很多应用场合可以用于简化 后续处理，优化改善系统引猜。尤其当今计算机性能的迅速提升，视频和序列图 像的处理已经不够成技术障碍，因此运动检测得到越来越广泛的应用。目前，运 动目标检测算法多种多样，譬如光流检测、基于m p e g 2 4 的宏块检测算法、基 于固定背景的运动差分和基于序列图像的差分方法等。 本文提出一种基于序列图像差分的运动目标检测方法。序列图像差分相对 m p e g 2 4 宏块检测方法而言算法简单、容易实现，同时避免了固定背景差分法 棘手的背景有效更新问题。由于相邻几帧序列图像是在很短时间内拍摄得到的， 一般情况下环境及光照变化很小，通过一定的处理后可认为前后帧背景保持一 致。因此通过序列图像差分，我们可以有效地提取运动信息，尤其可以检测出运 动遮挡和显露区域，其中也包括运动重叠区域。由于相邻两帧进行差分处理而且 目标运动速度不高，运动目标可以被认为在较小空间范围内变化。根据运动信息， 。 我们可以检测出目标的大致位置，分割生成一幅包括运动目标的子图像。这样处 理有两个好处：一方面可以剔除大部分静止背景，减少后续人脸检测的背景干扰， 有助于提高人脸检测的准确度；另外由于后续检测算法仅需处理包括运动目标的 局部图像，运算数据量大为减少，有助于提高算法的实时性能。 3 2 图像差分检测算法 令：s = ( 习，眈j 飘1 为长度等于一的图像序列 令6 s l j 。i5 一一5 了j ：& ，o s ：8 s = ( 6 s i jil i ，j n ，5 s i j 为图像序列 中第i ，j 两幅图像差值的绝对值图像，6 s 为差图像的集合。 上海大学硕： ：论文 人脸检测算法及其应用研究 令v6 s i j ( n ) = 芝蕊( m ，n ) ，h6 s i j ( m ) 2 蕊( m ，n ) 分别为差图像6 s i j 在水 m = l ”2 i 平轴上的垂直投影和在垂直轴上的水平投影( 为图像的高度，为图像的宽度) 。 令v6 s = v6 s i ji6 s i j 6 s ) 和h6 s2 h5 s i j5 s i j e5 s 分别为差分图 像的垂直投影集合和水平投影集合。 参考文献 4 的方法是先将差分图像阈值化分割生成二值图像，然后对其采 用统计非零像素方法做垂直和水平投影v5 s ij ( n ) 和h6 s ( m ) ，而本文在此基础 上改进为在做垂真和水平投影v6 s i ( n ) 和h6 s ij ( m ) 时直接统计灰度差分图像 s ij 的灰度值，即6 s ii 缸而为差分图像的灰度值。改进后的优点：- n 避免求取 阈值的过程，减少了运算量；另外，由于在差分图像中运动目标的显露和遮挡部 分灰度变化更大，差分灰度值相应也较大，因此在做灰度统计的垂直投影和水平 投影时得到更加明显的边界跃变。 从图3 一l ( c ) 和图3 - 3 ( a ) ( b ) 可以看出，差分图像在运动区域内水平投影( h6 s ii ) 和垂直投影( v6 s i ) 有较大的幅值，并在运动边界部分有明显的峰值，而在 静止部分，水平投影和垂直投影的幅值很小。若运动目标为进出人员或考勤人员， 通常我们依据水平投影和垂直投影确定上部边界( 头顶) 和左右边界( 身体的两 侧) ，从而可以得到包括运动目标的子图像。当然，在不同的应用场合，分割得到 的子图像包含个数不确定的运动目标。在考勤系统中，由于运动目标唯一，我们 可以依据人体的几何比例进一步确定一个下边界，得到一个头肩部图像，从而进 一步减少候选对象区域，参见文献 1 9 。在多运动目标情况下，系统不能够仅仅 通过一个简单的几何比例确定子图像的下边界，通常依据水平投影的另外一个峰 值或者直接以原始图像的下边界来确定子图像的下边界。然而，在运动目标为汽 车时，通常我们可以仅确定左边界或右边界，通常上下边界需要保持原始图像的 上下边界，另外一个左右边界可以依据一个比例粗略确定。上述图像差分处理 过程见图3 一l 所示： 上海大学硕士论文 人脸检测算法及其应用研究 ( c ) ( d ) 图3 1 ：序列图像差分检测运动目标的处理过程 ( a ) 序列图像的第1 帧彩色图像的灰度图像；( b ) 序列图图像的第j 帧彩色图像的灰度 图像；( c ) 第1 j 帧灰度图像的差分灰度图像：( d ) 差分灰度的二值图像( 仅用于说明差分 图像包含的信息，本文采用直接统计灰度的方法) 实验结果表明；为了得到良好、稳定的运动判决结果，我们需要依据运动目 标的速度来考虑采集间隔，否则由于相邻两帧之间可能无明显的运动导致无法检 测出运动目标，常出现在人员低速进出的情况。为了提高运动目标检测的可靠性， 我们采用多帧图像差分叠加的统计方法，可以提高方法的适应性和鲁棒性，有效 地降低了运动检测失败概率。如摄像头视频采集速度为2 5 帧秒，我们采用连续 五帧图像( 即舻5 ) ，存：竺坚善塑其中掇。；：i s ，一$ 5 1 ，舔：。：i s ：一s 。 ，通过对瘪 2 进行水平及垂直投影确定最后的边界，用得到的边界对图像& 进行图像分割得 到运动目标子图像。此方法在提高检测的鲁帮性能同时在一定程度上消除了噪声 的影响。为了消除冲激噪声的干扰，我们对投影曲线进行曲线拟合，类似进行部 分平滑处理，这与所采用的边界确定方法有关，边界确定方法将在下一节介绍。 上海大学硕士论文 人脸检测算法及其应用研究 ( e )( f ) 图3 2 ：两帧图像差分和多帧图像差分叠加的比较 ( a ) 第1 ，j 帧图像的差分灰度图像；( b ) 图像( a ) 的二值图像；( c ) 第1 + l ，j + l 帧图像 的差分灰度图像：( d ) 图像( c ) 的二值图像；( e ) 差分灰度图像( a ) ，( c ) 的叠加图像：( f ) 叠 加图像( e ) 的二值图像；注：( b ) ，( d ) ，( f ) 均为用来止读者更清晰地看到处理地差别 3 3 边界自动提取 自动提取运动目标边界方法可能多种多样，本文曾参考了文献 2 n n n n 部边界办法，即依据梯度变化规律寻找某些曲线拐点位置。实验表明：在后续人 脸部边界检测中，该方法在头部姿态比较端正的情况下可以取得较好的检测效 果，但是当人脸倾斜度o l o 。，算法通常无法检测出实际位置，算法失效。通 人脸检测算法发其应用研究 过观察实验得到的大量垂直和水平投影曲线的分布特征，我们决定采用一个比较 简洁工程方法，即相对全局最大值而言，取某个比例所处的位置为运动边界。上 一节，我们已经提到像素投影图在运动边界附近具有峰值( 即运动目标的左右边 界分别对n ! 投影图的两个波峰) ，因此我们通过确定波峰的上升和下降的某个阈 值点可以得到粗略的运动边界。实验表明该方法具有鲁棒性强，运算简单等多个 优点，不过算法的性能与所选取的闽值有较大关系。我们采用不同的闽值进行边 界检测实验结果表明闽值取t = 00 5 左右可以得到满意的分割结果，良好地均衡 了算法抗十扰能力和边界检测准确性之间的冲突。边界检测算法如下： h“ 令y 沏) = d ( m ，) ，( h ) = d ( m ，n ) 分别表示差分图像d ( m ”) 的垂直投 n = lm = 【 影曲线和水平投影曲线，其中w ，h 为图像的宽度和高度。同时，令 v ；n “= m a x ( v ( m ) ) ，h m x _ m a x ( h ( n ) ) 为垂直投影曲线和水平投影曲线的4 嗥值。由 于矿) ，i t ( n ) 均为一维变量数组，故得到的矿，h 一为一个大于零的常量。 对于f 7 ( ) 选取l _ w 方向依次寻找某一位置m ，若对应的像素值乓掣r ， p 则可以认为m l 为运动目标的左边界( 翔= m 1 ) ；然后从寸m t 方向依次寻找某 一位置。，若对应的像素值；婴生f ，则可以认为，为运动目标的右边界 ， ( m = m 2 ) 。其中f 为检测设定的阈值。由此，我们可以得到运动目标左右边界。 同理，对于( 月) 选取1 一h 方向依次寻找某一位置”，若对应的像素值型f 爿m 、 则可以认为n l 为运动目标的上边界( 即顶部位置n = h 1 ) ；从斗n l 方向依次寻 找某位置月! ，若对应的像素值尝竺兰f ，则可以认为n 2 为运动目标的下边界 ，i i n a x ( 即底部位置h = n 2 ) 。似如搜索过程没有找到有效位置，可能意味目标没有完 全进入摄像机的场景( 常出现于车辆情况中) ，算法自动保留原始图像的对应边 界。上述闽值参数f 在本算法中取值为0 0 5 即r = 0 0 5 。由于上述步骤的目的为 耜略检测运动物体区域，减少后续处理的搜索范围，本文所提出的算法可以取得 令人满意的边界俭测结果。边界确定方法和最后的分割结果如图3 3 所示： 圭查查兰堡主笙塞 尘堕丝型兰鲨墨苎堡旦! ! ! l ( a ) ( b ) ( c )( d ) 图3 3 ：确定运动边界和运动目标分割结果 ( a ) 差分图像往水平方向x 轴的灰度投影图，其中x l ，x r 分别为算法确定的运动区域的 左右边界：( b ) 差分图像往垂直方向y 轴的灰度投影图，其中y t o p 为算法确定的运动区 域的上边界，并保留原始图像的下边界：( c ) 待检测的原始彩色图像；( d ) 经运动目标检 测后去除了大部分静止背景的运动目标彩色子图像，此图像将用于后续的肤色检测等处理 1 8 上海大学硕上论文 脸检测算法及其应用研究 第四章肤色模型和肤色检测 4 1 肤色检测综述 我们在人脸检测算法中加入对肤色信息的应用，其目的是希望通过在图像中 i 进行是否是肤色的预先判断，从而排除非肤色区域即不可能存在人脸的区域，达 到减小搜索空间、提高人脸检测算法的时间效率和降低误报率的作用。 大量的研究表明无论图像的亮度信息变化情况下，人体肤色在色度空间内分 布稳定，聚集在色度平面内一个狭窄区域，丽且欧洲、非洲和亚洲等种族人群肤 色象素均分布在色度空间的同一个区域。依据人体肤色聚集分布特性，不同研究 人员在各个彩色空间内建立了大量的肤色聚类模型。在此，我们对常用的色彩空 间和肤色模型分别做一个简要介绍： 4 1 1 常用的色彩空间 根据计算机色彩理论，对种颜色而言，在计算机中有不同的表达方式， 这样就形成了各种不同的色彩空间。当然各种色彩空间只不过是颜色在计算机内 不同的表达形式而已，每一种色彩空间也都有其各自的产生背景、应用领域等等。 主要的色彩空间有以下几种： 1 r g b 格式( 红、绿、蓝三基色模型) 出于彩色图像是多光谱图像的一种特殊情况，对应于人类视觉的三基色即 红、绿、蓝三个波段，是对人眼的光谱量化性质的近似。因此利用r 、g 、b 三 基色这三个分量来表征颜色是很自然的一种格式。而且多数的图像采集设备都是 以c c d 技术为核心，直接感知色彩的r 、g 、b 三个分量，这也使得三基色模烈 成为图像成像、显示、打印等设备的基础，具有十分重要的作用。 2 h s i 格式( 色度、饱和度、亮度模型) ， 这是m u n s e u 提出的色彩系统模型，经常为艺术家所使用。这种格式反映了 人类舰察色彩的方式，同时也有利于图像处理。在对色彩信息的利用中，这种格 e 海大学硕l j 沦文 人脸检测算法及其应用研究 式的优点在于它将亮度( i ) 与反映色彩本质特性的两个参数色度( h ) 和饱和度 ( s ) 有效地区分。我们提取一类物体( 比如现在研究的人脸) 在色彩方面的特 性时经常需要了解其在菜一色彩空间的聚类特性，而这一聚类特性往往体现在 色彩的本质特性上，而又经常受到光照明暗等条件的干扰影响。光照明暗给物体 颜色带来的直接影响就是亮度分量( i ) ，所以若能将亮度分量从色彩中提取出去， 而只用反映色彩本质特性的色度、饱和度来进行聚类分析，会获得比较好的效果 这也f 是h s i 格式在彩色图像处理和计算机视觉的研究中经常被使用的原因。 3 y c b c r ( y u v ) 格式 这种色彩空间是以演播室质量标准为目标的c c i r 6 0 1 编码方案中采用的彩 色表示模型，