实时瞳孔检测与跟踪.doc

摘要 实时瞳孔检测与跟踪是计算机视觉领域一个重要的课题，在人脸检测、人脸识别、司机驾驶行为监控、人机接口等方面具有重要应用。瞳孔检测与跟踪可分为三个阶段:人脸检测、瞳孔检测、瞳孔跟踪。近年来，科学家们在上述各个方面进行了很多研究，但这些问题仍未得到很好解决。 本文试图对一些现有的人脸检测、瞳孔检测与跟踪方法进行改进，以得到一个性能良好的瞳孔检测与跟踪系统。 首先，研究了不同彩色空间下不同的肤色模型。针对己有肤色模型在人脸检测中存在的不能较准确检测出皮肤、对光照条件敏感等问题，在大量实验数据基础上，建立了一种基于YCbCr色彩空间的肤色模型。实验结果表明:本文方法在不同肤色以及较大的光照变化条件下均具有较好的检测率。 其次，针对基于人面部各个特征部位(眉毛、瞳孔、鼻子、嘴巴等)之间的几何结构的眼睛检测方法只考虑了特征部位相互间的相对位置信息的不足，将人脸特征部位的对称性引入该方法的评价函数中。实验证明改进后的评价体系瞳孔检测更准确。 最后，将卡尔曼滤波与Mean-shift算法相结合用于瞳孔跟踪的方法，不仅提高瞳孔跟踪的准确性，还提高了跟踪速度。关键字:肤色模型，人脸几何模型，瞳孔检测与跟踪卡尔曼滤波，Mean-shift算法Abstract Real-time pupil detection and tracking technology is an important research topic incomputer vision area. It has many applications in face detection, face recognition,drivers monitoring, human-computer interface etc. There are mainly three steps inpupil detection and tracking: face detection, pupil detection and pupil tracking. Inrecent years, many works have been done in this area but it is still a challengingproblem.In this paper, some methods to face detection, pupil detection and tracking aremodified to better performance. Firstly, different skin models in different color space are studied and a novel skinmodel in YCbCr color space is proposed, which is insensitively to illuminationchanges. Experimental results indicate that this skin model performance well underdifferent skin color and various light conditions. Secondly, face symmetry is considered in the evaluation function in the geometricalface model based eyes detection method. Experimental results show that the improvedestimation system works better in pupil detection. Finally, Kalman filtering and Mean-shift algorithm is combined in pupil tracking toimprove both tracking accuracy and tracking speed.Key words: Skin model, Geometrical face model, Pupil detection and trackingKalman filtering, Mean-shift algorithm目录第一章 绪论.,. . 1. 1研究背景及意义. 1.2典型应用二. 1. 3研究现状. 1.4相关理论介绍. 1.5图像采集系统组成，. 1. 6主要研究内容和章节安排.第二章 基于新肤色模型的皮肤检测. . 2. 1常用的颜色空间. 2. 2基于肤色模型的人脸检测研究现状. 2. 3新肤色模型. .第三章 基于改进面部几何模型的晚孔定位方法. 3. 1瞳孔定位方法概述. 3. 2基于改进面部几何模型的瞳孔检测方法.第四章 基于KALMAN滤波和MEAN SHIFT算法. . 4. 1 I(uuN滤波. . 4.2 M SHIFT算法二. . 4. 3算法实现. . 4. 4实验结果及分析.第五章 总结与展望. . 5. 1所做工作总结. . 5. 2未来工作展望. .致谢. . .参考文献:. . .56第一章绪论 实时瞳孔检测与跟踪技术是计算机视觉领域一个重要的研究课题，涉及到生理学、人工智能、模式识别、计算机视觉、图像分析与处理等多个学科。 瞳孔检测与跟踪技术最初是随着人脸检测与跟踪，表情分析等人脸分析技术的发展而发展起来的。早在上个世纪六、七十年代提出了人脸识别(facerecognition)要求检测人脸，就伴随着瞳孔检测需求的提出。 随着人脸分析技术成为研究热点，作为其基础的瞳孔检测与跟踪技术迫切需要得到很好解决。本文将对实时瞳孔检测与跟踪技术进行研究。1.1研究背景及意义 实时瞳孔检测与跟踪技术的研究在公共安全保障、交通安全监控、医疗、刑侦等领域的需求越来越迫切。作为人脸检测、识别与跟踪技术的基础以及其广泛的应用前景，其研究价值是显而易见的。 随着经济的发展、计算机技术以及人机交互技术的突破，如何实现计算机对人身份的自动识别与监控以及理解人类的行为模式的研究需求变得越来越迫切。 目前的自动人脸识别系统还需要人的干预。如对敏感场所(银行、超市、停车场等)的监控，往往是由保安人员24小时巡逻。部分场所装有摄像机，但还是需要专门工作人员监视显示器以便及时发现异常事件。这样不仅需要投入大量的人力、物力资源，而且由于人的精力和注意力有限，在高强度的工作环境下往往可能会出现疏漏，从而不能及时对异常情况做出反应。 为避免这些不足，利用计算机视觉和图像图形的方法，在不需要人干预、或者只需要很少干预的情况下，通过对摄像机拍录的视频图像序列进行分析来实现人脸的检测、识别与跟踪，在此基础上获取人体姿态和运动参数，并进一步进行语义分析和行为理解。总之，要在不侵犯被分析者的前提下，实现运动分析的自动化，从而使人从繁琐的劳动中解放出来。 于是自动人脸识别(AFR)技术成为了这个应用领域的研究热点之一，而瞳孔检测与跟踪技术作为AFR技术的重点和难点，并且作为模式识别、计算机视觉以及图像分析与处理等多个学科的综合性课题，自然应该得到足够的重视。1. 2典型应用 实时瞳孔检测与跟踪方法研究具有很大的理论和应用价值。 理论方面，瞳孔检测与跟踪的研究涉及到心理学、生理学、人工智能、模式识别、计算机视觉、图像分析与处理等多个学科领域，更是模式识别、图像处理和计算机视觉的有机结合的综合性课题。对这一问题的深入研究和彻底解决，有助于对其他对象自动识别问题的研究分析和解决。 瞳孔检测与跟踪技术被重视的另一个重要原因是其在医疗卫生、交通安全、公共安全保障、军事、刑侦等领域有巨大的潜在的应用价值。在此，简要地举几个在生活中实际应用的例子: 1.在医疗方面，我们可以通过检测和跟踪监视一个人的瞳孔情况可以判断 一个人的精神状况，比如精神是否正常; 2.交通安全方面，我们可以对驾驶员的瞳孔进行检测与跟踪，根据其瞳孔 的活动情况判断是否是疲劳驾驶，不仅可以避免交通事故的发生，而且 可以节约不必要的人力和财力资源，间接地提高经济效益; 3.在审问犯人过程中对其瞳孔进行监测与跟踪，判断其心理活动情况，掌 握审问的主动权，还可以根据其瞳孔活动情况判断其供词的真实性。 4.在下一代人机接口技术中，还会出现通过眨瞳孔以替代目前点击鼠标的 输入方式U,201. 3研究现状 瞳孔检测作为人脸识别的一部分被提出。关于瞳孔检测方面，国内外虽然有不少人提出了不同的观点，目前主流的方法有模板匹配方法、投影法、“特征眼”法、基于小波变换方法、对称性方法和基于神经网络的方法。Kanade及其他研究人员开发了从一幅静态图像中检测瞳孔特征的方法3_7，更多的瞳孔特征检测方法是基于YUlll的不规则模板方法3,4,6,7，但是由于不规则模板的方案需要耗费大量的时间，所以该方法很难应用于视频图像中的瞳孔跟踪。但是如果用于瞳孔跟踪跟踪，这些方案还远不能满足实时性要求。 随着各研究和应用领域对实时性要求的提高，对实时瞳孔检测与跟踪方法进行系统研究的要求也越来越显得突出和迫切。但截至目前还没有一种完善的理论和方法能够准确和有效的方法来对视频图像中人脸部的瞳孔进行实时、准确的检测与跟踪。 目前已经出现的一些比较有效的瞳孔检测与跟踪方法有:BalaB等人提出一种基于遗传算法和决策树的瞳孔检测与跟踪的方法。该算法比较复杂，形成的视觉规则也不成熟，而且该方法的准确性和实时性都不能满足要求。Reinders9】等人提出一种基于神经网络的瞳孔检测与跟踪方法。该方法由于训练模板的选择存在很大的差异性，使得检测结果的准确性也很难达到要求，由于算法的复杂度高也使得实时性达不到要求。Wu and Zhoulo】提出一种基于灰度对比的瞳孔检测与跟踪方法。该方法简单，但准确性较低。V incent 提出了在神经网络进行特征定位中采用的分级定位方法。该方法的实时性不能满足要求，而且由于训练模板的不同，检测结果仍然会受到影响。Hutchinson and Starker203提出运用瞳孔对红外线的反射率进行瞳孔定位的方法。该方法只能对瞳孔位置进行粗定位，准确性达不到要求。 研究表明，以前的检测方法或是准确性还不能达到一定的要求，或是在准确性方面能够达到一定程度，但是以花费大量的时间为代价换取的，不能够达到实时性要求。1. 4相关理论介绍 瞳孔检测与跟踪就是要检测出图像中的瞳孔位置并进行实时跟踪。对于这个问题的深入研究要用到计算机视觉、模式识别、人工智能、图像处理和图像编码等多个学科的理论。1. 4. 1计算机视觉理论 人类的视觉系统是功能最强大和完善的视觉系统，但人们并不能描述和解释自身的视觉系统是如何对信息进行处理的，因此通过对计算机视觉的研究、模拟，人们有可能逐步地揭开人类视觉的信息处理机制，从而了解人类的思维机制、推理机制等。因此，用计算机信息处理的方法研究人类视觉的机理，建立人类视觉的计算理论，也是一个非常重要和有趣的研究领域。 计算机视觉(cv)又称之为图像理解和图像分析，是当今世界上最为活跃也是最有争议的学科之一。工EEE 1988年8月的会刊组织了计算机视觉专辑，在其引言中，定义CV为用任何办法对2Q数据作出理解，。简单说来，计算机视觉就是用各种成像系统代替视觉器官作为视觉信息输入手段，由计算机来代替大脑完成处理和解释，并根据解释结果做出相应的决策。 对于正常人来说，视觉理解外部世界并不是一件困难的事，然而要建立一个计算机系统，实现类比人视觉的计算机视觉，却存在以下困难: (1)由于图像是三维景物的二维投影，一幅图像本身不具备复现三维景物的 全部几何信息。 (2)图像在形成过程中受到许多因素的影响，诸如照相机的质量，光传播介 质的特性，照射景物光的特性，目标的反对特性等，很难具体分清每个 因素对某具体图像所产生的具体影响。 (3)图像本身不具有精确理解三维景物的全部信息，还需要知识的导引。 (4)计算机视觉是模仿人的视觉，人的感知机理影响着计算机视觉的研究。 (5)实现图像理解，计算机数据量很大。 计算机视觉的研究历史己有四十多年，几十年的研究工作出现了很多专用计算机视觉系统。但由于它是一门交叉性很强的学科，还涉及计算机、数学、光学、最优控制、神经生理学、神经心理学和临床病理学等自然学科，还涉及哲学，认知心理学以至美学等社会科学。 在理论发展的同时，计算机视觉技术也得到广泛的应用。目前主要在以下几个方面: (1)遥感测量:支持诸如光电，综合孔径雷达，多波段图像等多种类型传感 器获得的大尺寸的航天图象。涉及到的主要任务包括:图像获取和融合， 目标识别，变化检测和测量。 (2)精确制导:提供目标识别和跟踪算法，将图解理解应用于导弹制导。 应用任务包括:图像序列、主动视觉和目标识别。 (3)视觉导航:支持陆地侦察车辆的导航，应用任务包括:道路跟踪，地形 分析，障碍防撞和目标识别。 (4)工业视觉:为先进的设计和制造技术增添新的激励，这个领域的应用任 务包括:距离图像传感器的发展和距离数据分析，图象分割自动建模学 和可视反馈。 计算机视觉的最终研究目标就是使计算机能像人那样通过对视觉信息的处理来观察和理解世界，从而对外界事物做出反应。在瞳孔检测与跟踪中也同样会遇到相应的问题，即从一幅图像的描述中如何抽取出能够适应各种光照变化的瞳孔描述，从而得到瞳孔区域，就正如人的视觉系统可以在各种变化的光照条件下，清楚地辨认目标那样。 瞳孔检测不仅与计算机视觉有紧密关系，同样，模式识别和图像处理理论对瞳孔检测与跟踪更具有直接指导意义。1.4.2模式识别理论 模式识别诞生于20世纪20年代，随着40年代计算机的出现，50年代人工智能的兴起，模式识别在60年代初迅速发展成一门学科。它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能系统的发展，扩大了计算机应用的可能性。 人们为了掌握客观事物，按事物的相似程度组成类别。模式识别的作用和目的就在于面对某一具体事物时将其正确的归入某一类别。由于目前计算机的模式识别在许多方面还远不成熟，因此研究人脑中的模式识别过程对提高机器的能力是有益的。反之，研究机器模式识别的能力对于理解人脑中的过程也有很大帮助，认知心理学的很多新模型即得益于此。 这里所说的模式，广义上来讲是指存在于时间和空间中可观察的事物，如果我们可以区别他们是否相同或是否相似，都可以称之为模式。但模式所指的不是事物本身，而是我们从事物获得的信息。因此，模式往往表现为具有时间或空间分布的信息。 基于统计方法的模式识别系统主要由4个部分组成:数据获取，预处理，特征提取和选择，分类决策，下面分别进行描述。 数据获取就是从外部客观世界获得我们要研究的对象的数字化描述的过程。输入对象的信息通常有三种:二维图像、一维波形、物理参量和逻辑值。通过测量、采样和量化，可以用矩阵或向量表示二维图像或一维波形。这就是数据获取的过程。瞳孔检测与跟踪中输入的对象是二维彩色图像。 预处理是将模式识别的样本从一定的环境中抽取出不受更多干扰因素影响的待识别样本。其目的是去除噪声，加强有用的信息，并对输入测量仪器或其它因素所造成的退化现象进行复原。瞳孔检测与跟踪中的预处理通常是对二维彩色图像进行低通滤波或中值滤波来降低噪声。 特征选择和提取就是要从许多特征中找出那些最有效的特征。由图像或波形所获得的数据量是相当大的，为了有效的实现分类识别，就要对原始数据进行变换，得到最能反映类别本质的特征。 特征提取和选择后得到的特征空间是为了分类，对于相同的物体在不同的分类规则下，所提取的特征必须满足在某种准则下的分类错误最小。在一般情况下，选择适当的正交变换，考虑特征之间的统计关系，提取出最有效的特征。 瞳孔检测与跟踪实际上是在颜色空间中对于像素点的瞳孔与非瞳孔的分类，这里的特征提取与选择实际上是为解决相应的问题而选择合适的颜色空间或经过适当的正交变换生成新的特征的过程。 分类决策就是在特征空间中用统一方法把被识别对象归为某一类别。基本做法是在样本训练集基础上确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。好的模式识别算法在特征空间上必然有好的分类算法来减少分类的错误率，在特征空间充分地反应模式空间的程度也决定分类的错误率，因此降低错误率是模式识别研究的中心问题。瞳孔区域像素的分类问题就是选择适当分类准则以取得较好的瞳孔检测与跟踪结果。 瞳孔检测与跟踪是模式识别中的一个具体问题，它也可以相应的分为图像获取模块、皮肤检测模块、瞳孔定位与跟踪模块等部分组成。1.4.3图像处理理论 图像处理就是对图像信息进行加工以满足人的视觉心理或应用需求的行为。本文的图像处理主要是数字图像处理(Digital Image Processing)，通常用计算机进行处理，因此也叫计算机图像处理(Computer Image Processing)。主要包括一下几项主要内容: (1)点运算主要针对图像的象素进行加、减、乘、除等运算。可以有效改变图像的直方图分布，提高图像的分辨率和图像均衡。 (2)几何处理包括坐标转换，图像的移动、缩小、放大、旋转，多个图像的配准以及图像扭曲校正等。 (3)图像增强突出图像中的重要信息，同时减弱或者去除不需要的信息。 (4)图像复原主要是去除噪声干扰和模糊，恢复图像本来面目。 (5)形态滤波是数学形态学的延伸，是一门独立的研究学科。利用图像形态学处理技术可以实现图像的膨胀、腐蚀、细化和分割等效果。(6)图像编码主要是利用图像信号的统计特性及人类视觉特性对图像进行高效编码，以达到压缩图像的目的。(7)图像重建主要是利用采集的数据来重建图像，有代数法、迭代法等。(8)模式识别有统计识别法、句法结构模式识别法和模糊识别法等。1. 5图像采集系统组成 在基于数字图像处理技术的所有系统，特别是视频图像处理过程中，首先必须解决的问题就是图像采集，即图像数据的获取，所采集到的图像数据用于后期的图像处理。 视频图像获取一般来讲有两种方法实现，一种是利用图像采集卡所附带的SDK开发工具，这种捕获方法的实现是与设备有关的，依赖于视频捕获卡与摄像头的类型，但该方法实现起来比较容易;另外一种获取方法是利用Microsoft的Visual C+ 4.0以后版本所支持的Video for Windows(简称VFW)技术，这种方法实现起来需要编写大量实现程序。本文采用硬件和相应软件相结合的图像获取方法。1. 5. 1硬件组成 如图1-1所示，图像采集系统的硬件主要由摄像头、图像采集卡和PC组成。本系统选用佳能MV880摄像机。该摄像机静态图像的分辨率有1152/864和640 X 480像素两种，动态短片:Motion JPEG: 320/240和160/120图像速率为12.5帧/秒。图象采集卡选用Meteor- II /Digital是加拿大Matrox公司研制生产的可用于面阵及线阵数字摄像机采集卡。Meteor- II !Digital为RS-422接口可用于对线阵及面阵摄像机的图像采集，具有32位PCI总线，内置4MB缓存，以保证图像数据的实时传输。1.5.2软件实现 首先安装采集卡的驱动程序，并将虚拟驱动文件VxD. vxd拷贝到Windows的SYSTEM目录下;进入VC开发平台，生成新的项目，由于一般生产厂家为图像采集卡提供了以mpew32. dl l , mpew32. 1 i b命名的库文件，库中提供了初始硬件、采集图像等函数，为使用这些函数，在新项目上连接该动态库;最后一步进行采集图像并显示处理，因为采集卡提供的是裸图，即纯图像数据，没有图像的规格和调色板信息，因此还需要设置系统调色板，这些需要开发者自己规定实现。 由于图像采集卡的文件资料不全，本文没有实现自动图像采集工作，用获得的视频图像中截取部分图像序列代替视频图像输入。1. 6主要研究内容和章节安排 瞳孔检测和跟踪的主要过程可分为三个步骤:人脸检测、瞳孔检测、瞳孔跟踪(如图1-2所示)。摄像头实时地拍摄人脸图像作为整个瞳孔检测与跟踪系统的输入部分。用图像采集卡采集视频图像，得到一组图像序列。对采集到的每一帧图像首先进行皮肤检测以确定是否有人脸以及判断人脸的大致区域，然后在人脸区域内检测瞳孔位置并进行跟踪。在瞳孔跟踪阶段，对每一帧图像都要确认跟踪是否正确，若跟踪误差超过规定的门限值则需要重新检测人脸、确定瞳孔位置，再进行跟踪工作。1. 6. 1本课题的主要研究内容 本课题的研究目的在于将计算机视觉技术、图像处理知识以及模式识别理论相结合，探索一种新的实时瞳孔定位与跟踪方法。研究的重点是结合己有的研究成果建立更加完善和精确的肤色模型，该模型可适用于不同肤色、不同光照、遮挡以及复杂背景下的人脸检测，并改进瞳孔检测与跟踪算法以达到准确性和实时性要求。具体研究内容如下: 1、研究了不同彩色空间下不同的肤色模型。针对已有肤色模型在人脸检测 中存在的不能较准确检测出皮肤、对光照条件敏感等问题，在大量实验 数据基础上，建立了一种基于YCbCr色彩空间的肤色模型。 2、针对基于人面部各个特征部位(眉毛、瞳孔、鼻子、嘴巴等)之间的几 何结构的眼睛检测方法只考虑了特征部位相互间的相对位置信息的不 足，将人脸特征部位的对称性引入评价函数中。实验证明改进后的评价 体系瞳孔检测更准确。 3、将卡尔曼滤波与Mean-shift算法相结合用于瞳孔跟踪的方法，以提高瞳 孔跟踪的准确性和跟踪速度。1.6.2本文内容安排 本文主要探索一种新的实时瞳孔定位与跟踪方法。论文主要内容安排如下: 第一章绪论主要介绍了实时瞳孔定位与跟踪的研究背景、研究意义及国内外研究现状，简要介绍了系统的软硬件组成。 第二章基于新肤色模型的皮肤检测主要阐述如何选择合适的颜色空间，以及如何建立准确皮肤模型的方法。介绍了基于物理的人脸数据库建立的新肤色模型，并给出利用该肤色模型完成的皮肤检测结果。 第三章基于改进几何模型的瞳孔定位方法介绍了瞳孔定位方法，着重分析了基于面部几何模型的瞳孔定位方法。在此基础上，探索并改进了该方法的评价体系并给出实验结果。 第四章基于Kalman滤波和Mean-shift算法的瞳孔跟踪方法研究提出了将Kalman滤波与Mean-shift算法相结合的瞳孔跟踪方法，并给出了图像序列的瞳孔跟踪结果。 第五章工作总结与展望对整个论文工作的总结与今后进一步工作的展望。第二章 基于新肤色模型的皮肤检测 要准确的检测并能够实时跟踪到图像中的瞳孔，需要首先确定图像中的人脸区域，然后再在人脸区域内进一步检测、定位瞳孔的方法，这样不仅可以提高检测的精度，更能大大缩小瞳孔检测的区域，提高检测速度。 人脸检测问题是一个有较大挑战性的课题，因为人脸包括五官、毛发等极不规则的复杂待测目标，而且采集的图像很容易受到各种条件变化以及各种噪声影响，主要表现为:(1)受外貌、表情、肤色等因素的影响，人脸具有很大可变性;(2)很多情况下脸上可能存在眼镜、胡须以及装饰品等附属物;(3)头部运动会造成图像中人脸位置、角度等发生变化;(4)不同光照条件对图像中人脸图像产生影响，亮度变化范围很大。(5)不同图像中人脸尺寸、位置以及背景噪声等各不相同。 由此可见快速、准确的完成人脸检测是存在很大困难的。研究表明，肤色在光照变化不大的情况下，相对比较稳定地集中在某一个区域，受表情、以及各种噪声的影响较小。如何选择合适的彩色空间适合于肤色表示和建立准确的肤色模型能更好的表征肤色的分布是准确、快速完成皮肤检测的最重要的两个问题，本文从这两方面作了比较系统的研究。2. 1常用的颜色空间 皮肤检测中，任何种形式的肤色模型都与色度空间(Chrominance Space)的选择密切相关。我们可以从两个方面考察某种色度空间的有效性:(1)在该色度空间中能否用给定的模型描述“肤色”区域的分布;(2)色度空间中“肤色”与“非肤色”区域的重叠有多少。 皮肤检测常用的色度空间主要有:RGB(红、绿、蓝三基色)、rgb(亮度归一化的三基色)、HIS(色调、亮度、饱和度)、YIQ (NTSC制的光亮度和色度模型)、YUV (PAL制的光亮度和色度模型)、YCbCr (CCIR601编码方式的色度模型，与YUV在数学上具有等价性)、CIE L*a*b(国际照明委员会提出的基于色度学的彩色模型)等。 目前使用最广泛的色彩空间是由CIE(Commission Intemationale deIEclairage)国际生物电子学委员会于1920年第一个开发出来，并在其基础上衍变而来的。三维CIE色彩空间根据三个方向轴线上的数值来描述任何一种颜色。其中一个数值表示照度，即颜色的明亮度，它本身不包含任何颜色;其它两个数值对应于色彩浓度和颜色值。在CIE色度图中，越靠近边界颜色的纯度越高(图2-1显示了边界颜色的区域)o CIE色彩是与设备无关的。它包含了RGB及CMYK的色域，但范围比它们要大得多，它涵盖了所有可见光色域。2. 1. 1 RGB颇色空间 这是最常用的颜色表示空间。绝大部分的可见光光谱可以用红、绿、蓝(RGB)三色光按照不同比例和强度的混合来表示。国际照明委员会CIE ( InternationalCommission on Illumination)选取标准的红、绿、蓝三种光的波长分别为:红光R:凡二700nm;绿光G:凡二546nm;蓝光B:凡= 435.8nm三种单色光作为表示色彩系统的三基色，这就形成了RGB三基色颜色空间。RGB颜色空间中R,G, B三个分量相互独立，其中R, G, B的任意一种颜色均不能由其它二色混合产生，同时它们又是完备的，即所有其它颜色都可以由R, G, B三种基色按不同的比例组合而得到。 计算机表示图像时，每一个象素的颜色由R, G, B三种基本颜色分量组成，对应真色彩图像，每一个颜色分量用8bi t表示，则最多可以表示224种颜色，也就是说一个象素可能包含224种颜色。 RGB色彩系统在图像表示、采集、存储、处理以及显示中有着重要的作用，但它一般不适合于直接用在颜色的分类中，这是因为该色彩系统中亮度信息是由三种颜色分量混合而成，随着亮度的变化，每个象素的颜色分量都随之跟着变化。 从上式转换中可以看出:由X, Y, Z变换为L*, a*, b*时包含有立方根的函数变换，经过这种非线形变换后，原来的马蹄形光谱轨迹不复保持。转换后的颜色空间可用笛卡儿直角坐标体系来表示，形成了对立色坐标表述的心理颜色空间，如图2-2所示。在这一坐标系统中，+a表示红色，-a表示绿色，+b表示黄色，-b表示蓝色，颜色的明度由L的百分数来表示。2. 1. 4 r gb归一化的颇色空间 同一目标同一部位的颜色由于在不同的成像条件下使得最后得到的图像相应部位的亮度分量有可能不同，这时用RGB空间表示颜色的异同就不方便了。虽然亮度的变化使R, G. B每个分量上的数值都在变化，但只要是都成比例地变化就认为颜色是一样的。因此有了归一化的RGB颜色空间。 rgb色彩空间中，肤色分布的类聚性比较好，因此也很多人在此空间完成皮肤检测。 人脸图像中不同区域的肤色差异主要存在于亮度上，通过色彩的亮度规一化可缩小肤色差异，便于对肤色进行聚类分析。实际上经过上述变换只有两维是独立的，相当于将三维的RGB空间降低成为二维的r-g空间。2. 1. 5 HIS颇色空间 不同的颜色可以用亮度、色调和饱和度来描述。瞳孔所看到的任一种彩色光都是这三个特性综合作用的效果，这三个特性是色彩的三个基本要素，其中亮度反映色彩明暗程度，色调是光波混合中与主波长有关的属性，它表示物体反射出来的由观察者接收到的颜色，饱和度即颜色的强度或纯度，它与包含的白光的量成反比。通常把色调和饱和度统称为色度，用来表示颜色的类别和深浅程度。 HIS颜色空间就是以瞳孔对颜色的感知为基础，适合人类对颜色的解释，用不同的色调(Hue)、亮度(Intensity)和饱和度(Saturation)来描述不同色彩。在此颜色空间中将亮度信息从色度(色调和饱和度)信息分离出来，且互相独立。因此，HIS颜色表达系统对于开赴基于色彩描述的图像分析处理方法是一个比较理想的选择。事实上在图像处理和计算机视觉系统的研究中大量的算法都用到了HIS颜色空间。例如在我们提取人脸目标在色彩方面的特性时，经常需要用到其在某一色彩空间的类聚特性，而色彩的类聚特性在有些色彩空间中会受到光照明暗等条件变化干扰的影响。光照明暗给物体颜色带来的直接影响就是亮度分量(I)发生变化，所以若能将亮度分量从色彩中分离出去，只用反映色彩本质特性的色度、饱和度等有用信息来进行类聚分析，会获得比较好的效果。但这种颜色空间不能由RGB色彩空间线性变换得到，HIS与RGB的转换关系如下: 但是由于该色彩空间是由RGB色彩空间经非线性变换得到的，在建立肤色模型的过程中，完成色彩空间的转换还是比较复杂的。2. 1. 6 YCbCr颇色空间 YCbCr颜色空间是以演播室质量标准为目标的CCIR601编码方案中采用的彩色表示模型，被广泛地应用在电视的色彩显示等领域中。它同样具有HSI模式中亮度分量与色度分离的优点，而且可以由与RGB色彩空间直接经过线性变换得到。 其中，瓦、瓦为Cr, Cb相应的平均值，V为协方差矩阵。 YCbCr色彩系统中，Y表示颜色的亮度，Cr表示红色成分的多少，Cb表示蓝色成分的多少，Cr和Cb一起表示颜色的色度信息。色度信息在很多彩色图像的分割的应用中是很有效的，也非常适合于将皮肤区域从图像背景中分割出来。研究表明虽然不同人的皮肤颜色可能相差很大，但它们在色度上的差异要远小于亮度上的差异。也就是说，不同人的肤色在色度上往往是很相近的，只是在亮度上有较大差异。人类皮肤的颜色在色度空间中的分布被证明是聚集在色度空间中一个较小的区域中的。2. 2基于肤色模型的人脸检测研究现状 人们对肤色检测已经做了广泛地研究。从简单的固定阂值的方法到自适应的肤色检测方法，肤色检测的研究己经有了很大的进展。以下就目前国内外的研究成果作一简要介绍。 肤色检测的目的就是要把图像中的像素分为肤色像素和非肤色像素，目前有很多方法进行肤色检测，归纳起来主要有以下几种:2. 2. 1固定阅值法 固定阐值法是最早的肤色检测方法。FleckS，采用对数颜色空间来进行肤色检测。姚61采用YUV颜色空间中的U和V分量，并将U和V经过坐标变换，使肤色值能够相对集中的体现在某个坐标轴上，然后用阐值进行肤色检测。Jiao，在YIQ和YUV混合颜色空间，采用I颜色分量和YUV的色度和饱和度形成的角度，通过闻值来进行肤色检测。Garciae介绍了在HSV, YCrCb颜色空间的肤色分布范围，用固定闽值来分类像素点。陶霖刃定义了新的颜色空间，在颜色空间中对肤色像素进行聚类，通过阐值来确定肤色的分布。Jason+0比较了三种肤色检测方法，其中一种采用R/G, G/B, R/B的值来确定肤色的范围，另一种方法采用YIQ颜色空间，通过为工设定闽值来检测。采用这两种方法，速度较快，但是结果虽然可以获得很高的正检率(94%)，但是误检率也很高(30%以上)。2. 2. 2 Baye。方法 Bayes方法不仅要训练得到肤色点的直方图，还要得到图像中所有非肤色点的颜色直方图。 文献中2-28都采用了Bayes的方法。这种方法认为不同的皮肤颜色出现的概率不同，出现的概率可以采用颜色直方图来表示。该方法首先为肤色和非肤色像素分别建立颜色直方图，然后利用像素点是肤色和非肤色的先验概率和条件概率通过Bayes公式来计算该像素点是肤色的后验概率进而进行分类，或者应用最小风险Bayes分类器来分类像素点。 这种方法对训练样本依赖性大，而且训练得到的肤色模型受光照影响很大。2. 2. 3离斯模型法 对于肤色分布的最常用的参数估计的方法就是高斯模型的方法，包括单高斯模型2932和混合高斯模型3337。单高斯模型的参数可以通过极大似然估计得到，混合高斯模型的参数可以通过EM(expectation maximization)算法得到。Jones比较了混合高斯模型和基于直方图的Bayesian统计方法，结论是统计颜色模型比混合高斯模型会取得更好的检测效果和更低的计算复杂性。Yang39认为单高斯模型没有混合高斯模型进行肤色检测的效果好。高斯模型法进行皮肤检测准确率较高，但实时性很差。2.2.4由神经网络训练得到的肤色模型 Pi irainen0，采用SOM(Self Organizing Map)进行肤色和非肤色像素的分类。Phung采用神经网络来把像素分为皮肤和非皮肤。该神经网络包括输入层、输出层和一个或若干个隐含层。采用神经网络首先要对它进行训练，训练时输入为皮肤像素颜色值和非皮肤像素颜色值。最后比较了神经网络不同结构的结果，结果表明网络结构为2-25-1可以得到较好的结果(正确率:91. 6%，错检率:4. 5%,漏检率:4. 3%)。 Enno4z，比较了统计方法和神经网络的皮肤分类结果。实验表明，当选择的特征只有单个像素颜色信息，普通正常的条件下，两者可以取得类似的结果。但是神经网络于更适合于复杂物体的分类。神经网络的分类方法即使在没有很好的表示训练数据或改变图片的分辨率的情况下，仍具有很好的鲁棒性。同时这种方法分类的性能在很大程度上与颜色的表示无关。2. 2. 5各种方法的优缺点比较 肤色检测技术经过前人的研究，得到了不断的完善和发展，对于正常光照条件下的肤色检测无论从颜色空间的选择还是检测方法，己经有很多的研究，并取得了令人满意的检测精度。 固定阐值法有模型简单的优点，但该模型很不精确(2. 3. 2节中有实验验证结果图2-3);Bayes方法对训练样本的依赖性很大，训练得到的肤色模型受光照条件变化影响大;高斯模型法模型复杂，计算量大，实时性差;由神经网络训练得到的肤色模型不仅依赖于训练样本，在还大程度上还受到网络模型、学习规则和训练方法的影响。综上所述，如何建立一个受光照条件等变化影响小、模型简单、检测速度快、准确率高的肤色模型仍是一个值得研究的课题。 基于肤色模型的人脸检测基本过程: .选择合适的颜色空间，然后把像素值映射到该空间中，建立肤色模型。 .根据所建立的肤色模型，检测输入图像的肤色像素，并去噪。 .由于图像中可能存在于人类肤色相似甚至相同的物体，肤色检测结果中可能包含大量的非肤色区域，因为某个特定人脸的肤色具有较强的一致性，与误检的肤色有相对的差异