（计算机应用技术专业论文）数字监控图像人脸检测算法的研究及实现.pdf

摘要 日前基丁网络的数字监控录像系统被广泛的应用于许多重要场所作为安全保障。这种模 式的数字监控录像系统需要不断地将监控场所的录像码流通过图像传输网络传到录像主机， 因此数据量非常庞火，对存储空间、网络负载提出了很大的挑战。如果开发一种人脸检测算 法对摄像机获取的每一帧图像进行人脸检测，然后只存储每一帧削像中的人脸数据，这就在 议大程度上减少了监控系统对存储空间、网络负载的需求。 根据数字监控录像系统的实际情况，本算法综合利_ j | j 了肤色信息和唇色信息，在候选人 脸区域中通过嘴唇检测来确定真正的人脸位置所在，并且作者动手组建c a u c s 人脸库， 通过对人脸库中大量样本的统计实验及最优阐值求解算法，确定肤色和唇色的最优闽值空 间：在确定肤色区域的算法中，综合比较各种色彩空间的优缺点并通过大量实验，提出一种 y c b c r 色彩空间和y e s 色彩空间相结合的方法，以上为本文的两个新见解。另外，本文针 对数字监控系统的实际需要，设计实现了数字监控录像系统的人脸检测算法。算法对彩色图 片进行了光线补偿处理，这样在一定程度上消除了光源颜色等客观环境的影响。在噪声去除 模块，为了去除二值化图像中的小空洞，算法选用数学形态学闭运算进行噪声去除，从而也 使得人脸检测率得到一定程度的提高。 为了检验本文开发算法的有效性，使用c a u c s 人脸库对其进行实验测试，实验结果 表明，该方法具有实时性好，检测和定位精度较高的特点。 关键词：人脸检测，肤色模型，彩色空间，唇色检测 a b s t r a c t t h e s ed a y s ，t h ed i g i t a lm o n i t o r i n gs y s t e m st h a tb a s e do nn e t w o r ka r ew i d e l yu s e d i n i m p o a a n ts i t e sf o rs e c u r i t y ss a k e i nt h es y s t e m sw o r k i n gm o d e ，t h er e c o r d e dd a t as t r e a mn e e d s t ob et r a n s m i t t e dt ot h em o n i t o r i n gc o m p u t e rc o n t i n u o u s l yt h r o u g ht h ei m a g et r a n s m i t t i n gn e t w o r k s ot h ed a t as f f e a mi se n o r m o u sa n di tb e c o m e sag r e a tc h a l l e n g ef o rt h ed a t as t o r a g es p a c ea n d n e t w o r kl o a di ft h e r ei ss u c haf a c ed e t e c t i o na l g o r i t h m ，w h i c hc a nd e t e c tt h ef a c ea r e ai ne v e r y f r a m eo fi m a g ea n do n l yt h ed a t ao f f a c ea r e ai ss a v e d ，n e t w o r kl o a da n dt h es t o r a g es p a c en e e d e d f o rb a n km o n i t o r i n gs y s t e mw i l lb eg r e a t l yr e d u c e d a c c o r d i n gt od i g i t a lm o n i t o r i n gs y s t e m 。sn e e d ，t h ea l g o r i t h mu s e db o t h s k i na n dl i p c o l o r i n f o r m a t i o na n dt h ef a c e sa r ed e t e c t e dt h r o u g ht h el i pd e t e c t i o ni nc a n d i d a t e df a c ea r e a s t h e a u t h o rf o u n d e dc a u c sf a c ed a t a b a s e b yt h es t a t i s t i c so f e x p e r i m e n t so ns a m p l e so f t h ed a t a b a s e a n dt h es k i no p t i m u mt h r e s h o l dr a n g ea c c o u n t i n ga l g o r i t h m ，t h eo p t i m u mt h r e s h o l ds c o p ei s d e f i n e d i nt h es k i nd e t e c t i o na l g o r i t h m ，t h ea u t h o rc o m p a r e dt h ea d v a n t a g e sa n dd i s a d v a n t a g e so f e v e r yc o l o rs p a c ea n dp r e s e n t e dam e t h o dc o m b i n gy c b l c r la n dy e sc o l o rs p a c e t h ea b o v et w o p o i n t sa r et h en e wi d e a si n t h i sp a p e i a n dt h ef a c ed e t e c t i o na l g o r i t h mi s a l s od e s i g n e da n d i m p l e m e n t e di nt h i sp a p e r t h ea l g o r i t h mi m p l e m e n t sl i g h tc o m p e n s a t i n go nm o n i t o r i n gi m a g e st o r e m o v et h ei n f l u e n c eo f t h ee n v i r o n m e n t ，s u c ha sl a m p - h o u s e ，c o l o re t e t oe l i m i n a t es m a l lh o l ei n t w ov a l u e si m a g e s ，t h ea l g o r i t h mi m p l e m e n t sc l o s eo p e r a t i o nf o ri m p r o v i n gt h ed e t e c t i o nr a t i o t op r o v ei t sv a l i d i t y , t h ea u t h o rt e s t e dt h ef a c ed e t e c t i o na l g o r i t h mu s i n gc a u - c sf a c e d a t a b a s et h ee x p e r i m e n t ss h o w e dt h a tt h ea l g o r i t h mi so fr e a l - t i m ea n dh a sh i g hd e t e c t i o nr a t i o k e yw o r d s ：f a c ed e t e c t i o n ，s k i nm o d e l ，c o l o rs p a c e ，l i pd e t e c t i o n 插图和附表清单 图l 一1 人脸自动识别系统 图1 2 一个典型的三层神经网络 图1 3 监控录像拍摄流程示意图 图2 1 三基色相加 图2 2 色环 图2 3 人脸检测算法整体流程图 图2 - 4 光线补偿模块算法流程图 图2 5 肤色点于y c b c r 空间一 图2 - 6 肤色点于c b c r 空间投影 图2 7c b 随y 的变化 图2 - 8c r 随y 的变化一 图2 - 9 肤色在y c b c r 空间分布图一 图2 。1 0 肤色在c b c r 一- - 维空间分布图 图2 - 11y 、e 、s 值阈值图 图2 1 2 肤色在c b c f - - 维空间分布图 图3 1图像a 及点b 的定义 图3 2图像a 被b 平移和被原点反射的结果 图3 3 使用结构元对原始图像进行膨胀和腐蚀一 图4 1y 、i 、o 值阈值分布图 图5 一lc a u c s 人脸库照片 图5 2 原图像 图5 3 对图5 2 进行光线补偿处理 图5 - 4 对图5 2 进行肤色初定位的效果 图5 。5 对图5 3 肤色初定位的效果 图5 - 6 原图像 图5 7 对图5 6 用y e s 模型方法进行皮肤分割 图5 - 8 对图5 6 用y e s 和y c b c r 模型相结合进行皮肤分割 图5 - 9 利用y c b c r 模型对图5 3 进行肤色定位 图5 1 0 对图5 3 用y e s 和y c b c r 。模型相结合进行皮肤分割 图5 1 l 原图像 图5 1 2 对图5 。1 l 进行肤色初定位的效果 图5 1 3 对图5 1 2 进行膨胀操作 图5 1 4 对图5 1 2 进行腐蚀操作 图5 1 5 对图5 1 4 进行非人脸区域去除 图5 1 6 对图5 - 6 进行非人脸区域去除一 图5 1 7 对图5 1 5 进行嘴唇提取效果图 i i _心他”挎加如您勉拍”拍曲虬北驼蛇舵轮钙钙舭钳销钙 ： ， 图5 1 图5 1 图5 2 图5 2 原图像 对图5 1 8 进行嘴唇提取效果图 部分实验结果图 效果不好实验结果图 表5 1 实验结果 t l l 4 5 4 5 4 6 4 7 独创性声明 本人声明所旱交的论文是我个人在导师指导下进行的研究工佧及取得的研究成果。尽我 所知除r 文中特别加以标注和致谢的地方外，论文中不包含其他 已经发表或撰写过的研 究成果，也不包含为获得中国农业大学或其他教育机构的学位或证书而使用过的利料。o 羽笺 同l 作的同志对本研究所做的任佃贡献均i ! 在论文f i 作r 叫碲的说明并表示了谢意。 研究生昝名时日y ： 巧年弓月，g 日 关于论文使用授权的说明 本人完个了解中国农业人学有关保留、使用学位论文的规定即：学校有权保留鹾 交论文的复印什和磁盘，允许论文被杳阅和借阅，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。同意中国农业大学可以用不同方式在不同媒体上发表、传捕学 位论文的全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名 导师签名 对问。 办f 年3f _ = j d 日 中国农业大学硕士学位论文 第一章绪论 1 1 人脸识别技术 第一章绪论 人脸是一类复杂的模式，人脸识别也是人类视觉最杰出的能力之一。 对人脸自动识别的研究可追溯到二十世纪七十年代，它涉及r 模式识别( p a t t e r n r e c o g n i t i o n ) 、图像处理( i m a g ep r o c e s s i n g ) 、计算机视觉( c o m p u t e rv i s i o n ) 、生理学 ( p h y s i o l o g y ) 、心理学( p s y c h o l o g y ) 、神经网络( n e u t r a ln e t w o r k s ) 和人工智能( a r t i f i c i a l i n t e l l i g e n c e ) 等多种学科。 人脸识别口1 在模式识别技术的发展和应用上都具有重要意义：一是可以推进对人类视 觉系统本身的认识；二是可以满足人工智能应用的需要。 采用人脸识别技术，建立自动人脸识别系统，用计算机实现对人脸图像的自动识别，有 着厂。阔的应用领域和诱人的应用前景： ( 1 ) 可以直接应用在信用卡、驾驶证、护照、身份证等个人身份证明中，进行自动个 人身份辨识。身份证、护照以及许多其它证件上都有证件所有者的正面免冠照片，这些证件 的验证工作目前一般是人工完成的。工作人员一边观察证件持有人，一边与证件照片上的人 脸进行对照，从而判断出是否是同一个人。由于人眼的观察能力容易受到各种主客观条件的 影响，其识别结果往往误差较大。如果引入自动人脸识别技术，那么这项工作就可以交给计 算机自动完成，既可以提高管理的自动化程度，也可以加快验证过程。还有一类证件用条形 码或其它方式( 如磁卡、i c 卡) 保存相关信息，如各种信用卡、储金卡、存折、会员 等。 这类证件通常是通过密码方式保障使用安全的，其安全系数较低，一旦遗忘、丢失密码或被 破解，便可能引起不必要的麻烦。如果采用人脸识别技术，把证件持有人的人脸图像经压缩 编码存储在证件中，并通过专门的设备进行自动身份验证，可以大大提高其安全系数。 ( 2 ) 对于公安部门，人脸识别技术可以应用在犯罪人辨识，根据人脸特征在罪犯人脸 图像数据库中搜寻嫌疑犯。在许多国家，每一名犯案被捕的罪犯都会被从各种角度拍f 多种 脸部照片，从而形成一个庞大的罪犯照片数据库，刑案发生后，一旦获得嫌疑犯面部的现场 照片，或者根据目击者的描述绘出嫌疑犯的面部特征图，刑侦部门便可以运用自动人脸识别 技术，迅速地从罪犯照片数据库里寻找出若干个最相像的人，经由人t 判断，列出几个重点 嫌疑对象，进行调查取证。通常情况f ，罪犯数据库往往相当庞大，如果用人工方法寻找嫌 疑犯，不仅效率低下，而且容易出错，因此必须由计算机自动完成。 ( 3 ) 人脸识别可使人机交互过程更加友好、自然。通常所说的人机交互，主要指的是 人与计算机之间用键盘、鼠标等的交互工作。然而，人类日常交流一般是通过语言、手势、 面部表情等非接触性方式实现的，相对于键盘、鼠标等接触性方式更加自然、亲切、方便。 由此可见，如果采用人脸识别技术，让计算机能够自动识别出操作者的脸部表情、嘴唇动作 等，则可以进一步扩展人机交互的手段，提高计算机的智能水平。 ( 4 ) 应用在基于内容的内容检索( c o n t e n t - b a s e di m a g er e t r i e v a l ，c b i r ) 领域，目前 绝大多数的数据库自动检索系统。都是以关键词为基础进行图像检索的，要求在向数据库系 中国农业大学硕士学位论文 第一章绪论 i i i 统输入图像时，人工确定供日厉检索之用的关键词，因而难以完成一些接近人类自然想法的 检索要求。如果采用人脸识别技术，在检索时实现基于内容的图像检索，则可以提高数据库 搜寻的自动化程度o ”。 1 2 人脸检测技术研究背景 一个完整的人脸自动识别系统主要包括二个技术环节( 如图1 1 ) 所示：第一步是人脸 自动检测，即根据输入图像或图像序列确定图像中是否存在人脸，如有则确定其位置，并将 人脸从背景中分割出来；第二步是对检测出的人脸图像进行特征提取；第三步即根据提取出 的人脸特征进行人脸识别。 鼽图竺竺( 堕堕 _ 吐! 亘) 叫j 堕产 图卜1 人脸自动识别系统 正如以上所述，所谓人脸检测，是指在给定静止图像或动态视频中确定出人脸的位置及 大小。它的输出包含以下信息：给定图像中是否包含人脸? 如果包含，人脸的个数、位置、 大小如何? 人脸检测具有十分广阔的应用背景。首先，它作为实现完全自动的人脸识别系统的第， 步是必不可少的而且起着至关重要的作用，它的好坏直接影响着识别系统性能的优劣。虽然 对于人脸识别算法的研究已经相当深入，但主要针对具有较强约束条件的人脸图像( 如无背 景) ，往往假设人脸的位置已知或很容易获得。本文所指的人脸检测，主要是针对数字监控 录像系统的人脸检测问题。事实上，大部分现有研究都是将人脸检测作为人脸识别研究的一 部分进行的，只是近几年在国际上才将它作为一个独立课题来研究，并且现在己经成为一个 研究热点吲1 2 6 j 。 此外，动态视频下的人脸检测，即人脸跟踪也是一个典型的运动跟踪问题，它的研究在 智能人机接口、基于内容的检索、数字视频处理、保安监控等领域有着极为广泛的应用前景。 人脸检测实质上是一个模式识别问题，它包括了自动分割( 找出可能的人脸区域) 和识 别( 将人脸与背景中的其它模式相区分) 。由于人脸的位置和尺寸都是未知的，因此人脸检 测是一个十分困难的问题。它的学术价值在于人脸是一类自然形体，它具有比较复杂而细致 的模式变化，是一个有挑战性的模式分类问题。如果能构造出一个成功的人脸检测系统，将 能为解决其它类似的复杂模式的检测问题提供有益的启示。 因此在人脸自动识别系统中，人脸的自动检测起着至关重要的作用，它的好坏直接影响 着识别系统性能的优劣；另外人脸检测在许多领域也有着其独立的应用，如本论文就是专门 针对数字监控录像系统的需求，提出的一种人脸检测算法。 一般对人脸检测有两大要求，一是准确，二是快速，而且随着电视电话会议和远程教学 等技术的发展，对实时性的要求也越来越高，因此，对人脸检测这个课题的研究有着其独特 的意义【2 7 】口”。 2 中国农业大学硕 ：学位论文第一章绪论 1 3 人脸检测技术的国内外研究现状 1 3 1国内外人脸检测算法 目前，人脸检测技术还不十分成熟。影响人脸检测结果的主要因素有：( 1 ) 光照条什， 例如光强的变化，臼然光和人 光等；( 2 ) 姿态的变化；( 3 ) 幽像大小的变化；( 4 ) 化妆或 脸上的附着物，如酬须、眼睛等；( 5 ) 背景情况，如窀内的景物和室外自然环境等。虽然这 些因素对r 人类的视觉系统不成太大障碍，但是现有的人脸检测系统只能在定的限制条件 f 取得较好的检测效果。在检测率、误报率、检测速度_ 手| j 适应性等方面还达不到实川的水平。 目前，国内外人脸检测算法主要有以下几种”1 1 2 9 i ： i 神经网络法 人工神经网络是一门对大脑研究成果为基础，以机器模拟犬脑的某些机理，实现大脑某 方面功能的科学。神经网络由许多具有非线性映射能力的神经元组成，神经元之间通过权系 数连接。网络的输出信息就分布在这些权系数之中。由于它的高鲁棒性能解决输入模式有噪 声干扰和输入模式部分缺损问题，它的自组织、自适应学习功能放松传统识别方法所需耍的 约束条件，所以神经网络技术对某些识别问题显示出很大的优越性。另外，神经网络是模拟 人脑细胞的并行信息处理模式，具有很高的运算速度。总体而言，由于它具有如f 的基本特 性： 人规模并行处理引起的高速计算能黛； 分布式储存具有很强的容错性，神经元的损坏不明显影响糕个系统的性能； 具有很强的自学习或训练功能网络根据接收周嗣环境的信息不断调节自己，适廊 环境的变化； 目标编程：测量取得该目标的性能，由此对系统进行自组织，避免不必要的编程规 则： 基本计算单元：每个单元类似1 ：一个简单的逻辑神经元而不具有更多的功能； 因此它被，“泛的应用于语音、视觉等模式识别领域，人脸检测领域也不例外。 大部分的人脸识别神经网络州都采用多层感知器( m u l t i l a y e rp e r c e p t i o n s ，m l p ) 结构 和反向传播( b p ) 学习算法。一个典型的m l p 结构如图： 闰卜2 一个典型的三层神经网络 一个简单的神经网络实现方法是用不同姿态或表情的人脸图像训练样本崩于输入，j ! | 标 准正面人脸图像作为输出，采用反向传播学习算法对网络进行不断的学习训练。而一。幅适中 的人脸图像如1 2 8 x1 2 8 ，那么输入层和输出层的神经元个数就要达到1 6 3 8 4 ，这样复杂性 3 中国农业大学硕士学位论文 第一章绪论 和运算量是相当庞大的。因此用m l p 进行人脸识别的主要目标是：找到一个人脸模式的简 洁的内部表示，以减少隐层的神经元个数，这就相当于特征提取。 人工神经网络方法的基础在于人脸是一个高度结构化的图像模式类而且可以通过在定 义好的空间边界内检查局部图像信息来检测。换句话说，对于难以进行参数化的己知的范例， 我们可以利用它们来训练系统，使之可以检测复杂的脸部模型。这种方法通过检查可能的图 像位置来寻找类似于人脸的局部模块。关键在于要找到一个分类策略以决定一个给定的局部 图像模块是否为人脸，而这个分类问题可以归结为从人脸和非人脸的训练集中学习鉴别人脸 的过稗。 这种方法的很大优点在于不用手工定义人脸的脸部特征，系统可以在没有任何先验知识 的情况r ，自动的从训练集中检测到其他的有用的脸部结构化特征并进一步检测出人脸。然 而，这种方法的缺点在于很难收集到足够的训练范例，而且没有确切的方法知道达到一定的 识别率需要多大的训练集。 2 模板匹配法 现在有很大一类人脸检测的系统把人脸看作不同的模式，而把人脸检测的问题归结为模 式识别的问题。模式识别已经是一项比较成熟的技术，已经存在了很多成功的模式识别系统。 在文献p 1 中给出了关于模式识别技术的很好的概述。 在模板匹配方法中，首先给定一个人脸的标准模板( 通常为l e 面人脸) 。对于一个输入 图像，不同尺寸的标准模板的脸部轮廓，眼睛，鼻子嘴巴的关联值被计算出来。通过这些 不同部分的关联值，可以决定是否存在人脸。 y u i l l e p l 采用了一个可变形的模板来适应人脸部特征的弹性特点。在这个算法中，脸部 特征用参数化的模板来描述。图像中的边缘，峰，谷用一个能量函数来与模板中的参数对应 起来。调整参数值，当能量函数的值晟小时就找到了这个弹性模型的一个最佳适应。 模板匹配方法，主要利用人脸上器官结构的几何关系来检测人脸。优点：可以在较低分 辨率的灰度图像上检测人脸。缺点在于很难对各种不同的成像条件，例如人脸姿势变化、光 照变化以及部分的人脸遮挡等给出一个通用的算法。当成像参数发生变化时，人脸模式也会 有很大的变化。对于任何一个基于模式匹配的算法来说，为了检测新的模式系统都必须重新 经过大量样本的训练，同时很难确定对于特定的识别任务，究竟多大的训练数据才是恰当的。 另外，关于人脸模式和非人脸模式，它们之间也不存在一个清晰的，确定的界限。 3 肤色法 肤色在很多人脸检测和跟踪的应用中被证明是一种有效的特征。尽管不同人的肤色可能 差异很大，可是大部分的差异只是存在于亮度上，而不是在颜色上。在颜色空间中，肤色， ； 是其中很窄的一部分频带，因此可以根据颜色信息来检查像素点是否具有皮肤的颜色。通过 连通量分析和区域增长，对这些肤色像素点归类并且找到可能的人脸区域。 基于颜色的系统可以在不同的视角中均能检测人脸，这种方法适合于彩色图像。国外对 这种方法的研究比较多。其基本原理是通过颜色过滤器来发现皮肤，再根据皮肤图像的形状 来寻找人脸。其技术关键是设计皮肤颜色过滤器。下面介绍一些有代表性的研究工作： j a yr k a p u r t 8j 研究了一种用彩色图像探测人脸的方法。这种方法由两个过程组成：首先 用一个肤色过滤器标定皮肤的位置。因为通常一幅图像中的人不只裸露一块皮肤，故还需要 4 中国农业大学硕士学位论文 第一章绪论 判断哪块皮肤是人脸，在这一过程中将标定的皮肤图像转为灰度图像，通过对皮肤灰度图像 的分析，判断哪块皮肤是人脸。其探测过程为：( 1 ) 将一个原始的r g b 图像转变为纹理、 色彩和饱和度图像；( 2 ) 用颜色过滤器获取皮肤的图像： 从数字监控录像系统的视频码流中获取单帧图像； 为了去除色彩偏差等因素的影响，对图像进行光线补偿； 用y e s 色彩空间和y c b c r 色彩空间相结合的方法，并根据最优肤色阈值范围进行 肤色区域初定位： 利用数学形态学的闭运算对二值化图像进行噪声去除； 根据数字j | 螽控系统的实际情况，制定判断规m 0 去除非人脸区域： 根据y 1 0 色彩空间确定的最优唇色闽值范围进行嘴唇检测； 确定人脸位置，存储人脸数据； 此算法整体流程图如图2 3 所示： 翻 躲一 r e s 。l1ll，j 拍撕科 n n 1 中国农业大学硕士学位论文第二章肤色区域定位 国2 - 3 人脸检测算法整体流程图 f 面各节内容将分别对各个模块进行详细说明。 2 3 光线补偿 肤色等色彩信息经常会受到光源颜色、图像采集设备的色彩偏差等因素的影响，从而在 整体上偏离本质色彩恕某一方向移动，即我们通常所说的色调偏冷、偏暖，照片偏黄、偏蓝 等等，这种现象在艺术照片中更为常见。而这些因素的影响会在很大程度上影响数字监控录 像系统人脸检测的效果。为了抵消这种整个图像中存在着的色彩偏差，论文中人脸检测算法 首先采用“光线补偿”对监控图像进行预处理，具体步骤如下【”l ： ( 1 ) 首先，将整个图像中所有像素的亮度( 经过了非线性转换后的亮度) 从高到低进 行排列； ( 2 ) 取亮度值的前5 像素，如果这些像素的数目足够多( 在本算法中取1 0 0 为阈值) ， 就将它们的亮度作为“参考自”，即将它们的色彩的r 、g 、b 分量值都调整为最大的2 5 5 ： ( 3 ) 然后，将整幅图像的其他像素点的色彩值也都按照这一调整尺度进行变换”9 1 。 这一做法的合理性可以从两个角度进行考察：一方面，绝火部分的图像中都包含有纯白 1 4 色，特别是包含人脸在内的图像中，在眼球外围等处通常就是纯白色，所以将具有最大亮度 的像素的色彩值调整为纯白色是台理的；另一方面，存在色彩偏差的图像在原来是白色的区 域有着很明显、直观的体现，所以按照这些区域的调整方法对整个图像进行调整也是比较合 理和有效的。 另外，取图像亮度值的前5 像素并判断像素数目是否足够多的目的主要是为了判断 图像大小。如果图像比较小( 本算法中取图像亮度值的前s 像素，并和阕值1 0 0 比较) ， 就没有进行光线补偿的必要，也没有必要进行人脸检测了( 主要考虑因素是数字监控录像系 统的图像一般为3 5 4 x 2 8 8 ) 。 因此本人脸检测方法首先对彩色图片进行光线补偿处理，这样在一定程度上消除了光源 颜色等客观环境的影响。实验结果表明经过光线补偿处理后的图片比未经处理的图片检测效 果明显增强( 实验比较效果图请参考第五章) 。 光线补偿模块算法流程图如图2 - 4 所示： 图24 光线补偿模块算法流程图 此部分算法的主要实现代码如r ： 川+ 函数功能：光线补偿函数 + + + + b o o ld l b ：l i g h f i n g c o m p e n s a t e ( h a n d l eh d i b ) i f ( ! h d i b ) r e t u r nf a l s e ； l p b i t m a p i n f o h e a d e rl p b i ； i n tw i d t h ，h e i g h t ； l p b y t ei p d a t a ； w o r dw b y t e s p e r l i n e ； l p b i2 ( l p b i t m a p i n f o h e a d e r ) g l o b a l l o e k ( h d i b ) ； 得到图片宽和高 w i d t h2l p b i b i w i d t h ； h e i g h t2l o b i - b i h e i g h t ； 得到图片数据区 i p d a t a = t h i s - f i n d d i b b i t s ( h d i b ) ； 得到图片每行的象素所占字节个数 w b y t e s p e r l i n e2t h i s - b y t e p e r l i n e ( h d i b ) ； l l 例系数 c o n s tf l o a tt h r e s h o l d c o = 00 5 ； 象素个数的临界常数 c o i i s ti mt h r e s h o l d n u m = 1 0 0 ； 灰度级数组 i n th i s t o g r a m 2 5 6 】； f o r ( i n ti = o ：i 2 5 6 ：i + + ) h i s t o g r a m i 】= 0 ： 对于过于小的图片的判断 i f ( w i d t h + h e i g h t + t h r e s h o l d c o t h r e s h o l d n u m 、 r e t u r nf a l s e ； i n tc o l o r r , c o l o r g ，c o l o r b ； l o n gi o f f s e t ； 考察整个图片 f o r ( _ 0 ；i h e i g h t ；i + + ) f o r ( i n t j = 0 ；j p i x e l o f f s 叫i j ，w b y t e s p e r l i n e ) ； 得到r g b 值 1 6 中国农业大学硕士学位论文第二章肤色区域定位 c o l o r b2 + ( i p d a t a + l o f f s e t + + ) ； c o l o r g = + ( 1 p d a t a + l o f f s e t + + ) ； c o l o n = + ( 1 p d a t a + l o f f s e t + + ) ； 计算灰度值 i n t g r a y = ( c o l o r r 2 9 9 + c o l o r g 5 8 7 + c o l o r b + 1 1 4 ) 1 0 0 0 h i s t o g r a m g r a y - h - ； i n tc a l n u m = 0 ： i mt o t a l2w i d t h + h e i g h t ； i mn u m ； 下面的循环得到满足系数t h r e s h o l d c o 的临界灰度级 f o r ( i = 0 ，i 2 5 6 l 十十) i f ( ( f l o a t ) c a l n u m t o t a l = 2 5 5 - n u m ；i 1 a v e r a g e g r a y + 2h i s t o g r a m i l + i ： c a i n t m l + 2h i s t o g r a m i ； ) a v e r a g e g r a y = c a l n u m ； 得到光线补偿的系数 f l o a tc o22 5 50 ( f l o a t l a v e r a g e g r a y ； 下面的循环对图象进行光线补偿 f o r ( i2 0 ；i 2 5 5 ) c o l o r b ；2 5 5 ； 保存 + ( 1 p d a t a + l o f f s e t ) = c o l o r b ； 绿色分量 c o l o r b = + ( i p d a t a + l o f f s e t + 1 ) ； c o l o r b + = c o ； i t ( c o l o r b 2 5 5 ) c o l o r b = 2 5 5 ； + ( 1 p d a t a + l o f f s e t + 1 ) = c o l o r b ； 红色分量 c o l o r b = + ( i p d a t a + l o f f s e t + 2 ) ； c o l o r b + = c o ； i f ( c o l o r b 2 5 5 ) c o l o r b = 2 5 5 ； + ( 1 p d a t a + l o f f s e t + 2 、2c o l o r b ； ) r e t u r nt r u e ： ) 2 4 肤色区域定位 由于基于肤色模型方法的优点是快速，特别适台于实时的人脸跟踪系统，另外肤色不依 赖于面部特征，对于旋转、表情等变化情况都能适用，因此针对数字监控系统的实际情况， 考虑到监控系统对实时性的要求，本算法首先采用肤色模型进行肤色区域初定位。 在数字监控图像中，颜色相近的分量值往往集中分布在某个数值区间内，因此，可以根 据经由大量统计确定的皮肤分割阈值，在颜色分量图像中把接近于人的肤色的区域( 即皮肤 区域) 从背景中分离出来。从而实现皮肤区域与背景的分离。 2 4 1用y c b c r 色彩空间进行肤色区域初定位 y c b c r 色彩空间具有如下一些优点： y c b c r 色彩格式具有与人类视觉感知过程相类似的构成原理； y c b c r 色彩格式被广泛地应用在电视显示等领域中，也是许多视频压缩编码，如 1 8 中国农业大学硕士学位论文第二章肤色区域定位 m p e g 、j p e g 等标准中普遍采用地颜色表示格式： y c b c r 色彩格式具有与h i s 等其他一些色彩格式相类似地将色彩中的亮度分量分离 出来的优点； 相比h i s 等其他一些色彩格式，y c b c r 色彩格式地计算过程和空间坐标表示格式比 较简单； 实验结果表明在y c b c r 色彩空间中肤色的聚类特性比较好； 由于y c b c r 色彩格式具有以上优点，因此论文算法首先利用y c b c r 色彩空间进行肤色区 域初定位。但是y c b c r 色彩格式直接由r g b 色彩格式通过线性变换得到，所以其亮度分量y 并不是完全独立于色度信息而存在的，所以肤色的聚类区域也是随y 的不同而星非线性变化 的趋势口”。 a n i lk j a i n 等人从h e i n r i c h h e r t z i n s t i t u t e ( h h i ) 图像库中的1 3 7 幅图像中手工选 取了8 5 3 5 7 1 个肤色像素点，并将其绘制在y c b c r 空间及其二维投影子空间c b c r 空间中， 得到的结果如图2 5 、2 - 6 所示【1 9 l ： 图2 - 5 肤色点于y c b c r 空间 图2 - 6 肤色点于c b c r 空问投影 1 9 从图中可以看到，在y c b c r 色彩空间中，肤色聚类是呈两头尖的纺锤形状，也就是在y 值较大和较小的部分，肤色聚类区域也随之缩减。由此可见，在y 值不同的地方，我们取 c b c r 子平面的投影，得到的结果是不同的。由此可得到结论，简单地排除y 分量，按照传 统的做法在二维的c b c r 子平面中寻求肤色的聚类区域是不可行的，我们必须考虑y 值不同 造成的影响，从而对y c b c r 色彩格式进行非线性分段色彩变换m j 。 图2 7 、2 - 8 反映了在肤色聚类的边界上，c b 和c r 两分量随y 变化的情况。 图2 7c b 随y 的变化 图2 - 8c r 随y 的变化 从图2 - 8 可以看出，用这4 个边界来限制肤色聚类区域可以很好地适应亮度过明或过暗 的区域，从而使肤色模型的鲁棒性大大提高。 2 0 中国农业大学硕士学位论文 第二章肤色区域定位 经过了非线性分段色彩变换得到的色彩空间我们用y c b c r 来表示。y c b c r 坐标空间到 y c b c r 坐标空间的变换过程推导如下1 3 5 】【3 6 】： ( 1 ) 在图2 - 7 、2 - 8 中，我们将肤色区域的中轴线分别用c b ( y ) 和c r ( r ) 来表示，可 以得到c b ( y ) 和c ，( y ) 的表达式为： 瓦( y ) ：1 0 8 + ( k - y ) ( 1 1 8 - 1 0 8 ) 船一y m i n 瓦( y ) ：1 0 8 + ( y - k h ) ( 1 1 8 - 1 0 8 ) y m a x - 砌 西( y ) ：1 5 4 一( k i - y ) ( 1 5 4 - 1 4 4 ) k 一y m i n 西( y ) 。1 5 4 + ( y - k h ) ( 1 1 8 - 1 0 8 ) y m a x - 舶 i f ( y k ，) i f ( k y ) i f ( 】， 厄) 公式( 2 - 5 ) 公式( 2 - 7 ) i f ( k y ) 公式( 2 8 ) 其中，尼，和七 为常量，也就是非线性分段色彩变换的分段阈值，分别为：k = 1 2 5 ， k h = 18 8 。y m i n 和y m a x 也是常数，它们由实验数据得到的肤色聚类区域中y 分量的晟 小和最大值：y m i n = 1 6 ，y m a x = 2 3 5 。 ( 2 ) 同样，在图2 - 7 、2 _ 8 中，我们将肤色区域的宽度分别用刃亿汤( 即和阡 ：，( 即来 表示，这也是一个分段函数，其表达式为： w c ，( y 卜w l c 。+ ( y - y m 瓦i n ) 鬲( w c 忑i - 一w l c i ) i f ( y 尼，) a l 一m l n w c ，( y ) 2 w h a + ( y m a x - 瓦y ) i ( w c 面i - 一w h c i ) i f ( 允 y ) 公式( 2 - 9 ) 公式( 2 - 1 0 ) 其中，i 代表b 或r ，k 。、k 、y m i n 、y m a x 同( 1 ) 中的数据。w c ，、w l c ，和 w h c 也是常数，它们分别为： w 岛2 4 69 7 ，w i c 62 2 3 ，w h c 2 1 4 w c ，2 3 8 7 6 ，w l c ，2 2 0 ，w h c ，= 1 0 ( 3 ) 最后，我们就可以根据上面的结果得到如下的非线性分段色彩变换公式： 引y ( y ) - 丽丽w c i + 丽i f ( y k 。) 。r ( 觑 o 公式( 2 _ 1 7 ) c它o留 这时，这些极小值点所对应的灰度值就可用作图像分割的阈值。 最优闽值区间应该使该区间里的皮肤成分最多，非皮肤成分最少，依此确定的优化目标 是：令闽值区间中皮肤与非皮肤像素的概率之差最大，此时的闽值区间就是最优阈值区间【2 2 1 2 4 1 。 设颜色分量图像具有n 级灰度值，分量值为 的皮肤和非皮肤像素数分别为m s k m ( n 1 和 m 。m ( 珂) ，m 为分量图像的像素总数t 则分量值为n 的皮肤和非皮肤像素的概率p n 。( n ) 和p 。m ( 珂) 分别为： p “。( n ) = 肌( n ) m ， k = 0 , 1 ，n 一1 p 。( h ) = m 。女。( n ) m ， k = 0 , 1 ，n 一1 公式( 2 1 8 ) 公式( 21 9 ) 中国农业大学硕士学位论文 第二章肤色区域定位 分量值为n 的皮肤与非皮肤像素的概率之差8 ( n ) 可用下式表示 e ( n ) = p m 。( 仃) 一p 。自。( 胛) 则【丁。丁。，】数值区间内的皮肤与非皮肤像素概率之差为 即 即) ：墓：墨则旷p 一删 。埘， p t * t l 闽值优化算法的目标就是通过寻找某个最优的丁b 。，丁。，值，使e ( ，) 达到最大值 t ， e ( 丁) = ，m 蟹 艺 p 。) - p n o n s k i n ( 础) “”1 ”n t ，。o 此时的【丁l o w e r ，丁w 。 即为皮肤分割的最优阈值区间【2 4 l 。 论文用c a u - c s 人脸图像库( 关于c a u - c s 人脸库，第5 章有详细介绍) 中的彩色人 脸图像，通过手工切割得到1 0 0 幅皮肤图像作为皮肤样本集，大约1 0 万个像素点。另外也 切割了1 0 0 幅非皮肤图像作为非皮肤样本集。由于这些彩色图像光照条件、摄制时间方法等 也不尽相