（计算机应用技术专业论文）低照度条件下的人脸跟踪技术研究.pdf

低照度条件下的人脸跟踪技术研究 摘要 人脸跟踪是计算机视觉和模式识别领域的一个重要研究课题。在基于内容 的视频检索、数字视频处理、智能人机接口、视觉监测等方面有着重要的应用 价值。但在实际应用中，人脸跟踪系统经常会遇到光照环境差异过大，或者光 线不足等情况。本文将人脸跟踪与图像增强技术相结合进行了较为深入的研究。 在对人脸跟踪和图像增强的国内外研究现状进行了深入了解的基础上，总结并 提出了一些新的图像增强和人脸跟踪方法。全文的主要内容如下： 1 针对传统的r e t i n e x 图像增强技术在高对比度边缘区域存在“光晕伪影” 这一缺点，提出了一种基于双边滤波的r e t i n e x 算法。该算法先使用带有边缘 保存功能的双边滤波将原图像分解成照度图像和反射图像，再分别采用不同的 策略压缩照度图像和增强反射图像，最后把两部分图像合成为新的图像。通过 从主观视觉效果和客观质量评价两方面对该算法进行检验，实验结果表明它有 较好的增强效果，解决了“光晕伪影 问题。 2 针对传统的r e t i n e x 图像增强技术会导致原始图像的噪声放大这一现象， 结合了人眼的视觉特性，对中心环绕r e t i n e x 做出改进，提出了一种新的r e t i n e x 算法。该算法先使用正交的p r e w i t t 算子计算出原始图像的梯度图像，然后用它 和5 5 的高斯核函数卷积，再将计算结果通过一个线性函数进行灰度变换，用 变换结果作为原始图像的空间活动性矩阵，最后用该矩阵乘以中心环绕r e t i n e x 中的环绕矩阵。实验结果表明该算法有较好的增强效果，并通过模拟人眼视觉 的掩盖效应，能有效抑制噪声的扩大。 3 针对实际应用中的人脸跟踪系统经常会遇到不同的光照条件，这会造 成人脸肤色严重失真，影响了基于肤色信息的跟踪方法在人脸跟踪系统中的应 用。我们将提出的改进基于r e t i n e x 理论的图像增强技术应用到人脸跟踪系统 中进行实验，结果表明本文的方法能够有效的克服低照度环境对于基于肤色跟 踪方法的影响。 关键词：人脸跟踪；图像增强；双边滤波；r e t i n e x 理论；中心环绕；肤色特征； 卡尔曼滤波器 4 f a c et r a c k i n gr e s e a r c hu n d e rl o wi l l u m i n a n c ec o n d i t i o n a bs t r a c t f a c et r a c k i n gi sa ni m p o r t a n tr e s e a r c ht o p i ci nc o m p u t e rv i s i o na n dp a t t e r n r e c o g n i t i o n i th a sg r e a tv a l u ei nm a n ya r e a s ，s u c ha s ：c o n t e n t b a s e dv i d e or e t r i e v a l ， d i g i t a lv i d e op r o c e s s i n g ，h u m a nc o m p u t e ri n t e r f a c e ，v i d e os u r v e i l l a n c ea n ds oo n b u ti nt h ep r a c t i c a la p p l i c a t i o n ，f a c et r a c k i n gs y s t e mu s u a l l ye n c o u n t e rt h ep r o b l e m o fd i f f e r e n ti l l u m i n a t i o nc i r c u m s t a n c e o ri n s u f f i c i e n c yo fl i g h t b a s e do nt h e t h o r o u g hk n o w l e d g eo ft h em e t h o d i nf a c et r a c k i n ga n di m a g ee n h a n c e m e n t t e c h n i q u e s ，t h i st h e s i sp r o p o s e ss o m en e w m e t h o d s t h em a i nc o n t e n t so ft h et h e s i s a r ea sf o l l o w s ： 1 an o v e lr e t i n e xa l g o r i t h mb a s e do nb i l a t e r a lf i l t e r i n gi sp r o p o s e dt ot h e q u e s t i o no ft h ea p p a r i t i o no fh a l oa r t i f a c t si nt h ep r e s e n c eo fh i g hc o n t r a s te d g e s u s i n ge x i t i n gr e t i n e xi m a g ee n h a n c e m e n t f i r s t l y , t h i sa l g o r i t h md e c o m p o s et h e o r i g i n a li m a g ei n t ot h ei l l u m i n a n ti m a g e a n dt h er e f l e c t a n c ei m a g eu s i n gt h e b i l a t e r a lf i l t e rw h i c hh a st h ef u n c t i o no fe d g e p r e s e r v i n g ，t h e nu s i n gd i f f e r e n t s t r a t e g i e st oc o m p r e s st h ei l l u m i n a n ti m a g ea n dt oe n h a n c et h er e f l e c t a n c ei m a g e a tl a s t ，i tc o m b i n e st h et w op a r ti m a g e st oan e wi m a g e t h i sa l g o r i t h mi sv e r i f i e d f r o ms u b je c t i v ev i s u a le f f e c t sa n do b je c t i v ei m a g eq u a l i t ya s s e s s m e n t ，e x p e r i m e n t a l r e s u l t ss h o wt h a ti th a sg o o de n h a n c e m e n tr e s u l ta n dc a na v o i dh a l oa r t i f a c t s 2 b a s e do nt h eh u m a nv i s i o np r o p e r t y , i m p r o v e df r o mt h ec e n t e r s u r r o u n d r e t i n e x ，an o v e la l g o r i t h mi sp r o p o s e dt ot h eq u e s t i o no ft h en o i s em a g n i f yo f t h e o r i g i n a li m a g e f i r s t l y ，t h i sa l g o r i t h mu s eo r t h o g o n a lp r e w i t to p e r a t o rt oc a l c u l a t e t h eg r a d si m a g e t h e nc o n v o l v ew i t ht h e5 5g a u s s i a nk e r n e lf u n c t i o na n d t r a n s f o r mt h er e s u l tw i t hal i n e a rf u n c t i o n a tl a s t ，u s et h i sf i n a lr e s u l ta st h es p a t i a l a c t i v i t y m a t r i xo ft h eo r i g i n a li m a g em u l t i p l yt h e s u r r o u n dm a t r i xo ft h e c e n t e ；r s u r r o u n dr e t i n e xa l g o r i t h m e x p e r i m e n t a lr e s u l t ss h o wt h a ti ti se f f e c t i v e a n dh a sag o o de n h a n c e m e n tr e s u l t 3 p r a c t i c a lf a c et r a c k i n gs y s t e mu s u a l l ye n c o u n t e r st h es i t u a t i o no fd i f f e r e n t i l l u m i n a t i o nc i r c u m s t a n c e ，w h i c hw i l lc a u s et h ec o l o rd i s t o r t i o no ft h eh u m a nf a c e i tw i l ll i m i t st h eu s a g eo fs k i nc o l o rb a s e dm e t h o di nf a c et r a c k i n gs y s t e m b y i n t r o d u c i n go u rp r o p o s e dm e t h o dm e n t i o n e da b o v e t ot h er e a ls y s t e m ，e x p e r i m e n t a l r e s u i t ss h o wt h a ti tc a ne f f e c t i v ee l i m i n a t et h el i m i t a t i o n k e y w o r d s ：f a c et r a c k i n g ；i m a g ee n h a n c e m e n t ；b i l a t e r a lf i l t e r i n g ；r e t i n e xt h e o r y c e n t e r s u r r o u n d ；k a l m a nf i l t e r 5 插图清单 图1 1 传统图像增强方法分类6 图2 1f r a n k l em c c a n n 和m c c a n n 9 9 算法效果对比一1 4 图2 2o 取不同值时s s r 效果对比1 5 图2 3 图2 2 的m s r 结果16 图2 4s s r 、m s r 对比图17 图2 5m s r 、m s r c r 对比图18 图3 1 高斯滤波结果图2 0 图3 2 双边滤波效果图2 0 图3 3 算法流程图一2 1 图3 4 照度图像亮度映射图一2 1 图3 5 反射图像亮度映射图。2 3 图3 - 6 图像增强效果对比一一2 4 图3 7 图像增强效果对比二2 5 图3 8 图像增强效果对比三2 6 图3 - 9 噪声抑制效果对比。2 9 图3 1 0 局部放大效果对比2 9 图3 1 l 彩色图像噪声掩盖效果对比3 0 图3 1 2 添加高斯噪声效果对比3 2 图4 1 人脸跟踪流程图3 9 图4 2 人脸跟踪效果一4 3 图4 3 人脸跟踪效果二4 4 图4 4 第一段视频x 坐标位置偏差4 5 图4 5 第二段视频x 坐标位置偏差4 5 9 表格清单 表3 - l 图3 - 6 评价标准2 6 表3 2 图3 7 评价标准2 7 表3 - 3图3 8 评价标准2 7 表3 4 各图的信噪比3 3 1 0 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得金魍王些太堂 或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者繇嘲研黼肌叶钾r7 日 学位论文版权使用授权书 本学位论文作者完全了解金目曼王些盔堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权金 肥王些太堂可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 名：嘲竹 签字日期：伊专胡r 1 日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签名： t 乡锨 i i i i - w - i i i ：沙牛和7 日 电话： 邮编： 致谢 时光如剑，岁月如梭! 转眼间，我的两年半硕士研究生涯已经接近尾声。 回顾这两年多来的学习和生活，不禁百感交集! 我有很多话想说：首先，谨向 我的导师汪荣贵老师表示忠心的感谢! 是汪老师将我引入科学研究的道路，使 我在科研上有了明确的目标和端正的态度。论文的主题确立到写作到最终定稿， 都倾注了汪老师大量的心血。师从于汪老师，收获是多方面的，从他渊博的学 识、严谨的治学中，我体会到了知识与研究的魅力；从他认真负责的工作作风、 正直的为人中，我学习到了生活与做人的道理。 感谢计算机学院的曹航老师、徐静老师等各位老师在日常事务中提供的帮 助。 感谢胡琼同学，一直以来我们相互鼓励，相互帮助。在与他的交流和讨论 中，产生了一些新的思想，对论文的完成起着重要的推进作用。 感谢吴昊、张璇、何畏、查全民、杨万挺同学给予我的热情支持和无私帮 助。 感谢李孟敏、朱静、张勇、张新龙等同学平时给予的帮助。 特别的，我要感谢我的父母，父母从来不求回报，他们的支持与鼓励是我 勇往直前的不懈动力。一直以来，他们都是我坚实的精神后盾，不但在经济上 给我予巨大的支持还在给予我莫大的支持与鼓励，支持我做任何我喜欢做的事! 也正是他们的这种支持，让我更坚定了自己的决心，更加用心地做好每一件事， 努力攀登我人生的下一个高峰! 最后，对所有关心和帮助过我的老师、同学和朋友表示衷心的感谢1 6 第一章绪论 1 1 人脸跟踪的研究背景 人脸跟踪是指在图像序列中利用各帧间的人脸位置关系，在后续帧中跟踪 己定位的人脸。【l 】【2 】【3 】它一般处于人脸检测之后的中间分析，为进一步的人脸分 析提供运动参数。针对不同的应用，人脸跟踪的作用是不同的，因此需要抽取 的人脸运动信息也是不同的。比如：对人脸识别系统【4 】【5 】，可以根据人脸跟踪 来有效地恢复人脸的姿态和光照变化，从而使识别性能得到提高；在表情分析 系统【6 j 中，跟踪不同情感下人脸面部的变形运动，为表情识别提供特征参数。 随着i n t e r n e t 技术的不断发展，现在对人脸跟踪技术的研究已经不仅仅局 限于应用在人脸识别系统中喁】。例如：在新一代视频编码技术中引入了基于内 容编码的概念，其基本思路就是对于感兴趣区域采用低压缩率编码，而对背景 等不感兴趣区域进行较高的压缩率编码【9 】【1 0 】。这样，在特定的网络传输条件下， 既保留了大部分需要传递的信息，大大提高了编码效率，又充分满足了人的主 观感受。人的脸部有着丰富的表情和变化，在人和人交流的过程之中传递着大 量信息。因此，在基于内容的编码中，人脸毫无疑问地成为感兴趣的区域。我 们需要在每一帧图像中定位出人脸，并把它从编码图像中分割出来，采用较高 的比特率编码；其它非感兴趣区域( 如背景) 就采用压缩率较高的编码方法。 正是由于人脸跟踪在高级人机交互、安全监控、视频会议、医疗诊断以及 图像存储与检索【1 1 儿1 2 】【1 4 】【1 5 1 等方面具有广泛的应用前景和潜在的经济价值，从 而激发了世界上广大科研工作者及相关商家的浓厚兴趣，国内外己经开展了大 量相关项目的研究。 1 1 1 国内外人脸跟踪的研究现状 近年来，随着视频会议、安全监控等技术的发展，迫切需要对视频环境中 的人员进行跟踪【l 引，所以人脸跟踪技术越来越为人们所重视。最早关于人脸跟 踪的论文是a z a r b a y a j a n i 和p e n t l a n d 于1 9 9 3 年发表的r e c u r s i v ee s t i m a t i o no f s t r u c t u r ea n dm o t i o nu s i n gt h er e l a t i v eo r i e n t a t i o nc o n s t r a i n t ) ) 他们提出一种递归 的基于小波的人脸特征的估计算法，也就是说，人脸跟踪问题的研究大约只有 十多年的时间。这些年来科学工作者在这一领域进行了大量的探索工作。比较 著名的是美国c m u 的人机接口研究室和m i t 的a i 实验室及媒体实验室，这 些实验室主要解决人脸跟踪中实时性和健壮性的问题【2 2 1 2 3 】【2 4 1 。而美国的i n t e l 则基于它的研究成果开发了一个称为c a m s h i f i t 2 5 】【2 6 】的系统，以人脸的运动来 控制计算机虚拟场景中三维方向的运动。 目前国外比较成功的跟踪方法有b a l a 2 7 】等人利用视频的前后景分析，并结 合彩色信息对整体人脸进行跟踪，同时使用块匹配对双眼进行快速跟踪。m e n s e r 等人则利用p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 进行快速定位与人脸跟踪【2 3 1 。 h a g e r 等人建立了整体人脸的低阶参数模型，补偿形变与光照，实时跟踪人脸， 并可容忍部分遮挡。s o b o t t k a 等【2 9 】人在h s v 空间进行肤色分割，并利用脸部特 征的对称性定位人脸。 国内有关人脸跟踪方面的研究是近几年发展很快，也有一些研究成果已经 或正在转化为商品软件。从国内近期的研究成果看，清华大学的艾海舟【5 】和智 能技术与系统国家重点实验室做了关于实际环境的测试。采用了差分图像方法 对于办公桌前的入像进行了定位跟踪【l ”。每次连续运行5 分钟，共计11 2 3 帧1 2 8 1 2 8 的图像或2 6 l0 帧6 4 6 4 的图像，检测结果正确率大于9 7 。还有一些其它 的机构如北京理工大学、哈尔滨工业大学、上海交通大学、中国科学院自动化 研究所等都致力于人脸跟踪技术的研究和应用开发【1 6 】【1 7 1 d s 。与此同时，大量 这方面的文章发表在i c i p ，c v p r ，a f g r 等重要的国际会议上。 1 1 2 人脸跟踪的问题分类和难点 人脸虽是自然界中我们最为熟悉的生理特征之一，但在计算机视觉与模式 识别领域，由于人脸是一类具有相当复杂的细节变化的非刚体目标，它的检测 与跟踪是一个极其具有挑战性的课题。再加上在实际的人脸跟踪应用系统中会 存在环境的不同( 比如室内，室外，车内，房间内等) 以及应用目的不同( 比 如入机交互，视频会议等) 会使得问题变得更加复杂。为了简化问题，这里将 人脸跟踪的研究问题做一个简要的归类并对所面临的主要难点做一个说明。 根据摄像机的种类可以分成：静止摄像机和活动摄像机。静止摄像机指的 是摄像机基本是不动的，可以采用背景减的方法获得候选人脸区域。而活动摄 像机境况下的摄像机基本是不动的，不能采用背景减的方法获得候选人脸区域， 通常要进行背景建模。 根据颜色信息可以分成彩色图像和灰度图像：彩色图像可以运用人的肤色 特征搜索人脸，但需要考虑不同肤色，不同光照条件的影响。如何建立一个统 一的，又有很好适应性的肤色模型是一个主要问题。灰度图像不能利用肤色信 息，主要依靠轮廓、运动、脸部特征等其他方法来进行跟踪。 根据人脸姿态可以分成正面和旋转：针对正面人脸跟踪，正面人脸本身变 换不大，顶多是大小远近的变化，用人脸局部器官特征的跟踪方法会起到比较 好的跟踪效果。旋转人脸跟踪难度较大，当人脸发生旋转时，若采用局部器官 的跟踪方法则很有可能会失败。 根据图像背景的复杂程度可以分成简单背景和复杂背景。简单背景的情况 下人脸区分比较明显，背景减、边缘检测都会取得比较满意的效果。复杂背景 指的是背景中含有类人脸物体，跟踪过程中跟踪焦点很容易被背景干扰，导致 2 跟踪目标丢失。 根据人脸的数目可以分成单人脸和多人脸：跟踪单人脸较为简单，只需考 虑背景情况；跟踪多个人脸相对较难，除了考虑背景的情况，还要考虑遮挡、 重叠的可能。 人脸跟踪的困难主要表现为以下几个因素： 1 ) 个体差异：人脸是一个包含五官、毛发等的极不规则的复杂待测目标， 不同的人脸在形状、大小、颜色、质地等方面有很大的变化性； 2 ) 人脸姿态：人脸在各种复杂的背景中，人脸成像的方向、角度、尺寸等 不同的情况下会展现出不同的表象：如人脸的一些特征( 眼睛或鼻子) 可能会 被部分或全部遮挡； 3 ) 人脸表情：人脸的表象还直接受面部表情的影响，不同的面部表情会有 不同的表象。同时，人脸也会随着年龄的增长而变化； 4 ) 人脸附属物：一般意义下的人脸上，可能有胡须、眼镜等其它附属物， 这些附属物的存在与否也会增加人脸的复杂程度； 5 ) 遮挡物：人脸可能会被其他物体部分遮挡，例如在一幅有多个人脸的图 像中，一些人脸会被其它人脸部分遮挡； 6 ) 成像条件：在图像成像时，一些因素如光照( 光谱范围、光线分配和强 度) 和照相机的性能( 敏感度、透镜) 都会影响图像中人脸的外观。 1 1 3 人脸跟踪的方法分类 面对如此复杂的难题，国内外众多学者提出了不同的方法进行了研究。大 致可分成下面几类： 1 ) 基于运动信息的人脸跟踪 这类方法是利用视频序列中相邻帧之间目标的运动信息来对人脸进行跟踪 的。它通过采用光流、立体视觉、帧间差等【2 8 】【2 9 】【3 0 】方法，利用时空梯度、卡 尔曼滤波器、粒子滤波器【3 2 】【3 3 】【3 4 1 等预测人脸的运动轨迹。差分法是其中比较 简单的一种，通过相邻两帧之间的像素差，设置阈值来判断运动区域或者非运 动区域。光流法是基于运动的目标跟踪方法中最有代表性的一种，也称之为基 于梯度的方法，它主要根据图像序列中灰度的变化计算速度场，然后通过聚类 分析等方法从速度场中估计目标的结构和运动规律。 基于卡尔曼滤波器和粒子滤波器的运动预测都属于基于统计学习的预测方 法。该类方法直接从训练样本集中学习得到预测模型，反映了机器学习的本质， 即让数据说明数据。这种思路得到了越来越多不同领域的研究者的认同。这种 预测方法要解决对主要问题是根据目标状态和观测的历史信息对下一时刻的目 标状态进行估计。 2 ) 基于肤色信息的人脸跟踪 肤色是人体表面最为显著的特征之一，是人脸的重要信息，不依赖于面部 的细节特征，对于旋转，表情的变化等情况都能适用，具有较高的稳定性并且 和大多数背景物体的颜色相区别。因此肤色特征在人脸检测中是最常用的一种 特征1 35 】【3 6 1 。肤色特征主要由肤色模型描述。基于肤色的人脸检测方法通常分为 肤色区域分割和人脸验证两大步。在确定肤色模型之后，首先可以进行肤色检 测，在检测出肤色像素后，需要根据它们在色度空间内的相似性和位置空间上 的相关性分割出可能的人脸区域，同时利用区域的几何特征及灰度特征进行是 否是人脸的验证，以排除及其它色彩类似肤色的物体，区域分割与验证在很多 方法中是密切结合统一考虑的。 此方法的难点在于选择合适的色度空间与肤色模型，最终限制检测性能的 因素是不同的色度空间中“肤色”与“非肤色”区域的重叠程度。而且由于在 彩色图像中，颜色受光照、背景的影响比较大，肤色的检测与模型的建立比较 困难，有时不能做到很准确。但是与其它检测方法相比，利用肤色知识检测出 的人脸区域定位可能不够精确，但如果在整个人脸跟踪识别系统实现中作为初 步确定人脸范围，它具有直观、实现简单、快速等特点，可以为后面进一步进 行人脸跟踪创造良好的条件，以达到最优的系统性能。 3 ) 基于局部器官特征的人脸跟踪 这类方法主要根据不同的人脸器官特征信息进行器官跟踪【3 6 儿4 0 1 【4 2 1 ，这类 方法经常利用眼睛、嘴和鼻子等器官特征信息进行跟踪定位。或利用形态学运 算对嘴进行跟踪，进而通过对人脸对称性的分析，实现了对头肩序列中人脸的 跟踪。由于算法只涉及简单的形态学运算和局部的旋转运算，速度能达到实时 要求，同时对人脸对称性的分析保证了跟踪结果的精确性。这类方法的优点是 计算较为简单，且不易受背景影响，允许人脸做较大幅度变化；缺点是无法处 理部分遮挡问题；局部特征消失易导致跟踪失败。 4 ) 基于形状特征的人脸跟踪 形状特征也是基于2 维人脸跟踪中常用的特征之一【1 6 , 2 9 , 3 7 l 。形状特征不同于 上述的特征，它是一种带有语义信息的较高层特征。常用的形状模型有三种： a 自定义的形状，如椭圆f l7 j 。在跟踪的过程中不管人脸的真实形状是什么样子， 始终用椭圆来代替；b 带变形的轮廓，最有代表性的就是所谓的s n a k e 方法【3 s 1 。 用曲线的曲率等定义内能量，用图像的边缘特征等定义外能量，最终的轮廓定 位是使内能量和外能量达到平衡；c 利用统计学习，使轮廓或形状的变化约束 在一定的范围之内，我们统称为主动形状模型( a c t i v es h a p em o d e l a s m ) 3 9 】。 最典型的就是用主元分析使形状变化约束在特定的特征空间里。c h e n 等【4 0 】结合 隐马尔可夫模型( h m m ) 来跟踪轮廓。z e n g 等 4 3 】提出联合区域表面粒子来定位轮 廓。 形状特征只考虑边界的轮廓信息，而基于表象( a p p e a r a n c e ) 特征的跟踪注重 的是整个对象区域内的信息，有些文献中也称之为纹理特征。如果在跟踪的过 4 程中忽略表面的变化，那么可以把它看成是一个静态的模板，用模板匹配就可 以定位，但这种方式在人脸跟踪中很少采用，因为在跟踪的过程中人脸区域的 纹理特征肯定会发生变化的。主动表面模型( a c t i v ea p p e a r a n c em o d e l a a m ) 【42 。，也是采用主元分析来学习表面特征的变化程度，在跟踪的过程中只容许表 面区域在特定的特征空间中变化。 对人脸跟踪系统来说，由于存在光照条件和硬件设备差异较大、导致系统 获取图像信息时，会出现明暗对比度过大、以及照度较低等现象，这使得跟踪 系统在检测人脸以及跟踪人脸的过程中会出现精度和准度大大降低的状况。为 了改善这种不良结果，非常有必要将图像增强技术引入到人脸跟踪系统中。因 此，本文所研究低照度条件下的人脸跟踪技术将具有十分重要的现实意义。 1 2 图像增强的研究背景 图像增强是指利用各种数学方法和变换手段提高图像中感兴趣物体的对比 度和清晰度，以满足特定应用的图像处理技术【4 1 , 4 4 】。在这里，我们的目的就是 研究出一种图像增强算法，该算法可以有效地进行低照度图像的增强，并且具 有一定的通用性和较快的处理速度。 视觉信息一直是人类传递信息的重要媒体和手段。近年来，随着计算机技 术和网络技术的迅猛发展，使得图像，视频等多媒体技术与人们的生活越来越 息息相关，对数字图像处理技术的需求也与日俱增。然而，在获取图像时，常 常由于光照不足，光学系统失真、相对运动、大气杂质等原因造成图像的模糊； 在对图像的复制、扫描、传输以及显示的过程中被噪声污染，造成图像的有用 信息减少，质量下降。因此，为了研究和分析图像，需对图像进行必要的处理， 这使得图像增强这个研究课题有着重要的现实意义 4 6 , 4 8 】。 由于增强图像的应用目的以及退化图像的形成原因不同，因此要研究出一 种较通用的图像增强算法是一个很有挑战性的工作。解决这些问题需要用到图 像增强、图像复原等方面的知识，因此具有重要的学术价值。 图像增强作为图像处理的重要组成部分，传统的图像增强方法对于改善图 像质量，增强人类观察能力，提高自动图像处理系统的成功性和准确性发挥了 重要的作用。随着对图像增强技术研究的不断深入，新的图像增强方法不断出 现。目前主要分为如下几类。 1 2 1 传统的图像增强方法 传统的图像增强的处理方法基本可以分为空域图像增强和频域图像增强【4 l 】 两大类，具体分类如下图所示： 5 r 吖： 广1r t 三 l偌薹l 一篡鼾 频域算法 同态滤波 l 掩模法 i 同态滤波 i 珊恹恼 6 r b p a r a n j a p e 用种子填充区域生长( s f r g ) 法对【4 8 】像素生成一个包括前景 区和背景区的自适应邻域，然后在该邻域中进行直方图均衡。而v a s i l eb u z u l o i u 和m i h a ic i u e 等人【”】只利用s f r g 法生成像素的前景区作为其邻域，并在该邻 域中进行灰阶范围扩展，而不是均衡。 直接对比度增强方法简单而有效，但是容易放大噪声，尤其是在图像的均 匀区。基于边缘检测的对比增强方法将像素的边缘度结合到局部对比度定义中， 从而更有利于边缘的增强，但是仍然对噪声较敏感。 l a x m i k a n td a s h 和b n c h a t t e r j i 利用像素邻域的灰阶模糊熵【5 5 j 来控制其对 比增强幅度，以抑制均匀区的噪声放大，该方法容易使区域过增强或欠增强。 基于自适应邻域的对比度增强法利用s f r g 法来生成像素的前景区和背景区， 以计算像素局部对比度。 另外，还有其他的一些增强方法【56 】【5 。例如为了充分考虑细节问题，在直 方图均衡中引入了局部直方图均衡法。近年来，数学形态学等方法也都应用到 图像增强中：需要说明的是，在图像增强中变换域增强也得到很广泛的应用， 例如傅氏变换、离散余弦变换、小波变换【5 8 】f 59 】等，其中小波是近年来发展起来 的一种新的时频分析工具，它具有时频局部化能力和多分辨率分析的能力，使 得它很适合于信号处理领域。对图像进行多尺度小波变换后，不同频率的信号 出现在不同尺度的子带图像上，有了这些特性就能很好的对感兴趣的部分进行 增强。 图像增强的方法是多种多样的。近年来，随着研究的深入又出现了一些非 常有特色的方法，比如基于r e t i n e x 理论【5 3 的方法。该方法是通过模拟人类视 觉系统是如何感知客观世界而建立起来的。与其它图像增强方法相比，r e t i n e x 方法具有非常明显的图像增强效果。它具有锐化、颜色恒常、颜色高保真、高 动态范围压缩等【“儿6 5 】特性，而很多其它的图像增强算法通常只具有其中的一种 或几种特性。但是，这种方法也存在一些小的缺陷，比如：算法运算量较大和 会放大噪声，需要在实际应用中进一步优化和完善。本课题针对人脸跟踪系统 的实际情况对r e t i n e x 图像增强技术进行了较为深入的研究，并针对它的一些 缺陷提出了改进。对提高入脸跟踪系统的性能起到了较好的作用。 1 3 论文的主要工作和结构安排 、 全文共分为如下五章： 第一章为绪论，概述了人脸跟踪和图像增强两方面的研究背景、意义和现 状，并总结了两部分内容目前的国内外研究方法。最后介绍了本课题的研究内 容和文章结构。 第二章主要介绍r e t i n e x 理论及各种常见的经典实现方法。文章先对 r e t i n e x 理论的由来做了简要的说明，并介绍了算法的计算策略，然后分别详细 7 介绍了各种经典的计算方法：主要包括基于路径的算法；基于迭代的计算方法 和中心环绕计算方法。并通过实验比较了f r a n k l e m c c a n n 算法和m c c a n n 9 9 算 法的效果和性能。本章较为深入和详细的介绍了中心环绕类算法中不同算法 s s r 、m s r 、m s r c r 的由来和发展历程，通过实验说明了不同算法的效果。 第三章总结分析了经典r e t i n e x 图像增强方法普遍存在的计算策略和算法 效果两方面的缺陷，接着设计出了一套较好的解决方案。使用基于双边滤波的 r e t i n e x 图像增强算法来解决“光晕伪影”问题，这种方法在计算策略上属于中 心环绕一类，因而较为简便。同时，针对速度问题本文提出了一种基于灰度级 分层的加速方法，有效解决了中心环绕类方法的速度困扰。为了解决噪声放大 的问题，本文通过引入入眼视觉掩盖效应有效的起到掩盖噪声的作用，从而最 终从两方面较为成功的克服了经典计算方法的主要问题。 第四章介绍了低照度条件下的人脸跟踪技术。我们先介绍了常见的几种色 彩空间，然后介绍了人类肤色在归一化r g b 空间中的一些特性，并选择高斯肤 色模型作为本文的肤色模型。接着介绍了卡尔曼滤波器的基本理论和计算公式。 由于本课题的目标是解决低照度条件下的人脸跟踪问题，所以在这一章的最后， 通过实验结果的展示，充分说明了将图像增强技术引入人脸跟踪系统中，对于 提高基于肤色信息的人脸跟踪性能具有非常明显的效果。 第五章总结和展望，对全文进行了总结，并提出了在研究中遇到的一些 问题和接下来可以继续研究的方向和目标。 8 第二章r e t i n e x 基本理论 图像增强是指利用各种数学方法和变换手段提高图像中感兴趣物体的对比 度和清晰度，以满足特定应用的图像处理技术。在这里，我们的目的就是研究 出一种图像增强算法，可以克服人脸跟踪系统人脸跟踪系统中出现的明暗对比 度过大、以及照度较低等现象，提高跟踪系统的精确性和鲁棒性。目前，已出 现了较多的低照度图像增强技术和方法，例如：基于人眼感知特性的方法：基 于局部统计的方法；基于局部直方图拉伸的方法；基于神经网络结合非线型拉 伸的方法等。在所有这些方法中，本文选择使用了具有特色的r e t i n e x 图像增 强技术作为人脸跟踪系统的图像增强技术。这一章将较为系统的介绍r e t i n e x 理论及其常见的计算方法，并通过实验较为系统的比较了相关方法的效果。 2 1r e t i n e x 理论的由来 r e t i n e x 理论【5 2 j 与物理学、仿生学、心理学等学科紧密相关，它主要用来 解释人类视觉系统是如何达到颜色恒常的。颜色恒常指的是在光照发生变化的 环境中，人类视觉系统感知到的物体的颜色保持相对不变。比如说：晴天时看 到的街头景色和傍晚时看到的景色在视觉上有比较大的差异，但是其实是同一 个场景，因此客观物体本身没有并变化，这就是颜色恒常。从以上过程可以看 出人类视觉系统的整个感知过程不仅与眼睛有关，还和大脑的认知有关，这也 正好说明了r e t i n e x 一词的由来：( r e t i n a 视网膜+ c o r t e x 大脑皮层) 。 r e t i n e x 理论是由e d w i n h l a n d 在2 0 世纪7 0 年代提出的，该理论又被 称为视网膜皮层理论。l a n d 通过大量的蒙德里安试验发现，人类视觉系统感知 到的物体颜色与其固有的反射性质有着非常密切的关系，而与反射到人眼的光 谱特性关系不大。由环境光照引起的颜色变化一般是平缓的，通常表现为平滑 的照明梯度，而由反射性质引发的颜色变化则往往表现为突变形式。通过分辨 这两种变化形式，人类视觉系统就能将图像的照度变化和本质变化做出区分， 从而可以独立于照度变化，使得对物体表色的知觉保持相对恒常。 2 2r e t i n e x 理论计算方法 根据r e t i n e x 理论，一幅图像可以看成是照度图像和反射图像的乘积，如 下式所示： s ( x ，少) = r ( x ，y ) 三( x ，y ) ( 2 - 1 ) 其中s 为原始图像，r 为反射图像，l 为照度图像。实际上，反射图像r 真正决定了一幅图像的本质属性，照度图像l 决定一幅图像能达到的动态范围。 r e t i n e x 的目的就是从原始图像s 中获得图像的本质属性，从而避免照度的影 响，达到颜色恒常。 9 在实际的r e t i n e x 计算中会先利用对数变换将乘积关系转换为求和关系， 再将图像进行分解。具体做法是先对原始图像取对数，再用特定的方法进行照 度估计，得到照度图像l ，然后计算原始图像s 与照度图像l 的差获得反射图 像。所以怎样从原始图像计算出照度图像是不同的r e t i n e x 计算方法的根本差 别。但是从原图像计算亮度图像在数学上是一个奇异问题，因此，只能通过数 学上近似估计的形式估算亮度图像。 在r e t i n e x 理论的发展过程中，根据估计亮度图像方法的不同，先后出现 了许多种基于r e t i n e x 理论的图像增强方法，本文在这里将介绍几种最具代表 性的方法：基于路径的方法；基于迭代的方法，如f r a n k l e - - m c c a n n 和m c c a n n 9 9 算法；中心环绕计算方法：s s r ，m s r ，m s r c r 。下面将详细介绍一下。 2 3 基于路径比较的r e t i n e x 计算方法 根据r e t i n e x 彩色理论，物体的颜色是由物体对长波、中波和短波光线的 反射性质共同决定的，而与照度无关。因此为了提取出目标物体本来的固有颜 色属性，可以通过计算每个波段内像素间的相对明度关系获得。这种方法的特 点是：图像中各个像素的相对明暗关系受光源的影响很小，对于对比度很小的 图像，如整体上比较亮或比较暗的图像可以消除光源非均匀性的影响，提高图 像对比度，大幅改善图像的主观质量。 基于路径的算法的基本思想是：假定从图像的( x l ，y 1 ) 位置至u ( x 2 ，y 2 ) 位置有 一条路径。该路径上共有1 1 个像素，它们的值分别为( d l ，d 2 ，d n ) 那么起点 s ( x l ，y l ，) 和终点d ( x 2 ，y 2 ) 的相对明度关系可以用连续相乘法来计算，即表示为： 旦：t ( 生) 书丁( 垒) t ( 生) t ( 生) s d l d 2d 3d 。一i 其中，t ( x ) 是门限函数，即指当相邻像素的值变化低于某个门限时，可以 认为它们没有任何变化。l a n d 等人的实验表明：入眼对亮度的感觉是指数型的， 而不是线性的，所以在上式中通过取对数可以获得人眼明亮感觉的主观指标。 由于上式需要对连续相乘的积取对数，因此可以先对每个比值取对数，然 后将所得的结果相加，即： l o g ( d ) = l o g 【r ( 罢王) 】+ l o g t ( - 李- ) 】+ l o g 【r ( 睾) 】+ + l o g i t ( 孚三- ) 1 ) 口l2口j盘扣l = t ( 1 0 9 d 2 一l o g d l ) + t ( 1 0 9 d 3 一l o g d ：) + - ( 1 0 9 d 一l o g d 。l 由此可见，如果我们事先对每个像素的值d 取对数l o gd ，那么它们直接相 减就相当于计算比值，如l o gd 2 一l o gd l = l o g ( d 2 d 1 ) ，比值连续相乘也可以 通过取对数后的连续相加来实现。因此在算法实现时通常先对输入图像在各个 波段内的每个像素的值取对数，然后通过一系列的相减和相加来计算像素间的 明度关系。 这种方法的特点是：图像中各个像素的相对明度关系受照度的影响很小， 1 0 对于对比度很小的图像，如整体上比较亮或比较暗的图像，可以消除照度的影 响，提高图像的对比度，大幅度改善图像的主观质量，同时还可以纠正图像色 彩失真问题。 从以上基于路径的像素比较算法描述中可以看到，处理过程中需要解决的 问题有三个： 一是门限判决问题，即当相邻像素的亮度变化低于某个门限时，可以认为 他们的反射能力没有变化，这是消除照度非均匀性的手段之一。 二是起点位置与路径选择问题，由公式中计算得到的是( x l ，y 1 ) 和( x 2 ，y 2 ) 的相对明度关系，也就是说计算结果与起点的位置和路径有关系。起点不同， 结果会不同；即便是起点相同，也会