（计算机应用技术专业论文）图像的阴影检测与去除算法研究.pdf

中文摘要 摘要：阴影是自然界中普遍存在的一种物理现象，图像中阴影的存在会对物 体识别、目标追踪等计算机视觉的相关问题造成不利的影响，因此研究图像中阴 影的检测和去除算法是十分必要的。静态图像中的阴影处理一直是一个比较困难 的问题，本文在分析了阴影的成因和光谱属性的基础上，对静态图像中的阴影检 测和阴影去除算法进行了研究。 阴影检测是阴影处理算法的基础，阴影检测算法的准确性直接影响之后阴影 去除算法的效果。本文首先总结概括了现有的几种阴影检测算法，并对它们进行 了详细的优缺点分析。最近的研究表明，对立色彩空间中的红一绿通道与阴影具有 最大的无关性。本文在这一结论的基础上，联合对立色彩空间中的两个色度通道， 提出了一种新的阴影检测算法一基于对立色彩空间的阴影检测法，并通过实验 验证了这一算法的可行性和有效性。 阴影去除是将阴影区域中像素点的亮度和颜色，恢复到非阴影区域光照的效 果下，从而使整幅图像具有视觉上的光照一致性。通过对现有的几种阴影去除算 法优缺点的分析，并结合颜色恒常理论，本文提出了一种新的阴影去除算法 基于颜色恒常的阴影去除法。通过颜色恒常算法分别估计出阴影区域和非阴影区 域的光照颜色，并根据v o nk r i e s 色系数定律计算出阴影区像素点变换到非阴影区 光照效果下的校正增益，从而达到阴影去除的目的。通过实验结果，我们可以看 到，该算法对各种场景下的图像均具有较好的阴影去除效果。 关键词：阴影检测；阴影去除；对立色彩空间；颜色恒常 分类号：t p 3 9 1 4 1 a b s t r a c t a b s t r a c t ：t h e p r e s e n c eo f s h a d o w si ni m a g e sc a l ll e a dt op r o b l e m so fs o m e c o m p u t e rv i s i o nt a s k ss u c ha si m a g es e g m e n t a t i o n o b j e c tr e c o g n i t i o na n dt r a c k i n g t h i s t h e s i sa i m sa td o i n gs o l l l er e s e a r c ho ns h a d o wd e t e c t i o na n dr e m o v a la l g o r i t h m si ns t i l l i m a g e sb a s e do ns h a d o w ss p e c t r u mp r o p e r t y s h a d o wd e t e c t i o ni st h ef i r s t s t e po fi m a g es h a d o wp r o c e s s i n g 1 1 1 er e s u l to f s h a d o wd e t e c t i o nw i l ld i r e c t l ya f f e c tt h ef o l l o w i n gs h a d o wr e m o v a la l g o r i t h m w e s u m m a r i z ee x i s t i n gs h a d o wd e t e c t i o na l g o r i t h m sa n da n a l y z et h ea d v a n t a g e sa n d d i s a d v a n t a g e so ft h e m b a s e do nr e c e n ts t u d i e s ，t h a tt h er e d - g r e e nc h a n n e lo fo p p o n e n t c o l o rs p a c ei si n v a r i a n tt os h a d o w s ，w ep r o p o s eam e t h o dw h i c hu s i n gt h et w o c h r o m a t i c i t yc h a n n e l s o fo p p o n e n tc o l o rs p a c et o i d e n t i f ys h a d o w sb o u n d a r i e s e x p e r i m e n t sv a l i d a t e0 1 1 1 a p p r o a c h s h a d o wr e m o v a li st ot r a n s f o r ms h a d o wr e g i o np i x e l s c o l o ra n di n t e n s i t yt o n o n - s h a d o wi l l u m i n a n t f o rt h i sp a r to ft h et h e s i s ，an o v e la p p r o a c ho fs h a d o wr e m o v a l i sp r e s e n t e d t h em e t h o di sb a s e do nt h et h e o r yo fc o l o rc o n s t a n c y t h eo r i g i n a li m a g e i sf i r s td i v i d e di n t os h a d o wr e g i o na n dn o n - s h a d o wr e g i o n a f t e rt h a t c o l o rc o n s t a n c y a l g o r i t h m sa r eu s e dt oe s t i m a t et h ei l l u m i n a n tc o l o ro f b o t hr e g i o n s ，t h es c a l i n gc o n s t a n t o fv o nk r i e sb e t w e e nt h e mi sc a l c u l a t e d f i n a l l y , w eg e tt h es h a d o wf r e ei m a g eb y a d d i n gt h es c a l i n gc o n s t a n tt os h a d o wr e g i o np i x e l s 。e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e m e t h o ds u c c e e d si nr e m o v i n gs h a d o w sa n di ss i m p l e ra n df a s t e rt h a ns t a t e - o f - t h e a r t m e t h o d s k e y w o r d s ：s h a d o wd e t e c t i o n ；s h a d o wr e m o v a l ；o p p o n e n tc o l o rs p a c e ；c o l o r c o n s t a n c y c l a s s n o ：t p 3 9 1 4 1 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： l - 于 导师签名： 签字日期：瑚3 年石月；日签字日期：) ，呀年月3 日 j e 巫銮迫太堂亟堂位途塞独剑性直明 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者繇王宁 签字嗍 劢占年月弓日 致谢 本论文的工作是在我的导师须德教授的悉心指导下完成的，须德教授严谨的 治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来须老 师对我的关心和指导。 宋泽海老师悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向宋老师表示衷心的谢意。 李兵师兄对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷心 的感谢。 在实验室工作及撰写论文期间，冯松鹤、鹿瑞等师兄师姐对我论文中的研究 工作给予了热情帮助；在宿舍罩，舍友王炽英、孔令磊同学和我一起积极探讨学 术问题，营造了团结、上进的宿舍氛围，在此一并向他们表达我的感激之情。 另外也感谢我的家人，他们的理解和支持使我能够在学校专心完成我的学业。 1 绪论 1 1 研究背景和意义 自从电子计算机问世以来，随着硬件和软件技术的不断进步，人类对计算机 应用的要求越来越高。在2 1 世纪的今天，计算机已经在我们的生活中无处不在， 从衣食住行的各个方面为我们提供高效便捷的服务。特别是近二十年来随着互联 网和多媒体技术的高速发展，计算机在我们的生活中占据着越来越重要的位置， 我们获得的信息量呈几何级数的速度增长，获取信息的方式也越来越方便，并且 信息的表现形式也不再局限于原来的文字和静态的图片，而是包括声音、视频、 动画等多种媒体形式，所以有人说：我们生活在一个信息爆炸的时代，或称为信 息时代。 人类接收信息的主要来源是视觉，占据了约7 0 的比重。我们从视觉系统得 到的信息就是图像，简言之，图像是自然界景物的客观反映和人类视觉系统的主 观感受相结合的产物。而计算机视觉则是希望计算机能够从图像或图像序列中获 取对世界的描述。这种信息的获取是以准确的分析和处理数字图像为基础的，也 被称为数字图像处理技术。 数字图像处理技术发展到今天，许多技术已只臻成熟。在各个领域的应用取 得了巨大的成功和显著的经济效益。如在工程领域、工业生产、军事、医学以及 科学研究中的应用己十分普遍。通过分析资源卫星得到的照片可以获得地下矿藏 资源的分布及埋藏量；利用红外线、微波遥感技术可侦查到隐蔽的军事设施；x 射线c t 已广泛应用于临床诊断，由于它可得到人体内部器官的断层图像，因此， 可准确地确定病变的位置，为诊断和治疗疾病带来了极大的方便。在安全保障及 监控方面图像处理技术更是不可缺少的基本技术。 阴影是在自然界中普遍存在的一种物理现象，是由于光源被物体遮挡而产生 的。图像中阴影的存在对计算机视觉领域的相关问题有不同的影响，这种影响有 有利的也有不利的。比如我们可以从阴影中得到物体的几何信息、场景空间结构、 光源方向等，对三维场景重建、空间物体运动分析有重要的作用；在虚拟现实、 3 d 游戏中为物体添加阴影，可以提高场景的真实感。但是更多的时候，图像中的 阴影会对计算机视觉的相关问题产生不利的影响，如在航空图像中，阴影的存在 会影响后继的图像匹配、模式识别和地物提取等多种遥感图像处理操作；在医学 成像中，阴影会影响医生对病变图像的分析；在视频监控中，阴影和运动目标结 合在一起，导致计算机对目标物体的提取和追踪出现错误。因此，有必要对图像 中的阴影进行检测和分析，并根据需要，进而消除或减弱阴影的影响。 阴影检测和去除算法包括两个不同的方向：静态图像中的阴影处理和视频序 列中的阴影处理。二者虽然在相关概念上是相通的，但是却有不同的研究目的和 研究思路。 对于静态图像来说，阴影检测常被用来分析产生阴影的目标物体的几何属性， 比如基于航空图像的三维场景重建、建筑物识别等，以及从静态图像中分析物体 表面的法线方向和光照方向等。静态图像中的阴影去除，可以用来增强图像可视 性，提高地物识别率以及获得更好的图像质量。 对于视频图像来说，阴影处理是视频监控和目标追踪等应用中的一个重要组 成部分。阴影随着目标物体一同运动，很容易被计算机错误的识别为前景，从而 影响目标分割和形状提取的准确度，导致监控和追踪的失败。因此，必须使用阴 影检测算法将阴影和运动物体相分离，进而准确的提取目标物体。 1 2 国内外研究进展 目前，国内外很多专家学者对视频中的阴影去除进行了比较深入的研究，提 出了很多有效的算法 1 1 2 】，这些方法在视频监控和车辆追踪等领域得到了广泛的 应用。但是在静态图像中的阴影检测，一直是一个比较困难的问题，因为静态图 像所包含的信息量更少，不能像在视频中一样利用帧间关系来进行阴影检测。 到目前为止，已有许多学者通过分析阴影特征，建立阴影产生的模型，提出 了不少检测阴影区域的相关算法 2 4 1 。阴影检测的方法可分为两类：基于几何模型 的方法 2 5 1 2 6 和基于阴影特征的方法 2 7 】【2 8 】。基于几何模型的方法是利用场景、 运动目标、光照条件的先验信息，建立阴影模型，对三维运动物体模型的棱、线、 角进行匹配，此方法通常在特定场景条件下使用，如航空图像理解与视频监控； 基于阴影特征的方法是利用阴影的几何特点、亮度、色彩、纹理等信息来标识阴 影区域。 a n d r e ap r a t i 等人在文献 3 】中对现有的阴影检测方法进行了更详细的分类，首 先将阴影检测算法分成基于统计的方法和基于确定性的方法，又进一步把基于统 计的方法分成有参数和无参数的两类，把基于确定性的方法分成有模型和无模型 的两类，如下图所示： 2 图1 现有的阴影检测算法分类 现有的阴影去除算法主要是指在静态图像中的阴影去除，因为在基于视频的 目标追踪、目标形状提取等计算机视觉的应用中，检测出阴影区域之后，只需要 将其与目标进行分离处理，从而提取目标物体，一般来说并不需要将阴影完全去 除：而在摄影测量和遥感成像等基于静态图像的研究领域，在检测出阴影之后， 还要尽可能的减弱或消除阴影的影响，恢复阴影中物体的本来面目，从而提高图 像质量和可视性，这就需要应用阴影去除的相关理论。 当前，主流的阴影去除算法主要可以分为两类，一是以gd f i n l a y s o n 等人所 提出的基于积分的阴影去除方法为代表，包括基于二维积分的阴影去除【3 5 】和基于 一维积分的阴影去除【4 3 】等，这种方法的主要思想是对差分图像求解偏微分方程， 从而得到一幅无阴影的图像。另一类是以e l ia r b e l 等人所提出的基于颜色比率的 方法为代表 4 5 】，这类算法的主要思想是寻找阴影区域和非阴影区域像素点的r g b 值之间的一个比率常向量，然后把阴影区域像素点的r g b 值通过对角阵变换到非 阴影区域的光照效果下。本文将对两类阴影去除方法中的代表算法进行详细研究， 并对其进行优缺点分析。 1 3 研究的主要内容 本文将对静态图像中的阴影检测和阴影去除方法进行研究，在充分分析阴影 属性的基础上，结合现有阴影检测和去除算法的原理，提出了一种新的阴影检测 方法和一种阴影去除方法，并通过实验对两个算法进行了检测和分析。因此，本 文主要内容有： ( 1 ) 图像成像的基本理论和数学模型分析 ( 2 ) 对常用的几种颜色恒常算法进行比较和分析 ( 3 ) 给出阴影的定义，总结分析阴影的特点和光谱性质 ( 4 ) 分析现有的阴影检测算法的优缺点及其限制条件，并提出自己的阴影检测 方法，通过实验进行验证分析 ( 5 ) 分析现有的阴影去除算法的优缺点及其限制条件，并提出自己的阴影去除 方法，通过实验进行验证分析 希望通过以上的研究，为以后从事这方面研究的同仁提供一定的启发作用。 4 2 基础知识 本章将首先介绍视觉系统和摄像机成像的相关理论，并建立图像成像的数学 模型，作为之后研究阴影检测和阴影去除算法的理论基础和实验基础。然后，简 单介绍了一下颜色恒常理论。颜色恒常是一种视觉心理学现象，是人类能够消除 光照变化的影响而获取物体本质色彩的能力。在计算机视觉领域进行颜色恒常研 究就是要把非标准光照下的图像变换到标准光照下，这个过程与阴影检测、阴影 去除有很多共通之处。阴影检测其实就是要发现图像中光照变化的位置，而阴影 去除则可以看作多光照下的颜色恒常 4 1 1 5 】。 2 1 图像成像理论 图像成像的三个必要因素是：光线、反射表面和成像系统 6 。成像系统对人 类来说是视觉系统，对摄像机来说就是颜色传感器。光线通过物体表面的反射进 入成像系统，进而形成了图像。本节将首先介绍图像成像的三要素，然后引入成 像系统的数学模型。 2 1 1 光线 我们之所以能看到世界上的物体，首要的条件是有光的存在。根据光的波粒 二象性原理，我们知道光实际上是一种电磁波，波长决定了光的颜色，因此不同 波长的光映射到我们眼中，就表现为不同的有色光。 光是由光源发出的，光源发光的过程也就是不断向外辐射电磁波的过程。光 源发出的光通常是由不同波长的光组成的混合光，这种组成可以是连续的也可以 是离散的，牛顿于1 6 6 6 年借助三棱镜将太阳光分解为一组连续的有色光，这种有 色光的分布就称为光谱分布，不同的光谱分布也就表现为不同的光色。 图2 雨兕尤源的光_ i 晋分布图 建立个光源一般是通过加热一个物体直至其发光，光谱分布的不同，是由 物体本身的特性和温度决定的，这个过程称之为热辐射。为了研究不依赖于物质 5 具体属性的热辐射规律，物理学家们定义了一种理想物体黑体( b l a c kb o d y ) ， 以此作为热辐射研究的标准物体。 所谓黑体是指入射的电磁波全部被吸收，既没有反射，也没有透射( 当然黑体 仍然要向外辐射) 。显然自然界不存在真正的黑体，但许多物体在某些波段上是较 好的黑体近似。加热黑体使之热辐射的过程就称为黑体辐射。 普朗克辐射定律( p l a n c k ) 给出了黑体辐射的光谱能量分布，在一定温度下，单 位面积的黑体在单位时间、单位立体角内和单位波长间隔内辐射出的能量为 鱼 e ( x ，丁) = i q 2 - 5 ( e 材- 1 ) 一 ( 2 1 ) 其中九是辐射波长( 朋) ，t 为黑体绝对温度( k ) ，是光强度因子，c 。c 2 为 常数，分别为3 7 4 1 8 3 x 1 0 。6 w m 2 和1 4 3 8 8 x 1 0 之m k ( 文献 7 ) 。 太阳和很多的人造光源( 包括白炽灯、荧光灯等) 的发光过程都可以近似为黑体 辐射，它们发出的光的颜色在c i e 色度空间中构成了一条曲线，这条曲线被称为 普朗克轨迹。文献 8 中测量了多种光源的光谱能量分布。 縻一 f i _ _ 二 1 c j ：f ，t 1 t 玉 图3c i e 色度空间中的普朗克轨迹一 中间标有开尔文温度的曲线( 图片摘自文献 9 ) 2 1 2 表面 当光线到达一个表面时，它可能会被反射、散射或者吸收，通常是这三种情 况的组合。为了简化问题，我们对表面做出以下假设： 离开一个表面的光的波长和到达这个表面的光的波长相同 表面不会自己发光，对光线的作用与具体光源无关 表面上离开某点的辐射能量仅取决于到达该点的辐射能量和表面属性 6 考虑到达表面的一束光线，其辐射能量与波长和出入射角度有关，我们记入 射光线辐射能量为e ( 兄，1 ，织) ，出射光线辐射能量为，v 。，九) ，其中五为波长，v t ，以 为球面坐标下入射光线角度，屹，九为相应的出射光线角度。如图4 图4 表面的入射光线和反射光线( 图片摘自文献 1 0 ) 那么我们可以用以下模型来描述某一表面在该波长光线和相应出入射角度下 的反射属性 s c a ，k ，九，u ，谚，= 主乏砉揣 ( 2 2 ) 式( 2 2 ) 称为双向反射分布函数( b r d f ) 。双向反射是自然界中物体对电磁波反 射的基本宏观现象，即反射不仅具有方向性，这种方向性还依赖于入射的方向。 物体的反射辐射与物体的表面结构特征及物质组成有密切关系，不同物体表面将 入射的电磁波向四面八方反射，形成反射能量不同的空间分布，反射的方向性是 其材料波谱特征和空间结构特征的函数。文献 1 1 仲提供了多种表面的双向反射分 布函数。 实际上，对于某些表面来说，其对光的反射与出入射角度无关，也即从任何 方向看起来都具有同样亮度，比如棉布、纸张等，这种表面称为理想漫反射( p e r f e c t d i f f u s e r ) 表面或者朗伯( l a m b e r t ) 表面。这样我们就可以将b r d f 简化为一个方向无 关的函数，记为s ( 五) 跗) = 器 7 ( 2 - 3 ) s ( 元) 被称为表面光谱反射率。根据公式( 2 ，3 ) ，如果我们知道了某表面的光谱 反射率和入射光线的光谱能量e ( 咒) ，就能得到反射光线的光谱能量 ( 兄) = e ( 兄) s ( 旯)( 2 4 ) 文献 8 】中提供了多种表面的光谱反射率。 2 1 3 颜色传感器 通过颜色匹配实验( 参见本文2 2 节) 和解剖学的研究，我们知道人类的视网膜 上存在三种基本颜色感光细胞，通常称为视锥细胞，它们对于不同波长的光线有 不同的响应曲线，大体上可以认为分别对3 8 0 n m 7 8 0 n m 波长范围内的短、中、长 波的光敏感，将它们称为蓝、绿和红视锥细胞，或者称为s 、m 、l 感光细胞，在 这个波长范围内的光也被称为可见光。我们看到的所有颜色都是由这三种感光细 胞对可见光的响应值组合而成的。 0 教长 图5 人眼视锥细胞对光线的的感应曲线( 图片摘自文献 9 ) 彩色摄像机就是利用上述原理，在其每一个传感器单元上，都有三种不同感 光函数的滤波器，我们称之为r ( r e d ) 通道、g ( g r e e n ) 通道和b ( b l u e ) 通道，感光函 数记为r 。( 旯) 其中k = r ，g ，b ，对不同波长的光线的响应曲线如图6 所示。所有的 颜色都可以由这三个通道的颜色值相混合而表示出来，这三种色彩就被称为三基 色。 拿 ； 耄 童 耋 ； 茎 夏 4 0 04 4 0 4 8 05 2 0s 6 06 0 06 4 06 s o w “e 岫l g 血( n m ) 图6s o n yd x c 一9 3 0 摄像机响应函数曲线( 图片摘自文献 1 0 ) 为了便于研究，通常我们对摄像机的感光函数做出如下理想化的假设 三个感光函数的感光波段互不重合 每个感光函数均可看作窄带滤波器 满足如上假设的感光函数，分别对某一特定波长的光具有最大的响应值，可 以使用狄拉克万函数( d i r a cd e l t a ) 来近似每个感光函数r 。( 五) ，k = r ，g ，b 。 狄拉克艿函数也叫单位脉冲函数，它是一个广义上的函数，定义如下： 函数 1 1 1 2 aa t t o a , 罗o ( t - t o ) 2 o如。 其中a 0 ，t o 为常数，如图7 ( a ) 所示 图7 狄拉克万函数 9 ( 2 - 5 ) 当口一0 时，函数8 。( t - t 。) 的行为如图t o o ) 所示。 狄拉克万函数有一个重要的性质， j f ( t ) 8 ( t t o ) 出= 厂( f o ) ， 一口t - t o 口 对感光函数r 。( 旯) 来说，式( 2 - 6 ) 可以写为以下形式 ( 2 - 6 ) p ( 兄) r ( 兄一以) 视= 厂( 以) ， 一名一以， k = r ，g ，b ( 2 - 7 ) 其中以为使感光函数r ( a ) 产生最大响应值的波长， - - a 。，4 + 吼 为各感光 函数的感光波段。 2 1 4 成像模型 图8 满足理想化假设的摄像机响应函数 如果用一个光谱能量为e ( z ) 的光源照射一个光谱反射率为s ( a ) 的理想漫反 射表面，如图9 ，根据公式( 2 4 ) ，反射光的光谱能量是e ( 兄) s ( 五) ，则摄像机的七通 道对此反射光线的响应为 级= 1 r k ( 名) e ( 元) s ( 五) 以，k = r ，g ，b ( 2 - 8 ) 其中缈为感光波段的波长范围，般取可见光的波长范围3 8 0 n m - 7 8 0 n m 。 根据公式( 2 7 ) ，上式又有 以= 1 r ( 1 ) e ( a ) s 1 ) d 1 = e ( 以) s ( 4 ) ，k = r ，g ，b ( 2 - 9 ) 其中 为使感光函数r ( 元) 产生最大响应值的波长。彩色图像中的每个像素点 都是由这三个通道的值( n ，几，如) 组合而成的，通常简写为似，g ，口) 。 1 0 公式( 2 - 9 ) 即为最常用的彩色摄像机成像模型，也是本文研究图像中的阴影所 基于的理论基础。 k 通道响应值工r ( 彳皿( 五) s ( 五) 以 入射光谱能 2 2 常用色彩空间 表面反射率s ( 名) 图9 彩色摄像机成像模型 量e ( a ) s ( 2 1 在前一节讨论的成像模型的基础上，本节将介绍两种常用的标准色彩空间， 以及它们之间的转换公式。 2 2 1c i e r g b 色彩空间 把两个颜色调整到视觉相同的方法叫颜色匹配，颜色匹配实验是利用色光加 色来实现的。图1 0 中左方是一块白色屏幕，上方为红( r ) 、绿( g ) 、蓝( b ) 三原色 光，下方为待配色光c ，三原色光照射白屏幕的上半部，待配色光照射白屏幕的下 半部，白屏幕上下两部分用一黑挡屏隔开，由白屏幕反射出来的光通过小孔抵达 右方观察者的眼内。人眼看到的视场如图右下方所示，视场范围在2 0 左右，被分 成两部分。图右上方还有一束光，照射在小孔周围的背景白版上，使视场周围有 一圈色光做为背景。在此实验装置上可以进行一系列的颜色匹配实验。待配色光 可以通过调节上方三原色的强度来混合形成，当视场中的两部分色光相同时，视 场中的分界线消失，两部分合为同一视场，此时认为待配色光的光色与三原色光 的混合光色达到色匹配。不同的待配色光达到匹配时三原色光亮度不同，可用颜 色方程表示： c = 尺( 尺) + g ( g ) + b ( b ) ( 2 1 0 ) 式中c 表示待配色光，( r ) 、( g ) 、( b ) 代表产生混合色的红、绿、蓝三原色的 单位量；r 、g 、b 分别为匹配待配色所需要的红、绿、蓝三原色的数量，称为三 刺激值。 图1 0 颜色匹配实验 国际照明委员会( c i e ) 规定红、绿、蓝三原色的波长分别为7 0 0 n m 、5 4 6 1 n m 、 4 3 5 8 n m ，在颜色匹配实验中，当这三原色光的相对亮度比例为1 0 0 0 0 ：4 5 9 0 7 ： 0 0 6 0 1 时就能匹配出等能白光，所以c i e 选取这- - l t 例作为红、绿、蓝三原色的 单位量，即( r ) ：( g ) ：( b ) = l ：1 ：l 。尽管这时三原色的亮度值并不等，但c i e 却 把每一原色的亮度值作为一个单位看待，所以色光加色法中红、绿、蓝三原色光 等比例混合结果为白光，即( r ) + ( g ) + ( b ) = ( w ) 。 c i e r g b 光谱三刺激值是3 1 7 位正常视觉者，用c i e 规定的红、绿、蓝三原 色光，对等能光谱色从3 8 0 n m 到7 8 0 n m 所进行的专门性颜色混合匹配实验得到的。 实验时，匹配光谱每一波长为五的等能光谱色所对应的红、绿、蓝三原色数量，称 为光谱- _ - 束u 激值，记为弓，西，玩，它是c i e 在对等能光谱色进行匹配时用来表示红、 绿、蓝三原色的专用符号。因此，匹配波长为五的等能光谱色c ( 五) 的颜色方程为 c ( a ) = 5 ( r ) + 季 ( g ) + 6 _ ( b )( 2 1 1 ) 式中( r ) 、( g ) 、( b ) 为三原色的单位量，分别为1 0 0 0 0 、4 5 9 0 7 、0 0 6 0 1 ；c ( z ) 在数值上表示等能光谱色的相对亮度，如图l l 所示，其中最大值为c ( 5 5 5 ) ，且有 c ( 5 5 5 ) = 1 ，即 c ( 5 5 5 ) = f ( 5 5 5 ) ( r ) + 岳( 5 5 5 ) ( g ) + 6 ( 5 5 5 ) ( b ) = 1 0 0 0( 2 1 2 ) 图1 1 等能光谱色的相对亮度曲线 1 2 弘 值 0 0 “”浏- 警? ，埘瞳墨。一 也 出 图1 2c i e r g b 光谱三刺激值 r g b 颜色空间是一种线性的色彩空间，是由三种单一波长的光( r 7 0 0 n m 、 g 一5 4 6 1 n m 、b 一4 3 5 8 n m ) 组成的。一般可以将得到的颜色组成一个立方体，通常称 为r g b 立方体。如下图： 鼎幺t r 2 5 5 0 2 5 5 1 钉f 2 5 5 0 o i 菇m 0 2 5 5 ) 音f | 0 2 5 5 2 5 5 ) 5 5 2 5 5 2 5 5 ) 绿r 0 2 5 5 o 、 图1 3r g b 立方体 我们常常并不关心颜色的亮度，而只关心它的色度。因此，引入了色度坐标 来表示颜色的色度。c i e r g b 色彩空间中常用的色度坐标有两种，我们命名为，一g 色度坐标和吃一9 6 色度坐标。 ，一g 色度坐标和r g b 颜色空间的转换关系如下： 尺 尺+ g + 召 g ( ，= 6 r + g + b 其中厂，g o ，1 】 一9 6 色度坐标和r g b 颜色空i n j 的转换关系如下： 尺 r b 2 ：b g g b = ：b 其中r b ，9 6 0 ，o o 】 2 2 2c i e x y z 色彩空间 从图1 2 中我们可以看到，颜色匹配函数中有负值出现，而为了使用方便我们 希望建立一套始终为正的颜色匹配函数。 间，其每个点的颜色匹配函数都是正的， 国际照明委员会提出了一种新的色彩空 我们称之为c i e x y z 色彩空问。 选择三个理想的原色( 三刺激值) x 、y 、z ，x 代表红原色，y 代表绿原色， z 代表蓝原色，这三个原色不是物理上的真实色，而是虚构的假想色。它们在 c i e r g b 色彩空间中的坐标分别为： 表lx y z 三原色在c i e l a b 色彩空间巾的坐标 rgb x 1 2 7 5 0 2 7 8 0 0 0 3 y1 7 3 92 7 6 70 0 2 8 z0 7 4 3o 1 4 11 6 0 2 l x = 0 4 9 0 r + 0 3 1 0 g + 0 2 0 0 b y = 0 1 7 7 尺+ 0 8 1 2 g + 0 o l1 b fz = 0 0 0 0 r + 0 0 1 0 g + 0 9 9 0 b 1 j 刺1 0 灌 0 j 舶0 如波长 泔 7 图1 4c i e x y z 光谱- - - 睐u 激值 1 4 为了使用方便，我们也为c i e x y z 色彩空间建立色度坐标，定义为x 、y y h 志，志， 2 3 颜色恒常理论 。镫 i ，、 v 瑚、 弋 e 掣 譬 c 粤 f 棚 伪瑚 、d 图1 5c i e x y z 的色度坐标x ，y 空问 颜色恒常( c o l o rc o n s t a n c y ) 在视觉心理学上是指人眼普遍存在的一种知觉常 性，即不因外界环境变化而保持对客观色彩知觉不变的一种心理倾向 1 2 】。从计算 机视觉的角度来说就是消除光照的影响，得到场景的本质色彩 1 3 】。 根据2 1 节的内容我们知道，不同的光源具有不同的光谱能量分布，因此同一 物体在不同的光照下，也会具有不同的颜色，但是人眼对该表面的颜色认知可以 在一定程度上保持恒定。这种颜色恒常的能力可以使我们在各种光照下识别物体， 而忽略光照色彩变化所带来的影响。在图像检索、图像分割、物体追踪等很多计 算机视觉的应用问题中，对图像进行颜色恒常处理可以提高原算法的准确性。本 节将对颜色恒常理论进行简单介绍。 图1 6 相同场景在不同光照下的图像，颜色具有很大差别 2 3 1 颜色校正模型 在计算机视觉中应用颜色恒常，常用的一种思路就是把非标准光照下的场景 图像变换到标准光照下，这个过程也称为颜色校正。所谓标准光照，就是由国际 照明委员会( c i e ) 规定的使白色在颜色传感器r g b 三个通道的刺激值相等的光线 颜色。在其他色温的光照下，白色物体反射光对同一颜色传感器的r u b 三个通道 的刺激值是不相等的。为了寻求在标准光源照明下的物体颜色，就需要克服非标 准光源照明的影响，这就是颜色恒常处理的由来。 v o nk r i e s 在2 0 世纪初提出了一种颜色校正模型，这个模型直到现在仍然是主 流颜色恒常算法的基础。v o nk r i e s 指出，视网膜上三种视锥细胞对光线的感应成 独立的线性变化，视觉系统对不同光照环境的颜色校正可以通过独立调整三种感 光细胞的增益来实现。假设一种光照下的三通道刺激值为r ，g ，b ，则有以下模型： 瑚= 楣 尺，g ，b 为校正后的三通道刺激值，七。，k ，k 。为校正增益。v o nk r i e s 的颜色校 正模型又被称为v o nk r i e s 色系数定律，由于式( 2 1 7 ) 中d 是一个对角矩阵，因此 也称之为对角模型。 式( 2 1 7 ) 的校正增益可以用以下方法得到：根据国际照明委员会规定的标准光 照，我们知道在标准光源下白色物体的r g b 三刺激值是相等的，对于非标准光源 下得到的白色物体的- - n 激值r 枷妇，g 硼妇，b 砌妇，校正增益可以用下式得到： ( 2 1 8 ) 这种模型需要场景中存在一个参考白色物体，它的颜色可以看做是光源的颜 色。基于这种模型，很多颜色恒常算法首先估计光源颜色，然后利用v o nk r i e s 色 系数定律校正图像颜色。 2 3 2 颜色恒常算法简介 目前，众多学者对颜色恒常问题进行了深入的研究，提出了多种颜色恒常算 法，本文将对几种主流的颜色恒常算法进行简单介绍。 1 6 o o k 0 o _。l 1 l 1j 尺g 口 上k上一l = = = 加 绍 加 ( 1 ) g r a yw o r l d 算法 g r a yw b r l d 算法基于如下假设：图像场景反射率的平均值是消色差( a c h r o m a t i c ) 的 1 4 。也就是说图像场景的平均颜色等同于光源的颜色，因此在标准白色光源照 明下，拍摄场景的r g b 三个通道的平均值之比为1 ：1 ：1 。v o nk r i e s 色系数定律的 校正增益计算如下： 首先计算图像三个通道的灰度平均值： 瓦= r ( i ，j ) ( m i v ) i = 1 = l mn 虿= g ( i ，j ) ( m i v ) j = 1 j = l mn 百= b ( i ，j ) ( m 忉 ( 2 - 1 9 ) 上式中，瓦虿，百分别是三个通道的灰度平均值，图像分辨率为肘， r ( i ，) ，g ( i ，) ，a ( i ，j ) 分别为图像各像素点三个通道的灰度值。然后，可以得到该图 像的颜色校正增益为： 。页+ 万+ 万 2 矿 瓦+ 石+ 瓦 2 嘉f 一 ( 2 - 2 0 ) 一t y一 。r + g + 曰 2 矿 g r a yw - o r l d 算法是一种比较简单的颜色恒常算法，但其缺点也很明显：即当 场景目标较少或者单一颜色占据图像中很大幅面时，算法校正效果较差。 ( 2 ) m a x r g b 算法 m a x r g b 算法基于以下假设：图像中r g b 通道的最高值即为场景光源的颜色 值 1 5 】。因此v o nk r i e s 色系数定律的校j 下增益计算如下： k 2 赢1 而 尼g2 瓦而1 k 2 而1 两 m a x r g b 算法也是种非常简单快速的颜色恒常算法，但该算法的缺点也很 明显：当场景中不存在白色区域时算法校正效果较差，以及如果图像曝光过度， 1 7 r g b 三个通道的最高值都饱和为2 5 5 ，从而使得m a x r g b 算法根本不做校正。 ( 3 ) s h a d e so f g r a y 算法 g f i n l a y s o n 和t r e z z i 在文献 1 6 】中提出了一种新的颜色恒常算法s h a d e so f g r a y ，并指出g r a yw o r l dm a x r g b 算法都可以被包含在这一新的算法框架之内。 该算法认为场景光源的颜色可以通过明可夫斯基范式( m i n k o w s k in o r m ) 来求出，即 础 嗨笋厂 ( 邝，动p 三! m n ( 2 2 2 ) 式中e = 伍，g ，否 表示当前场景中光源的颜色，厂= 纽，g ，b ) 表示图像各通道的 狄度值，k 为比例系数，当p = 1 时上式就表示g r a yw o r l d 算法，当p = 时表示 m a x r g b 算法，p 可以取【1 ，o o ) 范围内任意整数，并通过实验可知当p = 6 时算法 具有最好的效果。v o nk r i e s 色系数定律的校正增益为： ， 1 庀p2i “ j r ， 1 庀骨2i “ 尺 一1 k p = = “ 尺 ( 2 - 2 3 ) s h a d e so f g r a y 算法计算简单，并且颜色校正效果较好，是一种非常有前途的 颜色恒常算法。 ( 4 ) g r a ye d g e 算法 g r a ye d g e 算法是由v a nd ew e i j e r 等人在文献 1 7 】中提出的一种新的颜色恒常 算法，该算法基于以下假设：图像场景反射率的微分平均值是消色差的。结合明 可夫斯基范式，可以认为场景光源的颜色为： 嘣 譬 乏u 。u , v a f ( _ i , j 一) ) p i = 1 掣百一) p忙l u “ m 。n 式中孚表示图像在z 或y 方向的偏导数。 t t x 然后同样通过式( 2 2 3 ) 计算v o nk r i e s 色系数定律的校正增益。 ( 2 2 4 ) li 慧一_ 鬻澜誉妻j 蓊。豁阑浏 澜润 图1 7 本节介绍的几种颜色恒常算法结果图 2 3 3 小结 本节简单介绍了颜色恒常理论以及几种常用的颜色恒常算法，除此之外，还 有色域映射( g a m u t ) 1 3 、c o l o r b y c o r r e l a t i o n 1 8 和神经网络【1 9 】等颜色恒常算法， k o b u sb a m a r d 和v a nd ew e i j e r 等人在文献 1 7 2 0 】 2 1 】中对当前主流的颜色恒常算 法进行了对比。颜色恒常理论和阴影检测、阴影去除有很多共通之处，二者的研 究可以相互启发、相互促进，本文在第五章就将把颜色恒常算法应用到阴影去除 中。 1 9 3 图像中阴影的特点及其性质 3 1 阴影的概念 阴影是由于光源被物体遮挡而产生的，根据阴影生成的原因不同，可以分为 两类：一是附影( a t t a c h e ds h a d o w ) 或者称为自影( s e l f - s h a d o w ) ，是由遮挡物体自身 没有被光源照射到而产生的；一是投影( c a s ts h a d o w ) ，是由一物体遮挡住光源从而 在另一物体表面产生的阴影 2 2 】。本文主要研究的是投影区域的检测和去除算法， 以下文中所称的阴影，均指投影区域。 阴影由两部分组成：本影x e ( u m b r a ) 和半影区( p e n u m b r a ) ，其中本影区是由于直 射光线被完全遮挡，而半影区则是光线被部分遮挡而形成的，半影区的光照呈现 一种渐变的效果。如图1 8 3 2 阴影的特点 一嬲 图1 8 阴影的构成 阴影区域和其周围的非阴影区域相比具有以下特点： 由于光线被部分遮挡，阴影区域具有较低的亮度 一般来说，阴影区域和非阴影区域具有不同的色度 阴影不明显改变原有地表的纹理特征 阴影与产生阴影的遮挡物具有相似的轮廓 在计算机视觉的相关应用中，阴影在数字图像中的存在，既有有利的影响又 有不利的影响。 有利之处在于： 从阴影的形状可以得到遮挡物体的几何信息，以及场景的空间分布 2 0 可以利用阴影来确定光源的位置、强弱、大小等信息 在三维虚拟现实技术和计算机游戏中，加入物体模拟阴影，可以增强观察 者的立体感和空间感，进而提高场景的真实感。 谰垂 ( a ) 从左到右三幅图片，方形 上它并没有动，我们只是改变了其阴影 m ) 从左边第一副图到第二副图，小球看起来是沿着地面对角线移动的 而在第三幅图中，小球看起来则是漂浮在空中。在第二和第三幅图像 中，球的位置是一样的，不同的只是其阴影的位置 图1 9 阴影对观察者空问感的影响，图片截取自视频 2 3 不利之处在于： 阴影影响图像的可视性，例如在航空图像中，阴影区域的地物特征会由于 阴影的噪声效应而变模糊，进而影响对图像的分析。 阴影的存在降低图像分割的准确性，从而导致视频监控、目标追踪、物体 识别、图像标注等计算机视觉的应用出现错误。 ( 母希望提取的目标形状 3 3 阴影的光谱性质 图2 0 阴影对目标提取算法产生不利影响 在对阴影的认识上有一个误区，即认为阴影区域中的像素点，仅仅是亮度比 2 1 非阴影区域的像素点低，只需增强阴影区域中像素点的亮度即可。然而实际上， 对彩色图像来说，像素点的亮度是由r g b 三个通道的值决定的，阴影