图像处理模版视频序列图像分割及阴影抑制算法的研究毕业论文.doc

安徽建筑工业学院毕 业 设 计 (论 文)课 题 视频序列图像分割及阴影抑制 算法的研究 摘 要在智能视频监控领域、影视技术、多媒体应用技术中，常常需要检测出人体或其它物体，并将其与背景分离，即解决实时背景下目标的分割问题。视频图像的目标分割结果，将对目标分类、跟踪及行为理解等后续处理产生重要影响。图像分割多年里一直受到研究人员的重视，也提出了数以千计的算法。现今比较流行的目标分割的方法，有不少是忽略阴影检测的，目标总是与阴影一起被检测出来。阴影会引起目标的合并、目标形状的失真等一些严重问题，引起分割和跟踪错误。由于阴影直接影响目标的检测，成为影响后续处理效果的关键因素，有必要进一步研究。本课题拟根据图像处理的理论基础，对一些传统的边缘检测算子进行了理论分析，用仿真实验测试其边缘检测的效果，对比分析各边缘检测算法效果。介绍几种常用的彩色空间以及彩色空间的转换算法，系统地阐述了图像分割的各种方法，分析总结了几种常用分割方法的优缺点。选用RGB彩色空间，利用背景差分法对图像初步分割后，再利用区域生长法去除目标外部的噪声，分割出带影子的目标图像。然后，分析总结了阴影检测的基本假设和一般框架，及国内外目前主流的阴影检测与抑制算法，指出了这些方法用于去除目标阴影时存在的问题。针对不同图像的阴影和目标体的特点，拟设计一种去除阴影的算法。基于边缘信息的阴影抑制算法适用于目标体边缘信息丰富，阴影边缘信息相对简单的阴影去除。关键词 图像分割 阴影抑制AbstractIn the field of intelligent video surveillance, video technology, multimedia technology, often need to detect a human body or other objects, separate them with background, that is the context of solving real-time target segmentation. Video image object segmentation results, will target classification, tracking and behavior understanding such an important impact on subsequent processing. Image segmentation has been for many years in research attention, also raised thousands of algorithms. Goal of the current popular methods of segmentation, shadow detection, many are neglected, the goal is always to be detected, together with the shadow. The merger will cause the shadow of goals, objectives and some distortion of the shape of a serious problem, causing segmentation and tracking error. As the shadow directly affect target detection, a follow-up treatment effect affecting the key factors, the need for further research. The aim of this theory based on image processing based on some of the traditional edge detector is theoretically analyzed, using simulation experiments to test their effect on edge detection, contrast analysis of the effect of edge detection algorithm. Introduce some commonly used color space and color space conversion algorithm, systematically expounded the various methods of image segmentation, analyzes and summarizes the advantages and disadvantages of several commonly used segmentation. Use RGB color space, the background difference method using the initial segmentation of the image, then use region growing to remove the target of external noise, split the target image with a shadow. Then, the paper summarizes the basic assumptions shadow detection and the general framework of the current mainstream home and abroad shadow detection and suppression, that the goal of these methods for the removal of the existing problems in the shadow. Different images of the shadows and objectives of the body characteristics , be designed to remove the shadow of two algorithms. Based on Edge Informations shadow suppression algorithm is applied to the target of the edge information-rich, relatively simple shadow of the shadow edge removal。Key words image segmentation shadow suppression目 录第1章绪论.61.1课题背景.61.2图像分割.61.2.1图像分割研究的意义.71.2.2颜色理论.71.2.3图像分割研究现状.81.3阴影去除的研究现状.91.4本文研究内容.111.5本文结构安排.11第2章图像分割的相关理论.122.1引言.122.2边缘检测方法概述.122.2.1梯度算子.142.2.2拉普拉斯算子.152.3阴影检测.162.3.1阴影的分类.172.3.2阴影的影响.172.4本章小结.18第3章图像分割.183.1引言.183.2颜色空间的研究.183.2.1面向设备的颜色空间.183.3图像分割的算法.193.3.1区域生长法.203.4基于差分法和区域生长法的彩色图像分割算法.203.4.1分割原理.203.4.2实验分析.213.5本章小结.25第4章阴影检测理论基础.254.1引言.254.2阴影的特点.254.3阴影检测的基本假设.254.4阴影检测的一般框架.264.5本章小结.26第5章阴影抑制算法.265.1引言.265.2基于边缘信息抑制阴影.275.2.1算法步骤.275.2.2实验结果分析.295.3本章小结.34结论.34参考文献.35致谢.36附录一.37-48第1章绪论1.1课题背景在现代的视频监控及多媒体应用技术中，常常需要检测出运动的人体或车体，并将其与背景分离。静态图像分割技术都能应用于序列图像的目标检测。在民用的影视制作领域，可以将拍摄目标图像和拍摄背景分开进行，再将目标提取出来完成与特定背景的合成，以达到降低拍摄成本的要求，它不要求目标的实时分割，但要求分割的精度较高。在军事目标的识别应用中，对目标的分割技术需求也很大，但对实时性的要求较高，需要将程序安装在硬件中，因而加大了技术难度。由于图像目标之间的遮挡和光照的不均匀等原因，经常产生阴影现象。无论运动分割还是变化检测都会受到阴影的影响。阴影尤其对目标分割的影响比较显著，并对后续的跟踪、识别造成负面影响，导致错误率上升，使系统的整体性能下降。在实际应用系统中，目标总是伴随有阴影，大多数的目标必须在去除阴影后才能正确检测与分割。人眼很容易区分目标与目标投射的阴影，但如何让计算机识别出阴影却是极具挑战性的研究难题。图像中的阴影可以提供有关目标的位置与形状、监控场景的表面特性以及光源等方面的信息，同时由于目标投射的阴影颜色属性明显不同于场景背景，并且和目标有相同的特性，所以进行目标检测时很容易将阴影检测为目标的一部分，造成目标的合并、几何变形，甚至使目标丢失。虽然基于统计的多峰分布背景建模方法能对反复的背景运动(如摇动的树枝)、光线的突变(如天空云层遮挡阳光)、传感器噪声等进行建模，但还是无法成功地区分场景中的目标和目标投射的阴影，这使智能监控系统无法准确判断出场景内目标的数目、形状、运动轨迹，更无法实时准确地判断此物体是安全目标还是危险目标，也不能及时报警。本文基于上述需求，研究了影视图像的目标分割及其阴影的抑制问题。1.2图像分割图像分割是数字图像处理中的重要前期过程，特征提取、目标识别都依赖于图像分割的质量好坏，所以图像分割决定了图像分析的最终成败。图像分割指的是把一幅图像分割成不同的区域，这些区域在某些图像特征如边缘、纹理、颜色、亮度等是一致的或相似的。图像分割的基本目的之一是将图像中有意义的特征或者需要应用的特征提取出来。这些特征可以是图像中的原始特征，如物体占有区域的像素灰度值、物体轮廓曲线和纹理特征等；也可以是空间频谱或直方图特征等。在对应于图像中某一方面或对象物的某一部分，其特征(灰度、色彩、纹理等)都是近似或相同的，但对于不同的对象物或对象物的各个部分之间，其特征就会产生相应的变化。不同的图像类型，不同的应用要求所要提取的特征是不相同的，当然特征提取的方法也就不同，因此实际中并不存在一种普遍适应的最优方法。1.2.1图像分割研究的意义图像分割是任何图像分析及视觉系统必不可少的组成环节，是计算机视觉研究中的一个基本且困难的问题。困难在于图像分割本身是一个病态问题，分割的目的是为了理解，但理想的分割往往需要理解后得到的结果作为先验知识，这种病态性给问题的解决造成了很大的困难，成为阻碍计算机视觉发展的一个瓶颈问题。但正是因为图像分割是计算机视觉的一个基本问题，分割结果对视觉系统性能的影响很大，所以图像分割始终是计算机视觉中的一个研究热点。人类对自身视觉机理研究的不断深入以及计算机技术迅速发展将为图像分割问题的解决提供新的途径。图像分割是由图像处理进入到图像分析的关键步骤，在图像工程中占据重要的位置。一方面，它是目标表达的基础，对特征测量有重要的影响；另一方面，因为图像分割与基于分割的目标表达、特征提取和参数测量等能将原始图像转化为更有效更紧凑的形式，从而使得更高层次的图像分析和理解成为可能。图像分割在实际中有着广泛的应用前景，例如在工业自动化、在线产品检测、生产过程控制、文档图像处理、遥感和生物医学图像分析、保安监视以及军事、体育、农业工程等方面。概括来说，在各种图像应用中，只要需对图像目标进行提取、测量、跟踪等都离不开图像分割。1.2.2颜色理论颜色是各种频率的光谱在人眼中的感知现象。光线没有颜色，它只是某功率分布，而颜色则是人对这种功率分布的心理响应。人类所感知到的物体颜色由物体表面的光谱反射、光照和视角所决定。对于颜色感知的研究是人类视觉系统的基础研究之一，与生理学、心理学以及信息科学密切相关。颜色感知研究的目的是模拟人脑中视觉信息的表达和处理方式，设计出基于人类视觉特性的计算机视觉系统。对于计算机视觉系统来说，颜色是物体表面的属性，因此对于图像分割和目标识别等的研究都具有非常重要的意义。颜色空间、色彩度量以及颜色恒常性是颜色视觉研究的几个主要方面。近年来，随着彩色设备制造技术和多媒体技术的发展，颜色在计算机视觉中应用也在不断进步。人类视觉系统对于色差是高度敏感的，颜色感知系统可以区分上万种的不同颜色。然而这一系统只能记住几种颜色，有报告说明人能记住大约11种焦点颜色，即红绿蓝黄紫橙粉棕灰白黑。其它的颜色以这些颜色之间的粗略混合方式记忆。颜色敏感和颜色记忆之间如此的差异是人类颜色感知最为重要的现象之一。颜色适应、颜色记忆和颜色视觉的时空特性是人类颜色感知的要素，全面深入地理解这些要素对于计算机颜色视觉系统的研究来说是必要的。颜色空间有多种类型的定义，在彩色图像处理中，RGB颜色空间是最基本、最常用的颜色空间。另外还有一些在彩色电视系统中使用的颜色空间，在这一系统中选用不同颜色空间的目的就是通过降低各RGB分量之间的相关性从而减小信号传送的带宽。降低相关性的主要方法就是计算颜色的统计独立分量构造一个正交颜色空间。应用于不同的电视系统中一些颜色空间的颜色分量是统计上近似独立的。基本的RGB颜色空间的一个主要缺点是不直观。不可能直接从RGB数值估计出颜色的色度、饱和度和亮度等感知特征。两种颜色之间的差异被称为色差，从另一角度来说，也是颜色相似性的度量。色差度量一般可以用颜色空间内两个颜色矢量之间的欧氏距离来进行。1.2.3图像分割研究现状目前已经提出的图像分割方法很多，总体上看，图像分割方法大致可以分为相似性分割和非连续性分割。所谓相似分割就是将具有同一灰度级或相同组织结构的像素聚集在一起，形成图像中不同区域，这种基于相似原理的方法通常也称为基于区域相关的分割技术。所谓非连续性分割就是首先检测局部不连续性，然后将它们连接起来形成边界，这些边界把图像分成不同的区域，这种基于不连续性原理检出物体边缘的方法有时也称为基于点相关的分割技术。这两种方法是互补的，在有些场合适宜用某种分割方法，而另一些场合又适合用另一种分割方法，有时还要将它们有机地结合起来以求得到更好的分割效果。因此，我们将图像分割的方法分为三类，第一类是基于边界的分割方法；第二类是基于区域的分割方法；第三类是基于边界和基于区域二者结合的分割方法。基于边界的分割方法是从图像数据的不连续性出发，根据局部的灰度变化来实现图像的分割。基于区域的分割方法主要是利用图像空间区域特征来进行的，这些特征包括诸如RGB值、灰度值等等。这一方法的主要理论根据是同一区域的所有像素具有相同或相似的统计特征。为了克服以上两种方法自身的缺点，近年来出现了两种方法融合的分割方法。这一方法寻求一个在基于边界标准，图像梯度的幅值，和基于区域分割标准的区域一致性估计之间寻求一个最佳的分割效果。现有的大多数图像分割算法主要是针对灰度图像的。如以上提到的区域生长分割方法，由于彩色图像的使用越来越广泛，所以近年来彩色图像分割越来越得到重视。彩色图像分割与灰度图像分割的算法相比，大部分算法在分割思想上是一致的。但彩色图像包含更丰富的信息，并有多种颜色空间的表达方式，因此分割算法有所不同，原用于灰度图像分割的方法并不适合于直接分割彩色图像。在许多实际应用中，可对彩色图像的各个分量进行适当的组合转化为灰度图像，然后可用对灰度图像的分割算法进行分割。彩色图像分割算法的关键在于如何利用丰富的彩色信息来达到分割的目的。要分割一幅彩色图像，首先要选择好合适的颜色空间；其次要采用适合于此空间的分割策略和方法。现有的彩色图像分割技术主要有6种类型：基于像素的技术、基于边缘的技术、基于区域的技术、基于模型的技术、基于物理的技术和混合技术。无论采取哪种分割方法都与颜色特征及颜色坐标的选择有关，看别人的实验结果表明，没有一种分类方法对所有颜色特征都是有效的，同样也不可能有单一的颜色坐标对所有的分割方法都是有效的。1.3阴影去除的研究现状为对运动阴影进行检测与抑制，研究人员己经开发了多种阴影检测与抑制算法，例如：在HSV颜色空间，利用色度、饱和度和亮度三方面的信息建立背景模型，对阴影进行检测和识别；在RGB颜色空间中，用矢量来表征像素点，并以当前图中的像素点矢量与对应的背景点矢量相减得到能表征亮度和色度的彩色模型，并在此基础上建立背景模型，利用阴影的光学特性，并结合纹理特征，采用区域生长的方法来检测阴影。现有的阴影抑制方法主要分为二类，即基于属性的阴影抑制算法与基于模型的阴影抑制算法。基于属性的方法是利用阴影的几何特点、亮度、颜色等信息来标识阴影区域，在现有阴影抑制算法中对阴影光谱特性的使用比几何特性更常见，基于属性的阴影抑制算法对不同场景及光照条件有较强的鲁棒性。陈百盛在HSV颜色空间中，根据阴影使背景变暗、背景在被阴影覆盖前后的亮度比值成近似线性、阴影不会使背景像素的色度有很大改变及减小背景像素的饱和度等特点，进行阴影抑制。Mikic与Cosman认为场景背景像素点被阴影覆盖后，其R,G,B三颜色通道值呈线性衰减，通过计算像素点属于背景、运动目标、运动阴影的后验概率来检测阴影。Elena Salvador首先根据阴影使背景的亮度变暗的特点，对阴影进行检测，然后根据定义的色彩不变量来验证检测的有效性。Sohail Nadimi，在深刻分析监控场景中材料表面的光照反射模型的基础上进行阴影抑制，认为室外场景的光源有远距离点光源太阳与漫射光源天空，在两光源同时存在的情况下，像素点如果只受到漫射光源天空的照射，而没有受到点光源太阳的照射(太阳光被遮挡)，那么该像素点就会呈现阴影。基于模型的方法是利用场景、运动目标、光照条件的先验信息，建立阴影模型，对三维运动目标模型的棱、线、角进行匹配，此方法通常在特定场景条件下使用，如航空图像理解与视频监控。Akio Yoneyama提出一种二维的车辆/阴影联合模型，可以根据输入视频估计出联合模型的参数与类型，该模型不需要进行三维图像分析，通过求取联合模型(而不是车辆与阴影二个模型)的参数来把车辆与阴影区分开。在车辆/阴影联合模型中，设置摄像机的水平轴与所监控场景的交通流方向垂直，以使车辆立方体模型的边界满足一定的几何关系，根据车辆与车辆所投射阴影的相对位置，把联合模型分成六种类型，通过确定当前场景的运动前景(包括运动目标与运动阴影)属于哪种联合模型类型来进行阴影检测与抑制。虽然已经有多种阴影抑制算法出现，但现有算法都仅仅对某一特定应用场景适用，且算法效果有待提高，如何将阴影与运动目标有效分割，开发出比较通用的阴影抑制算法，仍是一个富于挑战性的难题。1.4本文研究内容对颜色的感受是人类对电磁辐射中可见光部分里不同频率知觉的体现。随着技术的进步，彩色图像使用得越来越多，并且能够提供比灰度图像更为丰富的信息，因此，彩色图像分割作为彩色图像处理的重要问题正受到人们越来越多的关注。十几年来人们进行了大量的工作，提出了许多不同的图像分割算法。然而，至今仍无统一的理论，还没有哪一种分割方法可以对所有的图像都能进行理想的分割，也不存在所有方法对某一类图像均可获得较好分割结果的情况，无论是理论上还是实践上都远远没有达到让人满意的程度。正是基于此，我们利用已有的灰度处理方式，加以改进，试图对彩色图像的处理进行一次尝试，来解决实际问题。本文对图像分割及阴影抑制算法的研究主要归纳为以下几个方面：（1）对图像边缘的检测方法进行了研究，对典型的梯度算子、拉普拉斯算子等进行了仿真实验比较；（2）本文中针对影视拍摄的特点及应用要求，通过对彩色特征空间的分析、比较和选择，选择了RGB彩色空间实现彩色图像分割。在RGB彩色空间中，采用背景差分法对图像进行初步差分，利用区域生长法进一步处理初步分割后的图像，去除目标以外的噪声；（3）在光照模型的基础上讨论了阴影的形成与特征，并讨论了阴影检测的一般框架和基本假设；对现有的阴影分割方法进行了分析与总结，指出了这些方法用于目标阴影分割时存在的问题；（4）基于阴影检测的基本假设和一般框架，并针对不同的应用要求，设计分析了一种阴影去除算法：基于边缘信息的阴影抑制算法。通过实验仿真研究分析，总结了这个算法的优缺点及适用条件。1.5本文结构安排第1章为绪论，阐明了本文研究的课题背景，介绍了图像分割及去除阴影的研究现状，指出了本文的研究内容。第2章为理论基础部分，阐述了图像分割及去除阴影的相关理论，包括边缘检测的方法，数学形态学的基础知识，并在光照模型的基础上讨论了阴影的形成及阴影对于目标分割造成的影响。第3章首先讨论了几种彩色空间分别阐述了它们的概念，特性以及空间之间的转换算法。然后，系统地阐述了图像分割的各种方法，分析总结了几种常用分割方法的优缺点。最后，针对影视拍摄的特点及应用要求，在RGB彩色空间中，基于背景差分法和区域生长法实现了彩色图像分割。第4章对阴影检测理论进行了系统概述，阐述了阴影检测的基本假设和一般框架。对现有的阴影去除方法进行了分析与总结，指出了这些方法用于目标阴影去除时存在的问题。第5章基于第4章分析总结的阴影的特点及阴影检测的基本假设和一般框架，针对影视图像的不同特点，研究了一种简单有效的阴影抑制算法：基于边缘信息的阴影抑制算法。第2章图像分割的相关理论2.1引言图像处理技术把输入图像转换成具有所希望特性的另一幅图像。在计算机视觉研究中经常需要利用图像处理技术进行预处理和特征抽取，如各种数学变换技术等。在各种图像处理中，只要包含对图像目标进行提取、测量等都离不开图像分割。图像分割就是指把图像分成各具特性的区域并提取出感兴趣目标的技术和过程。有效合理的图像分割能够为基于内容的图像检索、对象分析等抽象出十分有用的信息，从而使得更高层的图像理解成为可能。本章将介绍图像分割以及图像分割后去除阴影所涉及到的图像处理的理论基础。2.2边缘检测方法概述边缘主要反映的是图像灰度的不连续性。根据灰度变化的剧烈程度，通常将边缘划分为三种：阶梯形边缘，屋顶型边缘，脉冲形边缘。如图2-1所示。a)阶梯形边缘 b)屋顶形边缘 c)脉冲形边缘阶梯状边缘处于图像中两个具有不同灰度值的相邻区域间，脉冲状边缘主要对应细条状的灰度值突变区域，屋顶状边缘上升下降沿都比较缓慢。实际中的数字图像会由于采样，造成边缘处的模糊，所以垂直上下的边缘剖面都有一定坡度，即边缘区有一定的宽度。2.2.1梯度算子梯度是一阶导数的二维等效形式，梯度的幅值代表边缘的强度，梯度的方向与边缘走向垂直。对于一个连续函数f(x,y)，它在位置(x, y)的梯度可表示为一个矢量： 梯度的幅值由下式给出： 梯度的方向由下式定义，其中角是与x轴的夹角。对于数字图像，可用一阶差分代替一阶导数进行运算，最简单的梯度近似表达是：=f(x,y+1)-f(x ,y)=f(x+1,y)-f(x ,y)这样就可以得到图像f(x ,y)的边缘图像g(x ,y)。2.2.1.1 Roberts边缘算子Roberts交叉梯度算子为梯度的计算提供了一种简单的近似方法，它采用的是对角方向相邻两像素之差：Robert梯度是以为中心的，在这个中心点上连续梯度的近似。Robert算子的卷积模板如图2-2所示：图2-2 Roberts算子有了这两个卷积算子就可以计算出Roberts梯度幅值，再取适当门限TH，如果梯度幅值大于门限值则为阶跃边缘点，否则为非边缘点。如此将图像上所有像素遍历后，结果为边缘图像。2.2.1.2 Sobel边缘算子Sobel提出一种将方向差分运算与局部平均相结合的算子，即Sobel算子、Sobel算子是在以f (x ,y)为中心的33邻域上计算X和Y方向的偏导数。将图像中的每个像素的上、下、左、右四邻域的灰度值加权差，与之接近的邻域的权最大。Sobel算子的卷积模板如图2-3所示：Sobel算子引入了加权局部平均，不仅能检测图像边缘而且能进一步抑制噪声影响，但它得到的边缘较粗。Sobel算子很容易在空间上实现，是边缘检测算子中最常用的算子之一。2.2.2拉普拉斯算子一阶导数的局部最大值对应着二阶导数的过零点，这意味着在图像边缘点处有一阶导数的峰值同样会有二阶导数的零交叉点，因此通过寻找图像灰度值的二阶导数的零交叉点就能检测到图像的边缘点。拉普拉斯算子是不依赖于边缘方向的二阶导数算子，它是一个标量而不是向量，具有旋转不变即各向同性的性质。若只关心边缘点的位置而不需要了解其周围的实际灰度差时，一般选择该算子提取图像的边缘。因为一阶算子是以绝对亮度差为基础的，它的局限是在景物照射变化的条件下不可能一致地确定物体边界。所以对于光照均匀的图像，进行简单一阶求导可以找到边界。但对于光照条件不一致、噪声干扰较大的图像，有些对比度较小的边缘检测不出来，而一些噪声点却作为边缘被检测了出来。而二阶算子由于对图像灰度的一阶导数的极大值敏感，对图像较暗区域的微弱边缘和较亮区域的边缘都能做出响应。另外，二次滤波使有较大灰度跳变的边缘部分仍保持较大的灰度差，而有较小灰度跳变的真实边缘点附近的伪边缘点的跳变变小。同时大大降低了噪声带来的灰度跳变，为边缘特征信息的提取做好了准备工作。因此，通常采用二阶算子来检测噪声图像的边缘信息。用拉普拉斯算子检测图像边缘就是估算拉普拉斯算子的输出，找出零交叉点的位置。在数字图像的情况下，拉普拉斯算子可近似的表示为：在数字图像中可用数字差分近似为：=f (x +1,y )+f (x ,y +1)+f (x ,y -1)-4f (x ,y)数字图像函数的拉普拉斯算法也是借助各种模板卷积实现的。这里对模板的基本要求是对应中心像素的系数应是正的，而对应中心像素临近像素的系数应是负的，且所有系数的和应该是零，这样不会产生灰度偏移。拉普拉斯算子的卷积模板如图2-5所示：图2-5拉普拉斯算子模板拉普拉斯算子的特点是：各向同性、线性和位移不变性，对细线和孤立点的检测效果好。该算子的缺点是:边缘的方向信息丢失，常产生双象素的边缘，对噪声有双倍加强作用。由于拉普拉斯算子是二阶导数运算，与只包含一阶导数的算子相比，它对噪声更加敏感，增强了噪声对图像的影响，因此在实际应用中通常需要先对图像进行滤波平滑处理。2.3阴影检测阴影是遮挡物体在光源入射方向上的投影。阴影的形状、大小、取决于遮挡物体的形状、大小、投影面与遮挡物体之间的距离；遮挡物体与投影平面之间的位置决定了阴影的位置，当遮挡物体与投影平面相连时，阴影区域与被遮挡物体之间存在共同的边界，而当遮挡物体与投影平面有一定的空间距离时，阴影区域与被遮挡物体之间是分离的，根据三维物体与二维图像平面的投影变换，三维空间的中位置分离的被遮挡物体与阴影区域在二维图像平面中也可能是相连的。2.3.1阴影的分类从物理学的角度看，光是沿直线传播的；光线在传播的过程中，如遇到介质（不透明的物体），就会在介质的另一面形成影子。物体在光源的照射下，就会在物体的表面形成阴影。阴影是由于目标阻塞了光源的直接照射而在场景上形成的暗区域。没有被照亮的部分目标被称为自身阴影(self-shadow)。当表面背离光源照射方向时，在该表面形成自身阴影，若因场景中不透明景物对光源入射光线的遮挡而在位于其后的表面上形成阴影，则称为投射阴影(cast-shadow)，阴影各区域如图2-6所示。图2-6阴影区域划分示意图在阴影分割中，入射光源采用了自然日光，它是除环境泛光外的唯一入射光源，产生的是平行光束，这样不会产生半影区域。自身阴影区域在目标的自身区域中，影响物体表面的颜色，并不影响目标本身的形状；投射阴影与目标区域相连，这影响了目标参数的提取，本章主要讨论的是投射阴影的分割。2.3.2阴影的影响阴影是目标在入射光的照射下产生的，它们是相关联的，目标投射的阴影也会随着目标一起运动。阴影明显不同于背景，现有算法在利用背景减除进行目标检测时，阴影会被检测为前景，这样就会造成目标的合并、几何变形，甚至使目标丢失，对后期目标识别、分类及行为理解造成严重的影响，例如在多人跟踪中，当多个目标的距离较近时，由于阴影的存在，多个检测出的前景会相互连接在一起，从而造成错误的目标检测结果。目前的图像分割通常将阴影与目标体一起分割出来，阴影对图像的后期合成影响很大，因此目标分割后要去除阴影。2.4本章小结本章为理论基础部分，首先系统地阐述了边缘检测的方法比较了几种一阶和二阶边缘算子的特性，Sobel、Prewitt算子检测效果要优于Roberts算子，但是边缘较粗，而二阶算子定位的效果要优于一阶算子，二阶拉普拉斯算子，在保证了定位准确的基础上图像边界更加连续，边界也比较细。但是由于二阶算子的特性，对噪声太敏感。最后讨论了阴影的形成，阴影的影响。第3章图像分割3.1引言在过去的十多年里彩色图像的分割方法有了显著的增长，因为大多数彩色图像分割的方法都是在灰度图像分割方法的基础上发展起来的，即通过利用RGB彩色空间或它的线性的、非线性的变换把灰度图像分割方法推广到处理彩色图像上来。这样处理，不能充分地利用彩色图像的颜色信息，并且过早地丢失了图像的颜色信息，使得后续的处理只能在灰度图像上进行操作，或者是在灰度处理的基础上再映射到彩色图像，增加了图像处理的复杂程度。在这一章，首先介绍各种色彩空间及它们之间的相互转换，然后提出了运算复杂度较低的彩色空间的分割算法，充分利用彩色图像本身的色彩信息并结合区域生长法，提高目标分割的效果。3.2颜色空间的研究世界是具有颜色的，在计算机中描述出来就需要建立相应的颜色空间。所谓颜色空间指的是某个三维颜色空间中的一个可见光子集。它包含某个颜色域的所有颜色。颜色空间是用来定义和表示颜色的。彩色图像分割中，颜色空间的选择是至关重要的，是图像处理的难点。每种颜色空间都有着自己各自的优缺点，都在不同的领域发挥着重要的作用。不可能找出一种颜色空间可以适用于所有的彩色图像处理。一般的思想是具体问题具体处理。下面将简单介绍几种颜色空间。3.2.1面向设备的颜色空间面向设备的颜色空间适合在输出显示场合下使用。计算机彩色输入输出设备使用与设备相关的颜色空间。如CRT显示器和扫描仪使用RGB颜色空间，打印机使用CMYK颜色空间，但各种外部设备使用的颜色空间并不一致。因此除了分析研究它们各自所在的颜色空间外，还必须清楚它们之间的相互转换关系，这在计算机系统彩色管理工作中十分重要。3.2.1.1 RGB颜色空间光谱中最重要的颜色是红(R)、绿(G)、蓝(B)三基色，所有颜色都可以由三基色相加而产生。RGB颜色空间是一个立方体三维坐标空间结构35，分别用红、绿、蓝表示三个坐标轴，如图3-1所示。立方体的底部R=G=B=0处为黑色，顶部与其相对角R=G=B=255处为白色。由于图像采集和显示设备使用的是RGB颜色空间，所以RGB颜色空间是彩色图像处理中最基础、最常用的颜色空间。 蓝（0，0,1） 青（0,1,1） 白（1,1,1） 品红（1,0,1） 黑（0,0,0） 绿（0,1,0） 红（1,0,0） 黄（1,1,0）图3-1 RGB颜色空间RGB颜色空间的主要缺点是：（1）不直观。从RGB值中很难看出其所表示的颜色的认知属性；（2）不均匀。两个色点之间的距离不等于两个颜色之间的知觉差异；（3）对硬件设备具有依赖性。因此，RGB颜色空间是一个与设备相关的、颜色描述不完全直观的空间。为了克服RGB颜色空间的均匀和不直观的缺点，在彩色图像处理中大多采用更加符合颜色视觉特性的颜色空间。RGB颜色空间能被转变成所需要的其它任何颜色空间。3.3图像分割的算法图像分割是数字图像分析中的重要环节，在整个研究中起着承前启后的作用，它既是对所有图像预处理效果的一个检验，也是后续进行图像分析与解译的基础。因此，对于图像分割的研究多年里一直受到人们广泛的重视，也提出了数以千计的不同算法。本节中简单介绍一种目前常用的图像分割算法。这些算法大部分都是针对灰度图的。而目前对彩色图像的分割，大部分也是基于灰度图的：先将彩色图像的各个分量进行适当的组合转化为灰度图像，然后利用对灰度图像的分割算法进行分割。3.3.1区域生长法区域生长是一种受到人工智能领域中的计算机视觉界十分关注的图像分割方法。这种方法的基本思想是将具有相似性质的像素点集合起来构成区域。先把一幅图像分成许多小的邻域甚至是单个像素。在每个区域中，对经过适当定义的能反映一个物体内成员隶属程度的性质(度量)进行计算。用于区分不同物体内像素的性质包括平均灰度值、纹理或颜色信息。因此，第一步是赋给每个区域一组参数，这些参数的值能够反映区域属于哪个物体。接下来，对相邻区域的所有边界进行检查，相邻区域的平均度量之间的差异是计算边界强度的一个尺度。如果给定边界两侧的度量差异明显，那么这个边界很强反之则弱。强边界允许继续存在，而弱边界则被消除，