（通信与信息系统专业论文）运动物体检测及其在机库安全监控中的应用.pdf

ab s tra c t abstract i n r e c e n t y e a r s , 山 e s a f e ty m o n i t o r in g s y s t e m b a s e d o n d i g i t a l t e c h n o l o g y i s w i d e l y a p p l i e d i n p r o d u c t i o n a n d o u r d a i l y l i f e . wit h t h e r a p i d t e c h n i c a l d e v e l o p m e n t o f c o m p u t e r s c a p a c i ty , n e t w o r k a n d i m a g e p r o c e s s i n g , t h e i n t e l l i g e n t s a f e t y s u p e r v i s i o n s y s t e m ( i s s s ) h a s b e c o m e a n e w t r e n d . i n a m o d e m i n t e l l i g e n t s a f e t y s u p e r v i s i o n s y s t e m , m o v i n g o b j e c t t r a c k i n g i s a k e y t e c h n i q u e . t o d a y , m o v i n g o b j e c t t r a c k in g i s a n i m p o r ta n t s u b j e c t i n t h e a r e a s o f p a t t e rn r e c o g n i t i o n , i m a g e p r o c e s s i n g , c o m p u t e r v is i o n a n d w e a p o n g u i d a n c e . t h e o b j e c t t r a c k i n g c o m b in e s t o g e t h e r v a r io u s t e c h n i q u e s s u c h a s i m a g e p r o c e s s i n g , a u t o m a t i c c o n t r o l a n d in f o r m a t i o n s c i e n c e a n d f o r m s a k i n d o f t e c h n o lo g y w h i c h c a n t r a c k t h e m o v i n g o b j e c t a u t o m a t i c a ll y a n d i n re a l t i m e . i t i s o f m u c h s ig n i fi c a n c e i n t h e f i e l d s o f m i l i t a ry , i n d u s t ry , in t e l l i g e n t t r a f f i c , m e d i c i n e a n d o t h e r s c i e n t i fi c r e s e a r c h a r e a s . i n t e l l i g e n t c o n t r o l s y s t e m c a n s i 加f i c a n t l y r e d u c e s t a ff la b o r in t e n s ity , i m p ro v e w o r k i n g e f fi c i e n c y , a n d g r e a t l y e n h a n c e t h e p e r f o r m a n c e o f s u p e r v is i o n m o n i t o r i n g s y s t e m , h e n c e h a s a w i d e a p p l i c a t i o n p r o s p e c t s . t h i s p a p e r p r e s e n t s t h e d e s i gn o f a f a i r l y i n t e l l i g e n t h a n g a r s a f e ty s u p e r v i s i o n s y s t e m . b a s e d o n t h e e x i s t i n g r e a l - t i m e n e t w o r k c o n t r o l a n d n e t w o r k p r e v ie w f u n c t i o n s , t h e n e w h a n g a r s a f e t y s u p e r v i s i o n s y s t e m u s e s i m a g e p ro c e s s i n g t e c h n o l o g i e s , s u c h a s o b j e c t r e c o g n i t i o n a n d m o t i o n d e t e c t i o n , a n d r e a l i z e s t h e a l g o r i t h m o f a n t i - c o l l i s i o n r e q u i r e m e n t s . f i r s t l y , w e u s e c o lo r im a g e s e g m e n t a t i o n t o p o s i t i o n 血 fi r s t a i r p l a n e i n t h e d e p o t ; s e c o n d l y , b y s t u d y i n g t h e f o u r m a j o r fi e l d s ( t h e d e t e c t i o n a n d s e g m e n t a t i o n o f m o v i n g o b j e c t , f e a t u re e x t r a c t i o n , o b j e c t d e s c r i p t i o n a n d o b j e c t t r a c k i n g ) t o d e t e c t a n d t r a c k t h e s e c o n d m o v i n g a i r p l a n e . a s t o t h e s o ft w a r e r e a l i z a t i o n , w e u s e c / c + + l a n g u a g e t o i m p l e m e n t t h e a l g o r i t h m . m u lt it h r e a d i n g t e c h n o l o g y i s u s e d a n d t h e m e m o ry s t o r a g e m a n a g e m e n t i s o p t i m i z e d t o m a k e s u r e t h e s y s t e m b e c o m e m o r e s t a b l e . k e y wo r d s : c o l o r i m a g e s e g m e n t a t i o n ; mo v i n g o b j ect d e t e c t i o n ; vis u a l o b j e c t t r a c k i n g ; s a f e ty s u p e r v i s i o n s y s t e m 学位论文独创性声明 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其 他 人己 经 发 表或 撰 写 过的 研 究 成 果， 也 不 包 含为 获得 ，鱼渔主生 或 其 他 教 育 机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的 任何 贡献 均己在 论文中 作了明 确的说明 并表示谢意。 学 位 论 文 作 者 签 “ (手 写 ，: 介 a 宇签 字 日 期 : 7-. 7 年 0 ” “ 日 学位论文版权使用授权书 本学 位论文作者完 全了解南昌大李有关保留、 使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅 和借阅。 本人 授权南昌大李可以 将学位论文的全 部或部 分内 容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密 的学位论文在解密后适用本授权书) 学 位 论 文 作 者 签 “ (手 写 ，: 介 “ 事 导 师 签 名 (手 “ ，: 1 史 签 字 日 期 : 卿年 a 4 日 签 字 日 期 : ? i0 vf 月轰 日 学位论 文作 者毕业 后去向: 工作单位: 通讯地址: 电话: 邮编: 第 i 章 引言 第1 章 引言 1 . 1课题研究的目的和意义 随着网络在我国的普及和高速发展， 基于网络的视频监控系统正在成为蓬 勃发展的一种新的网络多媒体典型应用。它是指学校、企业或部门利用现存的 计算机网络平台，将监控范围内所需的视频、音频、数据以数字形式通过网络 进行传输、存储和共享，使领导和相关部门及时获得关于监控现场实时、准确、 具体、直观的信息，为监督教学或安全生产、提高生产效率、监控重要业务和 事后备查、 分析 等提供技术保证 1 1 。 与 传统的 模拟监控系 统相比， 计算 机数字视 频远程监控系统有着强大的优势，它是图像处理与信息技术的完美结合。 数字监控系统以计算机为处理核心，除了能够实现多媒体信息处理如压缩、 传输、存储和播放等基本功能之外，还能够实现自动异常报普、智能存储和快 速检索等高级功能，实现模拟监控无法实现的真正意义上的 “ 监控” 功能。由 于数字式网络监控系统功能强大、成本低、使用方式灵活而且应用广泛，蕴含 巨大商机受到了 学术界、产业界和管理部门的高度重视，各界学者适时地提出 了智能视频监控的概念。智能视频监控系统实时监视真实场景，获取实时的视 频数据， 提取和跟踪场景中的运动目 标，记录目 标的活动过程， 通过计算机的 自 动分析，产生对目 标活动状态的理解，从而向监控人员提供简洁有效的监控 信息。其核心是目 标的自 动提取、跟踪和事件的检测。智能化的监控系统可以 大量减少工作人员劳动强度，提高工作效率，有着广泛的应用前景和重要的应 用价值。这项技术主要涉及到计算机视觉， 模式识别，以及人工智能等，具有 重要的理论意义。 智能视频监视系统的需求主要来自 那些对安全要求敏感的场合，如银行、 机场、政府等重要部门无人值守的状况，高速公路的车流量检测以及意外事故 检测等等。目前监控摄像机在商业应用中已经普遍存在，但并没有充分发挥其 实时主动的监督作用，因为它们通常是将摄像机的输出结果记录下来，当异常 情况( 如停车场中的 车辆被盗) 发生后， 保安人员才通过记录的结果观察发生的事 实， 但往往为时已晚。而我们需要的监控系统应该能够每天连续2 4 小时的实时 监视，并自动分析摄像机捕捉的图像数据。当盗窃发生或发现具有异常行为的 第 i 章 引言 可疑的人时，系统能够向保卫人员准确及时地发出警报，从而避免犯罪的发生， 同时也减少雇佣大批监视人员所需要的人力、物力和财力的投入:在访问控制 ( a c c e s s c o n t r o l ) 场合， 也可以基于视频监控技术开发人脸或者步态的 跟踪识别技 术以便确定来人是否有进入该安全领域的权利:另外，视频监控技术在自动售 货机、a t m机、交通管理、公共场所行人的拥挤状态分析、商店中消费者流量 统计等方面也有着相应的应用前景。 本文研究的机库安全监控系统除了要求具备普通监控系统的多路实时录 像、实时回放的功能之外，也要具备基于网络的远程监视特性和飞机实时检测 跟踪防撞报警的智能化特性。该安全监控系统对图像序列自 动进行运动检测， 一旦发现运动飞机的位置和方向满足一定条件，就发出报警信号来通知监视人 员及时有效处理，这可在很大程度上减轻监视人员的视觉负担。数字监控系统 绝大多数都有存储模块，可对监控场景图像数据进行连续存储。然而，由于数 字监控系统的工作时间长，数据存储量相当庞大，给存储容量提出了较高的要 求。存储监控图像的目的几乎都是记录监控场景中的动作，如果长时间记 录无 运动图像，存储的信息量极少，就失去了存储的意义。这也需要有一个运动检 测算法判断监控图像的全部或部分有无运动的发生、控制存储模块的动作，有 效地节省存储数据，减少不必要的回放。由此可见，图像序列的运动检测和报 警算法在数字视频监控系统中有较强的实用价值。 1 . 2目 前国内外的研究现状和存在的问题 目 标检测与跟踪主要涉及四个方面的工作:目 标区域的分割与运动目 标的 提取，目 标特征提取，目 标描述以及目 标跟踪过程。 1 . 2 . 1目 标区域提取技术 ( 1 )图像预处理 在获取数字化图像后，首先要进行的是图像的预处理，以改善图像质量或 减少运算量。图 像预处理的具体内容依据具体系统要求而定，大致有以下几方 面: 1 )去噪处理:可能采用的方法如邻域平均、低通滤波、中值滤波、匹配滤 波、 卡尔曼 滤波it 3 :等; 2 )图像校正:有图像的几何校正、图像信号量化的归一化等; 第 1 章 引言 3 )图像增强及补偿:有图像整体增强、高频补偿、直方图均衡化、对数变 换、去图像信号均值处理等。 ( 2 )目标区域分割 在低信噪比 情况下，利用运动目 标的图像序列可以 检测出单帧图像中很难 检测出的目标。但在实际运用中，当目标与背景灰度相差较大时，将输入的图 像与背景差分后， 由 于目 标移动形成的残影使得目 标难以 正确提取与跟踪13) 。 因 此很多文献4 提出 可以 首先分割出目 标所在的区域位置， 然后在次区域内 采用各 种分割方法分隔出目 标，进而进行目标的跟踪，也就是在获取图像后，先对复 杂景物进行分解。目 标区域分割可以采用有层次的树状结构，以达到更高的效 率和满足不同应用领域要求。 1 . 2 .2目 标的特征提取 图像特征提取是数字图像处理中重要的操作之一，特征提取是指从景物的 原始灰度图中提取图 像的描绘特征。理想的图像特征应该具备以下特点: ( 1 ) 特征应具有直观意义，符合人们的视觉特性; 2 ) 特征应具备较好的分类能力，能够区分不同的图像内容: ( 3 ) 特征计算应该相对简单，以便于快速识别: ( 4 ) 特征应具备图像平移、 旋转、 尺度伸缩等不变性。 这是因为人们通常认 为图像经过平移、旋转和尺度变化后，图像的内容并没有改变。 目 标识别算法中， 最关键的是目 标特征的提取。 因此， 寻找图像在缩放、 平 移和旋转情况下的不变特征一直是目 标识别领域的研究方向之一。 到目 前为止， 识别算法有多种，如相关法、不变矩法、投影法等。相关法是提取目 标拍摄图 像与标准图像的相关值 ( 积相关值、差相关值) ，找出 相关值最匹配的作为目 标 的方法:不变矩法是通过计算图像的 7个不变矩进行匹配寻找目 标的方法;投 影法则是将二维图 像的数据投影在某一方向的轴上，根据位置探测和投影像的 特征进行判别。以上集中目 标识别的方法均较为复杂，对于复杂图像的识别效 果也不成熟，在实时性要求较高的图像处理领域有一定的限制。 此外， 物体特征 量的获得也可以 在图 像分割中 完成5 : 。 在图 像分割过程中， 可同时获得图像分割后的目 标物体的面积、周长、质心坐标甚至目 标所有像素 的 位置坐标等参数。 为了 实现这个功能， 文献【 6 - 8 采用了 像素标记法。 采用灰 度模板匹配的图像跟踪方法是根据图像灰度分布与模板的相似度来判定跟踪点 第 章 引言 的。如果运动目标的姿态发生变化，即除了平移之外还有旋转和尺度变化时， 模板匹配的相似度就会下降，从而导致跟踪稳定程度的降低，甚至完全丢失目 标。为了提高跟踪稳定程度，就需要根据目 标的变化信息重建模板图像。当跟 踪的目 标较大时，这种像素级的模板重建计算量很大，并且需要使用插值方法 计算非整数坐标位置处的像素灰度。另外，这种方法也很容易受到背景变化的 干扰。如果选取目 标自 设的某种特征或几种特征的组合进行跟踪，而且这些特 征又不随目 标的平移、旋转和尺度的变化而变化， 那么就可以很好地解决以 上 问题。 小波特征跟踪是一种较新的目标跟踪方法。这种方法利用 g a b o r小波提取 目标的边界特征来组成特征模板，并由小波滤波器系数组成特征向量。在跟踪 过程中不断优化特征模板的旋转、尺度及平移等几何变形参数，使得小波特征 向量值在最小平方和的意义上与初始值相匹配，从而实现目标旋转、尺度变化 及平移等几何变形时的自 动跟踪9 . 1 0 1 1 . 2 . 3目 标跟跳 运动目标跟踪算法的优劣直接影响着运动目 标跟踪的稳定性和精确度，虽 然对运动目 标跟踪理论的研究已 经进行了很多年，但至今它仍然是计算机视觉 等领域的研究热点问题之一。研究一种鲁棒性好、精确、高性能的运动目标跟 踪方法依然是该研究领域所面临的一个巨大挑战。研究的困难很大程度上取决 于我们对检测和跟踪目 标是如何进行定义的。如果仅仅从视觉特性上来描述目 标，比如说目标的颜色，那么，把所有具有相近颜色的像素集合看作是目标是 比较容易的。相反，对于一个特定的飞机来说，由于它包含了全部的感知细节 信息和干扰信息，比 如飞机的不同姿势，光照度的不同等，这使得我们精确检 测、识别、跟踪飞机变得相当困难。视频图像的不断变化也给解决这些问题带 来了很大困难，当一个运动目 标通过摄像机现场时， 运动目 标的图像可能发生 明显的变化，这种变化主要来自于三个方面:运动目 标姿态和形状的变化、光 照度的 变化以 及运动目 标被其他物体部分或全部遮挡 1 1 1 。由 于这些 情况 存在使 得对运动目 标进行实时检测与跟踪变得更加困难。现有的一些目 标跟踪算法虽 然能够完成对运动目 标的可靠跟踪， 但是大多是基于特征或相关跟踪的，需要 处理的数据量大、运算复杂，很难满足实时跟踪的要求。因此研究在这些情况 下具有较好鲁棒性和适应性且运算简单的实时目 标检测与跟踪算法引起了许多 第 1 章 引言 研究者们的关注。 基于参数化技术的目标跟踪方法包括:基于目标运动参数的跟踪方法 ( 点 跟踪)和基于目 标图像信息的跟踪方法 ( 成像跟踪) 。这两种方法的共同点都是 通过建立目 标运动的参数模型，获得目 标的运动状态估计来实现目 标跟踪。 跟踪算法中较为关键的问题有两大模块:预测模块和匹配更新模块。在主 运动分析的模型选择方面，一般来说，模型简单，则计算简单且稳定，但适用 范围受到限制:模型复杂，能够适用于一般的环境中，但计算复杂，难以应用 于实时系统，鲁棒性也差。 近年来还有些研究者 提出了 基于区域投影的识别方法1 2 1 、 基于 颜色信息的 识别与 视觉跟 踪算法 和基于扩展卡尔曼滤 波器的 跟踪算法 l 3 . 1 4 ) 等. 其中 基于颜 色信息的目 标跟踪算法主要是基于颜色直方图进行目 标跟踪，在目 标被部分遮 挡的情况下，对目 标的位置进行预测，以及多候选目 标出现的情况下利用距离 测度和简单运动来确定被跟踪的目标位置。这种算法不受目标的形状变换、尺 度大小变化的影响，具有较好的鲁棒性而且运动简单，易于实现实时目 标跟踪。 但是如果目标的颜色和背景的颜色一致的话，就无法分辨出目标，这时必须结 合其他的目 标跟踪方法来确定目 标的位置。 1 . 2 . 4存在的问瓜 目标跟踪方面存在的困难很大程度上是由于实际环境中目 标运动的复杂性 以及视频数据所具有的特殊性、复杂性造成的。目标大小、运动速度、运动轨 迹、目 标颜色与背景颜色的相似程度、背景的稳定程度，都会给目标跟踪带来 困难。总的来说，运动目 标跟踪的难点和存在的问题主要在于: 1 . 背景的复杂性:运动目 标所处场景的复杂程度、稳定程度影响着目 标跟 踪的效果.背景中干扰因素主要包括:( 1 ) 光线亮度的变化，光照变化不仅引 起目 标颜色的变化使目 标模板变得不可靠，而且使背景颜色也发生变化，对运 动目 标检测造成影响。( 2 )背景中物体的变动，当背景中增加、移去或者移动 某些景物并保持一段时间，背景发生变化应及时更新背景。( 3 )背景中存在与 目 标特征类似的物体时，将增加目 标跟踪的难度，甚至可能导致跟踪收敛到干 扰所在位置。( 4 )阴影问题，阴影属于非运动目 标区域，但是与背景颜色上存 在差别，给运动目 标检测带来困难。 2 . 用于运动目 标跟踪的特征难以选取:运动图像序列中包含了大蛋的目 标 第 i 章 引言 运动信息、梯度信息、颜色信息、边缘信息、纹理特征等。这些信息都可以作 为特征用来进行运动目 标的跟踪，但是采用什么特征能够取得较好的跟踪效果， 不仅与方法本身有关，还和运动图像序列自身的属性有关，因此很难确定某个 具有明显优势的特征来进行运动目 标的跟踪。 3 .目 标遮挡难题:遮挡是目标跟踪常见问题也是难点问题，遮挡过程中目 标信息缺失，跟踪变得不稳定。目前多数系统都不能处理较严重的遮挡问题也 不能提供标准来判断何时停止及何时重新开始跟踪，且在目 标丢失情况下没有 相应的重新获取目 标的引导方法。 4 . 运动目标跟踪实时性要求与准确度难以平衡: 视频图像含有大量的数据， 要保证目 标跟踪的实时性要求，必须选择计算量小的算法。但是目 标跟踪另一 个主要性能是跟踪的准确性，而准确性的保证往往是建立在复杂运算和处理的 基础上的，这就造成了两者的矛盾。一个好的运动目 标跟踪系统必须兼顾两者， 要对两个性能指标加以平衡。 5 . 跟踪的初始化问题: 目前大部分研究工作仅仅处理增量状态的估计问题， 依赖于局部平滑性的增量更新，而没有在开始时或者是跟踪丢失时就提供引导 方法。需要有一种对整幅图像的全局搜索机制，解决开始时或目 标丢失又出现 时的目 标定位，同时也可避免由 于增量过程导致错误积累的危险问题p s 1 .3本文的主要研究内 容 1 . 3 . 1机库安全监控系统所招的功能 ( 1 )多路图 像实时录像实时回放 ( 2 ) 局域网 远程观看现场及录像 ( 3 ) 提供用户认证和权限管理的控制中心 ( 4 ) 第二架飞机进入机库时的防撞报替 1 . 3 . 2机库安全监控系统的 设计方案 按机库安全系统 ( 如图1 . 1 所示) 的功能需求， 可以 把系统分为两个相对独 立的功能模块。第一部分为监控模块，主要用来监控机库内的活动并存储录像， 这部分同时具备网络传输的功能:第二部分防撞报警模块，主要用来飞机防撞 报警，这部分是机库安全系统智能化和先进性的体现，也是本文研究的主要内 第 1 章 引言 非常接近，所以 如果只用帧间差分法很难将目 标物体检测出来，所以对帧间差 分法进行了改进。将帧间差分法与提升小波方法结合起来。提升小波方法不仅 能够有效地抑制高频噪声，而且速度非常快，提高了检测的准确性和实时性。 在运动飞机的跟踪中，由于飞机在机库中运动，所以其在相邻两帧图像中 运动距离很小，本文采用的区域跟踪方法，选用质心和面积两个参数来进行匹 配，满足了实时性和准确性的要求。 第z 章 彩色图 像分割 第 2 章 彩色图像分割 在机库中为了防止两架飞机相撞，我们首先要确定己 经停在机库里静止飞 机的位置。为此，我们必须将第一架飞机分割出来。 图像分割是一种重要的图像分析技术。在对图像的研究和应用中，人们往 往仅对图像中的某些部分感兴趣。这些部分常称为目 标或前景 ( 其他部分称为 背景) ，它们一般对应图像中特定的、具有独特性质的区域。为了辨识和分析图 像中的目标，需要将它们从图像中分离出来，在此基础上才有可能进一步对目 标进行测量和对图像进行利用。图像分割就是指把图像分成各具特性的区域并 提取感兴趣目标的技术和过程。这里特性可以是象素的灰度、颜色、纹理等， 预先定义的目标可以对应单个区域，也可以对应多个区域。 2 . 1图像分割的定义 多年来人们对图像分割提出了不同的解释和表述，借助集合概念对图像分 割可给出如下比较正 式的定义v 叭 令集合r 代表整个图像区域，对r的分割可看作将r分成n个满足以下五 个条 件的非空子集 ( 子区 域)凡 ， 凡. . . r n r - 尺 万u间 对 所 有 的 i 和 j , i * j , 有尺 n 凡= 。 ; 对i = 1 , 2 . . . . . . . . n， 有p ( a ) = t r u e ; 对h e j ， 有p ( r ; u 凡 ) = f a l s e ; 对i = 1 , 2 . . . . . . . . n,尺 是连通的 区 域 其中p ( 尺 ) 是 对所 有 在 集 合尺 中 元 素的 逻辑 谓 词， 。 代表空 集。 下面先对上述各个条件分别给予简略解释。条件指出在对一幅图像的分 割结果中全部子区域的总和 ( 并集)应能包括图 像中所有象素 ( 就是原图像) ， 或者说分割应将图像中的每个象素都分进某个子区域中。条件指出在分割结 果中各个子区域是互不重叠的，或者说在分割结果中一个象素不能同时属于两 个区域。条件指出在分割结果中每个子区域都有独特的特性，或者说属于同 第2 章 彩色图像分割 一个区域中的象素 应该具有某些相同 特性。条件指出在分割结果中，不同的 子区域具有不同的特性。条件要求分割结果中同一个子区域内的象素应当是 连通的。 另外，上述这些条件不仅定义了分割，也对进行分割有指导作用。对图像 的分割总是根据一些分割准则进行的。条件与条件说明正确的分割准则应 可适用于所有区域和所有象素，而条件与条件说明合理的分割准则应能帮 助确定各个区域象素有代表性的特性，条件说明完整的分割准则应直接或间 接地对区域内象素的连通性有一定的要求或限定。 最后需要指出，实际应用中图像分割不仅是把一幅图像分成满足上面五个 条件的各具特性的区域而且需要把其中感兴趣的目 标区域提取出来。只有这样 才算真正完成了图像分割的任务。 2 .2分割算法分类 图像分割的研究多年来一直受到人们的高度重视，至今已提出了上千种各 种类型的分割算法，而且近年来每年都有上百篇有关研究报道发表。现有分割 的算法通常分成三类:闽值分割;边缘检测;区域提取。但事实上阅值 分割的方法在本质上也是一种区域提取方法，所以 实际上包含了。另外也 有把分割算法分成六部分讨论的:闽值分割; 象素分类; 深度图像分割: 彩色图像分割;边缘检测;基于模糊集的方法。从算法的角度来看，各 部分内容是有重叠的。事实上对深度图像和彩色图像的分割仍须用或可用， 或这几部分中方法进行，而所讨论的只是把模糊集合理论用于， 和 中的方法里。另外和中的方法有许多相似之处，而常见的基于区域生长 原理的算法却没有包含进这些类中去。 而要进行彩色图像分割，首先要选好合适的彩色模型，再采用合适的分割 策略和方法。下面叙述近十年来用于彩色图像分割的一些技术和方法，它们有 的是灰度图像方法直接在彩色空间中的多维推广，但大多针对实际应用的需要， 有着彩色图像分割的特点，而不是灰度图像分割的简单延伸。 2 . 2 . 1直方图闷值化 直方图闽值化技术是灰度图像分割中用得最多的技术，在彩色图像分割中 也起着重要作用。直方图技术的假设是图像的灰度 ( 或彩色分量)分布呈一些 山峰形状，每个峰对应一个区域。在进行彩色图像分割时，情况要复杂得多， 第2 章 彩色图像分割 因为我们必须结合 3个分量的一维直方图或分析三维直方图以识别一个景物的 不同区域。一个普遍的问题仍然存在，即假峰和噪声的影响很容易影响闽值的 正确选择，从而影响分割质量。 文献 1 7 1 首先从h s i 模型中得到色度直方图，再用尺度空间滤波器 ( s s f ) 对直方图进行滤波平滑，然后根据最大方差原理进行直方图多阐值化处理。文 中还提出所用的色度直方图是圆直方图，即考虑到色度值的范围 ( 0 度一 3 5 9 度) 其实是首尾相接的，即0 度和 3 5 9 度只有微小的差别。实验说明圆直方图产生 了比 传统直方图 更好的 分割效果。文 献 1 8 , 1 9 提出 用同 态图( h o m o g r a m ) 进 行多阐 值分割， 并结 合区域 融合技术 进行图 像分割。 所 谓同 态图h ( t , b , d ) 是图 像 中灰度为t 的像素和它邻域中距离为d ，角度为b 的像素之间同一性的度量。同 态图既考虑了 像素值灰度值的发生频率，又考虑了邻域中的像素相似性，因此， 同态图闭值化比直方图14值化在寻找具有同一性的区域中更为有效。文献【 2 0 提出了 “ 子带分析”既可用于彩色图像分割，又可用于多光谱图像分割。文中 子带选为 r b , r g 和 b g，即统计每两个分量的二维直方图，通过选峰 ( p e a k 一c k i n g ) 算法实 现多阐 值化， 再 接着运行一 个一 致 性 标定 程 序和空间 一 色 度多 数滤波器( s p a t i a l - c h r o m a t i c m a j o ri ty fi l t e r ) ，以 进行区 域融合， 实验表明 该 方法在运行时间和分割性能上比以前的方法均有较大改善。 2 . 2 . 2蔽类法 大量文献涉及到聚类法分析2 1 , 2 2 测量空间聚类法也是一种彩色图象分割 常用的方法。通常，两个或多个特征形成一特征空间，这样，有时一个特征不 能进行好的分割而多个特征却可以得到较好的分割。 这些特征可以是灰度 ( 或 分量) 、均值、方差和纹理等。将聚类分析应用于彩色空间是上述概念的直接结 果，因为彩色在彩色空间是趋向于形成聚类的。最大的问题是，在非监督聚类 分析中怎样确定类的数目，而颜色模型的选择又直接影响聚类数目的决策。例 如， 在r g b空间中， 相同 彩色但亮度不同的点可能分割为不同的目 标， 即有阴 影的图象不能进行适度分割。 文 献 2 3 】 提出 将模糊 c均值 ( f c m) 技术用于彩 色图 象分割， 在每一步， 1 一 直方图闽值化应用于一个颜色分量再用空间滤波 ( s s f )确定每一个分量直 方图的闽值，这三个阂值用来将彩色空间分成几个六面体，所有 1 - d直方图的 峰值都可以成为聚类中心，这种粗分割用于确定聚类数和初始聚类中心。接着 进行细分割，f c m用于将未分配到某一聚类的象素分到离它最近的聚类中。将 模糊聚类方法用于人脑磁共振图象分割，采用相邻切片的聚类中心点，先初始 第2 章 彩色图像分割 化 模 糊 类内 离 散 度 矩 阵 和中 心点 集 合， 并 据 此 求 划 分 矩阵u ( u 的 元 素 叭表 示第i 个元素属于第.1 类的 隶属 度) ， 再根据当 前的划分矩阵 和类内 离散 度求新的 中心点集合，如果中心点集合以某种准则衡量不再变化，则停止迭代。文献将 实验结果和专家手工分割结果对比， 证明了超椭球模糊 c均值聚类算法的有效 性。 文献 2 4 将马尔 可夫随 机场( m r f ) 聚类法用于彩色图 象分割， 先 对图 象用 区域生长法进行初始分割， 再借助马尔可夫处理进行分割， 对每一个初始聚类l . 计算 其 均值 特征u , ， 再 对 每一 个 未 归 类的象素p ， 计算局 部 能 量u ( p ) ， 设 定 初始 温度为 t ， 对每一 个象素p 的 概率 分布， 利用吉布斯( g i b b s ) 取样产生一个新 的 类标号并计算新的 局部能量e ， 如果新的局部能量小于u ( p ) ， 则更新这个标 号，否则以 g i b b s 概率分布更新这个类标号。温度t 的值减半后继续迭代，直 到t 小 于 某 个事 先 设 定 的t - u . 观 察 文中的 实 验结果， 借 助n w 处 理， 许多 未 归类的象素得到了归类。文中还讨论了n w 处理不同参数对分割结果的影响。 2 . 2 )边缘检洲 边缘检测的基本方法是计算梯度。对于彩色图像，可以分别计算三个分量 的梯度得到梯度向量，或者根据三个分量的变化计算一个梯度值。可以在 r g b 空间设计了一个彩色边缘检测算子，它不像其他方法那样，通过三个分量的梯 度的 结合而得到总的 梯度， 而是 借 助于c a n n y梯度算法，以 得到最佳多 尺度边 缘检测。 算法的中 心是 采用了 突 变 ( a b r u p t c h a n g e ) 检测 技术。 边缘检测有串行处理方式和并行处理方式。一阶微分算子r o b e r t s , s o b e l , p r e w i tt ， 二阶微分算 子l a p l a c e都 是并 行处理算子， 启发式 搜索和动态规 划曲 线 拟合、边界跟踪属于申行处理方式。彩色图像的边缘信息比灰度图像要大得多。 例如由亮度分析而被划归为一类区域的两个目标，由色度分析则可能归为同一 类。因此，有些方法给出了不同的彩色图像边缘的定义:基于单分量距离的、 基于多分量距离的以及基于同一性的，后者将某种同一性限制条件施加于三个 分量的边缘，同时利用3 个分量且允许3个分量很大程度上的独立， 使得本定 义在边缘检测中具有独到的作用。在上面提到的所有颜色空间中都有进行边缘 检测的文献。当然，边缘检测还不等于图象分割，它只是提供了区域边界的信 息，以利于后面的区域分割技术继续完成区域分割。 2 . 2 . 4神经网络方法和遗传进化算法 人工神经网络是进行模式识别的一种重要工具和方法。它要求的输入知识 第2章 彩色图像分割 较少，也比较适合于并行实现。一个神经网络由一组互相连接的相同节点构成， 这些节点也称为神经元。每个神经元中的操作都相当简单 ( 基本上都是对输入 矢量和权矢量的乘积求和) ，它从网络中多个上游的神经元接受输入，产生一个 标量输出并将其送到下游的一组神经元。一般多个神经元组成网络中的一些层， 最终一层称为输出层，其它为隐藏层。最小距离分类器和贝叶斯分类器都基于 用模式采样来估计各类模式的统计参数。具体问题中一般不知或很难估计各模 式类的统计特性，所以最好用直接通过训练得到所需决策函数的方法来处理决 策问题。因此，必需对所考虑模式类的概率密度函数或其它概率信息做出假设。 神经网络方法就是满足这种需要的方法之一。其中比 较有效的模型是采用2 0 世 纪8 0 年代中期提出的训练算法的多层感知机。 人工神经网络的并行处理能力和非线性特征在信号处理领域有着广泛的应 用，也有不少文献报导用于彩色图象分割，比较典型的神经网络应用类型为 h o p f i e l d 神经网 络，自 组织映射， 后向 传播算法， c均值和矢量量化学习算法。 下面择主要点予以介绍。 文献 2 5 使用自 组织特征映射 ( s o f m) 神经网 络作为一个训练工具并采用 局域直方图的索引数 ( i n d e x - c o u n t s )作为聚类特征。首先，用s o f m训练器对 真实的自 然图像进行量化以得到索引彩色图像，再通过局域直方图 ( 以一个 、 、 、的 窗 在图 像上滑动， 直方图 统 计数目 是 各个窗 中 的 具有该 索引 值的 统 计 数) ， 然后， 再利用s o f m 对索引数量进行第二次聚类分析， 最后将类边界映射 回原图象，最后得到了优异的分割结果。 文 献【 2 6 将 遗传算法和神经网 络算法 用于彩色图 像分割， 处理彩色图 像映 射 和矢量量化，取得了新的进展。遗传进化算法是基于自 然选择和基因遗传学原 理的算法，将 “ 优胜劣汰，适者生存”的生物进化原理引入待优化参数形成编 码群体，按照一定的适度函数及遗传操作，使适值高的个体被保留下来，组成 新的 群体， 直到 满足一定的 极限 条件而 得到最优解. 文 献 2 6 正是 利用遗传算 法 ( g a ) 作为全局最优算法并用于彩色图像分割的，首先将分类问题的可能解用 染色体进行编码进行交叉，互换和变异等遗传操作，以产生新的一代，这样一 直迭代下去直到某种误差函数小于某个事先给定的阐值。 2 . 2 . 5松弛迭代法 松弛法的初衷是结合并行和串行两类方法的优点， 使分割既能在每个局部并 行又能借助迭代利用运算中逐步获取的信息不断调整以自 适应取得好的分割结 果。松弛迭代分割法以象素为操作对象，不仅可基于灰度值进行也可基于梯度 第2 章 彩色图 像分割 值进行，借助迭代逐步确定各象素的归类，在每次迭代中，需要用到称为相容 性的准则，据此松弛算法可分为离散松弛法、模糊松弛法、概率松弛法等。 2 . 2 . 6致学形态学方法 近年来，形态学图像处理已从法国枫丹白露数学形态研究中心走上了世界， 发展成为图像处理的一个主要研究领域f2 6 。形态学图 像处理的基本思想，是利 用一个称为结构元素( s t r u c t u r i n g e l e m e n t ) 的 探针收集图 像的信息， 当 探针在图 像上不断移动时，便可考察图像各个部分之间的相互关系，从而了解图像的结 构特征。形态学的基本运算有腐蚀和膨胀、开闭、骨架抽取、极限腐蚀、梯度、 t o p - h a t 变换、 颗 粒分析、 水线变换等， 开始都是定义 在二 值图 像上的， 后来又 推广到灰度图像。 数学形态学在彩色图像分割中也得到很多应用，形态梯度和阐值结合使用， 可以实 现边缘检 测。 文献 2 7 l 提出了 一种使 用模糊数学形态学的 算子的 彩色图 像 分割方法。 为了检测3 d彩色直方图中的模式， 文中首先将彩色图像看成是某一 模式下的以隶属度函数为特征的模糊集，然后对隶属度函数施加一种模糊形态 学变换以增强不同的模式。对彩色图像分割的例子说明了算法的有效性。考虑 到3 d彩色直方图中的聚类通常并不能用熟知的统计模型精确描述， 故提出一个 基于数学形态学， 更准确地说基于水线算法 ( w a t e r s h e d )的分类器。文中说明 采用这样的分类器，得到了非常好的聚类结果，并借助于形态学聚类结果进行 了 马尔可夫区域标记。文献 2 8 实际 上是对文献 2 6 方法的一种改进。 文献【 2 9 基于形态学图像分割的基本算法 水线算法， 提出了一种可用于灰度图像、 彩色图像和多谱图像的新方法。该方法基于形态学分裂合并快速水线算法和区 域邻接性图形( r a g ) 处理的原理， 以较少的计算复杂度完成迭代处理。 对“ t o y 彩色图像进行分割的结果的区域数目 从6 2 0 1 减至3 2 8 . 2 .3彩色图像分割小结 图像分割没有统一的方法，彩色空间的选择、分割方法的选择和具体应用 密切相关。关于图像的先验知识对于算法的取舍也是至关重要的。大多数灰度 图像的分割算法都可以 延伸到彩色图像， 例如直方图阐值化、特征聚类、边界 检测、区域生长和模糊集方法。但这种延伸又不是简单的延伸，而是对每个象 素要统一考虑它的彩色信息。 大多数情况下区域的定义都是基于区域内颜色的相似性。 这对有阴影、 遮挡 第2 章 彩色图像分割 或光照不均的图像的分割是不利的。非线形模型 ( 如 h s 等)可以在一定程度 上解决这个问题， 因为色度分量h和亮度分量是独立的， 但在低饱和度时， h的 计算容易出 现奇异值。有些基于物理特性的模型有太多的限制以至于它们的作 用有大的局限性。模糊集方法由于提供了处理不确定性的手段吸引了许多研究 工作者的越来越多的注意力，是一个有着非常大的潜力的方法。基于数学形态 学的图像分割方法目前文献尚不是很多，虽然经过3 0 多年的发展，数学形态学 在理论和应用方面都取得了举世瞩目的成就，但在总体水平和应用普及性方面， 还有很多工作要做，包括数学形态学用于彩色图像分割。 表2 . 1 图像分割的算法及比较 分割技术常用方法方法描述优点缺点 直方图阅 值分割法 单闽值，多阂 值， 白 适应动态 闻值， o s t u ( 大 津法) 对应的图像必需具 有两个以上的峰 值，每一个对应一 个区域 无需很多关于 图像的信息， 且 算法简单， 运算 快速 对应图像直方图若没 有明显峰值时， 难 于 分 割， 不能保证分割后的 区域的连续性 特征空 间聚类 一般由两个或多个 特征形成特征空间 直接 目的就是 分类， 执行简便 如何选择分类的特征， 没有利用空间信息 边缘检测 l o c c a n n y , s o b e l , r o b e 氏 p r e wi tt 图像边界与内容的 灰度差异，微分算 法，梯度算子 适应人类视觉， 对照明显 不适宜多边缘， 或边缘 不清图像。 对噪声敏感 模糊方法f c m, i s o d a t a 利用模糊算子、数 学方法i f - t h e n 准则 对不确定的模糊内 容分类 能够较好的确 定不明确区域 的分类 算法复杂耗时 神经网络法 h 叩f i e l d , s o f m, b p， c- me a n 利用神经网络原理 进行分类 不需要编写复 杂的程序， 并行 处理 训练时间长 且受初始训练条件影 响 形态学方法 e r o d e , d i l a t e o p e n c l o s e 二值形态学 灰度形态学 彩色形态学 利用形态算子收集 信息 采用非线性算 法， 符合人类视 觉习惯， 具有良 好的抗噪性能 如何选择形态算子 2 . 4描绘 当一幅图像被分割或确定之后通常希望用一系列符号或某种规则来具体地 描述该图像的特征，以便再进一步地识别、分析或分类中有利于区分不同性质 第2 章 彩色图 像分割 的图 像。 特性提取是相当复杂的问题，需要对