（信号与信息处理专业论文）基于多特征融合的运动目标检测与跟踪方法研究.pdf

基于多特征融合的运动目标检测与跟踪方法研究 摘要 运动目标检测与跟踪是视频监控领域里的一项重要工作，被广泛应用于智 能视频浏览，图像编码，交通管理，银行监控等领域。通过完善和改进运动目 标检测的算法，尤其解决遮挡问题，可进一步提高监控系统的智能化水平，有 效地实现对运动物体的跟踪。 本文主要研究了基于多特征融合的运动目标检测与跟踪方法，目前，提出 的运动目标检测与跟踪的方法很多，每种方法都有各自的缺点和不足。本文采 用马尔可夫随机场分割与目标分块匹配的方法相结合，重点解决在多目标情况 下，发生静态遮挡与彼此遮挡以及不同光线条件下的目标分割与跟踪问题。 运动目标分割的效果对进一步的运动目标跟踪会带来关键性的影响，因此 选取一个好的分割方法非常重要，在运动目标分割方面，本文提出一种基于自 适应权值的区域马尔可夫随机场( m r f ) 分割的方法，该方法利用了相邻像素 区域的空间相关性，自适应更新系统能量函数中的参数，可以更准确的分割 出运动目标n ，马尔科夫随机场模型是基于马尔可夫随机场与g i b b s 分布的等 效性，在图像分割领域取得较好的效果。 在运动目标跟踪方面，本文在建立目标匹配模版过程中采用多种特征( 包 括n m i 特征，积分直方图特征等) 相融合的方法，结合卡尔曼预测与目标运动 方向等信息，进一步提高算法准确性，实现目标匹配跟踪，并与c a m s h i f t 和粒 子滤波等近几年的方法实现对比，实验结果表明本文方法在实时性，准确性等 方面要优于上述方法。 关键词：目标检测目标跟踪马尔可夫随机场分片特征模版 r e s e a r c ho fm o t i o no b je c td e t e c t i o na n dt r a c i n gm e t h o db a s e d o i lm u t i l f e a t u r e sf u s i o n a b s t r a c t m o t i o nd e t e c t i o na n dt r a c k i n gi sa ni m p o r t a n tw o r ki nv i s u a ls u r v e i l l a n c ef i e l d a n di s w i d e l yu s e di ni n t e l l i g e n tv i d e ob r o w s i n g ，i m a g ec o d i n g ，t r a f f i cm a n a g e m e n t ，b a n k i n g s u p e r v i s i o nf i e l d s b yi m p r o v i n gm o t i o nd e t e c t i o na l g o r i t h m s ，i np a r t i c u l a r , s o l v i n gt h e o c c l u s i o np r o b l e m ，t h ei n t e l l i g e n tl e v e lo fm o n i t o r i n gs y s t e mi sf u r t h e ri m p r o v e d ，a n dt h e m o t i o n o b j e c t st r a c k i n gi se f f e c t i v e l yi m p l e m e n t e d t h ep a p e rm a i n l ys t u d i e sm o t i o n o b j e c td e t e c t i o na n dt r a c k i n gm e t h o d sb a s e do n m u l t i f e a t u r ef u s i o n ，a tp r e s e n t ，m a n ym o t i o n o b je c td e t e c t i o na n dt r a c k i n gm e t h o d si s p r o p o s e d ，e a c hm e t h o dh a s i t so w ns h o r t c o m i n g sa n di n a d e q u a c i e s t h em e t h o di s p r o p o s e di nt h i sp a p e rc o m b i n e dm a r k o vr a n d o mf i e l ds e g m e n t a t i o na n dt r a c k i n gm e t h o d o ff r a g m e n tf e a t u r e st e m p l a t e ，f o c u so n s o l v i n gt h em u l t i - o b je c tt r a c k i n gp r o b l e mu n d e rt h e s t a t i ca n dd y n a m i co c c l u s i o n ，d i f f e r e n tl i g h tc o n d i t i o n s ，a n dh a sg o o d e x p e r i m e n t a lr e s u l t s t h er e s u l to fm o t i o no b j e c ts e g m e n t a t i o nw i l lh a v eac r i t i c a l i m p a c to nm o t i o n t r a c k i n g ，s oi t i si m p o r t a n tt oc h o o s eag o o ds e g m e n t a t i o nm e t h o d i nt h ea r e ao fm o v i n g o b j e c ts e g m e n t a t i o n ，t h ep a p e rp r e s e n t sa na d a p t i v ew e i g h t sm e t h o db a s e do nar e g i o n a l m r f s e g m e n t a t i o n b yu s i n gt h ea d j a c e n tp i x e lr e g i o na n ds p a t i a lc o r r e l a t i o n ，t h em e t h o d a d a p t i v eu p d a t et h es y s t e mp a r a m e t e r so ft h ee n e r g yf u n c t i o na n dc a nm o r ea c c u r a t e l y s e g m e n tt h em o t i o no b j e c t s ，m a r k o vr a n d o mf i e l dm o d e lb a s e do nm a r k o vr a n d o mf i e l d a n dg i b b sd i s t r i b u t i o ne q u i v a l e n c eh a sb e t t e rr e s u l t si nt h ef i e l do fi m a g es e g m e n t a t i o n i nt h ea r e ao fm o t i o nt r a c k i n g ，o b j e c tf e a t u r et e m p l a t ei s e s t a b l i s h e db a s e do n m u l t i - f e a t u r e s ( s u c ha st h en m if e a t u r e ，i n t e g r a lh i s t o g r a mf e a t u r e s ，e t c ) ，t h ep a p e ri su s i n g f r a g m e n t f e a t u r e s t e m p l a t ec o m b i n e dw i t hk a l m a np r e d i c t i o na n dm o t i o nd i r e c t i o n i n f o r m a t i o nt of u r t h e ri m p r o v et h ea l g o r i t h ma c c u r a c ya n dt o t r a c k ，a n dc o m p a r ew i t h c a m s h i f ta n dp a r t i c l ef i l t e r i n gm e t h o d sc o m m o n l yu s e di nr e c e n ty e a r s ，t h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h ep a p e rm e t h o di ss u p e r i o rt ot h ea b o v em e t h o d si nr e a l t i m e ，a c c u r a c y , e t c k e y w o r d s ：o b j e c td e t e c t i o n ；o b j e c tt r a c k i n g ；m a r k o vr a n d o mf i e l d ；f r a g m e n tf e a t u r e s t e m p l a t e ； 插图清单 图2 1c a n n y 算子连通前后对比图lo 图2 2 运算算子图1 1 图2 3 拉普拉斯算子模版图1 l 图2 4 双模态频率曲线1 2 图2 5 邻域系统基团示意图1 5 图2 6 投影分割示意图1 8 图2 7 多种方法分割结果对比。1 9 图3 1梯度算子2 6 图3 2 分片模板2 7 图4 1 基于c a m s h i f t 的跟踪实验结果3 4 图4 2 文章算法流程图3 8 图4 3本文使用的跟踪方法在白天自然光下的跟踪结果3 9 图4 4c a m s h i f l 在白天自然光下的跟踪结果4 0 图4 5 粒子滤波在白天自然光下的跟踪结果4 1 图4 6 本文使用的跟踪方法在夜晚日光下的跟踪结果。4 1 图4 7 丙目标跟踪曲线分片跟踪与未分片跟踪效果对比4 2 图4 8 模版匹配跟踪结果对比4 2 表格清单 表2 1k 与1 3 值的关系对照表1 7 表2 2 整幅图像上m r f 分割性能分析2 0 表2 3 基于目标区域上的m r f 分割性能分析2 0 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所 知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得金月巴王些太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签字：耥缸婊签字日期：旧年啪驭日 学位论文版权使用授权书 本学位论文作者完全了解金g 巴工些太堂有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权金理王些太 兰l 可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 摘蚀 导师签名： 签字日期；w l 刁年唯月朝旧 学位论文作者毕业后去向： 工作单位： 通讯地址： 考羡嘭 签字日期：堋d 年毕月2 2 日 电话： 邮编： 致谢 随着毕业论文的即将完成，我的研究生生活也即将结束，回首两年半实验 室生活的点点滴滴，我从中不仅学到了导师们严谨的治学态度，还感受到了同 学们的拼搏向上，不屈不挠的专研精神。 首先，我要感谢我的导师齐美彬教授和蒋建国教授多年来对我的关心和照 顾，他们广博的专业知识，丰富的实践经验，平易近人的处世作风给我留下了 深刻的印象，特别感谢齐老师从我的论文提纲的构思，实验结果的验证到最终 论文完成都给予了无微不至的指导，并提出许多宝贵的意见，同时还要感谢实 验室的夏娜副教授、詹曙副教授、吴从中副教授、李小红副教授、尤小泉老师， 感谢他们对我的关心和帮助。 感谢我实验室的刘扬，陈晓蕊，李相涛，张前进，施志萍，郝世杰，郭艳 蓉，张乐，常红，项磊，李莉师兄师姐的热情帮助和耐心指导，感谢杨爱丽， 岳雷飞，邢世义，唐媚，张文菊，吕荣，鲜柯，李敦等同学的鼎力相助，两年 半的时间，我们互相交流，共同进步，感谢王宝，杨强，张莉，张婕，吴晖等 师弟师妹们的信任与帮助，诚挚的祝福你们未来的学习生活一切顺利。 感谢我的家人，他们在我的求学路上一直都是默默支持，他们多年来给我 的鼓励和支持一直是我前进的动力。 第一章绪论 1 1 课题研究背景与意义 目前，以摄像机为核心的视频监控系统在计算机视觉领域的作用越来越重 要，多运动目标分割与跟踪技术是视频监控领域的关键技术。在目标识别、跟 踪视频会议，安全检索，自动导航，智能控制等机器视觉领域有着广泛的应用。 近年来围绕这个问题进行了很多研究，但仍然是具有挑战性的课题。 近十年来，随着计算机技术，网络，图像处理能力的飞速发展，视频监控 系统现在已经广泛应用于视频会议、远程教学等应用领域。运动目标的分割与 跟踪技术逐渐成为计算机视觉的研究热点，智能视觉监控代表了目前视频监控 发展的方向，基于网络摄像机的分布式，网络视频监控开始兴起，这为智能视 觉监控提供了良好的硬件平台。 人们主要通过视觉感知外界信息，据统计，人们对外界的信息8 0 以上是 通过视觉感知到的。视频图像主要是指对客观事物生动、形象的描述，是具体 且直观的信息表达形式，是重要的信息载体。在电力，银行，仓库，交通等特 殊场合需要长时间进行监视，如果靠人工监视，工作量太大，而且人的工作精 力有限，长时间监视，必定造成疲劳，工作效率不高，容易出现工作上的失误。 区别于传统意义上的视频监控，利用计算机代替人来进行监控，用摄像机代替 人眼，将节省了大量的人力，具有非常大的应用价值和实际意义，具有很大的 商机和经济效益，受到各界的高度重视心1 。 由于在实际的场景中，有很多因素会影响到运动目标的检测与跟踪的结果， 当场景中的干扰噪声，如光线的变化，树木的晃动等，另外，静态遮挡与运动 目标彼此之间的动态遮挡也是运动目标检测与跟踪的一大难题，甚至是摄像机 自身参数也会影响实验结果，因此，运动目标的检测和跟踪技术至今仍然处于 研究和讨论的阶段，在理论和实际上都有许多问题，还有待于进一步得到的解 决和完善。 1 2 国内外研究现状+ 由于科学技术水平的不断提升，各种计算机处理能力以及图像信息处理技 术的发展，视频监控技术受到人们越来越多的重视。视频监控指的是利用图像 处理和计算机视觉的方法对图像序列进行运动动目标检测、分类、跟踪以及对 监视场景中目标行为的理解与描述。 i b m 与m i c r o s o f t 等公司正逐渐将基于视频的运动目标检测与跟踪系统研 究别接口应用于商业领域中。英国雷丁大学也已开展了对车辆和行人的跟踪及 交互作用识别的有关研究。， 我国视频目标检测与跟踪技术研究起步于上世纪6 0 年代末，通过数十年的 努力，我国在这一领域取得了很大的发展，许多先进的图像处理与模式识别方 法被应用到这个领域心1 。目前，有许多国内研究机构，比如中国科学院的北 京自动化研究所在视觉监控领域一直处于领先地位0 1 。 人是社会活动中的主体部分，对人体的运动分析属于当前计算机视觉领域 的一个重要研究方向，其中非常重要的内容就是人体的运动检测与跟踪。同时， 动态场景中运动的快速分割、人体的非刚性运动、人体的自遮挡以及目标之间 的互遮等也给人的运动分析带来一定的挑战1 。 1 2 1 运动目标检测的研究现状 传统的检测方法主要有背景差值法，相邻帧差法以及改进的三帧差法，光 流场法等，目前图像分割的方法被越来越多的应用到运动目标分割的领域， 图像分割技术有很多，常见的有直方图阈值法、聚类、区域增长、边缘检 测、模糊方法、神经元网络等。 ( 1 ) 在灰度图像中直方图阈值法是广泛使用的一种分割方法，o h l a n d e r 等提 出了一种多维直方图阈值化方案怕1 ，其阂值是从不同的颜色空间( r g b 、y i q 、 h s i ) 中选取，并用于区域分裂。g u o 等对图像数据在多维特征空间的多峰概率密 度函数，则采用基于直方图熵的方法来确定峰和谷1 。k u r u g o l l u 等提出一种 多频谱图像分割方法口3 ，对于彩色图像，首先选取f r b 、f r g 、f g b 为频谱子集， 并在计算三个频谱子集的二维直方图后，进行多阈值化处理，并利用融合算法合 成三个子集的二维直方图所分割的图像。 ( 2 ) 基于区域的方法主要思想是将具有相似性质的像素集合起来构成区域， 而区域分裂技术则是将种子区域分裂为四个矩形区域，直到每个区域内部都是 相似的为止。c h e n g 等提出了一种分层的分割方法随1 ，即是通过对直方图进行阈 值化操作来标识为同一个区域的。 ( 3 ) 特征空间聚类算法不需要训练样本，它是一种无监督的统计方法，通过 迭代执行分类算法来提取各类的特征值，其中k 均值1 、模糊c 均值是最常用的 分类方法。t h e n 等提出一种新的模糊聚类方法n 引，其中隶属度函数考虑了与其 他类的关系，聚类中心可逐一通过迭代优化产生，所以减少了计算量。林开颜等 利用分层减法聚类方法把图像数据分成定数量的色彩相近的子集，一方面，子 集中心可用于初始化聚类中心点；另一方面，利用子集中心点和分布密度来进行 模糊聚类。 ( 4 ) 人工神经网络具有并行处理能力和非线性的特点，所以特别适合于解决 分类问题。h u a n g 等提出一种利用最小化合适能量函数的h o p f i e ld 神经网络进行 灰度图像分割1 ，c a m p a d e l li 等基于h u a n g 的思想，提出h o p f ie l d 神经网络分 割算法用于彩色图像分割n 2 1 3 3 。 2 1 2 2 运动目标跟踪的研究现状 人们对基于视频图像的监控系统的智能化要求越来越高，运动目标跟踪是 视觉处理研究的核心内容，在视频图像处理中占据重要位置。其典型应用主要 有以下几方面：安全场所的智能监控、智能机器人、军事交通领域，微观医学 领域等等。 目前较为常见的是将运动目标跟踪方法分为以下几类： ( 1 ) 基于特征的跟踪方法就是指根据所要跟踪的运动物体的一种或几种部分 特征来表征运动目标；使用相关算法，并可以与k a l m a n 预测方法相结合来达到 准确跟踪运动目标的任务。 ( 2 ) 基于模型的跟踪方法对人体进行跟踪时，通常有三种形式的模型，即线 图模型、2 d 模型和3 d 模型，其中3 d 模型在实际的应用更为常见，尤其对是汽 车等刚体的跟踪，基本思想是：首先由先验知识获得目标的三维结构模型和运 动模型，然后根据实际的图像序列确定出目标的三维模型参数，最后确定出目 标的瞬时运动参数。 ( 3 ) 基于区域的跟踪方法，基本思想如下：首先通过图像分割或事先设定获 得目标模版，目标模版形状可以自定义，多为长方形矩形，大小最好略大于目 标，运用相关算法及法则实现运动目标的跟踪n 们。 视频跟踪技术是计算机视觉技术领域的研究热点，具有很广泛的研究前景 及应用价值。目前国内外众多学者及企事业单位都投入大量工作，取得了卓越 的成果，但仍有许多问题亟待解决，比如在跟踪准确性，实时性等方面还有很 多不如人意的地方，光线问题，遮挡问题包括静态背景的遮挡以及人与人之间 动态遮挡的问题在准确性等方面都亟待进一步的完善。 1 3 本论文的主要工作和各章内容安排 1 3 1 本文主要工作 为解决多目标在较复杂背景下的运动目标检测与跟踪问题，本文首先利用 分水岭预分割的方法，得到运动目标的初始分割结果，再利用马尔可夫随机场 分割方法得到最终的较为理想的结果，再结合卡尔曼滤波器预测的方法对运动 目标的位置进行预测，并且对待跟踪目标建立特征模版，采用多种特征相结合 的方法，建立分片特征模版，可以解决当目标被部分遮挡，但人眼仍然可以看 到情况下的跟踪问题；具有较好的实验效果。 1 3 2 各章内容安排 本文共分为五章，分别介绍了运动目标检测与跟踪的相关内容。 第一章绪论介绍了运动目标检测与跟踪的研究意与课题背景，并简单总结 了国内外目前在这一领域的研究情况。介绍了运动目标分割与跟踪的几种常见 方法。 第二章详细介绍了图像预处理的相关知识以及马尔可夫随机场的基本理 论，主要对马尔可夫随机场在运动目标分割领域中参数自适应更新问题做了 详细研究，并给出了分割的实验结果。 第三章介绍了运动目标特征模板的基本知识以及常用的相关特征，结合多 种特征建立目标模版，并对目标模版进行分片处理，有效的解决了遮挡情况下 的跟踪问题。 第四章结合卡尔曼滤波器预测的方法对运动目标的位置进行简单预测，介 绍了多种跟踪方法，并给出了对比的实验结果。重点解决在遮挡情况及光线变 化情况下的跟踪问题。 第五章对全文进行了总结，并指出下一步的研究方向。 4 第二章基于m r f 理论的运动目标分割方法 2 1 引言 在视频序列采集和处理过程中，有许多因素会影响到运动目标的分割与跟 踪的实验效果，一般情况下，目标检测模块将从图像序列中获知是否存在运动 目标，如果存在运动目标，则给出目标在视频序列图像中的位置、大小，然后 提交给目标跟踪模块，目标分割的结果的好坏直接影响到进一步的跟踪可靠性， 所以采用一种优良的分割方法非常重要，复杂场景下的运动目标分割技术是近 年来多媒体通信技术研究的热点之一，目前，马尔可夫随机场理论在视频运动 目标分割中得到越来越广泛的应用。 2 2 运动目标检测方法 常用的运动目标检测( m o t i o no b j e c td e t e c t i o n ) 背景差法( b a c k g r o u n d s u b t r a c t i o n ) ，帧差法( f r a m ed i f f e r e n c e ) 以及光流法( o p t i c a lf l o w ) 。 2 2 1 背景差法 背景差法主要是利用待检测的一帧图像与事先得到的背景做帧差，从而得 到前景目标的方法，背景帧图像中不含有运动目标。即： 脚= 舻 卜取而力p 丁 ( 2 1 ) t 是我们规定的阈值，背景差法运算简单，可以提取目标的完整信息，克 服了帧差中出现的目标空洞现象，但缺点是需要背景重建，由于要参考过去信 息，所以往往会出现滞后现象。在实际监控中，运动景物往往较多以及背景复 杂，这时背景差法很难得到背景，可能与真实背景相差很大n 5 1 。 2 2 2 帧差法 常见的帧差法有相邻帧差法和非相邻帧差法，相邻帧差法就是相邻两帧对 应像素点值作相减运算，得到差分值，而非相邻帧差法是指当前帧与后面的第 n 帧( n i ) 对应像素点值做差值得到的结果，相比而言，非相邻帧差法多适应 于运动目标运动缓慢的场景，即不发生突变，采取多帧做差以后可以突出更多 的边界信息，而相邻帧差法多适应于运动目标突变的场景，即运动目标运动速 度较快。公式如下； 岫川= 舻2 卜八五力m ( 2 2 ) 帧差法算法简单快速，但最大的缺点就是容易产生空洞，一般不能得到目 标的完整信息，而且当两帧间物体重叠时，只能检出物体的一部分，有时检测 出的目标比实际目标大很多。 2 2 3 光流法 摄像机与目标相对运动时所观察到亮度模式成为光流n qn ”( o p t i c a lf l o w ) ， 光流可看成带有灰度的象素点在图像平面上运动而产生的瞬时速度场，据此建 立基本光流方程。令e ( x ，y ，t ) 为t 时刻图象点( x ，y ) 处的照度。u ( x ，y ) 和v ( x ， y ) 表示光流在该点的水平和垂直移动分量，在t + d t 时，点( x ，y ) 移动n ( x 十d x ， y + d y ) 处，d x = u d t ，d y = v d t 分别表示x 和y 方向上的速度分量。可以期望时刻t 十 d t 在图象点( x 十d x ，y + d y ) 处的照度应当与时刻t 在图象点( x ，y ) 的照度相同，对 应同一个目标点，即： e ( x ，y ，f ) - - - e ( x + d x ，y + d y ，t + d r )( 2 3 ) 光流法能够获取运动目标完整运动信息( 包括运动方向信息) ，但缺点是需 要多次迭代运算，而且计算量大，而且抗干扰能力比较差，对于光照变化较敏 感。 光流场方法可以分为全局光流法和局部光流法全局光流法是对整个的图 像而言，对整幅图像的光流场施加某种约束，得到图像中每一点处的光流值。 局部光流法是指部分图像，利用图像区域的局部特征进行光流计算，可以较准 确的反映出运动边缘处的光流信息，但对噪声敏感n 引。 2 2 4 基于小波变换的方法 小波变换具有良好的方向性特征和时频局部化特征，已经被广泛用于运动 目标检测、信号处理、模式识别等领域。y u 等人提出了自适应最大似然比检测 算法，用于检测多光谱图像中的弱目标，通过小波分解在多尺度上计算由光谱、 尺度和方向参数构成的向量来进行目标检测。c a s a s e n t 等人将g a b o r 系数与反映 方向与空间频率的小波组合在一个框架下，用于目标的检测n 9 2 们提出基于h a a r 小波变换的低信噪比小目标检测算法，这样可以检到的小目标。 2 2 5 基于人工神经网络的方法 基于人工神经网络的目标检测方法在近十年来得到了极大的发展，这种方 法首先将每帧图像分成一系列图像块，经过预处理后将这些图像块投影到一个 线性滤波器组，得到不同的图像模式；然后把这些不同的图像模式根据预先计 算得到的聚类原形进行分类；最后用训练得到的神经网络分类器来判断图像模 式是否包含目标。该方法对旋转变形、尺度变化的目标有很好的适应性。但是 缺点是神经网络本身计算较复杂，因此目前并不适合实时应用心。 6 2 3 图像预处理 图像预处理非常重要，通常，图像中存在多种不同的噪声，而预处理可以 有效的减少甚至是消除图像的噪声，从而将图像中的有用信息突出，为下一步 的目标跟踪工作提供良好的基础，尤其是图像中存在的小空洞，还需对图像再 进行数学形态学处理，对二值图像进行腐蚀和膨胀处理。 改善图像质量的方法通常有两：一类是将图像中感兴的特征突出但不考虑 图像降质的原因，衰减其次要信息，能提高图像的可读性，但处理后的图像不 一定逼近原始图像，如平滑噪声细节、锐化边缘等方法称为图像增强技术：另 一类是通过对图像降质的原因，设法补偿降质因索，使改善后的图像尽可能逼 近原始图像，提高图像的逼真度，又称为图像复原技术心2 l 。 2 3 1 中值滤波 中值滤波是指把以某点( x ，y ) 为中心的小窗口内的所有像素灰度值按从大 到小的顺序进行排列，将中间值作为此点处的灰度值，若窗口中有偶数个像素， 则取两个中间值的平均。中值滤波是一种非线性平滑滤波，它的主要作用是保 护图像边缘，并去除噪声。 中值滤波可以有效过滤图像扫描噪声和脉冲干扰，不但可以去除孤立点和 线噪声，还可以保持图像的边缘；它能很好的去除二值噪声，但对高斯噪声无 效。当窗口内噪声点的个数大于窗口宽度的一半时，中值滤波的效果不好n 引。 2 3 2 邻域均值滤波 邻域均值滤波是平滑图像噪声的一种较为简单的技术。图像是由许多灰度 值不变的小块组成，噪声是统计独立的，而且相邻像素之间有很高的相关性。 可用像素邻域内各像素的平均灰度值来代替该像素原来灰度值，实现图像的平 滑。非加权邻域平均是最简单的邻域平滑方法，它用各个像素的平均灰度值作 为中心像素的输出值。 2 3 3 形态学滤波 形态学以几何学为基础对图像进行处理和分析，在有效地滤除噪声同时， 又可以有效地保留图像中的原有信息。数学形态学的基本思想是利用一定形态 的结构元素去量度和提取图像中的相应形状，可以处理灰度图像及二值图像。 ( 1 ) 腐蚀( e r o s i o n ) 是消除目标图像中的无用点( 或孤立噪声点) 的过，其结果 使得剩下的目标比处理前减少了一些像素。x 用b 来腐蚀记为x o b ，定义为： f 1 e = x b = ( x ，少) jb x , y x ( 2 4 ) 7 腐蚀过程可以描述如下：1 3 平移( x ，y ) 后仍在集合x 中的结构元素参考点 的集合。换句话说，用b 来腐蚀x 得到的集合是b 完全包括在集合x 中时b 的 参考点位置的集合。 ( 2 ) 膨胀是腐蚀运算的对偶运算( 逆运算) ，它是将与目标接触的所有点合并 到该目标的过程，过程的结果是使目标的面积增加了相应数量的像素。膨胀在 填补分割后目标中的孔洞很有用。x 用b 来膨胀记为x0b 定义是： r广、 d = x o b = ( x ，y ) l | 夙，y n xi x ( 2 5 ) l lj j 膨胀的描述如下：如果像素值是1 ，那么就保持原值；如果像素值是0 ，那 么以此象素为中心继续观察结构元素b 所对应的象素值，只要其中有一个象素 值也为l ，那么此象素赋值为l ，否则为0 。开运算与闭运算：交替组合以上运 算的执行顺序，得到开运算与闭运算。其中闭运算能消除图像中较凹的部分， 填补小空洞和缝隙使得物体边缘更光滑；然而开运算能消除图像中小于结构元 素的较凸细节部分。 2 3 4 光线补偿 肤色等色彩信息经常受到光源颜色、图像采集设备的色彩变差等因素的影 响，而在整体上偏离本质色彩而向某一方向移动。为了抵消这种整个图像中存 在着的色彩偏差，我们将整个图像中所有像素的亮度从高到低进行排列，取亮 度值排在前5 的像素点作为参考像素点，如果这些参考像素的数目足够多，我 们就将它们的亮度作为参考白，然后调整彩色图像的r 、g 、b 三个分量的数值， 使得这些亮点的平均灰度线性地变为最大值图像的其它像素点的色彩值也都按 这一调整尺度进行变换心引。 令参考像素数目门限值r e f p i x t h r e s h o l d = 2 0 0 ，具体计算步骤如下： s t e p l ：计算像素的灰度值以统计获得灰度直方图； s t e p 2 ：根据r e f p i x t h r e s h o l d 统计出在r e f p i x t h r e s h o l df 限范围内的临界灰 度级别c r a y o f c r i t i c a l ； s t e p 3 ：统计灰度值在( c r a y o f c r i t i c a l ，2 5 5 ) 范围内的像素的灰度平均 a v e r g g r a y ； s t e p 4 ：计算补偿系数c 。o m p e n s a t e 。= 2 5 5 0 a v e r g g r a y ； s t e p 5 ：利用补偿系数对所有像素的值进行放大，即放大后的基色值用，r ， ，g 表示，则计算表达式为： 8 ( 2 6 ) r ：r 暑：三主；一0 。5 3 0 6 4 8 一o 。o 。9 7 8 。 i f r g l l + 1 6 8 。2 7 ， 【- c 6 - j 【- 一o 1 4 8 _ o 2 9 1 o 4 3 9j l b j 1 1 2 8 j hr 1 1 6 4 1 5 9 6 0 o o o y _ 6 lgi = i1 1 6 4 - 0 8 1 3 - 0 3 9 1i ic r - 1 2 8i( 2 8 ) lbll1 1 6 4 0 0 0 02 0 1 81 ic b 一1 2 8i 2 5 图像分割方法 要想获取目标的位置，大小等信息，需要对运动目标的检测结果进行图像 分割。常用的图像分割技术可分为两类：基于区域分割的方法和基于边缘检测 的方法，从不同的角度也提出了很多方法，这些方法包括边缘检测法、区域跟 踪法和阈值分割法等。 2 5 1 边缘检测分割法 边缘检测法6 2 7 1 主要通过检测不同区域边界来达到分割目的。边缘的一种 9 删 删 删 唧 峭乏 r b g = = l i 剧 b g 表现形式就是强度突变，可以定义为图像局部特征的不连续性，比如纹理结构 的突变、灰度的突变等。边缘就是指一个区域的终止和另一个区域的开始。在 分析图像时，由于图像的边缘包含物体形状等重要信息，所以不但保护了目标 的边界结构，而且还大幅度地减少了图像信息量，所以边缘检测是处理复杂问 题的关键技术。边缘检测利用空域微分算子将算子模板与圈像卷积完成。 c a n n y 算予”1 是一种比较理想的边缘分割算予，对一幅图象主韭行边缘检测。 一般可分为三个步骤：滤波、增强和检测。c a n n y 算法在进行处理前，为去除 噪声，首先利用高斯平滑滤波器来平拊图缘。由于图象中的噪声在图象傅里叶 变换中对应高额部分，所以要在频域中通过滤波削弱噪声的影响，设法滤除或 减弱这部分的频率分量。在实际工程应用中，人们往往采用低通滤波器来实现。 但是大多数滤波器虽然能降低噪声，也导致了边缘强度的损失，高频部分对应 着边缘所以要在边缘与噪声之日j 作一个中问处理。增强边缘就是将邻域或者 局部强度值有显著变化的点突出出来，通过计算梯度幅值来完成。c a n n y 分割 算法是采用一阶偏导的有限差分来计算梯度的方向和幅值。一个边缘的一阶导 数在边界处存在向上的阶跃。一般的边缘检测是利用求导数来实现的，这是因 为导数的计算对噪声报敏感。在处理的过程中c a n n y 算法将经过一个非极大 值抑制的过程。最后连接边缘是通过c a n n y 算法将采用两个阐值来实现的”。 幽21c a n n y 舁于连通醇后对比图 梯度对应一阶导数，梯度算予。”是一阶导数算子。对一个连续函数取x ，y ) ， 它在位置( x ，y ) 的梯度可表示为一个矢量： v ，加瞳q 7 = 陲纠 ( 2 9 ) 这个矢量的幅度也简称为梯度和方向角分别为： v = 卅昭( 可) = f q + g 玎2 ( 2l0 ) g ( x ，y ) = a f c t a n ( g 。g x )( 2 1 1 ) 根据模板的大小，其中元素值的不同，人们已提出了许多种不同的算于。最简 单的梯度算子是r o b e r ts c r o s s 算子，它们是两个2 x 2 模板见图2 2 ( a ) 。比较常用 的还s o b e l 和p r e w i t t 算子，它们都用两个3 x 3 模板，分别见图2 2 ( b ) 和图2 2 ( c ) 。 田田1 口- 11 圈口圈 ( a ) r o b e r t s( b ) p r e w i t t( c ) s o b e l 图2 2 运算算子图 拉普拉斯( l a p l a o i a n ) 算子是一种不依赖于边缘方向的二阶微分算子它是一 个标量而不是向量，具有旋转不变即各同向性的性质 v z 厂( x ，y ) = 0 2 i f ( x 厂, y 一) + 0 2 f ( 了x , 一y ) ( 2 12 ) 锨 哕 在数字图像中，计算函数的拉普拉斯值也可以借助各种模板实现。里对模 板的基本要求是对应中心像素的系数应是正值，而对应中心像素邻近的像素的 系数应是负值，且它们的和应该为零。常见的2 种模板分别见图2 3 ( a ) 和图2 3 ( b ) o1o 141 010 ( a )( b ) 图2 3 拉普拉斯算子模版图 拉普拉斯算子常产生双像素宽的边缘，对图像中的噪声比较敏感，且不能 提供边缘方向的信息。因此，拉普拉斯算子很少直接用于检测边缘，主要用于 在己知边缘像素后确定该像素在图像的暗区还是明区一边。 2 5 2 区域跟踪分割法 区域跟踪是指寻找相似性的像素群，这些像素群对应某种实体世界的某种 物体，是从某一像素点出发按照属性，如梯度、灰度级等，一致性原则循序渐 进地扩大区域和增加像素。区域分裂合并方法是首先将图像分割出初始区域， 再分裂合并这些区域，逐渐改善分割性能，直至将图像分割出最少均匀区域为 止。区域跟踪算法把灰度的同一性与空间的位置联系在一起，所以能得到满意 的效果。但它的缺点就是固有的顺序特性，由于图像块的初始划分是固定的， 种子点的选取和区域生长与合并的次序会影响分割的效果。 2 5 3 阈值分割法 阈值法是图像分割所使用的一种流行工具。考虑到一幅图像时有黑暗背景 上的明亮物体组成。这样的图像具有双模态频率曲线，如下图，从背景中分割 物体的一种直观方法是以灰度信息为基础，选择一个阈值t ，该阂值t 能够把这 些信息分成两种模式，把一幅图像分割成两个区域带也叫图像二元化。 m i ntm a xx 轴 图2 4 双模态频率曲线 阈值分割算法有两种：局部阈值法和全局阈值法。全局阈值法利用全局信 息，如图像的灰度直方图等，对整幅图像计算最优分割闽值，有单阈值或多阈 值之分。局部阈值法是把原始的整幅图像分为几个小的子图像，并对每个子图 像应用全局阈值方法计算最优分割阈值。其中全局阈值法又可分为基于区域的 阂值法和基于点的闽值法两种。阈值的选择会很大程度得影响分割结果，所以， 适当的选择阂值成为阈值分割图像的关键。常见的有直方图变换法和灰度直方 图法，一维最大熵和二维最大熵法以及自适应阈值法瞳引。 2 6 基于自适应权值的马尔可夫随机场分割方法 本文提出一种基于自适应权值的区域马尔可夫随机场的分割方法，结合 分水岭预分割算法，并利用形态滤波对分割结果进行修正，较好地解决了分割 不准确，目标信息丢失的问题。 2 6 1 分水岭分割理论 分水岭分割方法纠是一种基于拓扑理论的数学形态学的分割方法，它的基 本思想是模拟测地学上的拓扑地貌，图像中像素点的灰度值表示该点的海拔高 度，每一个局部的极小值以及它的影响区域被称为集水盆，而集水盆的边界则 形成分水岭。分水岭的计算过程是一个迭代标注的过程。它的一种较经典的计 算方法是l v i n c e n t 提出的。在该算法中，分水岭计算分为两个步骤：一个是排 序过程，另一个是淹没过程。首先对每个像素的灰度级从低到高进行排序，接 下来，在从低到高实现淹没过程中，对每一个局部极小值在h 阶高度的影响域 采用先进先出结构进行判断及标注。分水岭变换得到的是输入图像的集水盆图 1 2 像，集水盆之间的边界点( 即分水岭) 。很明显，分水岭表示的是输入图像极大 值点。 分水岭算法对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的 灰度变化，都会产生过度分割的现象。此外分水岭算法所得到的封闭的集水盆， 为分析图像的区域特征提供了可能。为消除分水岭算法产生的过度分割，通 常可以采用两种处理方法，一是利用先验知识去除无关边缘信息。二是修改梯 度函数使得集水盆只响应想要探测的目标。 为降低分水岭算法产生的过度分割，通常要对梯度函数进行修改，一个简 单的方法是对梯度图像进行阈值处理，以消除灰度的微小变化产生的过度分割 即： g ( x ，y ) = m a x ( g r a d ( f ( x ，y ) ) ，g o )( 2 13 ) 式中，g0 表示阈值。程序可采用阈值限制梯度图像以达到消除灰度值的微小变 化产生的过度分割，以获得适量区域，然后对这些区域的边缘点的灰度级进行 从低到高排序，再在从低到高实现淹没，用s o b e l 算子计算获得梯度图像。对梯 度图像进行阈值处理时，适当的选取阈值对最终的图像分割有很大影响，因此 阈值的选取是图像分割效果好坏的一个关键。缺点是灰度变化的数值差别不是 特别明显，实际图像中可能含有微弱的边缘，另外，如果选取阈值过大可能会 消去这些微弱边缘。 2 6 2 马尔可夫随机场理论 马尔可夫随机场( m r f ) 理论是一种研究分析物理现象的空间或时间相关特 性的概率理论，m r f 理论为描述图像邻域像素等其它空域上的邻近特征的相互 依赖关系提供了一个十分方便而且有效的建模方法。m r f 借助条件概率的方法 来描述邻域像素或特征之间的关系。在实际应用中，m r f 是一种非常有效的一 致性平滑方法。目前基于马尔可夫随机场随机场( m r f ) 运动目标分割的方法 在图像分割领域影响越来越大，对于图像灰度变化率，边缘的几何特征，或者 纹理基元的排列及图像表面的局部内该方法与传统方法和聚类分析方法相比， 由于基于m r f 的运动目标分割方法同时考虑了图像颜色信息和空间关联信息， 因此分割效果较好。另外，m r f 参数3 选取的好坏会直接影响到分割结果，s m i t s 等研究雷达图像分割时表明，马尔可夫参数如果较大容易形成较长的边缘，较小 容易形成微边缘，而固定的马尔可夫参数则使目标的轮廓模糊，对分割出的目标 准确判断产生不利影响。m r f 模型提供了先验知识联系与不确定性描述的纽带， 根据统计决