（电力电子与电力传动专业论文）基于光流场的视频运动检测.pdf

哈尔滨工程大学硕士学位论文 a b s t r a c t i m a g eh a sac l e a r ，s i m p l ea n dd i r e c tt r a i tt h a tm a k e si te a s yu n d e r s t o o d i t g o e s ：“l i s t e n i n gal o ti sn o tm o r et h a nag l a n c e ”，“o n ep i c t u r eo v e r p a s s e sm a n y w o r d s ”v i d e oi m a g e sa r ec o m p o s e db yas e r i e so ff r a m e sa n df r a m eo w n sm o s t c h a r a c t e rw h i c hi so r i g i n a l l yr i c hd a t a , s t r o n gc o r r e l a t i o n sb e t w e e n n e a r l yi m a g e s a n dd y n a m i c a l l yc h a n g e dm o d ei nt i m ef i e l d ，w h i c hm a k e d e t e c t i o n ，s e g m e n t a t i o n m a dr e c o g n i t i o np o s s i b l e h o w e v e r ，t h eo b j e c to fd e t e c t i o n ，s e g m e n t a t i o na n d r e c o g n i t i o nh a sm u c hi m p o r t a n ta p p l i c a t i o nn o to n l yt oi n d u s t r ya n dm i l i t a r y a f f a i r s ，b u ta l s ot od o c k s ，p u b l i c ，b a n k s ，a n dv e h i c l es u r v e i l l a n c es y s t e m t h e r e f o r er e s e a r c ho nv i d e oi m a g eh a sag r e a ts i g n i f i c a n c et ou s e t h i sp a p e ra i m so nm o t i o nd e t e c t i o nb a s e do ns t a t i c b a c k g r o u n d m o s t i m p o r t a n tc o n t e n ts t u d i e sc h a r a c t e r b a s e dv i d e oi m a g ef i l t e rw h i c hi sm a x i m u m a n dm i n i m u ma c c o r d i n gt om e d i a n i n v e s t i g a t ea n dr e a l i z ec a n n yo p e r a t o rt h a th a s h i g ha n dl o wt h r e s h o l d d e p e n d i n go ne i g h td i r e c t i o n sn e i g h b o r h o o dc h a i nc o d e ， a n du s i n gc l o c k w i s ea n da n t i c l o c k w i s el a b e l i n g ，r a i s ean e ww a yt of o r mf i l l i n g p a p e ra l s oa n a l y s e so p t i c a lf l o wl i m i t e de q u a t i o na n dr e s e a r c h e sm o t i o n e s t i m a t i o no p e r a t o r si n c l u d i n gh o m - s c h u n ko p t i c a lf l o w ，p a t c hm a t c h i n go p t i c a l f l o wa n di t e r a t i v eo p t i c a lf l o w r e a l i z e sa n dc o m p a r e sa b o v eo p t i c a lf l o w o p e r a t o r s a tt h es a m et i m e ，r e a l i z ea n dc o n t r a s tc o n v e n t i o n a ls n a k eo p e r a t o r sa n d g r a d i e n tv e c t o rf l o ws n a k ei nd e t a i la n di m p r o v eg r a d i e n tv e c t o rf l o wo p e r a t o rt o e s t a b l i s hm u l t i s c a l eg r a d i e n tv e c t o rf l o wo p e r a t o r b a s e do nh o r n - s c h u n ko p t i c a lf l o wa n dm u l t i - s c a l eg r a d i e n tv e c t o rf l o w s n a k e ，t h ep a p e rs e t su pam o v i n gd e t e c t i o ns y s t e mo nv i d e oi m a g ec h a r a c t e r ： m a i n l y i n c l u d e s p r e p r o c e s s i n g ，t i m e s p a c ef u s e ，m o t i o ne s t i m a t i o n ，s n a k e g r o w i n ga n db a c k g r o u n dr e n e w a tl a s t ，a p p l y i n gt h e s ep r o c e s s e st ov i d e oi m a g e s i n c l u d i n gh a l lm o n i t o ru n d e rc o m p l i c a t e di l l u m i n a t i o nc o n d i t i o n s ，i th a st h e p r a c t i c a lm e a n i n gi na p p l i c a t i o na n de x p e r i e n c ep r o v e sa l lt h eo p e r a t o r si nt h e p a f l e l k e yw o r d s ：v i d e o ；m o l i o ne s t i m a t i o n ；o p t i c a lf l o wf i e l d ；s n a k eg r o w i n g ；f i l t e r ； f i l l i n g ；i m a g es e g m e n t a t i o n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下， 由作者本人独立完成的。有关观点、方法、数据和文献等的 引用已在文中指出，并与参考文献相对应。除文中已经注明 引用的内容外，本论文不包含任何其他个人或集体已公开发 表的作品成果。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律 结果由本人承担。 作者( 签字) ： 自l6 金! 日期：a e 。5 年月乙日 1 1 引言 第1 章绪论 人类主要通过视觉、听觉、味觉、和触觉来感受自然界和人类社会的各 种信息，从而去认识整个世界。研究人们通过感官收集到的各种信息发现： 人类从外界获得的信息视觉约有6 5 ，听觉约占2 0 ，触觉约占l o ，味 觉、嗅觉等其它感觉约占5 。图像作为视觉信息表达的一种物理形式，具 有简单、明了、直观，让人通俗易懂性质，所谓“百闻不如一见”，“一幅图 像胜过千言万语”即是此道理。这就是广泛进行图像技术研究的一个重要原 因。 上世纪8 0 年代后期发展起来的包含丰富图像信息的多媒体技术就是把 文字、图像、图形、声音、视频的媒体信息与计算机技术集成于一体的数字 环境，来扩展这些媒体的组合应用，也可以通过计算机利用多媒体与人进行 自然的交流。它广泛的应用于教育和培训、商业广告和信息咨询、办公自动 化、娱乐和游戏等。多媒体信息经数字化处理后虽然具有易于加密、抗干扰 能力强、可再生中继等优点，但同时也伴随海量数据的产生。鉴于此，国际 标准化组织( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ，i s o ) 和国际电 信联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ，i t u ) 继m p e g 一4 后，于 2 0 0 1 年提出了活动图像专家组7 ( m p e g 一7 ) ，命名为“多媒体内容描述接口” ( m u l t i m e d i ac o n t e n td e s c r i p t i o ni n t e r f a c e ) ，目标是制定一组描述不同 多媒体信息的标准描述符，这些描述要与信息内容相关以便能与被描述内容 是否编码或如何存储无关。由于视频是信息传播的主要的载体，视频图像研 究理所当然成为当前研究的热点、重点。 在日常生活中人们见到或昕到图像序列和视频得到应用的例子很多，如 重要的港口、公共场所、军事基地、交通电子警察、对人体危险的区域监控、 生产自动化车间，还包括我们的神州5 号载人飞船上、卫星监控等等地方都 可以见到视频应用的例子。 在现代社会，越来越多的视频应用使得上到专家、学者，下至普通的消 费者，都对视频图像的进一步发展持乐观态度。特别随着计算机互联网的发 展随着人们对快捷，迅速的大量信息的追求，随着多媒体技术的进一步发 展，多媒体技术与其它相关的技术相互融合，特别是伴随着“信息高速公路” 的建成，多媒体技术将产生更多的应用领域，如可视电话、远程会议、远程 医疗诊断、远程家庭服务、电视点播、电子书刊出版与远程多媒体阅读、远 程教育与培训等新的手段，不仅将改变人们的工作、生活、学习、娱乐与交 往方式，甚至改变人们的思维方式，具有划时代的意义。在这划时代变革 中，作为多媒体的重要组成部分的视频图像处理技术现已得到极大地重视和 长足的进展，但毫无疑问必将会出现更多有关的新理论、新方法、新算法、 新手段和新设备，在社会研究、工业生产、医疗卫生、教育、娱乐、管理和 通信等方面得到更广泛的应用。这些对推动社会的发展和生活的改善，以及 进一步加强对视频图像技术的研究有着重要的现实意义。 1 2 研究现状 1 2 1 视频特点 图像是指用各种观测系统以不同形式和手段观测客观世界而获得的，可 以直接或间接作用于人眼并进而产生视知觉的实体，是表达视觉信息的一 种物理形式。一般图像采集的最终结果是某种能量的样本阵列，所以图像常 用矩阵或数组来表示，每个元素的坐标代表场景点的位置而元素的值代表场 景点的某个特性量。视频是指随时间变化一组数字图像序列，而且有时还包 含相应的音频信息，是多媒体信息的重要组成部分。数字视频是数字图像在 时域上的序列。视频序列中的每个图像称为帧。帧如果按一定的速率连续的 投射到屏幕上，就有动的感觉。在通常情况下，视频序列中的运动目标是人 眼最为关注的部分陀1 。事实上，视频图像的最大的特点是：它有丰富的原 始数据、相近帧间的强相关性以及时域上的动态时变模式等在很大程度上使 哈尔滨工程大学硕士学位论文 运动目标易于检测、分割和识别成为可能：与静态图像相比，图像序列及视 频的最大优点就在于对运动信息的捕获。因此运动目标的提取与分析理应是 图像序列和视频中研究的重点。这对于网络环境下基于内容的交互服务以及 对于图像的压缩是多媒体领域研究的基本问题之一，同时还是视频领域里许 多高级应用( 如内容分析与理解、基于对象的压缩等) 的基础。 从理论上看，运动目标提取是属于计算机视觉，它的最终目标就是解决 高级视觉问题( 计算机视觉把图像处理由低到高分为3 个层次：图像处理， 图像分析，图像理解) ：图像理解。按照影响最大的m a r t 理论，目标的精确 分割、检测等中级视觉问题是图像序列理解的基本前提( 这也是本文研究一 个重要原因) ，故人们对运动目标进行了大量的研究、分析，也得到了大量的 研究成果，如形态学分割，蛇形形变分割，基于小波变换的分割等。 从视频运动的分析角度来看，运动目标的运动状况主要受下面三种影响： ( 1 ) 镜头的全运动( 导致对象、背景都运动) 。( 2 ) 镜头场景切换( 这又可 能导致跟踪的对象丢失) 。( 3 ) 局部运动分析( 帧中的部分运动) 。本文主要 讨论局部运动分析对运动目标运动状况的影响，即第三种运动情况。 1 2 2 视频检测技术进展 在视频运动检测中，目标的分割在实际应用时是非常必要的一步，它可 以把感兴趣的物体部分给大致的提取出来。为了进一步研究图像中目标，把 图象分成各具特性的区域并提取出感兴趣目标的技术和过程叫图像分割。目 标又叫前景，是人们对图像中的某些感兴趣的部分，一般对应图像中特定的、 具有独特性质的区域；背景是除去前景的部分。图像分割中的特性指灰度、 颜色、纹理等，目标可以对应单个的区域，也可以对应多个区域。在视频运 动检测中，目标的分割实际其中的一步。 国内外视频运动检测与分割研究按用途分为用于编码和基于内容可操纵 两类。编码的视频检测与分割一般基于底层( 象素节) 特征。基于内容可操 纵的视频分割依靠视频图像高层次( 对象级) 的特征。 按人工参与的程度分为自动检测与分割和半自动检测与分割。 ( 1 ) 自动检测与分割技术 哈尔滨j 二程大学硕士学位论文 视频分割技术是在静态图像分割的技术基础上发展起来的，一般是利用 图像上颜色、灰度、边缘、纹理等空间聚类信息进行基于区域的分割，分为 单层次和多层次方法。单层次方法有基于边缘图的、k 最近领域方法等。多 层次的方法如分裂合并、金字塔连接和形态学方法等。然而在视频检测与分 割时，单层次和多层次方法都是基于空域的拍43 方法( 即：仅仅对当前的图 像进行处理，如亮度、颜色、纹理等。一般有两种考虑，区域和边缘。区域 对应空问属性的一致性，边缘对应空间属性的差异) 。它没有利用时域上1 的信息( 帧间信息，也即是利用帧问的相关性，表现为帧间差、光流场、运 动矢量等) ，当前的研究几乎都是二者的融合。 自动分割算法大致可以分为基于差分的检测与分割，基于背景估计检测 与分割和基于运动场估计的检测与分割“。 1 ) 基于差分的检测与分割h ，” 差分法是最为常用的运动目标检测和分割的方法之一。其思想是通 过相邻帧间差分，利用视频序列相邻帧间的强相关性进行变化检测， 从而确定运动目标。此方法的特点是速度快，适用于实时性高的环 境，不足是敏于噪声，对运动目标的分割无保障。 2 ) 基于背景估计的检测与分割 背景估计的检测与分割是解决静止或缓变背景下运动目标检测和分 割的方法，它是通过背景建模，利用相邻序列图像估计视频中不变 的背景，进而提取运动目标。特点是复杂背景下较好，但初始运动 目标检测较差。 3 ) 基于运动场估计的检测与分割 运动场估计的检测与分割是通过视频序列的时空相关性分析估计运 动场，建立相邻帧对应关系，进而利用目标与背景表观运动模式不 同进行运动目标的检测与分割。视频运动场估计方法有光流法( o f e ， o p t i c a lf l o we q u a t i o n ) 、块匹配( b m a ，b l o c k m a t c ha l g o r i t h m ) 以 及基于贝叶斯最大后验概率( m a p , m a x i m u map o s t e r i o r p r o b a b i l i t y ) 模型的统计方法。与差分法相比，运动场法能够处理背 景运动的情况，但计算复杂度较高。 ( 2 ) 半自动检测与分割技术 哈尔滨t 程大学硕士学位论文 半自动方法需要人为的介入，进行人机交互，从视频序列中提取出人所 感兴趣的视频对象，即语义视频对象。这需要图像的可视化，方法是通过图 形用户界面( g u i ) 对视频图像进行初始分割。较为成功的算法有： 1 ) 被分割对象的性质进行跟踪。 2 ) 基于变化检测的方案。 3 ) 基于形态算法的方案。 半自动分割算法尽管有良好的分割效果，但缺点也明显：需人工参与， 不可用于实时性的处理中。 1 3 课题研究内容及难点 1 3 1 课题研究内容 本论文中主要是基于复杂静态背景下的运动目标的自动检测，采用的方 法是帧间差以及相邻7 帧中统计背景方法求取出运动物体的融合，然后用形 态开闭处理获取闭合的运动对象，用进行运动补偿后，最后采用多尺度蛇形 g v f ( g r a d i e n tv e c t o rf l o w ) 获取精确的运动轮廓。也即是设计出一个分割 系统，使之能够检测并输出运动物体。该系统如图1 1 。 流程图的大致过程是：输入视频图像序列，刚开始前七帧图像按照形态 学处理得到运动物体的大致轮廓以及相应的背景图像。然后，图像经过预处 理，得到滤波和分割后的图像，依据整数n 来判断采用形念学处理还是直接 用运动估计方式( 因为如果一直用多尺度蛇形处理，可能会导致跟踪的图像 丢失，可以用是否被4 或5 等整数整除来判断) ，如果n 能被整除，则先进行 形态处理时空融合图( 它是由前后俩帧差分图和当前图与背景图差分构成的 图像融合的图像) ，使用上一帧的轮廓初始化多尺度蛇形，然后经过g v f 处 理，得到输出图像：如果n 不能被整除，则先进行图像运动估计，然后使用 上一帧的轮廓进行运动估计后得到新的轮廓来初始化多尺度s n a k e ，然后经 过g v f 处理，得到输出图像。 ；，一；。；堕鎏工堡2 塑圭耋! ：j 鳘三一；一。一； 图1 1 视频运动检测流襁图 图1 1 中的n 是事先设置的一个整数。 1 3 2 课题难点 在视频运动检测处理中，主要遇到的问题是 6 哈尔滨工程人学硕士学位论文 ( 1 ) 提取、消除 阴影紧紧跟随着运动对象，直接提取运动目标会造成轮廓的宽泛。但阈 值处理后，又有可能导致某些运动目标部分丢失。 ( 2 ) 分割中不连续 由于处理的帧中是以象素进行的，提取的图像几乎都是不连续的，非封 闭的。对应不了实际上的运动物体。 ( 3 ) 实时性不够 课题比较注重运动目标的精确边缘提取，在实时性上不够。 ( 4 ) g v f 要求的平滑参数过于精确 在处理过程中，很容易出现图像的初始化过于远离真币的边缘，导致图 像收敛不到真正边缘。同时，图像收敛到真正边缘时要求平滑参数要比较精 确，否则，收敛不过去。 1 4 论文组织 第1 章绪论 主要阐述了本论文研究的现实意义、视频特点，当前国内外视频运 动检测和分割的各种算法，以及论文构造的视频运动目标检测系 统，包括流程图及流程图简单检测过程。并对论文的思路、难点进 行了分析。 第2 章图像的预处理 本章介绍两种滤波：中值滤波、均值滤波。利用一种新的动态滤波， 并把滤波予以对比。提出简单的运动框架的提取方法，以及介绍双 闽值c a n n y 边缘检测算子；同时把运动物体背景更新也放到本章来 一并分析。 第3 章形态处理并填充 本章是对二值图像进行处理，主要针对的是去噪声、连通接近的物 体部分的处理，以便为填充做好准备。相应的介绍简单的形态膨胀 运算、腐蚀运算、开运算、闭运算处理方法，然后着重介绍并运用 一种新的填充图像的方法，它最终可以提取出运动物体的大致的轮 哈尔滨工程大学硕十学位论文 ；- - i i i i i i i i ；i i ；i i i i i i i i i i ；i i i 廓，为下面蛇形提供一个不精确的边缘。 第4 章运动估计 本章主要内容是对光流的定义，光流在运动估计中的应用，光流场 的分类，光流的计算以及当| j 光流研究技术进行了综合论述，还对 光流限制方程的进行了推导、说明。最后程序实现了三种光流算法 并对之进行了分析、比较。 第5 章蛇形分割 本章主要内容是对蛇形形变的来源，蛇行形变模型( 包括梯度矢量 流蛇行模型) 的建立、推导。着重研究、实现了传统的蛇行形变( 贪 婪算法) 、梯度矢量流蛇行算法( g v f ) 、多尺度矢量流蛇行算法，并 予以比较。最后对光照条件较为复杂的h a llm o n i t o t 视频序列图像 进行了研究，并对结果进行了分析。 结论最后进行了总结，对当前论文存在的问题和后面工作、进一步研究 方向进行了说明。 哈尔滨t 程大学硕士学位论文 i ；i i j i i j _ 一i i - _ j e i ；i i j i i i i j - - _ _ _ i | _ j 目j 瞄| i _ i 写| _ _ i i i ；i i ；j i i i ；| 一 2 1 引言 第2 章图像的预处理 图像的预处理是视频处理的第一步，它是将输入的图像进行滤波去除噪 声，增强图像，锐化。视频图像一般经过预处理后，使得感兴趣的区域可视 化效果得到改善，有利于图像的进一步工作。所以，图像预处理虽然简单， 但是较为重要，它关系到图像的下一步质量。 运动框架的提取也是很有必要，有了框架，就可以仅仅对框架内部图像 进行处理，不仅可以加快速度，还可以有效地消除框架外部的噪声的影响。 因此，在视频运动检测中，框架的提取同样是比较重要的一步。 运动物体要处于定的背景之中，要有效地提取运动物体，一般将当前 图像与背景图求差，以便图像中运动物体能被显现出来。此时，准确、有效 的背景图像与提取运动物体是直接相关联的。 在本章中，将介绍三种滤波：中值滤波、均值滤波、一种新的滤波( 动 态滤波) ，并把三种滤波予以对比：提出了简单的运动框架的提取方法；介绍 了双阈值c a n n y 边缘检测算子：同时把运动物体背景更新也放到本章来一并 分析。 2 2 滤波 影响系统图像清晰程度的因素很多，例如室外光照度不够均匀就会造成 图像灰度过于集中；由c c d ( 摄像头) 获得的图像经过h d ( 数模转换，该 功能在图像系统中由数字采集卡来实现) 转换、线路传送都会产生噪声污染 等等。因此图像质量不可避免的降低了，轻者表现为图像不干净，难于看清 细节；重者表现为图像模糊不清，连概貌也看不出来。因此，在对图像进行 分析之前，必须要对图像质量进行改善，即为增强图像。一般情况下改善的 9 哈尔漯工程人学硕十学位论文 i il lm 一- - - _ i i i j _ _ _ i i i 目；= ；_ _ _ - i i ；i i i ；_ _ ；i ；暑 方法有两类：图像增强和图像复原。图像增强不考虑图像质量下降的原因， 只将图像中感兴趣的特征有选择性突出，同时衰减不需要的特征，这样做的 目的主要是提高图像的可懂度。图像增强的方法分为空域法和频域法两类。 空域法主要是对图像中的各个象素点进行操作；而频域法是在图像的某个变 换域内，对图像进行操作，修改变换后的系数，例如付立叶变换、d c t 变换 等的系数，然后再进行反变换得到处理后的图像。图像复原技术与增强技术 不同，它需要了解图像质量下降的原因，首先要建立“降质模型”，再利用该 模型，恢复原始图像。 由于图像平滑往往使图像中的边界、轮廓变得模糊，为了减少这类不利 效果的影响，这就需要利用图像优化技术，使图像的边缘变得清晰。图像锐 化即是此。它处理的目的是为了使图像的边缘、轮廓线以及图像的细节变的 清晰，经过平滑的图像变得模糊的根本原因是因为图像受到了平均或积分运 算，因此可以对其进行逆运算( 如微积分运算) 就可以使图像变得清晰。从 频率域来考虑，图像模糊的实质是因为其高频分量被衰减，因此可以用高通 滤波来使图像清晰。 图像的滤波是为了消除噪声，噪声指对处理目的没有益处的任何实体”1 。 噪声并不限于人眼所能看到的失真和变形，有些噪声只有在进行图像处理时 j 可以发现。图像的常见噪声主要有加性噪声、乘性噪声和量化噪声等。图 像中的噪声往往和信号交织在一起，尤其是乘性噪声，如果滤波不当，就会 使图像本身的细节如边缘轮廓、线条等变得模糊不清，如何既平滑掉噪声又 尽量保持图像的细节，是图像滤波主要的研究任务。 一般来说，图像的能量主要集中在其低频部分，噪声所在的频段主要在 高频段，同时系统中所要提取的边缘信息也主要集中在其高频部分，因此， 如何去掉高频干扰同时又保持边缘信息，是我们研究的内容。下面主要介绍 均值滤波，中值滤波，以及一种改进的滤波。至于图像的增强及锐化，前人 已有许多优秀算法，这里不予介绍。 2 2 1 均值滤波 均值滤波是一种简单直观、易于实现的一种平滑图像的方法，它一般采 用奇数正方形窗口，用窗口的平均值代替中心点的值( 如图2 1 ) 。 l 1 11 31 4 i 1 52 53 5 f 91 21 5 i i1 31 4 1 5 1 663 5 91 21 5 ( a )( b ) 图2 1 均值滤波3 3 模板及结果 图2 ，i 中( a ) 指原图像，( b ) 是对中心点2 5 处理的结果图。 3 x 3 模板中点的值为：( “+ 1 3 + 1 4 + 1 5 + 2 5 + 3 5 + 9 + 1 2 + 1 5 ) 9 = 1 6 5 5 5 ：把模板中心的值代换为1 6 5 5 5 即可。在滤波中把此模板遍历图像， 就得到了均值滤波。 均值滤波去掉了与周围象素不相符的点，滤去图像的噪声点，但同时由 于也去除掉了边缘信息，使得图像变得模糊。 2 2 2 中值滤波 中值滤波是一种非线性的信号处理方法，它在一定的条件下可以克服线 性滤波器如最小均方滤波、均值滤波等带来的图像细节模糊，而且对克服滤 波脉冲干扰及图像扫描噪声最为有效。实际中不需要图像的统计特征，因此 这也带来了很大方便。但是对于一些细节多，如点、线、尖顶细节多的图像 不宜采用中值滤波。 i i1 31 4 1 52 53 5 91 21 5 1 1 1 31 4 1 51 43 5 91 2】5 ( a )( b ) 图2 2 中值滤波3 3 模板及结果 1 1 哈尔滨= 程大学硕士学位论文 图2 2 ( a ) 指原图像，( b ) 指对中心点灰度值2 5 处理的结果图。 中值滤波3 3 模板中从小到大的值排列为：9 ，1 2 ，1 3 ，1 4 ，1 5 ，1 5 ， 2 5 ，3 5 ，而1 4 为此模板的中值，故1 4 代替2 5 ，在滤波中把此模板遍历图像， 就得到了中值滤波。 相比于均值滤波，中值滤波具有如下特点1 ： 中值滤波比均值滤波更具有弹性，因为邻域单个不具有代表性的点 不会明显影响中值点。 由于中值滤波的中值点是邻域中的某个点，在模板跨过边界时，中 值滤波不会创造实际中没有的点。由于这个原因，中值滤波在保存 突变的边缘点时比均值滤波好。 2 2 3 改进的滤波一动态滤波 滤波的最大目的是滤除噪声，而又不损坏图像的质量，本文提出一种新 的基于中值处理的改进滤波，从它整个滤噪过程来看，它是种基于中值滤 波的最大值和最小值滤波。由于滤波过程中窗口时变化的，故叫做动态滤波。 算法实现如下： 对于输入的原图大小为y x x ，从2 2 窗口处理开始，直到n x n 窗口 处理，对于n x n 窗口处理时，均值滤波图变为： l ，= 7 n t ( 肭) ：( 2 一1 ) x = n t ( 彤伽： ( 2 - 2 ) 这里i n t 指不够整数时，舍去小数部分，只取整数。最左上角的坐标为 ( 0 ，0 ) ，最右下角点为( 】，一l ，x 一1 ) 。 对均值滤波图从( 1 ，1 ) 点开始处理，依次处理到点( j ，一2 ，x 一2 ) 为止。 下面以图2 3 为例，进行具体分析。 哈尔滨工程大学硕士学位论文 2 53 84 24 65 34 32 74 0 3 16 0 3 84 84 93 45 14 35 55 85 55 3 7 56 36 25 95 69 84 34 24 53 2 4 64 84 95 65 55 15 85 64 56 5 4 54 82 54 54 64 84 95 45 55 2 2 52 75 45 64 55 45 05 75 95 7 4 55 75 45 25 95 75 44 54 3 4 l ( a ) 3 74 34 84 55 0 5 85 76 55 04 7 3 6 4 54 85 35 6 ( b ) 2 53 84 24 65 34 3 2 74 0 3 l 6 0 3 84 84 93 4 5 l4 35 55 85 55 3 7 56 36 25 95 6 6 54 74 74 53 2 4 64 84 95 65 5 5 15 85 64 56 5 4 54 8 2 5 4 54 64 84 95 45 55 2 2 52 75 45 64 55 45 05 75 95 7 4 55 75 45 25 95 75 44 54 3 4 1 ( c ) 图2 3 动态滤波图像 图2 3 中( a ) 为原图像，( b ) 为改进滤波2 2 窗口处理后的中间图，( c ) 为改进滤波2 2 窗口最终图像。 对于输入原图( a ) 为l o x 7 ，经过2 2 窗口处理过后，变成了5 3 图像 ( b ) ，处理后的图像( b ) 每一个点对应原图像的4 个点。对处理后的图像从( 1 ， 1 ) 点开始查找其对应八邻域中最大最小值，如果对应原图像中的4 点在此最 哈尔滨工程人学硕士学位论文 大最小值构成的范围内，不改变原图；如果比最大值还大，换成最大值；比 最小值还小，则换成最小值。然后，再全图进行其它有八邻域的点处理就得 到最终改进滤波图像( c ) 。 这里图像仅能处理3 点( 1 ，1 ) ，( 1 ，2 ) ，( 1 ，3 ) 。分别分析如下： 图( b ) 中( 1 ，1 ) 点八邻域对应范围是 3 6 ，6 5 ，( 1 ，1 ) 对应原图4 点6 2 ，5 9 ，4 9 ，5 6 ，都在范围 3 6 ，6 5 1 中，不改变原图像。 图( b ) 中( 1 ，2 ) 点八邻域对应范围是1 1 4 3 ，6 5 ，( 1 ，2 ) 对应原图4 点5 6 ，9 8 ，5 5 ，5 1 ，但9 8 不都在范围1 - 4 3 ，6 5 1 中，把9 8 改为6 5 ，其它值 不改变。 图( b ) 中( 1 ，3 ) 点八邻域对应范围是 4 7 ，6 5 ，( 1 ，2 ) 对应原图4 点4 3 ，4 2 ，5 8 ，5 6 。但4 3 ，4 2 都不在范围e 4 7 ，6 5 中，把4 3 ，4 2 点都改为 4 7 ，其它值不改变。 经过2 x 2 窗口处理后，还要经过n n 窗口处理，的大小在滤波时自 由选择，本文选 巧。 这种改进滤波特点是它仅仅对肩膀及明显边缘处处理，处理后的图像， 并没有明显的改变原图像，除去噪声而不影响图像的质量，这满足我们要求。 缺点是较为费时，运算量较大，有时滤波结果并不比前两种滤波效果好。 ( b ) 哈尔滨t 程大学硕士学位论文 ( c )( d ) 图2 4 灰度图像的滤波比较 图2 4 中的( a ) 、( b ) 、( c ) 、( d ) 分别对应于原图像、动态滤波处理 图像、均值处理图像和中值处理图像。它们是基于灰度上的滤波图像对比。 从图( b ) 上可以看出：动态滤波( 采用5 5 窗口处理) 后的图像对于灰度 图像变化在细节上还是有点大，中值滤波图像变得模糊了点，均值图像变得 更为模糊。 下面对二值图像进行处理。 在图2 5 中的( a ) 、( b ) 、( c ) 、( d ) 的分别代表原二值图像、中值滤波图、 均值滤波图像和动态滤波图像处理。从四图对比可以看出：动态滤波后的图 像变化不大，可是还会有一些稍稍大点的点不能滤除，但是它有效地保留了边 缘；中值滤波和均值滤波虽然消噪声相对好一点，但是它们对图像的有效边 缘相对的也损害也较大。 ( b ) 哈尔滨j 二程大学硕 学位论文 ( c ) 2 3 边缘提取 2 3 1 边缘含义 图2 5 二值滤波图像 ( d ) 边缘是图像的最重要的特征。它是指周围象素灰度有阶跃变化或屋顶变 化的那些象素的集合。t p o g g i o 在【7 】中说：“边缘或许对应着图像中物体( 的 边界) 或许并没有对应着图像中物体( 的边界) ，但是边缘具有十分令人满意 的性质，它能大大地减少所要处理的信息但是又保留了图像中物体的形状信 息。” 常见的边缘有三种，第一种是阶梯形边缘( s t e p e d g e ) ，即从个灰度到 比它高好多的另一个灰度；第二种是屋顶型边缘( f f o o f e d g e ) ，它的灰度是慢 慢增加到一定程度然后慢慢减小；第三种是线性边缘( l i n e e d g e ) ，它的灰度 是从一级别跳到另一个灰度级别之后然后回来。 j j l 阶梯形边缘屋顶形迎燎 线性迎缘 图2 6 二种不同的边缘类型 1 6 边缘检测主要是( 图像的) 灰度变化的度量、检测和定位 。有很多种不 同的边缘检测方法，同一种方法使用的滤波器也不尽相同。边缘检测就是研究 更好的边缘检测方法和检测算子。在大部分情况下，我们都是把图像的边缘全 部看作是阶梯形边缘，然后求得检测这种边缘的各种最优滤波器，然后用在实 践中。 2 3 2c a n n y 检测三准则 在本论文中，主要介绍种边缘检测算子；c a n n y 算子。该算子是j o h n c a n n y 发表了划时代意义的文章“ac o m p u t a t i o n a la p p r o a c ht oe d g e d e t e c t i o n 哺1 ”。在该文中作者提出了边缘检测的三条准则这就是著名 的c a n n y 准则( c a n n y sc r i t e r i a ) ，并在此基础上得到了个很不错的实用 算法。下面介绍c a n n y 三准则( 以一维为例：冲击响应为f ( x ) ，z 卜，缈】， 要检测边缘为g ( x ) ，并假设边缘在x = o 处，噪声为以( x ) ) 。 ( 1 ) 要有好的检测结果，或者说对边缘的错误检测率要尽可能低。它就是 要把是边缘但是没有检测出来的和不是边缘却检测出来是边缘的这种概率降 到最低。由于这两个概率都随着信噪比提高而单调下降，所以这第一个准则 就等价于求厂( 工) 使得检测后的图像在边缘点的信噪比最大化。经过( x ) 滤 波后，边缘点处的图像信号的响应及噪声的响应的平方根分别是； = i 。，g ( - x ) f ( x ) d x ( 2 - - 3 ) 以= 【e 厂2 ( x ) 出r ( 2 - - 4 ) 以2 【j _ ，厂2 ( x ) 出r 垛是单位长度上噪声振幅的均方。于是第一准则表示为： s n r ( f ) = 鲁。糌 s ， ( 2 ) 对边缘的定位要准确，也就是我们标记出的边缘位置要和图像上真正 边缘的中心位置充分接近。 设检测出的边缘位髭在x o ( 记住：实际的边缘在 斤o ) ， k ( x ) + 4 ( x ) 在最大，( z ) 在x = o 处最大，故分别有； h 。( x o ) + h a x o ) = 0 ( 2 - - 6 ) q ；( o ) = 0 ( 2 7 ) 泰勒展开有： - ( x o ) = 或( o ) + 打；( o ) + d ( 写) “磁( 0 ) x o ( 2 8 ) ( o ) x o = 一乩( ) ( 2 - - 9 ) 峥甏铲= 殍n 0 2 ；而；f 2 ( x 丽) d x c z 训， e ( x ) 表示的是x 的期望。因为x 0 越小定位越准确，所以定位准则的数学 k = 糌 则我们的目标是求一个函数( x ) ，使得下面这个式子达到最大值 彤) _ ! f ：g 【r ( - x ，) f ：( ( x 删) d x i ，：f ：r g 秒 ( - x ) ( f 功 ( 出x ) d x t c z 一z ， ( 3 ) 对同一边缘要有低的响应次数。在理想情况下，我们用滤波器对噪 声响应的两个峰值间的距离来近似滤波器对一个边缘点响应的长度。因为输 出信号中相邻两个极大值点的距离是相邻两个零交叉点距离的2 倍，而r i c e 在【9 】中给出了高斯噪声在函数g 滤波后输出信号中相邻两个零交叉点的距 离： x a v e = ( 嚣r ( 2 - - 1 3 ) 其中， r ( o ) = 广”9 2 ( x ) d x ( 2 1 4 ) 五“( o ) = e 9 1 2 ) d x 1 8 ( 2 一1 5 ) 所以噪声在f ( x ) 滤波后两个相邻极大值点的距离为： 舻z 髋卜 c z 一 这罩的w 是滤波器，( 工) 的半宽度。 所以在2 w 长的区域里出现最大值的个数的期望为： 肌：堡：丝：三 ( 2 1 7 ) “靠。 k wk 式( 2 - 1 7 ) 表示：只要我们固定了七，就固定了长区域中出现最大值的个 数。这就是第三个准则。 2 3 3 边缘求解 下面讨论常见的阶梯形边缘最优边缘滤波求解f 6 5 。 假设这个边缘为c ( x ) ，振幅为a 的阶跃信号，则其第一个准则和第二个 准则的数学表达式可进一步写为： s n r ( f ) = 爿ll ， ) d x l 【c 厂2 ( x ) 出p ( 2 1 8 ) 三( ) ：一a 喜姜生 ( 2 一1 9 ) f ，f 。2 ( x ) 出 对，的尺寸进行变化，也就是令兀( x ) = f ( x w ) ，则有： s n r ( 兀、= 4 w s n r ( f ) ( 2 - - 2 0 ) l o c ( 兀) = w l o c ( f ) ( 2 - - 2 1 ) 也就是说增大滤波器的宽度会提高信噪比，但是会降低定位准则，可是 它们的积准则是不会变的 一w ，2 詈岩器罢嚣化_ 2 2 ) 于是简化为： 以肋叫舻岩f ( 黑x ) d x l 器f ( x ) d x z 。， i 2”2 j _ 。2 c a n n y 在论文 8 中利用变分法求得了这个带有约束的泛函最优化问题， 还告诉我们：这个问题的解是与空间尺度没有关系的。 c a n n y 发现这个问题的解可以由高斯函数的一阶导数去很好的逼近。尽 管高斯函数的性能要差点( 是原来的8 0 ) ，但是此差别肉眼是分不清楚 的，因此用高斯函数的阶导数计算就变得简单了e 6 f 1 。 在二维情况下，我们就是用二维高斯函数作为滤波器。由于求导和求卷 积是可以结合的，所以我们可以先用高斯函数滤波然后再求导： t t ( x ，y ) = ( v g ( x ，) ) ，( z ，) = v g 0 ，力 ，( z ，y ) ( 2 - - 2 4 ) 边缘强度，也就是图像在这个象素处的跳跃幅度，可以用“平滑”后的 图像在该象素处的梯度的大小来估计。而这个梯度又可以利用二元函数在这 个点处的两个正交方向的方向导数来求： l v c g 悱旧g t 叮+ ( 毒叫2 c z 嗡， 边缘方向用公式( 2 - 2 6 ) 来计算： 社黼- 【毒小+ 【壶小( 2 - - 2 6 ) i v ( g ，) il 眠 j 1 l 眠j 然后用闽值操作检测其局部最大值就可以检测出结果。 我们常用地对噪声估计实用方法就是c a n n y 提出的算法。该算法哺引假设 边缘信号的响应是比较少的，而且是比较大的值；而噪声的响应是很多的， 但是值相对较小，那么阈值就可以通过滤波后的图像的统计累积直方图得到， 实践数据表明取阈值为累积直方图的0 8 ( m a t l a b 中设定的是0 7 0 ) 点处的响 应值比较好。但是，仅仅有这一个阈值是不够的。由于噪声的影响，边缘信 号响应只有差不多一半是大于这个阈值的，e h 此造成了斑纹现象 ( s t r e a k i n g ) ，也就是说边缘是断的。如果我们把这个阈值降低，往往会出现 错误的“边缘”。为了解决这个i u 题，c a n n y 提出了一种双阈值方法。 2 3 4 双阈值c a n n y 算法实现 双阈值c a n n y 算法哺5 1 是利用累计统计直方图得到一个高闽值z ，然后 再取一个低阈值z 。如果图像信号的响应值大于高阈值，那么它一定是边缘； 如果低于低闽值，那么它一定不是边缘；如果在低闽值和高闽值之间，我们 就看它的8 个邻接象素有没有大于高阈值的边缘。但在本论文的c a n n y 算子 采用直接给双阈值的方法对图像的边缘进行处理，好处在于可以灵活的提取 运动物体的边缘( 因为在实际中很容易把本应该是边缘，但灰度值太小给舍 弃掉) 。算法的具体实现： ( 1 ) 使用尺度为w 的平滑算子( 句按行对原图像做卷积运算，然后用相应 的最优求导算子( a ) 对平滑后的算子按列做卷积运算，得到g ：再用 s 按列对原图