（电子科学与技术专业论文）运动目标检测算法及其在车载监控中的应用研究.pdf

硕l j 学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e r sa n dt h ei n t e l l i g e n tt e c h n o l o g y t h e i n t e l l i g e n tc o n t r o ls y s t e mi sa l s od e v e l o p i n gf a s ti nr e c e n ty e a r s t h e r ea r em o r ea n d m o r ed e m a n d so ft h ev e h i c l em o n i t o r i n gs y s t e m sf o rt h es a f e t ym o n i t o r i n gt h a tu s e d f o rt h ev e h i c l eo p e r a t i o n sa n de v e nh i g h e rr e q u i r e m e n t so ft h ep e r f o r m a n c eo ft h e v e h i c l em o n i t o r i n gs y s t e m i nt h i sp a p e ra l li m p r o v e da l g o r i t h mf o rm o v i n gt a r g e t d e t e c t i o nb a s e do nt h ef e a t u r e so ft h ev e h i c l em o n i t o r i n gs y s t e mw a sp r o p o s e da n d d e s i g n e d t h em a i n l yp a r t st h a tw e r es t u d i e da r ea sb e l l o w s f i r s t l y a na n a l y s i so ft h ec u r r e n td e v e l o p m e n ts t a t u sa n dt h ep r o b l e m st h a te x i s t i nt h ev i d e os u r v e i l l a n c et e c h n o l o g y m o t i o nd e t e c t i o nt e c h n o l o g ya n dt h ev e h i c l e c o n t r o ls y s t e mo fo u ro w nc o u n t r ya n da b r o a dw e r em a d e as y s t e m i cs t u d ya n d a n a l y s i so ft h eb a s i ct h e o r e t i c a lk n o w l e d g e so ft h ei m a g ed e t e c t i o n l i k ei m a g e p r e p r o c e s s i n g i m a g es e g m e n t a t i o n f e a t u r ee x t r a c t i o na n ds oo na l s ow e r em a d e s e c o n d l y a na n a l y s i so ft h e o r i e sw a sd o n ea n dt h ea d v a n t a g e sa n dd i s a d v a n t a g e s b e t w e e nt h et h r e eb a s i ca l g o r i t h m st h a tf r e q u e n t l yu s e di nt h et a r g e td e t e c t i o nw h i c h a r et h eb a c k g r o u n ds u b t r a c t i o n i n t e r f l a m ed i f f e r e n c em e t h o d a l g o r i t h mp r i n c i p l e so f t h eo p t i c a lf l o wm e t h o dw e r ec o m p a r e d t h ea l g o r i t h mp r i n c i p l e s s t u d yo ft h eg a u s s m i x t u r em o d e lw a sm a i n l yf o c u s e do n a ni m p r o v e dd y n a m i cs c e n e sm o v i n gt a r g e t d e t e c t i o na l g o r i t h mb a s e do nt h ed i s a d v a n t a g eo ft h em o v i n gt a r g e td e t e c t i o nu n d e r t h ec o m p l e xb a c k g r o u n do ft h eg a u s sm i x t u r em o d e lw a sp r o p o s e d f i n a l l y t h er e a l i t yo ft h eh a r d w a r eo ft h e v e h i c l em o n i t o r i n g s y s t e mw h i c h c o n t a i n ss o u r c em o d u l e v i d e oc a p t u r em o d u l e m e m o r ym o d u l ea n ds oo nt h a tb a s e d o nd m 6 4 37c h i pm a d eb yt h et ic o m p a n yw a sp r e c i s e l yd e s i g n e da n dt h et h eo v e r a l l h a r d w a r eb l o c kd i a g r a mw a sg i v e na l s o t h ed e s i g no ft h es o f t w a r ep a r t si ne v e r y m o d e l sw e r eu n d e rt h ec o n d i t i o no fc c s 3 3 t h ec o r r e s p o n d i n gp r o c e d u r eh a sb e e n o p t i m i z e dt oi m p r o v et h es p e e do ft h es y s t e m t h ef e a s i b i l i t ya n de f f e c t i v e n e s so ft h em o v i n gt a r g e td e t e c t i o na l g o r i t h mu n d e r c o m p l e xb a c k g r o u n dt h a tp r o p o s e di nt h i sp a p e rw e r es h o w e db yt h er e s u l to ft h e e x p e r i m e n t sa n dt e s t sw h i c hw a st h a tt h es y s t e ma c h i e v e dt h eg o a l t od e t e c tt h e m o v i n gt a r g e tu n d e rac o m p l e xc o n d i t i o n k e yw o r d s t a r g e td e t e c t i o n c o m p l e xb a c kg r o u n d i m a g es e g m e n t a t i o n v 色h ic 1ec o n t r 0 1 i i i 硕l 学位论文 第1 章绪论 1 1 课题的研究背景及意义 随着计算机和智能化技术的发展 车载监控系统在实际中的应用也越来越广泛 同 时对车载监控系统的要求也越来越高 目前大多数中低端的车载监控系统产品已经不能 满足人们的要求 大多数无人值守监控系统是被动式的监控 采用摄像机对某一特定区 域进行时间上不间断的监控 把监控时间里这一区域中所有的图象采用视频或则图片的 形式录制并存储下来以用作后期分析或者处理使用 这种监控方式的优点是可以做到在 时间上没有遗漏 但是它的缺点也是很显然的 1 视频的数据量非常大 长时间的监控所产生的数据量非常大 而这些图象数据 在没有进行后期处理或者分析前只能存储下来 这就需要海量的存储空间 不仅会带来 存储成本的大大上升 还会使系统的可移动性变得很差 实际上海量的图像数据中只有 极小一部分才是系统使用者所需要的 2 后期处理过程中 在绝大部分无用的海量数据中去检索所需要的数据使得工作 效率很低 3 车载监控系统监控目标图像运动速度很高 图像的背景变化速度很快 这对系 统的识别速度提出了很高的要求 如何在现有微处理器计算能力的基础上 实现对高速 运动目标的检测也是目前的一个重要的研究内容 为了在一定程度上克服目前车载监控系统的这些不足 绝大多数都是采用大容量的 硬盘和昂贵的处理器 成本的大大提高使得车载监控系统在实际中的推广受到了很大的 限制 把运动目标检测技术应用于车载监控系统中 对目标图像进行识别 以减少无用 数据的存储 可以采用存储量 体积较小的移动存储卡作为数据的存储器 即可以增加 系统的移动性能还可以降低对电源的要求 对推广车载监控系统的实际应用有着很大意 义 1 2 车载监控相关技术发展现状 1 2 1 运动目标检测技术 运动目标检测技术是研究如何完成研究对象 图像序y o q 口对感兴趣的目标区域 准 确定位 问题 近年来 许多科学研究人员针对不同场景下的运动目标的检测做了大量 深入的科学研究 几十年来 科学研究人员总结出了一些常用的运动目标检测方法 而 且还针对特定的场景下提出了很多新的方法 经过多年的总结 有一些方法已经比较成 熟 如帧间差分法n 3 1 光流场法h 引 背景差分法 6 7 1 等 并且这些方法在实际应用取得 运动同标榆测算法及其n 下载舱控中的应用研究 了较好的检测效果 例如 i j p t o n 等在实际视频图像中利用两帧差分方法来检测运动目 标 并以此来实现目标的跟踪与分类 还有些研究人员是利用三帧差分代替两帧差分 例 l n v s a m 利用自适应背景差分与三帧差分两者相结合 形成以种新的混合算法 能够 从背景中快速有效地检测出运动目标阳1 运动目标检测方法的种类虽然很多 但是没有形成一个通用的算法 这是因为具体 的情况下所适用的运动目标检测算法不一样 使用的场合和药处理的视频图像背景不 懂 对检测算法的要求和方法不一样 运动目标检测算法经过几十年的发展 可以总结 出如下几个特点 1 形成了三种经典的运动目标检测方法 光流场法 帧间差分法和背景差分法 三种经典检测方法目前在视频监控系统中应用最多的是基于差分图像的帧间差分法和 背景差分法 2 不断改进传统检测方法 在针对三种传统检测方法自身的不足和某些缺陷的同 时 提出了各种改进方法 以提高算法在不同特定场景下的检测效果 使算法更实用 再则就是将不同检测方法的优点结合起来 克服单个方法的缺点 使它们的优点互补 这也是目前运动目标检测技术研究的热点和重点之一 3 不断涌现新颖算法 当一种技术的算法停留于传统的基础上时 这种技术以及 它相应的算法就不能适应于社会的发展了 一种技术要想蓬勃的发展 必须对它的算法 进行创新 以适合社会的需求 近年来出现了曲线演化等新颖算法 大大的推动了运动 目标检测技术的研究发展 使运动目标检测技术在实际应用中得到了推广 运动目标检 测技术研究的另一热点和重点是新的更稳定的检测算法 4 在目前运动目标检测技术研究更加注重于检测算法的稳健性 准确性和实时性 1 2 2 智能视频监控技术 国外对智能视频监控技术方面的研究起步得比较早 在2 0 世纪6 0 年代开始就有学者 进行了相关方面的研究 在视频图像中 m i t 的r o b e s 通过计算机程序提取出多面体的 三维结构 如立方体 棱柱体等 并描述了物体形状及物体的空间关系 这项研究对以 理解三维场景为目的的三维计算机视觉旧1 的研究有着很重大的意义 智能监控技术在美国 德国 英国 日本等西方发达国家都开展了大量相关的项目 研究 在美国2 0 世纪9 0 年代由美国军方支持 投资了7 0 0 0 万美元设立了的3 5 0 个图像理 解研究项目 美国国防高级研究项目署在1 9 9 7 年设立了由内基梅隆大学 麻省理工学院 等著名高校参与的视觉监控重大项i v s a m v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g 主要针 对在战场及普通民用场景下研究视频监控的自动视频理解技术 实时视频监控系统既能 对人的位置进行对位和分割 识别出人的身体部分 又能通过对外观建模来对多个人实 现跟踪 并能检测出人是否携带物体等简单行为 英国的雷丁大学已经做出了大量关于 车辆和行人的跟踪及其交互作用识别方面的研究 硕l 学位论文 在国内 由国家和工商业界牵头和投资的大型研究项目非常少 但是国内许多高校 科研团体和科研机构对视频监控领域内的研究却越来越多 上海交通大学 清华大学 汉王科技股份公司 华中科技大学等有关科研机构在智能监控技术方面已经取得了较大 的成果 不过在国内视频监控产品市场上 由于技术和工艺的问题 国内的产品还是很 少 视频监控系统的相关产品还是以国外品牌为多 例如o v v i d i e n t d a l l m e i e r m a t e i v b o x n i c e v i s e o w a v e 以及i t e r i s 等国外公司的产品 再则从视频监控系统技术水 平方面来看 国内厂商的产品远远比不上这些国际一流厂商 国外厂商的技术成熟也是 他们的一大优势 但是国内的产品市场却有很大的发展空间 这对国内厂商来说是一个 很大的发展机遇 视频监控系统的发展可以分为三个阶段 目前正在蓬勃发展的网络化视频监视系统 属于第三代系统 又称为i p 监视系统 2 0 0 1 年第一次出现 早期的d v r 无法通过网络 来传输视频信息 但是网络化视频监视系统专门针对在网络环境下使用而设计 它可以 很方便的从网络上获取视频数据 使用系统的用户可以使用任何一台电脑通过网络来对 实时视频数据进行观看 录制和管理 第三代的网络化视频监控系统是完全数字化的系 统 系统基于标准的t c p i p 协议 可以很方便的通过局域网 无线网 互联网来进行数据 的传输 相对于前两代系统而言 它的布控区域也得到了大大的扩展 由于第三代视频 监控系统采用了开放式的架构 可以很好的与门禁 报警 巡更 语音 m i s 等其他功 能模块系统进行无缝的集成 系统中使用了目前发展很传输的嵌入式技术 具有性能稳 定 无需专人管理等优点 再则系统灵活性大大的提高 可以实现任意组合以及任意调 用监控场景 第三代视频监控系统以数字化的视频图像压缩 传输 存储和播放为核心 通过数 字化的网络进行数据传输 并对图像进行智能化图像处理 这大大改观了传统视频监控 的性能 受到了学术界 产业界和使用部门的高度重视 1 3 车载监控系统目前存在的问题及课题来源 车载监控系统随着社会的发展 在商业领域内正成为一个热点 国内外很多公司和 研究机构对它进行了研究与开发 但是就目前来说车载监控系统还存在很多的不足 使 得它的实际应用范围得到了很大的限制 在视频图像处理方面存在的主要问题有 1 监控画面背景复杂 检测效果不理想 由于车辆的高速行驶状态 车载监控的背景画面具有更新速度快 变化复杂等特点 这给运动目标的有效检测带来很大的困难 目前的实际使用检测算法的检测效果都不理 想 2 系统实时性 车载监控系统的视频图像背景复杂 运动目标多且运动速度快使得图像所包含的数 据量非常大 系统在对图像进行分析检测时计算量很大 计算的速度慢 使得系统的实 运动同标柃测算法及其存下载嘛控中的应用研究 时性不好 有很严重的滞后 对图像不能及时的分析检测 可能会丢失一些有用的重要 数据 3 海量无用数据 目前车载监控系统大多采用时间上不间断的被动监控 不对监控画面进行智能图像 分析处理 而是对所有监控图像进行存储 需要很大的存储空间 并且海量图像数据中 绝大部分是无使用价值的数据 这既浪费了存储资源又给后期数据的分析处理带来了很 大的麻烦 针对以上车载监控系统所存在的几个问题 本文课题改进复杂背景下运动目标的检 测算法以增加系统检测的效果 改进算法的计算速度提高系统的实时性 对兴趣目标进 行检测并存储减少无用数据的存储 能改善车载监控系统的整体性能 这对推广车载监 控系统的实际应用有着很重要的意义 1 4 本文的主要内容安排 本文主要研究内容安排为 第1 章为绪论部分 阐述了本文的研究背景及意义 主要介绍了运动目标检测技术 视频监控技术的发展现状以及车载监控系统在图像数据处理方面目前存在的问题 第2 章对运动目标检测技术理论基础知识进行了研究 从数字图像处理 数字图像 分割 特征提取 识别和判决分类四个方面进行了具体的阐述 同时对本文使用的方法 做了较详细介绍 第3 章对视频图像运动目标检测算法进行了深入研究 介绍了运动目标常用的检测 算法 提出了适应于动态场景的运动目标的检测算法 并把混合高斯模型法和改进算法 的检测结果进行了比较 实验结果表明本文所提出的改进算法对动态场景运动目标具有 更好的检测效果 第4 章对车载监控系统做了硬件整体设计方案 并对中央处理器 电源模块 视频 采集模块 存储模块进行了详细的设计 第5 章设计了以第3 章所提出改进的运动目标检测算法为核心的车载监控系统软件 介绍了软件开发的环境 设计了视频采集模块的软件 并对部分程序进行了c 环境至i j d s p 环境的移植以及在d s p 软件环境下的代码优化 使得系统的运行效率得到了提高 硕 j j 学化论文 第2 章运动目标检测技术理论知识 图像识别 也称模式识别 是 t j 以应用为基础的学科 目的是将对象进行分类 这 些对象与应用领域有关 可以是图像 信号波形或者任何可测量且需要分类的对象 同 其他事物一样 计算机的出项提高了对模式识别实际应用的需求 而这反过来又对理论 发展提出了更高的要求 数字图像检测识别系统是一种比较复杂且难度较大的系统 它 要处理的是改善后的图像 这种图像称为预处理后的图像 而检测识别系统输出的是对 图像中物体的识别或者分类结果 图像检测的过程包括图像预处理 图像分割 特征提 取和判决分类n0 儿1 如图2 1 所示是图像检测的过程 输全判决 图 怔亟 怔堕 咂亘卜匝堕y 果 图2 1 图像检测的过程 2 1 数字图像预处理 各类图像系统中都要进行图像数据的传输和转换 但是图像的传送和转换过程中总 要造成图像数据的某些降质 这些降质很可能会对检测识别系统的检测识别带来误差 从而得不到正确的结果 为了能够更好的对数字图像进行检测识别 很必要对图像进行 预处理 来改善图像的质量 增强图像视觉上的效果或者就是吧图像转化成另外一种更 容易分析的形式 改善图像过程中常使用的方法分有图像增强技术和图像复原技术 在 图像检测过程中往往只关心一些关键特征 一般采用图像增强技术来突出这些信息n 2 i 图像增强的方法分为两大类 空间域方法和变换域方法n 引 空问域处理法主要是在 空间域中队图像像素灰度值直接进行运算处理 可用式 2 1 来描述 g x y f x y h x y 2 1 其中f x y 是为待处理的图像 h x y 为空间域上的处理函数 g x y 为经过处理 后的结果 图像增强的另外一种方法变换域法是先在图像的某种变换域中 如频率域 对图像 的变换值进行某种运算处理 然后再变回空间域n5 变换域法是一种间接处理方法 它 的具体处理过程可用图2 2 来描述 f p 变换域 原图像 硪i 了门g p r l g 疋y 修正 h 囊1 逆变换高赢 j 修正后 l 一琶 图2 2 图像增强的变换域处理方法 运动口标枪测算法及其d 下载航栉 巾的应用研究 用数学表达式描述如式 2 2 所示 f p v 妒 厂 x j g v h p f 2 2 g x y t p 一1 g v 其中9 1 妒 分别为该变换域变换的逆变换和某种变换域正变换 f x y 为待 处理的图像 f p y 为经过一次变换域正变换后的结果 g p v 是在变换域中经过修 正函数日 v 修正后的结果 g x y 是经过两次变换后的输出结果 也就是增强后的 图像 在对视频序列进行预处理前 为能提高检测系统的实时性 往往先把视频图像转换 到另外一种空间 在这种空间下有利于利用空间的特有性质对视频图像进行必要的预处 理 如滤波去噪等操作 经预处理后再转回到原来的空间 二维的傅里叶变换n 们是一种 重要和常用的变换方法 它把图像从图像空间变换到频率空间 对于二维傅里叶变换有 一1 一1 f p 百1 f x y e x p j 2 n p x v y n p o 1 一1 2 3 x 0 y 0 x y 哥1 f p v e x p j 2 z r p x v y n x y 0 1 n 1 2 4 p 0 v 0 傅里叶变换的频谱 相位角和功率谱可定义如式 2 5 2 6 2 7 所示 l f y l r 2 y 1 2 p v 1 2 2 5 y a r c t a n 尺 2 6 尸 p l f y 1 2 r 2 2 2 7 其中r 和 分别为f 的实部和虚部 2 2 数字图像分割 图像分割就是把图像分成各具特性的区域并提取出感兴趣的目标的技术和过程 在 图像的检测识别过程中 图像分割是非常重要的一步 因为图像中所包含的数据信息种 类非常多 但是在图像研究和分析处理中 大部分的数据信息是人们不感兴趣的 为了 更加有效的对图像进行分析处理 就需要把图像中人们感兴趣的区域从整个图像中分割 出来 这样既可以提高分析的速度 改善系统的实时性 还可以避免非目标区域的干扰 感兴趣区域称为目标或者前景 其余区域都划分为背景 目标区域在图像中一般具有特 定 独特的性质 可以很方便的与非目标区域进行分辨并可以从图像中把这部分分割出 来加以下一步的分析处理 多年来 在图像处理技术的研究中图像分割一直是重点和热 硕 1 j 学位论文 点 很多学者和研究人员都对这方面进行了广泛的研究 并提出了很多种分割技术 使 用到了不同的场合 根据相似性原则 图像分割将图像分割成不同区域的 这些不同的 区域内部各像素点的特征相似 而任意两个相邻区域的特征不相似 因此 图像分割就 是把一幅图像分成若干个小区域 分割的过程中按照一定的规则把具有相同特征的部分 划成一个区域 这些区域的划分往往有利于图像的下一步分析或者处理 图像分割就是将图像中有意义的目标或者需要应用的目标从图像中取出来 图像中 不同目标或者目标各个组成部分之问的某些特征急剧变化 而同一目标或各个组成部分 具有相同或者相似的某个特征 图像的分割正是根据这些相同或相似的特征来进行 在 图像分割的研究中 不存在一同普遍使用的最优方法 因为在不同的图像中所包含的特 征不一样 不一样的特征所具有的性质也不一样 那么根据不同的特征来进行分割的方 法也会不一样 目前应用较多的图像分割方法有基于边缘的分割方法 基于区域的分割 方法和边缘与区域相结合的分割方法啪1 2 2 1 基于边缘的分割方法 图像的边缘是指周围像素灰度有阶跃变化或者屋顶变化的那些像素的集合 它广泛 存在于物体与背景之间 物体与物体之间 基元与基元之间 是图像分割所依赖的重要 特征 以成为近年来分割算法的主题 边缘检测分割的基本思想是 先把图像中的边缘 点检测出来 再按一定的策略吧这些边缘点连接成轮廓 从再根据这些轮廓来进行区域 的分割 边缘具有携带大量图像信息 勾画区域形状等优点 在图像识别 图像分析等 领域得到了广泛的应用 考察图像每个像素在某个领域内灰度的变化是经典的边缘提取方法 这种方法利用 边缘邻近一阶或二阶方向导数的变化规律 检测一个点是否是边缘上的点可用一阶导 数 一个边缘像素是在边缘暗的一边还是在亮的一边可利用二阶导数的符号来判断 常 用一阶导数算子有s o b e l 算子和r o b e r t 梯度算子等 二阶导数算子有l a p l a c i a n 算子 w a l l i s 算子平l k i r s c h 算子等非线性算子 这类算子由于微分的固有特性而对噪声十分敏感h 训 l a p l a c i a n 算子在运动图像分割中用得较多 下面对这个算子进行简单的介绍 拉普拉斯 l a p l a c i a n 算子是一种二阶导数算子 对一个连续函数f x y 它在位置 x y 的拉普拉斯定义如下式子 2 8 所示 a 厶fa 厶f v 二f 二寺 二 2 8 苏z 砂z 拉普拉斯值应用到数字图像中的时候 可利用各种不同的模板来进行计算 在模板 中正数对应了中心像素系数 而对于中心像素的邻近像素系数的值为负 模板中所有数 之和要为0 常用的两种模板如图2 3 所示 由于拉普拉斯算子是二阶导数算子 它对图 像中的噪声相当敏感 另外拉普拉斯算子常产生双像素宽的边缘 对边缘方向的信息不 能提供 运动目标枪测算法及 e n 下载监控中的应用研究 1 0 0 1 4 1 o 10 1 1 1 1 8 1 1一l 1 a 四邻域l a p l a e i m 算子 b 八邻域l a p l a c i a f 算子 图2 3 常用的2 种拉普拉斯算子模板 2 2 2 基于区域的分割方法 四邻域l a p l a c i a n 算子基于区域的分割方法基本思想是把一幅图像划分成一些区域 这 些区域能满足某种判据 目前所常用的方法有聚类法 区域生长法 阈值法 松弛法等 区域生长法假定区域的数目以及每个区域中单个点的位置已知 从一个已知点开 始 加上与已知点相似的邻近点形成一个区域 这个相似性准则可以是灰度级 彩色 梯度或者其他特性 相似性的测度可以由所确定的阈值来判定 从满足检测准则的点开 始 在各个方向上生长区域 当邻近点满足检测准则就并入到小块区域 当新的点被合 并后再利用新的区域来重复这一过程 直到没有可能可接受的邻近点 聚类法的基本步骤是首先检查图像的测度集 以确定在测度空间中聚合的位置和数 目 然后把这些聚合的定义用到图像中去 以得到区域聚合 松弛法是一种基于动态调优的标号方法 有概率松弛 模糊松弛等 这种方法的基 本思想是先对图像中每个像素分别赋给对应于不同目标的标号 再利用相邻像素之间的 相容性 对不同目标的标号进行迭代计算一直到找到一个收敛点 这种方法的关键是标 号的相容和迭代的收敛 在带检测的视频图像中有多种需要的特征 阈值法就先对这些特征赋予不同的特征 阈值 再以这些特征阈值为基础对图像的像素点进行分类 所以阈值法进行分割的最要 的地方在于怎么选取这些特征阈值 设定特征阈值的方法有很多种 在存在运动目标的 图像中 背景和目标往往有着很明显的差别 这种差别在图像的直方图像中表现为对应 的两个峰 利用阈值法对这样的图像进行分割时 就可以选择背景和目标两峰之间的谷 点来作为阈值 这种方法称为双峰法 在利用最简单的阈值法对图像进行分割时 首先 对图像确定一个灰度阈值t o t l j 再将待分割图像中的每一个像素的灰度值与阈值 丁进行比较 然后根据比较的结果将灰度值大于阈值的划为一类 而灰度值小于阈值的 划分为一类 从而实现对图像的分割 从上面的分割步骤来看 选择一个合适的特征阈 值是这种分割方法关键之处 特征阈值选择的好坏 直接决定了像素点的分类 也决定 了分割效果的好坏 不论如何选取阈值 取单个阈值分割后的图像可定义为 2 9 式 硕l j 学位论文 鼬川 拈凳籍 亿9 灰度概率函数之和就等于灰度值概率函数的估计p z 选择一个最优阈值臌得判断一 p z 2 p l p l z p 2 p 2 z 击唧 一等怯唧 等 亿 式中 l j l l 2 p l p 2 分别是背景区域的平均灰度值 目标区域的平均灰度值 p l p 2 2 1 2 2 3 边缘与区域相结合的分割方法 运动日标柃测算法及其任下载临控中的应用研究 境就不一定适用 所以在实际应用时 有机结合多种分割方法才可以达到较好的分割效 果 1 2 3 特征提取 特征就是一个物体区别于其他物体所具有的某方面性质的抽象 在对图像识别时不 可能直接采用目标的原始信息来进行模式分类 因为原始信息量不但过于庞大 而且所 包含目标各方面的信息相互交错使区分无法有效进行 在模式识别中 确定判断的依据是非常重要的 但是问题的另一方面 如何提取特 征也是相当重要的 如果特征找不对 图像像素点的分类就不可能准确 但是在一幅图 像中所包含的特征有很多 如果把所有的特征都罗列出来做为判据很显然是不可能的 这也会给准确判断带来很大的麻烦 特征提取的方法有很多种 从一个模式中提取什么 特征 将因模式的不同来决定 还与识别的目的 方法等有直接的关系 在识别过程中 为了提高识别的效率和准确率 所提取的特征信息应具备可分性 唯一性和鲁棒性这三 个条件 在实际中 要想找出一个特征而同时具备这三个条件往往是很难的 所以在图 像识别中一般是采用多个特征的组合来进行 在实际图像识别问题中 为了不影响分类的速度和效果 分类所选择的特征要尽可 能做到少且精 特征提取的方法有很多种 将因模式的不同而不同 并且与识别的目的 方法等决定了从一个模式中提取什么特征 特征选择和提取的基本任务是如何从许多特 征中找出那些最有效的特征 但是在很多实际问题中常常不容易找到这些最有效的特 征 或受条件的限制不能对它们进行测量 常用的方法有离散直角坐标系中的弗里曼链码法 它可以方便的描述直角坐标系 中的曲线 图2 4 是在8 邻接定义下的弗里曼链码 位于坐标系内的任一曲线都可用以 个数字序列来表示 图2 5 中的一条曲线 可编出其链码为 1 0 0 1 2 3 1 1 0 7 7 6 4 5 4 2 1 在提 取边缘细条的过程中 会出现断线 因此在特征提取过程中需要进行断线的接续 断线 的接续最基本的方法是利用膨胀和收缩技术n 6 1 l 一 l r p 岘 p x i 岘 则有 如果 则有 x c o l 2 1 3 尸 q p xq 3 3 上式中屈 x y 为当前图像 心 x y 为检测的结果 b x y 为背景图像 功阈 值 婊示帧数 在背景差分法中 能否准确的选取背景图像 对最总检测结果的准确性有很大的影 响 在背景图像完全静止而且没有噪声的理想情况下 并且在当i j 图像中除了运动目标 区域的像素发生变化外 其余的背景部分都保持不变 就可以通过式子 3 2 3 3 来实现对运动目标的检测 但事实上这种背景完全静止且没有噪声的理想情况是不可能 存在的 所以为了能达到较好的检测效果就需要对背景图像进行更新 通常背景更新有 如下两种的方法 1 均值 中值 背景更新 背景均值与中值更新法思想相似 可以把看作为它们一类算法 也是目前用得最多 的一种背景图像构建方法 算法的基本思想是首先建立一个训练时间段 获得 张在这 段时间内视频图像数据 在对这 张视频图像中相同像素位置的像素值做平均 加权平 均 或者中值滤波后 所得到的像素值作为该像素点的背景模型值 3 4 式所示的式子为 其计算公式 l 1 b n x y 了1 厶一1 工 j 3 4 l 玎 0 x y m e d i a m i t x y 厶一l x y 3 5 由摄像头产生运动或环境突然变化所产生的瞬时噪声可以用这种方法来解决 比较 适用于一般场景中 在背景像素在训练过程中 要求对至少一半以上的视频图像帧进行 存储 对背景像素分布均衡的单模态比较适用 这种算法需要一定的内存容量 并且在 训练过程中 若场景中包含前景时监控的效果不是很好 运动口标枪测算法及 e 和 车载临摔中的心用研究 2 i i r 滤波器的图像背景更新 i i r 滤波器的图像背景更新方法的基本思想是在对视频图像进行运动检测的同时进 行滤波 这种方法一般在需要对运动图像要进行自适应滤波时适用 因此在进行背景更 新时可以考虑采用类似于i i r 滤波器的方法 背景可用如下计算公式表示 嘞 a 易 1 a b n 一1 3 6 式中 嘞一1 分别对应于更新后的背景图像值和原始背景图像值 为当前图像 系 数仅的大小控制背景更新的速度 口的取值为o 到1 2 间 当口较小时 该方法更新背景 图像的速度缓慢 而当口较大时 更新背景图像的速度较快 在a 取极值的情况下 当 仅 0 时 该方法实际上就是简单的背景差分法 相当于背景图像不更新 即对应于背景 是完全静止的 而帧间差分法就是当a l 时的一种特例 即运动目标的检测是通过连续 两帧图像的比较来检测实现 下一节介绍将介绍这种方法 由公式 3 6 可以看出 在场 景中出现运动目标时 基于i i r 滤波器的背景图像更新法 会使得背景图像在一定程度 上叠加到运动目标的图像上去 3 2 2 帧间差分法 帧间差分法是在连续的图像序列中 几个相邻帧采用基于像素的时间差分并且阈值 化的方法 提取出图像的运动区域 2 3 矗钔 帧间差分法是利用视频序列中连续的两帧或连 续相邻的几帧图像之间的差异来提取和检测运动目标的 运算速度快是此方法的最大特 点 实时性比较高 对环境整体光照变换不敏感是帧间差分法的优点 在实际计算过程中 将两帧相邻目标图像逐点相减 来形成差分图 如果差分值大 于给定阈值蹴在差分图中将相应的像素取 1 否则取 0 利用产生的非零区来 检测出运动目标 其公式表示如式 3 7 d k x y l 厩 x j 一f k l x y l 3 7 其中办 x y f k 一1 x y 为视频序列中连续的两帧图像 砍 x y 为相减的值 m k 加忙发源 8 其中劝二值化设定阈值 它对检测的效果起着决定性的作用 也决定了检测系统 对运动目标的敏感度的 阈值撒得太大时系统检测结果的噪声小 但是会影响运动目 标的连续性 取得过小时检测的结果噪声会较多 图3 3 所示是帧间差分法的基本过程 图3 3 相邻两帧差分法进行运动目标区域检测基本流程 硕f 学位论文 3 2 3 光流场法 美国学者h o r n 和s c h u n c h 最先提出光流场的计算妇钔 1 9 8 1 年h o r n 等人在相邻图 像之间灰度变化很小 且其图像中的间隔时间也很小的前提下 对灰度图像光流场计算 的基本等式进行了推算 奠定了光流场计算的基础 但是基本等式不能确定光流场 故 对光流场的估计实际上就转成了对不确定性问题的求解 把图像中的每一像素点都赋予一个运动矢量 这些运动矢量就形成了一个图像运动 场 v 当目标物体运动时 图像上对应物体的亮度模式也在运动 图像亮度模式的 表现运动就是光流 理想情况下 景物重可见点的三维速度矢量在成像平面上的投影就 是光流 它表示了物体表面点在图像中位置的实时变化 同时光流场包含了有关运动和 结构的丰富信息 设在时刻 的图像点 力亮度是i x y 假定点在t a t 时运动到 x 缸 y 少 的亮度不变 这就是灰度守恒假设 则有 i x a x y 缈 f a t i x y 3 9 通过这一个约束还不能对甜和v 唯一求解 因此还需要其他的约束条件 例如 处 处连续的运动场等约束 如果亮度隐 y f 光滑变化 用泰勒级数则可以将上式的左边展开 经略去二次项 和化简后得到 丝垒 丝型 o i 0 3 1 0 巩 砂出出 称 为光流场 并 i 已a x ua t 4 尸v a t 则可以得到光流场的基本等式 称为光 流约束方程 如式 3 1 1 所示 丝 丝v 一o i 0 3 11 u v i j 苏 砂 出 由此可见 光流场两个变量 但基本公式只有一个 因此只能求出光流场梯度方向 上的值 如果要同时求出 和1 不能只使用一个点上的信息来确定光流的 人这种不确 定问题被人们称为孔径问题 由于有孔径问题的存在 要计算图像平面中某点出的图像 流速度不能仅通过光流约束方程而不使用其它信息 总的来说光流场法在三种方法中提 取的运动信息是最丰富的 但是光流场法由于对光线非常敏感 光线变化对检测效果影 响大 而且计算量惊人 因而在实际工程中较少应用 3 3 高斯混合模型 高斯混合模型已经广泛应用于鲁棒的复杂场景背景建模 特别是在有微小重复运动 的场台 如被风吹动的树叶 灌木丛 旋转的风扇 海面波涛 雨雪天气 光线反射等 基于像素的高斯混合模型对多峰分布背景进行建模很有效 能适应背景的变化 如光线 渐变 并能基本满足实际应用中对算法的实时性要求嘶1 高斯混合模型的基本思想是 对视频图像中的每一个像素点 通过定义肼状态来 运动目标柃测算法及其在乍载j 临控中的戍用研究 表示这些像素点的像素值 阶状态中的每一个状态用1 个高斯函数来表示 这些状态一 部分用来表示背景模型 其余部分就表示为运动前景模型 髟值一般取3 5 之间 艏越 大处理背景扰动能力越强 所需的处理相应时间也就越长 则某点x 在某时刻的随机分 布概率如式 3 1 2 所示 kk p x p g i p x i g i e i g x j f f 3 1 2 i 1i 1 式中 t o i 是第f 个高斯分布的权值 k 为高斯分布的数量 p f f 为第f 个高斯分布 的方差矩阵和均值向量 g 是第i 个概率密度的高斯分布函数 对于这个分布模型 以x 为背景的后验概率p bx 可进一步用式 3 1 3 来表示 k p o lg f p g f 尸 b i q p b i x p b i g i p g ii x 丝可 一 3 1 3 卢1 p x ig f 尸 g f 式中 q 为第i 个高斯分布 p q 为这个高斯分布在高斯混合模型中的权值担 在初始化混合高斯模型时 可以通过对一段时间内视频序列图像每一像素点均值 o 及方差仃舌的计算 用计算得到的枷和方差盯舌来初始化高斯混合模型中第一个高斯 分布的参数 即 胪专争仃云 专笺旷 2 州 式中认为前 帧为背景的权值啪为1 其中当前帧图像数据为乃 其他高斯分布的q 和 p f 均为0 仃舌取较大的初始化值 本文参照文献 2 6 取值1 2 5 3 4 改进的运动目标检测算法 由上面两节对三种经典检测方法介绍可知 帧问差分法对环境有较强的适应性 计 算量很小 在实际应用中所受到的干扰较少 实时性也较好 但是当差分图像中目标运 动缓慢时 帧差法得到的检测结果会比较差 如目标的运动速度非常慢时 可能会检测 不出来 而环境的变化对减背景差分法检测效果影响较大 但在实际应用中 为了减少 环境变化产生的干扰 很多研究人员采用实时更新背景的方法 目前对动态场景运动目 标检测用得最多的一种方法是混合高斯模型 但是这种方法认为单个像素点只是在时间 硕l j 学化论文 上存在关联 而忽略了空间上的联系 所以混合高斯模型在对动态场景下运动目标的检 测效果不是很好 对环境的变化比较敏感 再则很难确定混合模型中高斯分布的个数 高斯分布的个数太多会影响检测的速度 过少就会影响检测的效果 光流法是能检测独 立运动的对象 不需要预先知道场景的任何信息 但多数情况下的计算复杂 耗时 对 硬件要求很高 很难实时检测 车载监控系统所监控的视频图像由于环境变化较大且图 像背景是动态的 帧间差分法和背景差分法对这类图像的处理效果不是很理想 本文结 合二者的优点提出了一种基于背景建模的动态场景运动目标的检测算法 对动态场景运 动目标的检测有着较好效果 3 4 1 背景建模 从第3 节可以得知传统的高斯混合模型检测方法中 认为视频图像中的各像素点的 分布相互独立的 从而背景分布模型是在时间域上利用图像中的每一个像素点位置的灰 度值来建立的 这种模型对环境的变化很敏感 因为在实际的视频图像中背景的变化是 很频繁的 仅考虑了各像素点在时间域上的联系不能有效地区别是目标的运动还是背景 的变化 实际中背景的轻微动态变化在时间域和空间域上都有一定的关联 所以本文提 出的改进算法以图像中各像素点在时间域和空问域上的灰度值来建立背景模型 以加强 对背景变化所带来的干扰 使得检测的效果对环境的变化不敏感 设在一帧图像上的点 集定义为 释 f i1 1 f 如 l j o 和b 出 1 以及其他 的矩特性 所以它也是个密度函数 形式可以多种多样 月称为带宽 b a n d w i d t h 卸 勺 大小决定了用来估计p o 时各个数据点的参与程度 实际上随机变量彳的方差可以在日 上体现 以数据点为中心的一系列函数的平均可以用 3 1 7 式来表示 从而估计出概率 密度函数 也就是说 核估计就是对以估计点为中心开窗 对窗口内的点进行加权平均 而 就是加权平均中的权函数 通常选取以0 为中心的对称单峰概率密度函数 具体如表 3 1 所示 襄3 1 常用核函数 核函数名称 似 的形式 均匀 依潘涅契科夫 四次 高斯 批 1 u 2 l l 1 u 2 2 悱l 矿1 倒 面以p i 下j 核函数具有p a x l 妒 x 妒 一x p 9 x 出 o 的特性 硕i j 学位论文 2 核函数和带宽的选择 对视频图像中某个待定像素x 运用核函数估计 这个像素点属于背景 的概率可以 用式子 3 1 9 来表示 刀 p x n 1 缈h x y i 3 1 9 f l 其中腚义了核函数的带宽 是一个叙d 的对称正定阵 并且具有式子 3 2 0 的特性 嘶 例 也妒 r 7 绚 3 2 0 在式子 3 2 0 中妒是函数核 具有价变量的 并且满足f 9 x d x 1 妒 x 妒 一x 卜妒 x d x 0 f x x r 妒 x d x i d 本文在函数核上选择高斯分布 如图3 4 所示 有 妒 阱抛 2 9 d 2 e x p 一i 1x r l c l x 3 2 1 蕈 慨 e 舟 河 图3 4 高斯密度函数核 在背景估计中 一般随样本容量 的增大 带宽臁征随机噪声所引起的图像灰度 的局部变化会下降 h 叹得太小 随机性的影响增加 脓得太大 则会使结果过于平 滑使得某些重要的特征被掩盖 所以需要寻找一个合适的删乏达到两者平衡 本文利用 相邻两帧灰度样本绝