（电子科学与技术专业论文）基于动态纹理的森林烟雾检测技术研究与实现.pdf

摘要 森林火灾的发生，对自然环境危害巨大，并会造成严重的经济损失，因此做好森林 防火工作是保护森林资源的重要措施。对森林火灭的监控，从传统的感温、感烟技术， 发展到视频监控技术，提高了火灾警报的实时性、准确性。森林火灾烟雾是森林火灾 的早期现象，检测森林火灾烟雾在森林防火系统中具有重要的意义。本文在研究光流 法、水平集算法的基础上，实现了基于光流法和水平集的动态纹理的检测方法，并针 对该算法作进步改进、应用于检测森林火灾烟雾。改进算法主要分两个步骤：首先利 用烟雾运动的信息，应用光流方法对烟雾运动矢量进行检测，然后采用水平集算法得 到烟雾的边界。 关键词：烟雾动态纹理，光流法，水平集 a b s t r a c t f o r e s tf i r ei sd a n g e r o u st ot h en a t u r a le n xr i r o n m e n ta n dc a h s es e r i o u se c o n o m i cl o s s e s s o f o r e s tf i r ep r e - e n t h 3 ni st h ei m p o r t a n tm t eo fp r o m c tf o r e s tr e s o u r c e sf r o mt r a d i t i o n a l f e e l i n gt e m p e r a t u r ea n df e e l i n gs m o k et ov i d e om o n i t o r t h ef i r ea l a r mi sb e c a m em o r e a c c u r a c ya n dr e a m i m ef o r e s tf i r es m o k ei st h ee a r l yp h e n o m e n o ni nf o r e s tf i r e a n di ti s i m p o n a n lf o rd e t e c t i n gf o r e s tf i r es m o k ei nf i r ep r e v e n t i o ns y s t e mb a s e do no p t i c a lf l o w a n dl e xe ls e tm e t h o dt h i sp a p e ri m p l e m e n t st h ed e t e c t i o no f d y n a m i ct e x t u r ea n da c c o r d i n g t ot h i sa l g o r i t h mm a k ea r li m p r o v e m e n tt h e ni t w a su s e dt od e t e c tt h ef o r e s tf i r es m o k e t h e ea r ct w os t e p s f i r s t u s i n gs m o k em o v e m e n ti n f o r m a t i o na n da p p l y i n go p t i c a lf l o w m e t h o dt od e t e c lt h em o t i o nv e c t o r so fs m o k es e c o n du s i n gt h el e v e ls e tm e t h o di og e tt h e e d g e so fs m o k e k e 3v , o r d ：s m o k e ，d 3 n a m i ct e x t u r e o p t i c a ln o w 1 e 、e ls e t 日录 摘要 a b s t r a c t 目录 第一章绪论 i 11 引言 1 12 国内外研究现状 2 13本文主要研究内容4 第二章动态纹理6 21 动态纹理概述6 22 动态纹理的应用 7 23 动忿纹理的特征描述 8 24 烟雾特征及检测方法 1 0 25本章小结ll 第三章基于光流法和水平集的烟雾检测方法 1 2 31 运动榆测 1 2 32 光流算法 1 2 33 水平集方法 “1 7 34 烟雾检测的算法 2 4 35 本章小鲒 2 6 第四章森林火灾烟雾检测改进算法 2 7 4l 不需耍仞始他的水平集方法 2 7 42 宴验结果 2 9 43 奉章小结 3 1 第五章总结与展望 3 2 5 1 研究内容总结 3 2 52 展望 3 2 致谢 3 4 参考文献 3 5 一一 引言 第一章绪论 森林资源是生态系统的重要组成部分，对我们的环境和气侯有着重要的影响。森 林火灾是失去人为控制的火势在林地内自由蔓延和扩展，不仅烧毁大量林木，减少了 森林资源，给生态环境造成严重危害，给国家带来巨大经济损失，对人类生命安全也 是一种威陆。森林火灭的突发性强、破坏力大、影响面积大、处置救助较为困难，并 且火灭过后森林生态系统难以恢复如高强度、大面积的森林火灾，不仅会减少森林 资源、污染环境、坯会给周边生活的人们生活带来一定的影响。而且扑救森林火灭需 要耗费大量的人力、财力、物力，还扰乱所在地区经济、社会发展和人民生产、生活 秩序，直接影响社会稳定。 据统计，目前世界每年发生火灾约2 2 万次以上，大洋洲的森林火灾最严重，其次 是北美洲。美国，加拿大和俄罗斯等国家森林覆盖率较高，同时森林火灾的发生也 很多。2 0 0 7 年，希腊和美国发生了两次破坏性的森林火灾，破坏了生态环境，数万人 的生活受到影响，被迫转移，还有多人伤亡给社会安定带来了很大影响，且经济损 失巨大。在我国森林资源缺乏森林覆盖率为i8 2 1 ，仅相当于世界平均水平的 6 15 2 。近年来沙尘暴频发，荒漠化有不断加剧的趋势，这与森林不断遭到破坏有着 密切联系。踩人为乱砍乱伐外我国每年因为火灾造成的森林资源损失也十分巨大， 因此。森林火灾的预防和控制问题变的刻不容缓。 目前世界各国郡把森林火灾作为重大自然灾害加以预防和控制。控制森林火灭有 效的措施就是早期预警。最初的火灾预警是靠人工在观察站上进行全天侯的观察，这 种监测方法即- 准确也不及时。传统的感温、感烟、光电等传感探测器具有很大的局 限性，应用在大空间内和环境较差的情况下，报难或无法进行有效的火灾检测。在一 些森林覆盖范围较大的国家，通常采用卫星检测、飞机巡查等方式监测森林情况但 这种方法成本很大。 随着计算机技术的技屣，数字图像处理技术得到了广泛的应用。数字图像处理技 术已经在卫星遥感，气象、交通等领域应用并有较好的成绩。将数字图像处理技术应 用于森林火灾是视频监测是近年研究人员关注较多的课题。视频监测系统具有响应 速度快、非接触性等优点。通过视频监控森林，对火灾进行实时、准确的监测，定位 森林火灾，并及时报警还可以通过视频指挥扑教工作使监控技术变得智能化，为 降低森林火灾带来的损失提供了保证。 火灾的形成和发展有着一定的特点和规律，按照时可顺序，其主要阶段为：烟雾 的产生和扩大以及火焰的产生和扩大：森林火灾早期火焰很小，所以检测比较困难 然而烟雾由于扩散比较容易观察，所以烟雾检测在火灾前期预警是非常重要的。 火灾的早期预警，就是对烟雾进行检测，及时报警为避免火灾或减少火灾的损失起 到不可估量的作用。所以，视频监控森林火灾的技术关键就是对森林火灭烟雾的检测。 烟雾是一种动态纹理，我们把描述动态景观的具有时间相关重复特征的图像序列 定义为动态纹理，如流动的水，燃烧的火，起伏的海浪等，可以利用动态纹理的特征 分割出不同运动状态的目标，达到更进一步的目的。它在视频检测模拟仿真中具有 很高的应用价值。动态纹理分割技术，如对运动场景的分割可以找出研：同运动形式的 运动目标或区分前景和背景。因此，分析动态纹理序列对森林防火、交通管理、航天 航空这些领域有着广泛的应用前景。 对视频中的烟雾进行检测，即对视频中的动态纹理进行检测。可以直接根据动态 纹理的动态特征，而不用考虑其他特征。在视频中，为了找出某些运动的物体，对它 们进行识别首要要提取它们的信息，这些信息可以是它们独有的信息，以及它们的 运动信息，再根据这些不同的信息分割出图像序列中的物体。运动是一个有用的线索， 即可以单独使用，也可阻用来加强其他线索：运动的检测离不开运动信息的提取，可 以通过两种方式进行：一是先检测运动，得到运动信息，并且依靠其结果进行分割。 在运动矢量场的基础上进行分割，可以保证分割的边界是运动矢量差异较大的位置， 对不同的颜色或纹理，只要它们运动矢量相近，仍会被划分为同一个区域，这样就碱 小了过度分割的可能性，结果比较符合人们对运动的理解。二是，运动和分割是同时 计算的。对于同时求得运动矢量计算和进行区域分割的方法一般需要较大的计算量。 运动的检测和分割在计算机视觉、视频分析、视频监控、视频编码、电视电话会 议、视频多媒体检索等多个应用领域中有非常重要的应用，分割的准确性直接影响到 后续工作的精准性、有效性，在实际运用中具有十分重要的意义。但是运动分割一直 是计算机视觉领域中晟困难的问题之一，至今都还未有一种通用的分割算法在未来 的几年里，运动分割算法仍是研究的热点问腰。 12 国内外研究现状 121 森林火灾检测的现状 随着科学技术的发展世界许多国家告别了以为传统的地面巡护、嘹望台和空中 巡护等林火检测的方法。在国外关于森林火灾探测报警技术的研究已有百余年的历史 并在这一领域做了很多工作。早期的森林火灾检测的方法主要是应用温度传感器和烟 雾传感器两种方案。由这两种传感器检测火灾产生的主要特征属性：火场的温度和扩 散的烟雾，并通过简单的技术处理来判断火灾发生与否。由于烟雾的扩散在火灾发生 初期是主要的特征，所以传统的火灾检测系统采用较多是烟雾传感器同时辅以温度传 感器。这种火灾检测系统原理相对简单而实施起来也比较容易，使传统的火灾检测系 统得到广泛的推广。但是传统的火灾检测系统也存在诸多问题：烟雾和火焰在空间传 递到传感器有时司延迟不易实现火灾的及时报警：烟雾及温度传感需直接安装在监 控现场，环境条件对传感器的影响较大。检测器材在性能上的局限性，使检测系统存 在报警信息精度差、啊应时间长等缺陷，扶而使系统工作不稳定，造成火灾报警的漏 报和误报。于是人们去研发更可靠的高科技的火灾报警系统，如红外线监测林火、雷 达监测林火、激光监测林火、视频监测林火、以及卫星遥感等。德国使用了森林火灾 自动预警系统( f i r ew a t c hs y s t e m ) ，是一种数码摄像技术的森林火灾监测系统。俄罗斯 专家研制成了一种自动监视森林火灾的电视系统，已经投入使用有较好的监测效果， 还有利用激光开发出森林火险自动报警系统。日本通过卫星观测对森林进行监控，通 过卫星观察数据可以得到整个东亚地区的森林火灾情况。澳大利亚的c s i r o 研究所 开发出一款图像分析软件，通过立体图像分析找到火灭的发生点，主要是针对由高压 电力传输线引起的火灭；我国则通过风云气象的影像对森林热点、火灾进行分析。束 卫国等人提出了基于b t 神经网络的新型的火灾探测方法。上海交通大学等国内院校在 火灾探删方面主要应用红外摄像机，但是其系统的探测算法受干扰较大。 由于火灾发生初期通常是产生大量的烟雾因此对烟雾的检测尤为重要。美国拟 用f i r em a p p e r 多光谱辐射计通过烟雾记录林火的长波红外光谱，它质量轻，通过飞机 运载在高空对火灾进行榆测。葡萄牙科学家用激光雷达系统对火灾的烟雾进行探测， 准确率高但是造价也很高。英国一家公司针对大空间防火开发出一种成本较低的烟 雾探测系统。c h e n l 2 i 等人采用傅立叶红外光谱气体分析和人工神经网络方法探测火灾 燃烧物中各种气体的浓度。赵建华、袁宏永等人对火灾烟雾粒子进行了深入的研究。 还有人封火灾和非火灾气溶胶的光学特性进行了研究并识别。 目前，在火灭报警系统中很多都采用了视频监控，为了进一步提高视频监控系统 的性能，人们将视频智能识别等高科技引入火灾报警系统中，克服原有监控系统的不 足，可以更及时的发现火情。采用视频检测的森林火灾预警系统，依据视频自动识别 软件对前端信息进行智能辨识。对烟雾图像的检测是森林火灾识别预警系统中实现火 灾探测的关键，烟雾图像的检测是采用数字图像处理对视频图像序列进行分析处理h l 。 在森林背景下，提取烟火目标有效的特征，根据火险烟雾的行为特征，如颜色分布、 形状、轮廓、纹理等与烟雾图像在光谱特征、空间几何特征上的差异，从而判断林 区图像上是否有疑似火点。日本n o b u y u k i 提出了用图像的分形编码检测烟雾，姜东海 等人”姐过k 均值聚类方法的分形编码技术进行烟雾图像分割，孙丽华等给出了基于 烟气颗粒团聚火灾图像探测的新判据，文献”惺出了多参数特征的火灾图像探测方法， 文献| 6 i 通过烟雾的湍流效应给出火灭判断的依据。 1 22 动态纹理研究现状 对动态纹理的研宄是近几年新兴的课题，之前，人们对静态纹理的研究比较多。 目前，对于动态纹理的描述和识别，用的较多的是光流算法。这种算法可以很好的描 述动态纹理的动态特征，对动态纹理的描述是定量的，使对动态纹理的分析变的简单。 f a z e k a s 和c h e t v e r i k o v 总结出，正则性( r e g u l a t e d ) 全局流与普通流( n o r m a l f l o w ) 相 比，普通流可以同时包含动态特性和形状( s h a p e ) 特性口】。r e n a u dp e t e f i 等人用法向 流的散度、旋度、峰值、方向以及定义的最大周期值函数的均值和方差六个特征作为 特征向量，用来描述动态纹理吼 用时空域里的几何属性来描述动态纹理，对动态纹理的轮廓进行跟踪，这种方法 可以得到动态纹理在时域和空域上的特征。还有基于统计学的方法，通过视频序列运 动的区域在时间上的分布来描述动态纹理的运动特征。基于局部时空域滤波的方法是 由w i l d e s 和b e r g e n 中提出的。但是此方法有明显缺陷，没有得到更多的推广及应用。 时空小波的方法通过把动态纹理分解到局部以及全局来描述动态纹理。 利用系统识别的思想对动态纹理进行建模可以用来对动态纹理进行识别和合成。 l u p l 等人提出了根据不同时空分辨率图像序列的速度与加速度的直方图建立的一种非 线性模型。z h a o 等人提出了v l b p ( v o l u m n l o c a l b i n a r y p a u c m v l b p ) 模式的识别 算法有很好的效果。f u j i t a 等人将状态变量的脉冲响应用在线性动态系统l d s ( l i n e a r d y n a m i cs y s t e m j 中识别动态纹理。还有用隐马尔科夫模型h m m ( h i d d e nm a r k o v m o d e l s ) 识别运动目标，检测动态纹理。s y z m m e 和p i e a r d 提出了时空自回归模型s t a r ( s p a t i o t e m p o r a la u t o r e g r e s s i v e ) 描述时间纹理b a r o j s p e h 了提出时变纹理，是一种 基于二维纹理结构分析的纹理信号模型。s h e o o l a 利用离散转移矩阵对动态纹理进行 建模。2 0 0 1 年s o c a t t o 等人给出动态纹理的数学定义提出可以使用a r m a ( a u l o a g g r e s s i v em o x i “ga v e r g a e ) 模型一一时间序列的分析方法来描述动态纹理序刊，即认 为动态纹理服从高斯一马尔科夫随机场，并利用m a t l a b 工具很好地合成简单的动态纹理 序列。c h e b i nl i u 等人从子空间混台建模的方法的角度为动态纹理建模。国内在动态 纹理合成方面，有提出的分层统计模型，状态空间模型等。对动态纹理建模的这种方 法都取得了良好好的效果划。 3 本文主要研究内容 对视频中的森林火灾烟雾进行检测，根据火灾烟雾的动态纹理特性，提出用动态 纹理分割的方法来检测烟雾。本文的安排如下： 第一章介绍森林火灾烟雾检测的背景及意义，提出了烟雾属于动态纹理，可以通 过动态纹理的特征来检测。对森林火灾检测的现状和动态纹理的研究现状进行了论述。 第二章介绍动态纹理的概念、应用、特征描述以及烟雾的动态特征，提出了烟 雾的检测方法。 第三章森林火灾烟雾检测的方法，采用光流法和水平集方法，并对两种基本方法 做了详细的介绍。光流法的介绍包括光流法的基本原理，孔径问题和h o m s c h u n c k 光 流算法。水平集方法的介绍包括曲线演化理论、水平集、m u m f o r d s h a h 模型、c h a r t v e s e 模型和数值计算。最后给出r 检测分割的算法，实现了对烟雾的检测。 第四章对原有的算法进行改进，主要是在水平集方法上进行改进，使分割算法更 为准确并给出了实验结果。 第五章对所研究的课题进行总结并对本课题研究做出展望。 21 动态纹理概述 第二章动态纹理 视觉模式如火- 烟雾，流动的水，或者被风吹动的叶子在自然场景中普遍存在。 这些是所谓的动态纹理，是指描述某种动态景观的随时间变化在空间上具有重复性 和时间上具有稳定| 生的图像序列。相对于静态纹理只是一个图像来说动态纹理更容 易被人跟观察到，但是不容易被计算机视觉的方法识别。动态纹理不单是一幅幅连续 的静态纹理，而是在时间上具有相关| 生。动态纹理在自然场景中很常见例如海浪， 飘动的旗帜- 树叶等。假设i ( t ) ，t - - im 是一个图像序列，在时刻t ，y ( 1 ) = i f t ) + 1 1 ( t ) 。 y ( t ) 为t 时刻对图像的观察n ( t ) 为t 时刻图像的噪声。这是d o r e t t o 等人对动态纹理 图像的定义。在很多情况f ，只有部分场景构成动态纹理。另外，它们空间的延伸可 以保持，可能部分是透明的，这个给从一个动态背景中( 如杂乱的，具有纹理性的， 运动的) 分离它们带来困难。 早在p o l a n a j 的博士论文中就提出动态纹理概念的雏形他定义了三类运动： ( 1 ) 时间纹理( t e m p o r a lt e x t u r e ) 这种运动模式没有确切的时间空间范围如：漂 浮的云、流动的水、行走的人等运动就是时间纹理的样本；( 2 ) 具有时曰空间的周期 性和紧致结构的运动模式( a c t i v i t i e s ) 。如：往夏运动的汽缸、旋转的叶轮、跑步的人 等：( 3 ) 运动事件( m o t i o ne v e n t s ) 是指那些不表现出任何时间或空间上的孤立的简 单重复运动。如：抛掷物体、发动汽车、关窗等。 对于人类来说上述的几种运动方式通过肉眼很容易分辨的可是机器视觉要想分辨 这三类运动就有很多问题需要解决。随着视频处理技术的发展，使人们可以对视频序 列中的运动元素进行分析处理，可以识别运动目标和对运动作估算并由结果产生相 应的反应动作，可以由机器代替人去完成某些重要或危险的任务。另外动态纹理可 以应用在重建模拟一些场景中，例如在多媒体数据传输中，因为信息量很大，需要 压缩后传输，若传输中出现差错，因为几个像素的损坏而导致整幅图像重传，这对网 络资源是极大的浪费。如果可以根据已有的图像序列重建出原视频，甚至只需要关键 的几帧便可以重构，这是一个很好的办法。在电影和电脑游戏中，仅用静态纹理贴图 的方式往往不能满足要求可以用动态纹理模拟出真实场景像烟雾，火花，水等。 瞳麓豳淫 隧麓慝蹿薹 滋瀣豳簟 醯鎏蕊蓬 22 动态纹理的应用 图21d y n t e x 数据库 动态纹理的应用领域主要包括动态纹理分割( s e g m e n t a t i o n ) ，动态纹理识别 ( r e c o e n i t i o n ) 以及动态纹理合成( s y n t h e s i s ) 。 动态纹理分割是指找出视频中我们感兴趣的动态纹理。但并不是整个视频都是动 态纹理，动态纹理可能占很大的部分，也可能只是其中的一小部分，我们要做的分割 是把动态纹理与其他物体分开；动态纹理分割在目标检测、跟踪中有很大的作用。 动态纹理识别t 就是找出不同类型的动态纹理。我们能够识别出烟雾和流水，还 能分辨出吹过树叶的微风和树林中强烈的风，还可以识别出烟雾中的混乱气体。动态 纹理识别是进行动态纹理分析的首要步骤，也是一个具有挑战性的课题。动态纹理识 别。可以用在安防监控系统中，找出是否有潜在危险的目标。还可以通过动态纹理的 周期性分辨出视频中的运动是人为的周期性活动还是自然的过程。可以通过建模的方 法对图像序列中的动态纹理进行识别。可以通过动态纹理识别，将动态纹理进行分类。 动态纹理台成是指用计算机合成一些场景效果( 如燃放的烟花，下雨等) 、景观( 如 流水，树叶等) ，主要应用于影视制作、合成游戏场景等。 动态纹理还可以用于其他一些工作，例如，自动化注释，复杂背景模型和视频检 索。动态纹理模型在计算机视觉和制图方面有如下几个应用：例如，动画制作产生真 实视频纹理，在不同背景下的前景分割运动层分离等等。许多动态纹理的例子来源 于d y n t e x “数据库。分析动态纹理在一个很复杂的视频加工任务和场景中是很重要的， 应用范围从运动检测和识别到对多媒体检索的内容。 到目前为止，动态纹理研究包括记录像海浪、火和烟雾，被风吹动的树叶等物理 过程，像一队行走的人，一群飞鸟或者高速公路上的车的运动。所有这些展示的是不 能确定时空规则性的空间和时间扩展。动态纹理分析可以是一个建立于运动检测和识 别的系统。 23 动态纹理的特征描述 2 3 1 周期性特征 我们所研究的动态纹理，是时间纹理( t e m p o r a lt e x t u r e ) 在时间上具有周期性， 所以我们从周期性给出动态纹理的特征。把动态纹理序列看成是一个周期信号首先对 它进行中值滤波去除噪声。 定义视频中第k 帧的信号为z ( 七) ，设周期为1 7 数据矩阵a ，的列是连续的信号， 且间隔长度为r l ，秩为r ， x ( ox ( 2 )x ( ，) x ( + 1 ) x ( n + 2 ) x ( 2 n ) x ( ( ”? 一1 ) n + 1 ) x ( m n ) 对矩阵a ，进行s v d ( s i n g u l a r v a l u e d e c o m p o s i t i o n ，s v d ) 奇异值分解，矩阵的 奇异值分解变换是一种正交变换。它的奇异值分解可以表示为a = u s v 。，其中 u ，s ，v r u v 为正交矩阵，u = 1 l ly “2 h u r 。 v = v 1 ，v 2 ，k r 。u ，v 的列向量是分别是矩阵aa7 和爿j 4 的特征向量 s = u 7 a 。v = d i a g ( ) h ， ，丸) 为对角矩阵，由矩阵a 唯一确定满足： 丑 二也2 z ，z h = = 。= 0 。 矩阵两个最大的特征僵为 恐， 如0 ， 对于具有严格周期的 x ( t ) 当周期长度为n 时x ( 女) = x ( k4 - n ) 则a 。为秩 s 为1 的矩阵且矩阵行的长度月= n 。这样只有s 是非0 的，s 2 = = s = 0 s ，s ：= c c 。向量_ 表现了标准信号的周期信息向量u ，s ，的连续元素代表振幅且 值都相同。 如果扛( 女) 是不完全的周期函数，有固定的周期但是x ( k ) x ( k + n ) 那么 有下面两种可能： ( 1 ) 对于 x ( 女) ) 有相同的重复模式，但是对于不同的周期振幅不同。r ( a ) = l ， s s 二= 。c ：_ 描述周期的信息，但是u 。s ，根据矩阵a 。的行的变化而改变。 ( 2 ) 扛( 女) 有近似的重复模式。矩阵a 。此时是满秩的，但是比其他特征值要大很 多，例如，s t 是 1 。 对于任意m x n 的矩阵a 。，它的最大的奇异值可以描述 x ( 女) ) 最强的周期性的 部分( 周期长度为 ) 。根据文献”1 中提出，用s 。s ：来描述周期的性质，周期在 h = n ，2 n ，3 n ( n 是实际周期长度) 时的振幅为峰值，在峰值中最大的那个就很有 可能是周期长度值。评价周期性质的式子为： 跗) = 1 一鲁25 p 5 去 21 ) m ” 对于可能存在的不稳定性用至少含有4 个周期长度的窗口对信号进行平滑滤波，计 算出每帧的p ( 女) 。所有窗口的平均周期性p ，则相关函数为： 屯= 掣 眩z ) 圈嘲 a ) 原始信号( b ) 处理过的信号 t c ) 圊期性 图2 2 对低周期动态纹理信号进行处理 豳衄 ( a ) 原始信号( b ) 处理过的信号( c ) 周期性 图2 3 对高周期动态信号进行的处理 用s v d 对信号进行分解，因为s v d 可以应用与任何重复模式可以处理任何任 意数值范围以及保证秩估计的鲁棒性。矩阵的奇异值分解稳定性好，即使当图像中 有小的干扰时奇异值也不会变化很大。 通过对动态纹理周期特性的描述，我们可以很容易的通过周期性来区分动态纹理和 其他运动模式。 2 32 动态特征 动态纹理，顾名思义，具有动态的特征。对一幅静态纹理图像连续拍摄一段时间的 视频不能称之为动态纹理，动态纹理在空间上具有重复性，时间上具有相关性，并且 视频中可能只有一部分是动态纹理，其他部分不是。动态纹理的动态特征可以通过光 流场来描述。光流场不仅可以求得稠密( 即图像中每一个像素) 处所对应物体的运动 信息而且还携带了有关景物三维结构的丰富信息，即使在不知道场景任何信息的情 况下，仍然可以检测出运动对象。大多数的动态纹理分析都是采用法向流的方法。此 前，光流法已有比较成熟的先例、同时由于计算机技术的高速发展使光流法处理视频 序列具有简便性和快速性。对于动态纹理来说光流法是一种很自然的描述局部动态特 性的手段。使用光流算法能有效简化动态纹理的分析，并且在必要的时候可以将图像 其他特征加入到运动特征中，组成完整的、用于运动和图像的识别的特征集。f a z e k a s 和c h e t v e r i k o v 比较了普通流体特征和规律性( r e g u l a t e d ) 全局流特征对动态纹理识别 的影响，总结出：普通流不但包含动态特性而且包含形状( s h a p e ) 特性，而且计算普通 流是简单快速的。光流场的知识将在下一章中详细介绍。 24 烟雾特征及检测方法 烟雾静杏特征主要是颜色特征，在火灾中烟雾一般为白色和灰色。火灾初期的 表现为产生大量的烟雾，烟雾是微小颗粒的集合，由这些颗粒组成的气体成分不同， 分布也不同。烟雾具有一定的温度有其自身的光学特征，如光谱特征，散射特性。 有多种运动形态的变化，以及闪烁、扩散和漂移等，热湍流特性包括了以上所描述的 特征1 。 烟雾的纹理特征不具有用于普通纹理描述的纹理方向性和灰度一致性等特征，而 可以用纹理的能量特征、对比度和均匀性来描述。 烟雾本身具有动态特征主要表现为烟雾形状具有扩散性和不规则性，并随时间 而变化，没有确定的时空范围。对于在视频图像序列中的烟雾，因时间间隔很小，相 邻帧图像间的具有相似性，在视觉上表现为重复性，烟雾有其特定的变化频率，灰度 变化频率也较慢。 以上对烟雾特征的描述，我们知道图像序列中的烟雾在空间上具有重复性，时间 上具有稳定性，充分说明了烟雾属于动态纹理，则可以通过用对动态纹理检n f t j 方法 来对烟雾进行检测。对运动进行分析，可以准确的榆测到动态纹理我们用光流方法 得到运动信息，然后将得到的运动信息加入到水平集方法中实现视频中烟雾的分割。 25 本章小结 在这一章中我们论述了动态纹理的基本概念，应用及发展现状，对动态纹理有 一个全面的介绍，并描述了动态纹理的周期性特征、动态特征。烟雾的静态特征、动 态特征、纹理特征总结出烟雾属于动态纹理，可以用基于对动态纹理的检测方法来 检测烟雾。 第三章基于光流法和水平集的烟雾检测方法 31 运动检测 运动视觉研究的内容是从复杂的场景中提取出物体的形状、位置和运动的信息， 在计算机视觉领域中备受关注。运动检测是运动视觉系统的最底层在视频中检测运 动目标并提取出来，是运动视觉分析中最基本的方法是各种后续处理的基础，如分 割、跟踪目标。 运动检测常用的方法有帧差法、背景估计方法、基于运动场的估计方法。 1 ) 帧差法 帧差法是最常用的运动检测方法之一其思想是利用视频序列相邻帧之间的差分 进行变化检测t 确定运动目标。这种方法受光线变化的影啊小，速度快，实时性好， 但是对噪声敏感。 2 ) 背景估计方法 背景估计方法是解决静止和缓慢变化的背景下运动目标的检测，通过背景建模， 利用相邻帧估计图像中不变的背景进而提取运动目标。这种方法在复杂背景情况下 较好t 但是初始运动目标检测较差，受光线影响较大。 3 ) 基于运动场估计的方法 运动场估计的方法是通过图像序列的时空相关性估计运动场，建立相邻帧之间的 对应关系，利用运动目标与背景不同的运动模式进行分割。基于运动场估计的方法有 光流法( o p t i c a if l o w 1h o d ) 、块匹配法( b l o c km a tc hh l g o r i t h y ) 以及基于贝叶 斯最大后验概率( m a x i m u map o s t e r i o rp r o b a m l l t y ) 的统计方法。运动场估计方法 处理背景运动的情况比差分法要好。 对于我们要检测的动态纹理，在很多情况下，只有部分场景构成动态纹理。另外， 它们可以保持空间的延伸，并且部分可能是透明的，这给从一个动态背景中分离它们 带来困难。动态的转换不变量和计算效率的表述一直是一个问题需要有更好的解决 办法来解决。一个较成功的尝试是用计算测量流体流动的方法，如光流方法。光流万 法是一个有效的计算和找出动态纹理特征的一个方法。 32 光流算法 光流概念起源于人们对视觉系统的研究它是g i b s o n 于1 9 5 0 年首先提出来的。 所谓的光流就是指图像中灰度运动的速度。光流场计算最初在1 9 8 1 年，由h o r l l 和 s c h u n c k 提出，在间隔时间很小( r l 十微秒的相邻图像之间，图像中的灰度变化也很 小的前提下他们给出了运动分析的基本等式，将二维运动与图像灰度联系了起来， b a r r o n 在1 9 9 4 - 年将光流算法分为四类：1 1 ) 基于梯度( 微分) 的方法( 2 ) 基于匹配 的方法1 3 j 基于能量的方法( 4 ) 基于相位的方法。随后又出现了基于小波多尺度等 光流算法。光流可以为3 d 速度场估计、物体运动分析、图像分割以及恢复重建提供重 要的信息。目前，研究动态纹理的比较流行的方法是基于光流的计算。 当物体在运动时，或者摄像机在移动时，在空间上的变化是连续的因此观察者 在视觉上产生的是一系列的连续变化的图像，是一组光的“流动”的信息称之为光 流( o p t i c a lf l o w ) 。光流表现了图像的变化，利用图像睁列中像素在时间上的变化来描 述“运动”，这里运动是在图像平面上像素的速度矢量的变化。 光流场可以理解为图像亮度模式的表观运动，由光流矢量构成的运动场，光流矢 量即图像平面上像素灰度的瞬时变化率。光流场是连续的，通常假设相邻图像间的间 隔很小( 几十毫秒) ，可以直接针对图像进行研究。 把3 d 空间中的运动通过光流的方式投影郅2 d 图像平面上也是运动的，就在图像 平面上形成了光流场。如图3 】所示真实三维空间的运动在二维平面上的投影，c 是 观测点。在空间中，运动可以由运动场来描述，光流场则是空间的运动在图像上的表 现光流场可以看成是一种真实近似的运动场，但两者也不完全相同，如图32 所示 在光流为零时，运动场不为零，而当光源发生运动时，光流不为零，运动场为零。 毖、 c 圈31 真实三维空间的运动在二维平面上的投影 i 刳3 2 运动场和光流场 可以采用光流法来检测运动物体其基本原理是：根据三维空间上的运动场在二 维空间上的投影点一一对应的关系，每个像素点也都是运动的。便形成了图像的运动 场。可以通过图像像素点的运动变化对图像中的运动变化进行分析。如果图像中目 标和背景像素点的变化是不一致则发生了运动情况，就可以检测出运动的区域。如 果图像中像素点的变化是一致的、连续的，则没有运动的情况。光流法的优点是它不 仅可以求得稠密( 即图像中每一个像素) 处所对应物体的运动信息而且还携带了有关景 物三维结构的丰富信息t 即使在不知道场景任何信息的情况下仍然可以检测出运动 的对象。 32l 光流场计算 设在，时刻，像素点( x ，y ) 处的灰度值为( x ，儿r ) ，在f + r 时刻，该点运动到 新的位置它在图像上的位置变为扛+ 缸y + 缈) ，灰度值变为 i ( x + a x ，y + 母，t + ，) 。 根据图像亮度一致性假设即图像沿着运动轨迹的亮度保持不变，满足 d l _ ( x , y ) ：0 ，则 t i t l ( x ，y ，) = l ( x + 血y + ，r + a t ) ( 31 ) 设u 和v 分别为该点的光流矢量沿x 和y 方向的两个分量。且“= 老，v = 害 将式( 3 1 ) 用t a y l o r 级数展开，得到 ，o + 出，y + 衄，+ ，) ：，( x ， ，) + 学出+ _ o 妙+ o a t + s ( 32 ) o x们，o t 5 是a x t 如a z 的二阶和二阶以上的项，忽略二阶以上的高次项，则有 姜缸+ 熹每+ 学o t 出= o c 。， o y椰 由于a t - 0 ，于是有 尝等+ 考等+ 尝a ，= 。 c ， 瓠d f 却d fe f “ ，“+ t v + = 0( 3 j 这就是光流基本等式。 和分别为参考像素点的灰度值在x y ，t 这三个方向的偏导数，式( 35 ) 可以写成矢量形式，如下所示 v u + f = 0( 3 6 ) 其中，w = ( l ) 表示梯度方向，u = ( 玑v ) 7 表示光流。由于光流u = ( 虬1 ，) 7 有 两个未知数而光流的基本等式只有一个方程所以，对于u v 的解不是唯一的，只 能求出，而不能同时求出uv 只用一个点上的信息是不能确定光流的。这是 从光流基本等式求解光流场的一个病态问题，必须附加另外的约束条件才可以求解。 对于光流场估计方法，都是在亮度不变的假设上进行的，即前一帧内每一点的亮 度在下一帧中保持不变。比较经典的光流算法有：h o r n s c h u n c k 光流算法，在整个图 像上加上平滑约束来求解光流，这个方法是基于全局的：l u c a sk a n a d e 光流算法，假 设在一个小的空间邻域上运动矢量保持噎定然后使用加权最小二乘法估计光流而 这个方法只是基于局部的：n a g e 使用二阶导数来估计光流。 32 2 孔径问题 孔径问题的产生是由于无法在序列图像中确定前后边缘的对应点，或者说不能区 分同一条边缘上的不同点只通过一个小孔“看”，不受成像形式的约束，不能区别不 同的运动方向。从这个角度看，可咀将孔径问题看作更一般的问题，即对应问题的一 个特例。孔径问题对人的视觉感知和机器视觉算法都有影响。 圉3 3 孔径问题 图3 3 ( a ) 给出由于运动从第一幅图像中位置( 实线) 移向第二幅图像中位置( 虚 线) 的一个边缘。此处模版是圆的，所以只需( 也只能) 考虑边缘在圆内的部分。用 移动矢量来描述边缘的运动。在图3 3 ( a ) 中，运动可以有多种，移动矢量从( a ) 图 中实线上的点移动到虚线上的点但是无法确定其运动方向是垂直于边缘还是平行于 边缘的，就会产生孔径问题。在图33 ( b ) 中，则可以确定点的移动矢量，其他点的 移动矢量也可以根据平行关系来确定。 3 23h or n s c h u n c k 算法 h o t n s c h u n c k 的光流计算方法，利用时变图像灰度的时空微分( 即时空梯度函数) 来计算像素的速度矢量。由于孔径问题，该方法在光流基本约束方程的基础上附加了 全局平滑性约束，从而计算出光流场。所谓平滑就是在给定的邻域内v 2 “+ v 2 v 应 尽可能地小，这就是求条件极值时的约束条件。对u v 的附件条件如下。 m j n 妻 二+ 多 ! + 妻 2 + 考 2 c 。- ， 式中，v ! ”= 謇 2 + 考 ：是“的拉普拉斯算子v ： 塞 2 + 毒 二是v 的拉 普拉斯算子。综合式( 3 5 ) 和式( 37 ) ，h o m - - s c h u n c k 算法将光流“，v 的计算归结 为如下的变分问题。 m t n c t “+ - v + t ，3 + a 罢 2 + 考 2 + 宝 二+ 考 2 c 。s ， 这里口是平滑参数t 口越大平精度就越高，估计的精度也越高，且吣，“l ，u 和 k 是光流的微分。 可以得到相应的欧拉一拉格朗日7 5 - * i ，并利用高斯一赛德尔方法进行求解，得到 图像上每个位置第一位置第( + 1 ) 次选代估计( ”肿1 ，v 肿1 ) 为 “”= 。，”一，”+ - v “+ ) ( d 二+ 。+ ，。) v ”= ”，【( “”+ ，、v ”+ ，) ( 口二+ ，、一+ ，。) 9 一， ( 3 光流场计算结果如下图所示： lcj 图34 光流场 圈34 ( a ) 和( b ) 是视频中连续两帧，图34 ( c ) 为由图( a ) 和( b ) 得出的光流场 33 水平集方法 3 31 曲线演化理论 维曲线为c 【o 1 斗婀二，c ( p ) = ( ( p ) “p ) ) p 为任意的参数化变量，其 切线向量为t ( p ) = c ( p ) = ( x ( p ) ，y ( p ) ) 则法线向量丙为 n ( p ) 曲线的曲率x ( p ) 为 f一一( p 1一r t f p l1 2 j i 2 = = 女= = 一f 2 = = = = = 一l l ( p ) ：+ j1 【p ) ：x 1 ( p ) ! + y ( p ) ：j ( 31 0 ) 帅) ：粤訾生娑掣 f z y p ) 二+ 1 ，。( p ) ：1 法向量面和曲线的曲率r 是描述曲线几何特征的重要参数。其中法向量面描述的 是曲线运动的方向t 曲率r 描述的是曲线的弯曲程度，曲线演化问题是曲线以速度v 沿 其法向线方向耳运动，通过对面和r 控制曲线的变化，直到演化到图像的边缘停止。 ，是时间，则曲线演化可以用下面的偏微分方程表示： _ o c ：y ( ) 丙 d ， 矿( ) 是曲线上每个点演化的速度函数 ( 31 2 ) 图3 5 曲线演化示意图 曲线演化中曲率演化( c u r v a t u r ed e f o r m a t i o n ) 和常量演化( c o n s t a n td e f o r m a t j o n ) 是较为常见的两种形式。 曲率演化的方程为 要：r 面 ( 3 1 3 ) 卉 、。1 0 这个方程使曲线在演化过程中逐渐变的平滑，收缩，曲线的总长度变形，昂后收 缩成一个圆点。如图所示 躲 ( b ) ( c ) 图36 曲率演化过程 【d ) 常量演化的方程为 要；a 丙( 3 衙 h 这里的口是曲线演化速度和方向的常系数。这种演化方法会出现尖角，并且可能出现 拓扑结构发生变化【分裂或台井j 。演化过程如下图所示。 虢 ( a ) 州 图37 常量演化过程 o 仃u o 3 32 水平集 水平集方法( l e v e ls e tm e t h o d ) 最早由o s h e r 和s h e t i n a 提出，用于解决遵循热力 学方程下的火苗的外形变化过程。水平集方法是动态的形变模型，是一种界面跟踪和 形状建模的数字计算方法。水平集的方法的优点是可以演化曲线曲面进行数字计算， 而不通过参数化过程。由于在演化过程中始终保持为一个完整的函数，因此容易实 现近似数值计算；水平集方法可以扩展到高维曲面的演化，简化了三维分割理论和应 用的复杂性。同时水平集也可以很容易的处理曲线的拓扑变化，例如当物体形状一分 为二，产生孔洞。这正好解决了曲率演化和常量演化的不足，而且计算准确，方法稳 定，是一种鲁棒性很强的数字分析工具。 水平集图像处理的基本思想是把一个平面闭合曲线或曲面c 的演化过程中隐含地 表是为三维连续曲面的具有相同函数值的曲面函数( t ，y t ) 称为水平集函数通常取 ( z ”t ) = 0 ) 为零水平集然后写出水平集函数所满足的方程，按照一定的规律不断 更新演化，找出新时刻的水平集，再求出零水平集，即得到曲线演化后的形状。 厂、j ，、 厂7肱i ，局磷 么竺：夕一趱 ，# 圉38 零水平集 图38 ( c ) 是图38 ( b ) 的水平集函数在f 时刻的演化结果一，从中抽取零水 平集 破= 0 ) ，就得到了f 在r 时刻的演化结果，如图38 ( d ) 所示。 在t 时刻，零水平集的隐式表达为： c ( p ，o ) = ( x ，y ) i ( t j 。，o ) = 0 ) c ( p ，) = ( j ，y ) i ( x ，j ，) = 0 、。