视频序列图像中火焰的检测

视频序列图像中火焰的检测

准确检测火灾并进行初步报警是消防安全的积极手段。传统的火灾报警系统一般基于红外传感器和烟雾传感器,也就是探测火灾发生时生成的烟、温度和光等参量,经信号处理、比较、判断后发出火灾报警信号。在世界范围内,人们已成功地利用大量的典型火灾探测报警系统来保护众多的建筑。但在室外仓库和大型室内仓库等大空间场合的火灾报警中,上述方法并不能很好地适用。普通的点型感烟、感温火灾探测报警系统无法迅速采集火灾发出的烟温变化信息,所以难以满足早期探测并预报此类火灾的要求。大空间火灾探测问题成为火灾探测报警领域研究的重要课题之一。现在广泛引用的被称为电子眼的视频监控系统可以改善原有系统的不足之处,但同时又产生了另外一个问题,即这种系统过分依赖于人,必须时刻要求有人注视着显示器,这同样存在隐患。因为很难保证工作人员不会因为疲倦等因素而造成的“失职”,而这有可能造成不可挽回的损失。图像是人类视觉的延伸,通过视觉可以立即准确地发现火灾,因此让计算机根据丰富和直观的图像信息辨识和判断早期火灾,成为研究目标。而且图像监测的关键器件(如敏感元件)通过光学镜头与外界发生间接接触,这种结构保证了图像监测技术既可以在较恶劣(多粉尘、高湿度)的室内环境中使用,也可以在室外坏境中使用。在火灾中,燃烧时火焰的灰度图的灰度值的分布也有一定的特征,火焰色彩分布有一定的特征,还有火焰的边缘不稳定。此外,火灾发生的早期还可能是没有明火的燃烧,其表现为有大量的烟雾,火灾发生时的烟雾也具有明显的特征。在火灾刚发生时,烟雾是从无到有、面积从小到大,不断膨胀的;烟雾色彩值的分布也不同于其他图像,也可以作为烟雾的识别特征。因此可以用图像识别的方法,对现场拍摄来的图像进行处理、分析进而识别是否有火灾。基于视频图像的火灾自动检测,即通过设计一套与原有的电子眼系统相配套的软件系统来实现对易发生火灾的现场实现自动监控。也就是对电子眼系统采集的视频图像进行分析处理,提取目标特征,对比火灾图像的特征,判断是否是火焰,从而判断是否有火灾发生,一旦发生火灾及时自动报警。本文介绍了火焰图像的特征及火灾自动检测的算法和实现过程。1图像的间分布和边缘检测基于视频图像的火灾自动检测系统是利用CCD摄像机作为探头,将被监视现场的图像输入计算机,然后利用图像处理的算法,从单幅图像和图像序列中提取目标特征,再对比火灾图像的特征来识别有无火灾的发生。而火灾检测的重要依据是检测图像中是否有烟雾或火焰,因此必须分析并得到烟雾和火焰在视频序列图像中的特征。1.1火焰的基本特性对火灾现场的识别主要是基于火焰图像的基本特性来实现的。火灾是一种失去控制的燃烧,初期火灾的火焰是从无到有,是非定常的,不同时刻火焰的形状、面积、辐射强度都在发生变化。抓住火灾火焰的这些特点可以为火灾的识别打下良好的基础。火焰图像的基本特性主要表现为如下几个方面:a)面积的变化。火灾发生后其火焰在不断地发展着,随着火势的增大,火焰也不断地增强。因而从火焰的图像特性来说,火焰面积呈连续扩展性增加的趋势。b)边缘的变化。火灾火焰的边缘变化与其他的高温物体和灯光及稳定火焰的边缘变化也有一定的区别。可以利用火焰边缘的变化来进行火灾判别。火焰边缘抖动是火灾火焰的特性,而其他高温物体、灯光和稳定火焰边缘比较稳定。c)火焰的相似度。从摄像机摄入的火灾火焰的连续图像看,虽然火灾呈不断发展变化的趋势,但从其形体变化、空间变化、空间分布来看有一定的相似性。特别是间断较短的连续帧图像来说,每幅连续帧图像上述特性有一定的相似度。d)火焰的色彩分布。任何火焰,因其温度的不均匀且表现出一定的规律而可以分为外焰、内焰和焰心三部分。从其温度来说外焰温度最高,其次是内焰,焰心温度最低。因而造成火焰图像颜色分布和灰度级呈一定的分布规律。1.2火焰的特征提取设数字化的序列图像为{fi(x,y)},i=1,…,N;fi(x,y)为第i帧图像;(x,y)为图像中各个像素的坐标;N为图像序列的帧数,在实际系统中,N应大于2。对于每帧数字图像有(x,y)∈Ωi,Ωi为第i帧图像的面积。对于视频图像信号,设定一稳定的基准图像,令其为f0(x,y)。系统以基准图像表示视频图像信号的正常情况。1.2.1边缘检测和轮廓提取在图像处理中,目标物体的面积可用其所包含的像素点的数量来表示。根据火焰燃烧的动态特性,从视频序列图像中,可以首先分离出可疑的火焰区域,即进行图像分割。通过图像分割提取物体轮廓,并定位图像中的目标物体。在理想图像中,可以采用挖空法再结合边缘跟踪技术设计算法来实现,但在实际工程应用中,所获取的图像中的噪声很多,而现有的边缘检测算法,使用Canny、RobertsCross、Prewitt和Sobel等边缘检测算子,根据灰度值是否发生跃变来检测图像中物体的边缘。这些方法检测出的轮廓一般粗细不一,边缘不连续之处过多,为此在检测出图像中物体的轮廓后,还要花费大量的时间来进行轮廓的细化处理,再把不连续的轮廓连接起来。由于图像中噪声的存在,这在实际应用中既很难实现,实时性也很差。虽然噪声消除可使用腐蚀和膨胀的方法,但并不能解决问题,因为若一次腐蚀之后发现噪声区域还存在,则需再次腐蚀,直到达到要求为止。但在实际应用中,数字图像处理和识别自动进行,不可以观测每次腐蚀的结果。由于噪声区域有大有小,难以人为地设定腐蚀的次数,也就无法确定应该对图像进行多少次腐蚀才能达到要求。再者,如果对图像进行多次腐蚀处理,通过挖空法和轮廓跟踪所得到的轮廓也会与物体的实际轮廓存在差别,从而影响目标识别的准确性,差别如果太大(经过很多次腐蚀),可能导致无法识别。还有,进行多次腐蚀运算,再经过挖空处理、区域增长处理和轮廓跟踪等,就要耗费大量时间,不能满足对实时性要求较高的自动火灾识别等应用的要求。为此本文提出一种基于连通区域面积阈值化的实现算法,可以同时实现噪声消除和轮廓提取,以更好地定位图像中的目标物体。其算法思想是,先用差分法判断有无目标物体,若有,则得到目标物体的区域,然后对该区域图像用阈值迭代选取法确定的阈值进行二值化处理,在图像中可以得到一块块连通的区域,这些区域有的是物体部分,有的则是噪声;再把每一个连通的白色区域看做是一个集合,对每一个集合进行具体分析,消除噪声,得到物体的轮廓。算法过程如下:a)将fi(x,y)和f0(x,y)转换成灰度图像,分别为Bfi(x,y)和Bf0(x,y),计算其中:i=1,…,N;(x,y)∈Ω,δi(x,y)为一个差分图,取阈值Th1,得到目标物体所在的区域RO。b)在区域RO上用迭代选取方法选取阈值,用该阈值对灰度图像进行二值化处理,得到黑白图像。c)扫描该二值图像,把该二值图像中所有灰度值为255的像素点都加入到以PixelLine为头节点的链表中。d)对PixelLine链表中的像素点进行分类处理,产生每个连通区域所对应的集合,并为每一个集合建立一个链表。e)对得到的每一个以链表形式表示的连通区域,统计其面积,再选取适当的面积值(从统计出的面积值中选取)作为阈值对图像进行过滤,超过面积阈值的连通区域被完整地保留下来,面积较小的连通区域则被作为噪声而消除。f)采用挖空法就可以得到物体的单像素宽度的连续轮廓且不会出现轮廓交叉的情况。设得到的fi(x,y)图像中的目标轮廓有m个,表示为wi,1,…,wi,m。先找到目标所在的局部区域,再进行目标的轮廓提取和定位,比对整个图像处理能减少计算量,可提高处理速度、提高实时性。1.2.2相似度计算火焰在燃烧过程中边缘会跳动,因此相邻帧同一可疑区域的大小即面积会发生变化,但轮廓相似。为进一步验证可疑区域是否为火焰,分别再计算fi+1(x,y),fi+2(x,y),fi+3(x,y),fi+4(x,y),fi+5(x,y)连续五个图像的目标轮廓;然后再计算wp,j和wi,j(p=i+1,i+2,…,i+5)的面积差和相似度,为S(p,i)和sim(p,i)。图像的相似度定义为(其中Ω为图像区域)对于各个sim(p,i),统计其均值sim=∑p=i+1i+5sim(p,i)/5sim=∑p=i+1i+5sim(p,i)/5。给定阈值Th2、Th3,若S(p,i)≥Th2,且1>sim(p,i)≥Th3,则变化区域为可疑的火焰区域。1.2.3火灾的色彩模型在现实环境中,火灾的发生有两种可能现象:初期产生大量烟雾;有直接的明火。这两种现象,色彩模型完全不同,要分别处理。1)烟雾模型烟雾也是火灾发生的主要特征,但烟雾并不像火焰那样有相对容易与别的物体相区别的特征属性。但并不是说烟雾在火灾识别中就毫无作用。相反,如果能结合和利用好烟雾的特征,就能大幅度地提高系统报警的准确性,自然也就提高了系统的实用性。在火灾发生时,烟雾最明显的特征就是,其从无到有且面积是不断膨胀的。因此可根据厌恶的形状和色彩特征确定疑似烟雾的区域。给出如下定义:其中:R、G、B为图像像素的红、绿、蓝三个颜色分量的值。笔者收集了159幅烟雾的图像,共包含4365342个像素。经统计分析,提取了烟雾的特征信息,即烟雾的象素点色彩满足如下条件:由这些像素点构成为疑似烟雾的区域;然后统计该区域的面积;再对相邻图像用同样的方法进行处理、分析;最后比较两次处理所得到的面积,若面积有变化,则给出报警。2)火焰模型从网上收集239张大小不一的彩色图片,其中包含有不同光照、遮挡等情况下的火焰。共包含8189262个像素,对每个像素的颜色分量进行统计,发现火焰的颜色的分布与一般的发光物体的颜色分布是不同的。归纳得到火焰图像中各个像素的颜色分量,存在如下关系:其中:R(x,y)、G(x,y)和B(x,y)分别表示在图像位置(x,y)处像素的红、绿、蓝三个颜色分量的值;K表示图像中像素的总数;Rmean表示图像中像素的色分量的均值,而且R(x,y)>200,G(x,y)<200,B(x,y)<100。图像像素的亮度和色度均会随着光照的变化而变化,因此光照的变化对火灾检测也会产生较大的影响。为了减少光照的影响,存在多种方法,主要是将RGB彩色空间转换到对光照不敏感的彩色空间,如YUV等,但变换计算比较费时。为此,可采用不同颜色分量之间的相对值,即比值来消除光照的影响。归纳得到火焰图像像素的三种颜色分量存在以下关系特性:2火灾试验的实施2.1系统部分结构系统由实时视频采集、图像处理和识别、数据管理、自动报警、远程联动服务器等部分组成。硬件部分结构如图1所示。系统软件部分包含系统初始化(包括工作参数的设定等)、自动检测、数据管理、自动报警、远程传输等功能模块。一台PC机可配置多个摄像机,对不同空间进行探测。远程联动是指通过计算机网络,可接入消防队、医院等合作机构,及时报警,以便及时联合处置火灾。2.2现场照片的采集通过摄像机实时采集图像,从视频流中抓取现场一帧图像,对图像进行检测处理。当检测发现有火灾信息后,立即抓拍现场图片,并将图片连同现场相关信息(如当时的地点、日期、时间等)一并记录保存到数据库中;同时通过计算机网络将相关信息传送给联动中心服务器,并在本地和远程联动中心同时发出报警信号。系统工作流程如图2所示。2.3主要技术措施1基准图像的更新为了检测是否有动态目标,采取了当前图像与基准图像差分的方法。但随着时间的推移,光照变化、地面上的异物遮盖、天气变化等均会引起图像的色彩变化,从而会产生误判。为此采用了动态与定时相结合方式,及时更新基准图像,使得检测更准确,具有全天候适应性。这也是本算法的关键过程。所谓动态,若当前现场图像没有火焰,则以当前图像作为新的基准图像,再继续检测下一帧现场图像。所谓定时,就是每隔一定时间,从视频序列图像中重新自动提取参考图像,更新基准图像,减少误判。定时时间由用户设置,一般在30min以内。由于定时更新基准图像,从而避免了摄像机位置偏移、光照变化、异物遮盖、天气变化等引起的误判,不仅运算速度快,而且准确率较高。同时其健壮性强,即使机器重新启动,仍能继续工作,因为最后一次基准图像图像已保存在数据库中。2图像二次采样法为了提高对图像的实时处理速度,除了采用高性能快速硬件以外,还选用了优化的算法,使用了图像分割、图像掩蔽技术对图像进行了二次采样处理,算法简单,速度较快,基本符合监测系统对图像处理的要求。同时还采用缓冲池、阈值动态调整等技术提高系统性能。3结果静态图片的测试结果如图3所示。又从电影电视视频文件中截取了一些片段进行了测试。结果如表1所示。4远程联动报警基于视频数字图像处理