【《火焰检测算法研究的国内外文献综述》3200字】

火焰检测算法研究的国内外文献综述1.1火焰图像特征研究现状（1）颜色特征火焰对我们来说，首先就是有着其独特的颜色特征，不同的燃烧物有不同的火焰颜色，在日常生活中常见的火灾中，火焰在图像上反映的颜色主要为橙黄色到白色之间。为了更好的反映火焰像素的色号，可以利用统计学的思想建立模型。很多研究团队基于RGB统计建立了火焰颜色识别模型。下图即为火焰图像与RGB空间规则的输出图像（图1.2）。图1.2火焰图像与RGB空间规则的输出图像该方法的优点在于算法相对于简单，对图像的识别速度很快，短处则在于规则过于宽松，导致分割不准确。同时另一个方法就是使用机器学习的分类器来作为火焰颜色模型，例如现在已经很成熟的朴素贝叶斯模型（NaiveBayesianModel，NBM），或者是神经网络、K-NN等，D.Y.T.Chino[1]等已经尝试了使用K-NN与朴素贝叶斯模型去搭建火焰颜色模型。B.U.Toreyin[2]等人使用EM算法训练一个高斯混合模型如下图1.3所示：图1.3（左）火焰像素点值在三维空间中的分布，（右）十个球形区域的中心为高斯分量的中心图1.4从左到右依次为在RGB、HSV、YCrCb空间中，使用朴素贝叶斯建立的火焰颜色模型，在图1.2所示的图像上的响应.但是，对火焰的识别如果仅仅依靠颜色来完成，是非常不负责任的。因为火焰的颜色属性从橙黄色到白色的跨度还是很大的。很容易就与图片中的颜色相近的物体产生重合，比如太阳将要下山时的夕阳，发白色光的路灯等，这些物体在二维图像上的表现很符合火焰的颜色特征。运动特征火焰另一个外显的特征就是其独特的运动轨迹，由于火焰的燃烧需要空气，空气的流动会使火焰的轮廓发生改变，外在表现为火焰抖动。在火焰抖动的同时，火焰的纹理也会发生变化。由此火焰在二维图像上表现的像素值将会与时间有一定的变化率。基于运动特征的时间变化率的检测手段主要有前景累计法，帧间差法，高通滤波器等，Collins,R.T.,Lipton[3]等人利用前景累计法，将视频每一帧之间的差值累积起来而其输出前景图像的各个像素值都处于一个缓慢减少的状态。故运行过程中，运动部分（前景）像素值不断增大，静止部分（背景）像素值不断变小直到0，设置一个阈值，当像素值超过阈值时，认为这个像素是运动的像素点，从而提取出运动区域。这种算法同样计算简单，不需要那么多的背景帧，但是积累前景需要一个较长的过程，所以在时间上并不能做到及时性，这也违背了明火识别要求的在时间和运行速度上的迅速性。几何特征火焰的几何特征一般都要基于以上两种模型之后，将火焰的颜色与运动轨迹同时作为检测数据喂入检测网络中。火焰的几何特征是轮廓基本都是凹的，并且其凸壳的周长（图1.5中绿色圈）比轮廓周长（图1.5中蓝色圈）小。所以可以定义一个阈值，轮廓粗糙度（轮廓周长与凸壳的周长之比）大于某个阈值时，则判定该区域为火焰区域。图1.5火焰轮廓（蓝）与其凸壳（绿）但是基于几何特征的识别对图像的质量要求较高，也就是说当火焰的轮廓越清晰，轮廓粗糙度的计算才有意义，但是对这种特征造成影响的外在因素也有很多，比如噪声轮廓，因此这种方法的识别效果也不能满足预期。纹理特征火焰的纹理特征同样也是在颜色与运动的基础之上，图像中的某一感兴趣区域（RegionofInterest）的纹理特征实质就是其像素值在空间上的变化。Jong-HwanKim[4]等人基于火焰红外图像的统计学特征，辨别出如下图1.6火焰在地面上的倒影。图1.6火焰在墙面上的倒影对ROI（感兴趣区域）进行傅里叶变换，FastcomTechnologySA[5]在早期的火焰识别与火灾检测文献中使用了这种方法。但是由于火焰的纹理排列并非呈有序状态，并且该种方法特别耗时，所以只能在深度学习出现之前有所使用。另外B.U.Toreyin[2]等人通过二阶小波滤波器组将ROI分解得到对角，垂直，水平三个子图像的平方和相加（如图），从而进行识别运算。图1.7二阶小波滤波器组但是当光照条件不好时，图像中的火焰大多会变成白色，这时火焰区域的纹理细节就会产生丢失，此时上述方法就不再实用。基于以上的火焰特征，卷积神经网络可以在训练中学习到几何、颜色、纹理特征，因此直接将整张图片输入到卷积神经网络中，不用再划分感兴趣区域，计算特征等操作。K.Muhammad,J.Ahmad[6]等人通过GoogleNet网络模型，将将输出层维数由1000修改为2，训练了一个针对火焰的二分类卷积神经网络，多次实验修正后识别准确率达到了86%，识别误报约0.05%。S.Frizzi,R.Kaabi,M.Bouchouicha[7]等人训练了一个图像分类器，提出CNN的全连接层，用于提取特征图像，再用大小为12*12的窗口在图像上检测，通过全连接层将窗口分为正常、火焰、烟雾。1.2目标检测算法研究现状在2012年之后，借助发展迅速的深度学习，目标检测方法发展迅速，并且渐渐的成为了主流的方法。并且在2012年之后的每一年几乎都会出现里程碑式的目标检测算法（如图1.8），这些算法都在一个或者多个方面实现对前者的改进或突破。而这些算法的检测器主要分为两类：单级式检测，不需要区域提议，即不划分感兴趣区域，是一种单独的方法，不会将划分区域与检测分开进行，外在表现流程是单级的。2、两级式检测，包含一个预处理步骤，用于区域提议，即划分出感兴趣区域（ROI），外在表现流程呈两级式。图1.8目标检测的里程碑而这两种检测器，最早出现的是两级式检测框架，基于这种框架，从这些区域中提取CNN（卷积神经网络）的特征，然后送到分类器中检测并且加以标签。在上图（图1.8）中2014年的RCNN网络、OverFeat等几乎同时提出来使用卷积神经网络进行目标检测。Girshick[8]等人是最早进行研究卷积神经网络和发展RCNN的，如图（图1.9）所示为RCNN检测框架。其检测流程如下：选择性区域搜索提取感兴趣区域（ROI）。从输入图像中选择大小合适的区域提案作为待输入数据，使用数据集对卷积神经网络模型进行预训练。借助卷积神经网络提取的特征，对一类特定的线性支持向量机分类器进行训练。通过卷积神经网络特征的目标类学习建议框回归。图1.9RCNN检测框架Girshick[8]等人在此基础上又提出了FASTRCNN，优化了RCNN，相当于一次升级，将其检测速度与识别准确率提升到了新的高度。Ren[9,10]等人在FASTRCNN的框架上又加以改进，他们采用了新的RPN（区域提案网络）来得到感兴趣区域。使得目标检测区域精度大幅度提升。GhiasiG.,LinT[11]提出的MaskRCNN采用ResNeXt101-FPN[12],在训练上更加的容易快速，具有很好的概括性，虽然增加了RCNN的开销，但是可以忽略不计，运行速度5fps。为了进一步的提升检测速度，JiangB.,LuoR.[13]利用大核可分离卷积，得到了具有小信道数和廉价RCNN子网络的薄特征映射,不仅保证了识别速度，在识别精度上也有很好的提升。从RCNN以来，单级式检测框架也得到快速发展，由于两级式检测框架的局限性与高成本性（需要较高的存储和计算能力），统一管道的检测策略开始制定。LuoP.,RenJ[14]提出了一种完全基于卷积深度网络的目标检测器。Redmon等人[15]提出了yolo(youonlylookonce)检测算法。它使用了Darknet当核心网络，将待检测图像分割成49个小格，yolo对整张图片进行特征提取，但是这样的识别也就带来了定位目标效果不好的缺点。Liu等人[15]提出了SSD（singleshotdetector），该算法在速度上快于yolo,SSD结合了yolo和RCNN的思想。目标检测是计算机视觉中一个不可缺少的组成部分，随着深度学习的显著发展，目标检测也得到了升级，虽然在近年来取得了很大的进步（比如，检测准确率从23%提高至73%），但是进步空间还是很大的，因此，如何将机器识别提升人脑识别的水平，还有很多事情需要去研究实验。参考文献D.Y.T.Chino,L.P.S.Avalhais,J.F.RodriguesandA.J.M.Traina,"BoWFire:DetectionofFireinStillImagesbyIntegratingPixelColorandTextureAnalysis,"201528thSIBGRAPIConferenceonGraphics,PatternsandImages,Salvador,2015,pp.95-102.B.U.Toreyin,Y.Dedeoglu,U.Gudukbay,A.E.Cetin,Computervisionbasedmethodforreal-timefireandflamedetection,Patternrecognitionletters,pp.49-58Collins,R.T.,Lipton,A.J.,Kanade,T.,Asystemforvideosurveillanceandmonitoring.In:Proc.AmericanNuclearSociety(ANS)EighthInternationalTopicalMeetingonRoboticsandRemoteSystems,Pittsburgh,pp.Jong-HwanKim,SeongsikJo,andBrianY.Lattimer,“FeatureSelectionforIntelligentFirefightingRobotClassificationofFire,Smoke,andThermalReflectionsUsingThermalInfraredImages,”JournalofSensors,vol.2016,ArticleID8410731,13pages,2016.FastcomTechnologySA.,BoulevarddeGrancy19A,CH-1006Lausanne,Switzerland,MethodandDeviceforDetectingFiresBasedonImageAnalysis.PatentCooperationTreatyApplicationNo.PCT/CH02/00118,PCTPublicationNo.WO02/069292K.Muhammad,J.Ahmad,I.Mehmood,S.RhoandS.W.Baik,"ConvolutionalNeuralNetworksBasedFireDetectioninSurveillanceVideos,"inIEEEAccess,vol.6,pp.18174-18183,2018.S.Frizzi,R.Kaabi,M.Bouchouicha,J.Ginoux,E.MoreauandF.Fnaiech,"Convolutionalneuralnetworkforvideofireandsmokedetection,"IECON2016-42ndAnnualConferenceoftheIEEEIndustrialElectronicsSociety,Florence,2016,pp.877-882.DwibediD.,MisraI.,HebertM.(2017)Cut,pasteandlearn:Surprisinglyeasysynthesisforinstancedetection.In:ICCV,pp.1301–1310LiuW.,AnguelovD.,ErhanD.,SzegedyC.,ReedS.,FuC.,BergA.(2016)SSD:singleshotmultiboxdetector.In:ECCV,pp.21–37LiuY.,WangR.,ShanS.,ChenX.(2018)StructureInferenceNet:Objectdetectionusingscenelevelcontextandinstancelevelrelationships.In:CVPR,pp.6985–6994GhiasiG.,LinT.,PangR.,LeQ.(2019)NASFPN:learningscalablefeaturepyramidarchitectureforobjectdetection.arXiv:190407392K