智能安防视频监控算法研究与软件开发（设计成果+说明书+任务书+开通报告）

摘要分析了视频图像预处理的基本方法，在单视角目标检测算法的基础上，研究了多视角视频目标检测算法。以OpenCV开放源码为基础，设计了基于图像板卡的智能安防视频监控软件，并以实验室室内环境为背景进行了实验验证，实现了室内环境下对移动目标、火焰目标和人体目标的安防检测。实验结果表明，该软件系统具有较高的准确性。本文的主要研究工作如下：首先对运动目标检测算法：背景减除、帧间差分和光流法进行比较和学习。介绍了本文采用了基于局部更新的背景建模方法，进行背景减除，并以背景减除算法为基础实现移动目标侦测、人体检测和火焰检测。其次，阐述了人体检测特征分类器的构造和训练过程。对特定环境下的人体特征建立分类器并进行机器训练，该算法取得较高的人体识别准确率。第三，简要介绍了火焰的静态特征和动态特征；对火焰的R分量特征建立色彩模型，并结合火焰帧间特性以及角点特征作为火焰检测算法。在火焰检测时，着重采用基于多视角的检测算法，对各通道的火焰检测结果进行加权融合，得出最终检测结果。关键词多视角，视频监控，目标检测，人体检测，火焰检测AbstractAnalysisthemethodsofthevideoimagepreprocessingandthemulti-anglevideoobjectdetectionalgorithmbasedonthesingleperspectiveofthetargetdetectionalgorithm.DesignanintelligentsecurityvideomonitoringsoftwarebasedonimageacquisitioncardandOpenCVsource.Realizedthealgorithmonmovingtargetsdetection,flamedetectionandhumandetection.Fartherly,verifiedbyexperimentsinthelaboratoryindoorenvironmentasthebackground.Experimentalresultsshowthatthesoftwaresystemhasahighaccuracy.Themainresearchworkareasfollows:First,compareandlearnthemovingtargetdetectionalgorithm:backgroundsubtraction,framedifferenceandopticalflow.Usingabackgroundmodelingmethodbasedonlocalupdatetosubtractthebackground.Secondly,describedthestructureandtrainingprocessofthehumanbodydetectionfeatureclassification.Theclassificationandmachinetrainingwasunderthecertaincircumstances.Thealgorithmachievedhigherhumanrecognitionaccuracy.Third,abriefintroductionofstaticanddynamiccharacteristicsoftheflamewasgiven.CreateacolormodelofRcomponentcharacteristicsoftheflame.Intheflamedetection,focusingonthedetectionalgorithmbasedonmulti-perspectivealgorithm,andweightedfusionchannelflamedetectionresultscometothefinaldetectionresult.Keywordsmulti-angle,targetdetection,humandetection,firedetection目录1引言.11.1课题研究背景及意义.11.2国内外研究与发展现状.22多视角智能安防视频监控算法研究.52.1单视角目标检测算法研究.52.2多视角视频目标检测算法研究.112.3特征训练.123软件设计.173.1开发环境简介.173.2CCD摄像头.183.3图像采集卡.183.4图像获取与处理流程.203.5软件运行流程.254系统功能实现.254.1系统初始化与参数设置.294.2截图功能实现.304.3录像功能实现.324.4多线程编程.334.5BMP格式与IplImage结构的转换.354.6移动侦测功能实现.374.7人体检测功能实现.384.8火焰识别功能实现.404.9多视角检测功能实现.404.10系统界面.415实验验证.435.1移动侦测.435.2火焰检测.445.3人体检测.46结论.50致谢.51参考文献.52附录.54A：软件操作说明书.54A1配置说明.54A1.1大恒图像硬件安装.54A1.2大恒图像SDK的安装及配置.54A1.3配置VisualC+6.0.57A2软件操作说明.59附录B：主要代码.64B1系统INI文件操作.64B2移动侦测主要代码.64B3人体检测主要代码.67B4火焰检测主要代码.721引言1.1课题研究背景及意义现代社会是一个人口密集、高度复杂的社会，随着全球经济一体化的不断推进，人口流动性不断增强，社会环境日趋复杂，面临的突发事件和异常事件越来越多，人们的治安防范意识也随之逐渐增强。作为安全防范系统的组成部分，视频监控是一种防范能力较强的综合技术，因其直观、方便、信息内容丰富而被广泛应用。目前，在一些重要的场所，例如银行、住宅小区出入口、公共停车场、车站以及高校教学楼出入口等，均装有可视化视频监控系统，它要求视频监控人员不停的监视画面，对相应的突发事件做出判断和处理。视频监控系统是安全技术防范体系中的一个重要组成部分，在公安、金融证券、银行、商店、宾馆、智能大厦以及重要部门、社区安全方面是至为重要的。但目前的监控多以PC机为主，只能起到简单的视频记录功能，大部分监控系统都要求监控人员长时间盯着众多的电视监控器，而且PC机还需要配备大容量硬盘来保存所有视频图像，硬盘使用量极大。监控人员监视屏幕是一项非常繁重的任务，当视频监控系统很大时，监控人员无法做到全面的监控，这样在监控的有效性和反应速度上受到很大的限制，造成监控资源的浪费。因此，智能视频监控系统成为迫切需要，随着计算机技术的发展，智能视频监控系统能够在很大程度上提高监控的效率。安防行业中所谓的“智能化”是指在无需人为干预情形下，系统可自动实现对监控画面中的异常情况进行检测、识别，在出现异常时能及时做出预/报警。智能视频监控系统是基于计算机视觉和人工智能的研究，它试图使摄像机成为人类的眼睛，使计算机成为人类的大脑，通过学习的方式使监控系统具有高度的智能性，从而大幅度降低资源与人员的配置，提高视频数据分析效率和实时处理能力1。人体运动分析是视频监控中的重要研究内容，主要是针对包含人体的运动图像序列进行分析处理，它通常涉及到运动变化区域检测、人体运动跟踪以及监视场景中目标行为的理解与描述几个过程2。运动变化区域检测、人体检测属于人体运动分析的低级处理部分，准确的检测是对行为进行有效理解和各种后续高级处理的基础，也是视频监控中研究较多的问题。然而，由于人体的非刚性、姿态多变性和衣服多样性等因素的影响，导致人体检测成为一个非常困难的问题，在过去的几年中，在该领域虽然已经取得了一些成果，但是仍然存在很多的问题留待广大科研工作者来解决3。人类面临的突发事件和灾害中，火灾对人类人身和财产安全造成极大的损害。尤其是目前城市化发展迅速，使得城市建筑物朝着高层化、密集化方向发展，对火灾的及时而准确的探测成为迫切需要解决的问题，对火灾自动报警系统设计提出了更高、更严格的要求。传统的火灾自动报警技术主要是基于传感器的检测，利用火灾的烟雾、温度、光的特性来对火灾进行探测，但在大空间场合中，传感器信号变得十分微弱，且由于种种干扰噪声而影响工作。因此，各国学者提出了一种用摄像头代替传统传感器的方法，对现场图像进行实时采集，借助现有的数字图像处理技术，对火灾图像进行识别并报警。图像是人类视觉的延伸，通过视觉可以立即准确的发现火灾，图像监测快速性的基础是视觉所接受的信息以光为传播媒介，而图像信息的丰富和直观，更为火灾的辨识和判断奠定了基础，其它任何火灾探测技术均不能提供如此丰富和直观的信息。因此，利用数字图像处理技术，找到合理的形态特征判据，结合火焰的颜色特征对火灾进行探测成为火灾防治技术领域的重点研究内容4。1.2国内外研究与发展现状视频监控技术在20世纪60年代出现，发展大致经历了3个阶段：以模拟设备为主的闭路电视监控系统；基于多媒体计算机的数字化视频监控系统；全数字化的网络视频监控系统5。目前正在向分布式、智能化的方向迈进。传统的视频监控主要靠人力现场监控，但由于人工监控本身固有的不足，人力越来越难以胜任分析和理解采集到的数量惊人的视频数据，世界各国政府和学者已在密切关注智能视频监控技术。在国外，美国、欧洲和日本已经开展了大量相关项目的研究。例如，1997年美国国防高级研究项目署设立了以卡耐基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目VSAM(VisualSurveillanceAndMonitoring)6，主要研究用于战场及普通民用场景进行监控的自动视频理解技术；英国的雷丁大学开展了对车辆和行人的跟踪及其交互作用的相关研究；美国国际商用机器公司(IBM)与美国马里兰大学联合开发了W4(What，Where，When，Who)系统7，它是一个实时的智能监控系统，能够实现多人的检测与跟踪，同时还可以对携带可疑物体的人员进行有效的监视。国内许多科研单位也在此方面开展了大量的研究。例如中科院自动化所模式识别国际重点实验室8和自动化所，清华大学等。2004年，中科院自动化所首次承担了国际科技合作重点项目“人的运动与行为视频分析”，通过国际合作与交流，于2007年8月份通过验收。该项目建立了国际上规模最大的多视角步态监控图像数据库，已被27个国家119个单位使用9。清华大学研究了利用音频和视频结合的方法来识别身份，在档案系统中得到了应用10。1.2.1运动人体检测算法的发展现状运动人体检测的实质是通过对拍摄到连续的图像序列进行处理分析，把场景中运动的人体前景提取出来，是对人体目标分类和进一步跟踪的前提。关于运动目标检测的算法研究已经有了近二十年的研究历史，国外许多大学和研究机构致力于目标检测和跟踪系统的研发，其中MIT媒体实验室研制出一种叫Pfinder的系统，综合了人体的检测和跟踪技术。它通过对人体建模来实时的进行人体跟踪和对人体的行为作出分析和识别11。对于运动目标的检测，常用的方法有背景消减法、帧间差分法和光流法12，13。(1)背景消减法背景消减法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的技术。在理论上，它能够提供最完全的特征数据，但必须基于一个“完美”的背景，对于动态场景的变化，如光照和外来无关事件的干扰特别敏感。因而，目前大部分研究人员都致力于开发不同的背景模型，进行背景的动态更新，以减少动态场景变化对于运动检测的影响，以适应环境的变化。(2)帧间差分法帧间差分方法是在连续的图像序列中两个或多个相邻帧间采用基于像素的差分，并且阈值化来提取出图像中的运动区域。帧间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象14。(3)光流法基于光流法的运动检测采用了运动目标随时间变化的光流特性，它是一种以灰度梯度基本不变或亮度恒定的约束假设为基础的目标检测的有效方法。所谓光流是指图像中灰度模式运动的速度，它是景物中可见点的三维速度矢量在成像平面上的投影，表示了景物表面点在图像中位置的瞬时变化15。光流计算法的优点在于光流不仅携带了运动区域的运动信息，而且还携带了有关景物三维结构的丰富信息，能够检测独立运动的对象，不需要预先知道场景的任何信息，并且能够适用于静止背景和运动背景两种环境。但是光流法计算复杂耗时，除非有特殊的硬件支持，很难实现实时运动区域的检测。1.2.2火灾图像检测的提出及发展现状在科学技术迅猛发展的今天，国内外各大科研机构和公司的火灾探测技术也相应的快速发展，基于图像信息的火灾探测器相继问世并在不断改进。早在1996年，美国弗洛里达州大学的西蒙弗教授就开始利用飞机引擎和升压仓火灾的红外成像视频信息进行此类特殊火灾探测的研究16；2002年，弗洛里达州中心大学的沃尔特教授等人在火焰的视频图像识别方面进行专题研究，根据火焰的颜色特性进行火焰识别算法的简化，并获得了成功17；国内对于图像型火灾探测技术也进行了深入研究。1997年始，中国科技大学的火灾科学国家重点实验室进行了此类研究，并发表了题为视频火灾探测系统原理的文章18，研制出了LA-100型双波段大空间早期火灾智能探测系统，通过有关方面的验收，已经在国内的一些单位使用。对火焰检测的算法研究方面，主要从火焰的静态特征和动态特征着手。火焰的静态特征研究是指对含有火焰的图像进行色彩、轮廓、能量、纹理等角度的特征提取19。火焰的动态特征是其又一主要检测特征，由于火焰从无到有，是一个发生发展的过程，因此这个阶段的火焰动态特征更加明显，不同时刻火焰的形状、面积都在变化，动态特征中最为显著的就是火焰具有特定的闪烁频率。抓住这些特点可以为火灾火焰的识别打下良好的基础。(1)火焰的动态变化由于可燃物燃烧时产生的火焰通常是闪烁的，特别是火苗的跳跃和抖动，剧烈的火焰闪烁会引起高频的火焰区域变化。(2)火焰的面积变化火灾发生后火焰在不断地发展着，随着火势的增大，火焰也不断地增强，因而从火焰的图像特性来说，火焰面积呈现连续的、扩展性增加趋势。在图像处理中，先分割出目标物体，再统计出目标物的像素点来实现目标图像面积的计算。(3)火焰的边缘变化火灾火焰的边缘变化同其它的高温物体和灯光及稳定火焰的边缘变化有一定的区别，也可以利用火焰边缘的变化来进行火灾判别，火焰边缘抖动是火灾火焰的特性，而其他高温物体、灯光和稳定火焰边缘比较稳定。可以利用边缘检测和边缘搜索算法将边缘进行提取，根据边缘的形状、曲率等特性来实现，但其算法量较大，不适合火灾探测系统快速报警的要求。(4)火焰区域尖角火苗可以作为火焰区别于其它具有与火焰颜色特征的物体，因为火苗具有火焰尖峰，提取火焰尖峰的形状，量化后可作为识别火焰的依据。2多视角智能安防视频监控算法研究2.1单视角目标检测算法研究2.1.1移动侦测移动侦测就是检测视频序列图像中被监视的场景图像是否产生变化，如果图像有变化，则说明有新的目标出现，研究的是图像序列中感兴趣的目标区域的“准确定位”问题。近几十年来，各国学者对图像序列中的运动变化区域检测技术做了大量深入的研究，希望得到一个完美的目标检测算法，能适用于各种环境，但实际应用中要解决这个问题是十分困难的。实际应用中，视频序列中目标检测的算法分类可以按照被监视场景是室内还是室外进行。本次设计特定环境即为室内实验室环境，对于该特定的室内监视环境，环境条件变化比较小，主要监视人以及场景中的物品，当视频监视中背景与摄像头之间位置保持相对不变时，背景图像的大小和位置在不同帧中将保持不变，可以利用两帧之间同一位置像素的亮度或颜色的差来进行变化检测，并提取目标。提出以下两种假设：(1)当前监视画面中没有任何运动目标的情况下，可以视为一个完美的背景，一旦有运动目标进入，直接相减就可以准确地将运动目标分割出来；(2)当前监视画面中运动目标不断运动的情况下，要想准确的对目标进行检测和分割，直接进行前后帧差时，将无法准确检测运动目标。因为直接用相邻两帧相减后，保留下来的是两帧中相对变化的部分，两帧间目标的重叠部分很难被检测出来，只检测出目标的一部分或者出现较大比例的空洞。在实验室环境中，虽然背景相对比较固定，但是仍然有光照方面的影响，为了更好地分割运动目标，需要构造背景模型来适应光照变化等对视频图像序列的影响，由于固定背景模型不能反应实时的背景变化，因此需要适时地更新背景。文献20提出了一种局部更新的实时背景模型建立方法，它首先将第一帧图像作为背景，对后续各帧图像，通过帧间差分确定运动目标在两帧间的运动情况。对于运动区域，背景保持不变；否则用当前值改变背景区域。如下图2.1为采用这种方法建立背景模型的示意图。图2.1局部更新建立背景模型示意图上图2.1中，A、B、C分别为第1、2、3帧。首选，初始背景为首帧图像A。当下一帧B读入时，通过帧间差分（如图D所示）与背景A进行比较。D中的非阴影部分为非运动区域，此区域的背景为D；D中的阴影部分为运动区域，此区域的背景为原背景A。将这两个背景区域组合即得到此时完整的背景，如图E所示。在E为背景的情况下，将F（B和C帧间差分结果）与E进行比较，F中的非阴影部分表示非运动区域，此区域的背景为F；F中的阴影部分为运动的区域，此区域的背景为原背景E。将这两个区域背景组合即得到此时完整的背景，如图G所示。从图中可以看出，C与A没有重叠区域，即此时运动目标已经完全离开了它原来的位置。此时求得的背景即为真实的背景。本文对此进行应用的同时，根据特定实验环境进行了算法的简单优化。算法流程图如图2.2所示。图2.2背景更新流程图2.1.2火焰检测上述提出了火焰检测的各种算法，但在特定环境下，算法有不同的缺陷。基于颜色的检测特征，模型简单但虚警率高，且容易受到成像设备的局限而产生漏检及误检；火焰的非刚性特征极大制约了轮廓的提取，无法做到通用环境下的高检测率；光学设备的精度和火源距离的限制使得火焰本身的精细纹理提取困难，且纹理特征计算量大，应用性受到局限。综上所述，单一的检测特征难以满足工程应用的需求，高检测率、低误检率的快速视频火焰检测方法仍处于探索阶段。本文根据室内环境和CCD摄像头的成像精度情况，采用结合火焰颜色特征的火焰视频帧间相关性和火焰角点检测来识别火焰，同时根据火焰的轮廓特征排除图像中的阳光或类似火焰的其他光源如白炽灯的灯光等。(1)火焰颜色预处理由于CCD摄像头的成像精度与颜色丢失问题，火焰图像在阳光及灯光的影响下，基本上呈现出高亮度的白色，如下图2.3所示。文献21中指出，在火焰图像中，火焰内部红色分量的变化相对于其他颜色分量来说要小，而火焰与背景红色分量差别大，但在图像灰度化的过程中，R分量占的比重小，这样无形当中减小了火焰与背景的对比度，而直接用图像的R分量来代表灰度，则可以增加火焰区域与背景的区别度，达到更好的检测效果。因此，仅提取火焰图像中的红色分量来代表图像的灰度。如图2.4所示。图2.3彩色火焰图像图2.4火焰图像灰度图在火焰图像帧中截取出火焰的图像部分，如图2.5所示。对其进行灰度化并显示直方图后，火焰的高亮部分像素值多集中于170230之间。其对应直方图如图2.6所示。图2.5火焰图像图2.6对应直方图(2)火焰视频帧间相关性特征火焰燃烧是不断发展的，火焰不断扩大或蔓延，火焰位置会不断变化，但不会突然跳变，在视频图像上表现为连续帧之间火焰中心位置不会相离太远，即火焰中心位置满足相对稳定性，可以通过计算具有火焰颜色的运动区域的移动速度来排除很多假信号，例如高速运动的具有火焰颜色的物体。同时，火焰的扩大或蔓延，表现为在连续图像帧中，火焰面积的不断增大。(3)角点提取传统的尖角检测方法是寻找外焰轮廓中含有尖角结构形态元素的数量（见图2.7），但尖角数目与结构元素的边长及夹角约束密切相关，有限的结构元素无法作为火焰形态的通用描述符。文献22指出：人类的视觉系统通过边界中包含的相关形状信息认识物体。形状信息主要集中在高曲率点，即角点。并提出基于角点检测的火焰检测算法，有效地解决了传统火焰尖角检测算法受尖角结构元素制约的弊端。图2.7尖角结构形态2.1.3人体检测运动人体目标检测包含运动检测和人体检测两个步骤。在运动区域检测定位之后，在输入的若干图像序列中搜索到了疑似运动人体的区域，称之为“感兴趣区域”，在人体检测时，可以只对该区域进行识别，从而简化识别工作量。近年的文献中对于人体检测算法的研究，根据识别的部位大致可以分为两种23：(1)基于整体特征的人体检测方法这类人体的识别算法主要原理是假定不同人体在相同朝向上具有相似的外轮廓，只要采用某种方法能够将这些相似的轮廓表示出来，就能够用这些信息对未知轮廓进行检测和判断。这类算法相对较复杂，但是算法适应性很强。(2)基于多部位的人体检测方法根据通常理解，人体可以分为头部、躯干和四肢等部分，该类方法就是对人体的各个部位进行检测和识别，然后来综合判断是否为运动的人体。其主要的优势是对于有遮挡的人体具有较好的适应性，但这类算法复杂性较高，算法时间长。本文采用基于多部位的人体检测方法，根据人体的躯干和脸部特征来实现人体检测，并采取基于机器学习的方法，对未知物体进行分类。基于机器学习的方法中，要对未知物体进行分类，就需要在检测与识别算法应用之前，对待检测对象进行特征的提取，然后使用这个特征，选取适当的机器学习算法训练分类器，再用得到的分类器对物体进行分类。很多学者提出了能够描述人体的各种特征，其中主要的特征有haar-like特征和HOG特征。(1)haar-like特征Haar-like特征分为几类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板，是一种比较简单的特征。特征模板内有白色和黑色两种矩形，并定义了模板的特征值为白色矩形像素和减去黑色矩形像素和。Viola首先使用了haar特征结合adaboost算法用于人脸的检测，取得了很好的结果24。目前的算法主要利用下面的三大类haar特征。图2.8haar三大类特征每类特征的个数可以这样来计算。令，是x，y方向上的wWX/hHY/最大尺度因子。这样，垂直方向的大小为的矩形特征的个数是h*)21)(21(XY由于haar-like特征数目的巨大，计算所有的特征值所需的计算量就会特别大，Viola提出了计算矩形特征的快速方法，该方法引入了被称为积分图的概念。积分图主要的思想是将图像从起点开始到各个点所形成的矩形区域像素之和作为一个数组的元素保存在内存中，当要计算某个区域的像素和时可以直接索引数组的元素，不用重新计算这个区域的像素和，从而加快计算。积分图能够在多种尺度下，使用相同的时间来计算不同的特征，因此大大提高了检测速度。(2)HOG特征HOG(HistogramsofOrientedGradients)描述子是用来计算局部图像梯度的方向信息的统计值。HOG特征是Dalal提出的基于边缘和梯度的特征，HOG表示的是一个几个方块内的像素的方向梯度的直方图。HOG特征提取时，每个检测窗口由若干个重叠的block组成，每一个block由一组称为cell的网格组成，对于每个cell，所有的图像梯度投影到若干个方向上，构成方向直方图。最后所有cell的直方图组成一个大的特征向量，并且进行归一化处理，这样，一个block就对应了一个HOG特征向量。本文采用haar-like特征进行人体的识别，结合OpenCV基于Adaboost算法原理实现人体检测，通过调用OpenCV相应的函数实现，编程简单方便。下面对adaboost算法进行简单介绍。最初的adaboost是一种用来提升简单分类器性能的学习算法，它是一种迭代算法。给定一定数量的正负样本及其对应的特征集，对训练样本设置一个初始的权值，在每一轮迭代中更新权值并选择一个特征作为弱分类器，保证每轮的加权分类错误最小，得到最终的强分类器。其核心思想是，在若干个弱分类器中进行筛选，选择部分最优的组成一个复杂的分类器（强分类器）。在人体检测过程中，需要对图像中的候选区域进行分析，判断是否为人体，为此，需要使用多特征来对人体进行建模，采用Adaboost算法进行人体特征训练时，需要从人体样本图像中抽取大量的简单特征。本文利用OpenCV进行样本特征的提取和强、弱分类器的训练，形成用于进行人体检测的级联分类器。2.2多视角视频目标检测算法研究单摄像头的检测识别方法中，图像是2-D的，而现实中的场景都是3-D的，从2-D图像中表现的3-D物体实际上只是物体在空间某一平面的投影，从2-D图像中反映出来的形状常常不是3-D物体真实的形状，由于视点的变化，可能会产生各种失真。因此提出一种基于多视角目标检测方法。基于多视角就意味着多摄像头从多个角度采集同一事物的运动影像，然后再进行综合判断。，这类算法的主要优点就是多角度记录检测物的信息，能够更精确的识别。但该算法复杂性高，实时性较差，而采用多摄像头无疑会增加算法的成本。在多视角情况下，如果用于识别人体，可以从多个角度采集人体的运动和姿态信息，对于遮挡或单摄像头下某个角度特征不够突出明显的情况有更好的适应性；如果用于识别火焰，则可以在多角度下，采用加权的方法，识别火焰。假设火灾起火点离某个摄像头更近一些，则采集到的特征信息更多，对最后的判别加权影响更大，可以比单摄像机下对火焰的识别因为火焰形状特征复杂而难以识别的情况有所改善。算法示意图如下：监视区域摄像头1人体检测摄像头2摄像头3摄像头4火焰检测加权数据融合识别结果图2.9多视角目标检测算法示意图下面以火焰检测为例，给出多视角目标检测算法步骤：Step1：将各源路视频图像进行R分量灰度化，分别保存对应灰度图；Step2：判断各源路当前帧是否为首帧。如果是首帧，初始化有效帧数Num为0，继续读取，重复Step1操作；如果不是首帧，则对当前帧与前一帧进行帧间差分，得到差分图像；Step3：对各源路的差分图像中的运动区域进行亮度值统计；Step4：判断亮度值是否满足火焰图像R分量特征值。若满足，则记录当前帧中运动区域的中心点位置坐标；若不满足，则重新开始检测，返回Step1；Step5：判断中心点数目是否为1。若是，则继续执行Step7；若不是，则计算前后两个中心点的位置的距离；Step6：判断中心点位置的距离。若距离超过一定阈值，认为出现的是非火焰运动目标，清空所有中心点位置坐标，返回Step1；Step7：判断各源路的差分图像的运动区域中是否含有火焰角点。若不存在，返回Step1重新开始检测；若存在，则记录角点数量并记录有效帧数Num加1，然后重新开始检测，返回Step1循环执行；Step8：当某一源路检测中记录的有效帧数Num超过一定阈值时，认为该源路出现了火焰。用各源路火焰区域所占的比例作为权值，计算出现火焰的概率。Step9：根据概率，判断最终检测结果。2.3特征训练2.3.1问题提出特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。特征提取是计算机视觉和图像处理中的一个概念，它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。常用的图像特征有颜色特征、纹理特征、形状特征和空间关系特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。特征提取的主要思想是将原始样本投影到一个低维特征空间，得到最能反应样本本质或进行样本区分的低维样本特征。特征抽取以后，可以借助于机器学习的方法，从事先获取的训练样本中学习二维观测与三维姿态之间的对应关系，并将学习得到的决策规则应用于样本，所得结果作为对样本的特征检测。例如，基于学习的人体上半身特征检测，需要预先定义多个特征类别，为每个类别标注若干训练样本，通过模式分类的方法训练特征分类器以实现人体上半身识别。基于学习的方法一般采用全局观测特征，可以保证算法具有较好的鲁棒性。然而这一类方法的识别精度很大程度依赖于训练的充分程度。要想比较精确地得到二维观测与三维姿态之间的对应关系，就必须获取足够密集的样本来学习决策规则和回归函数。而一般来说所需要样本的数量是随状态空间的维度指数级增加的，对于高维状态空间，事实上不可能获取进行精确估计所需要的密集采样。因此，无法得到密集采样而难以保证估计的精度与连续性，是基于学习的特征检测方法无法克服的根本困难。2.3.2训练方法与步骤OpenCV提供了很多训练分类器的方法和程序，例如CreateSamples和Haartraining程序，对于人脸以及人体躯干检测的分类器训练叫做haar训练，可以利用上面所述的haar三大特征创建自己的分类器。训练分类器的主要步骤如下：首先，需要有训练的样本，包含正例样本和反例样本。正例样本即待检测的目标样本；反例样本可以是其他任意的图片，但这些图片中不能包含目标特征。将正例样本图片统一成相同的尺寸，然后进行统计。对于正、负样本，都由背景描述文件来描述。背景描述文件是一个文本文件，每一行包含了一个正、负样本图片的文件名，正、负样本描述文件的创建方法如下：采用Dos命令生成样本描述文件，进入图片目录，输入dir/bnegdata.dat，则会在图片路径下生成一个negdata.dat文件，打开该文件将最后一行的negdata.dat删除，这样就生成了负样本描述文件，如图2.10所示。(A)Dos命令(B)生成的dat文件图2.10负样本描述文件对于正样本，由于HaarTraining训练时输入的正样本是vec文件，所以需要使用OpenCV自带的CreateSamples程序将准备好的正样本转换为vec文件。转换的步骤如下：先制作一个正样本描述文件，用于描述正样本文件名，正样本数目以及各正样本在图片中的位置和大小。典型的正样本描述文件如下：posdata/1(10).bmp1112323posdata/1(11).bmp1112323posdata/1(12).bmp1112323bmp后面的五个数字分别表示图片个数，目标的起始位置及其宽高。这样就可以生成正样本描述文件posdata.dat。在DOS命令窗口输入：D:faceD:ProgramFilesOpenCVbincreatesamples.exe-infoposdataposdata.dat-vecdatapos.vec-num45-w20-h20。表示有50个样本，样本宽为20，高为20，正样本描述文件为posdata.dat，结果输出到pos.vec。运行结果如下图2.11所示。图2.11生成正样本vec文件样本创建之后，接下来要训练分类器，训练分类器采用Adaboost学习算法，其主要步骤分为以下三个部分：第一部分，使用haar-like特征表示人脸或人体躯干特征，使用积分图实现特征数值的快速计算；第二部分：使用Adaboost算法挑选出一些最能代表人脸或人体躯干的矩形特征（弱分类器），按照加权投票的方式将弱分类器构造为一个强分类器；第三部分：将训练得到的若干强分类器串联组成一个级联结构的层叠分类器。对脸部特征训练分类器时，需要收集含有脸部的图像。OpenCV的开发者采用了FERET数据库中的人脸图片库，是目前最权威的人脸数据库。该图片库是1993年美国国防部高级研究项目署(AdvancedResearchProjectsAgency)和美国陆军研究实验室(ArmyResearchLaboratory)成立的Feret项目组建立的人脸数据库，共1400幅图片，包括200个人，每个人7幅图片，对应不同的姿态、表情和光照。在实验室环境下自行提取人体部位特征时，可以直接对实验室环境进行监控和图像采集，然后对图片进行处理，截取出只含有脸部特征的图像。对人体躯干特征训练分类器时，可以截取包含人体躯干和下半身特征的图片，进行训练。人体躯干下半身特征中有一个局部显著性特征步态特征，即在人体运动进行中，步态的特征基本上不因为不同人或不同穿着而有很大的不同，所以可以着重利用该特征进行运动人体的识别。2.3.3分类器训练结果上述训练过程由OpenCV提供的haartraining程序来实现。Haartraining的命令行参数如下：-data：存放训练好的分类器的路径名；-vec：正样本文件名；-bg：背景描述文件；-npos，-nneg：用来训练每一个分类器阶段的正/负样本；-nstages：决定用于阶段分类器的弱分类器。如果1，则一个简单的stumpclassifier被使用。如果是2或者更多，则带有number_of_splits个内部节点的CART分类器被使用；-mem：预先计算的以MB为单位的可用内存。内存越大则训练的速度越快；-nonsym：批指定训练的目标对象是否垂直对称，垂直对称提高目标的训练速度；-minhitrate：每个阶段分类器需要的最小的命中率；-maxfalselarm：没有阶段分类器的最大错误报警率；-weighttrimming：指定是否使用权修正和使用多大的权修正。一个基本的选择是0.9。-eqw-mode：选择用来训练的haar特征集的种类。basic仅仅使用垂直特征，all使用垂直和45度角旋转特征。-w-h：训练样本的尺寸（以像素为单位）。必须和训练样本创建的尺寸相同。训练结果如下图2.12所示。图2.12Haar训练结果其中，训练阶段数为14；每个阶段分类器需要的最小命中率为0.995；总的错误警告率为0.5。本文用于检测的图像大小为344248，在对一幅图像作检测时，需要从不同的尺度和不同的位置逐个检测。对于不同尺度的检测，选择对检测的图像进行缩放。分类器中的“级联”指最终的分类器是由几个