智能视频监控设计和实现分析研究 电气自动化专业

目录TOC\o"1-3"\h\u摘要 2第一章绪论 291.1选题背景 291.2研究意义 291.3国内外研究现状和发展趋势 291.3.1国内外现状 291.3.2发展趋势 32第二章视频监控系统的几个关键技术 332.1自动人脸识别 342.2视频增强 352.3视频编码优化 35第三章视频监控中人脸特征描述方法研究 363.1视频监控中的人脸识别 363.2基于轮廓波变换的光照鲁棒人脸特征描述方法 36第四章视频监控中视频增强方法研究 374.1引言 374.2算法描述 394.2.1RGB色彩空间与YCbCr色彩空间的转换 404.2.2小波变换与数字图像处理 414.2.3背景估计和运动区域检测 414.2.4算法流程 42第五章视频监控中视频编码快速算法研究 445.1H.264/AVC视频编码 445.2可伸缩视频编码 45第六章总结与展望 466.1工作总结 466.2展望 46参考文献 47致谢 48摘要：伴随着我国城市化的发展，城市中摄像头安装数量的不断增加，人们对智慧城市和公共安全的需求不断增长，现有的人工视频监控方法远远不能满足需求，因此智能视频监控技术应该会诞生并迅速成为研究热点。智能视频监控技术是一个跨学科的研究方向，具有丰富的研究内容和广泛的应用领域。本文综述了知能视频监控技术的发展历史、研究现状和典型算法的研究现状。首先，对智能视频监控技术从国内外相关研究进行了探讨，分析了视频监控系统否关键技术、人脸识别的技术方法和视频监控中视频增强方法和视频编码快速算法的的研究。关键字：智能视频监控；城市化；安全性；物联网Abstract：WiththedevelopmentofChina'surbanizationandtheincreasingnumberofcamerasinstalledincities,people'sdemandforsmartcitiesandpublicsecurityisgrowing.Theexistingartificialvideomonitoringmethodisfarfrommeetingthedemand,sotheintelligentvideomonitoringtechnologyshouldbebornandquicklybecomearesearchhotspot.Intelligentvideomonitoringtechnologyisaninterdisciplinaryresearchdirection,withrichresearchcontentandextensiveapplicationfields.Thispaperreviewsthedevelopmenthistory,researchstatusandtypicalalgorithmsofvideomonitoringtechnology.Firstly,thispaperdiscussestheintelligentvideomonitoringtechnologyfromdomesticandforeignrelatedresearch,analyzesthekeytechnologyofvideomonitoringsystem,facerecognitiontechnology,videoenhancementmethodandvideocodingfastalgorithminvideomonitoring.Keyword：Intelligentvideomonitoring;Smartcity;Publicsafety;TheInternetofthings绪论1.1选题背景现在的社会人口众多。对安保的要求也越来越高。随着对安全和经济条件的要求增加，闭路电视的数量增加，其范围也越来越大。现有的视频监控只提供录像的收集、记忆、再生等简单功能，从而起到警告或警告的作用。为了进行实时异常的监视、采取有效的措施，监视要员必须观看全部图像。这种情况下，管理者很容易疲劳。特别是，在多部影像监控面前，管理者常常感到沉重的负担，不能异常及时地作出反应。因此需要可以帮助监督者的智能视频监视。1.2研究意义无数摄像机和巨大的监视网络瞬间产生大量的影像数据。如何从如此庞大的数据中提取有效、有益的信息，是智能视频监控技术亟待解决的课题。具体来说，智能视频监视技术的目的是让电脑在人脑、像摄像机头一样的人的眼睛里看到。计算机能够智能地分析摄像机获取的图像序列，理解监视场景的内容，并对异常行为执行自动警告和警告。智能视频监控技术是第一个适用于物质网络的重要技术之一，将受到物联网的很大影响。智能视觉监视技术涉及多个研究领域，例如图像处理、图像分析、机器视觉、模式识别、人工智能。作为新一代视频监控的趋势，智能视频监控技术具有广泛的发展空间。1.3国内外研究现状和发展趋势1.3.1国内外现状20世纪末以后，随着计算机视觉的发展，智能影像监视技术受到广泛关注并进行研究。智能视频监测包括对底层动态场景中感兴趣的对象的检测、分类、跟踪和识别，以及对主要级别感兴趣的对象的行为的识别、分析和理解。智能视频监控技术可以广泛应用,公共安全监控产业现场监视控制和状态监视、交通、居住地区的景观等各种各样的主管,识别犯罪的预防和控制交通控制、事故预防、老少疾病的剩余风扇和检查测试主管和其他功能,可以显著改善控制效果,低集控制、广义的研究和应用的前景。视频监控系统,即商业、军事、生活等领域的应用需求的增加,特别是在“911”事件之后,引起了西方主要发达国家的高度重视,投入了大量的资金科学家和广泛深入的讨论,各种面向复杂应用背景的视频监控系统也这也有可能将批量生产。美国国防高级研究计划局(高级研究机构，DARPA)下设信息系统办公室。Office由卡内基梅隆大学(CMU)和Sarnoff公司领先，与监视录像相关的大规模研究项目“VSAM”，其研究成果为军民两用智能录像监视相关的技术。2000年，美国国防高等研究计划局还支持了“HID(HumanIdentificationataDistance)”计划。该程序的目的是实现对远程条件中的人物的验证、分类、身份认证。在产业界，美国ISS公司开发出了为北美铁路运输提供视频监控服务的大型地区视频监控系统“AUTOSCOPE2004”。美国Honeywell公司主要提供智能家庭系统的解决方案。全世界有超过1亿户的家庭和500万套以上的大型建筑在利用Honeywell公司的建筑和住宅产品、技术，这些系统的最重要功能之一就是显示器。ibmt.j.智能美国systemwatson研究中心开发的ibm系统(s3)的新一代视频监控系统的代表,其系统架构的图一样,看到s3系统、影像压缩和编码为基础,智能视频处理为特色,开放的系统架构采用了,非常方便的实现系统集成和扩大。近年来，日本重点开展分散型视频监测项目“CDVP”，以监视公共安全与居民小区安全。据相关报道，日本是世界上设有最多视频监控装置的国家之一，高密度影像监控应用是日本社会犯罪率低的重要原因。国内视频监控相关的研究比西方发达国家晚,整体研究水平与西方发达国家相比也有差异,但发展很快,研究人员集中文科大学、上海交通大学、浙江大学、南京大学、中国科学技术大学、哈尔滨工业、华中科技大学、北京邮电大学、四川、电子科技大学、重庆大学、西南交通大学等重点高校和中国科学院计算,自动所等研究所和一些风险投资企业的海康威视等。在国家自然保护基金、国家863计划等项目的支持下，我国在模式识别、图像处理、视频编码等领域取得了多项突破。中国科学院自动化智能视频监测系统是这方面研究成果杰出的代表。相当于,满足各领域的需要,我国近年来的视频监控系统、数字视频监控系统作为基础设施的建设本身是在2005年,中国公安部城市网络运行和监视报警系统的建设的“3111工程”,计划在全国省市县三级报警,监控系统的测试中推进“平安城市”的建设;2007年，中国电信启动了电信级视频监测系统“全球之眼”业务，可以满足跨地区用户综合视频监测的需要。2008年，面部识别技术首次在奥运会亮相，标志着我国对面部识别理论和方法的研究水平，以及图像监控应用已达到国际先进水平。2010年，在上海举办的世博会是视频监测市场的强大推动力。2012年国内铁路部门在车站安检区域设立基于人脸识别的安全检验身份认证系统，可以识别人脸动态动态;2013年，全国很多省份在高考中引进视频监控系统，监控所有考生的考试、考生操作、考试业务实施情况。不管怎样,近年来视频监控发展迅速,计算机处理为核心,它融合了许多领域的电子信息技术,研究范围涵盖了信息理论、通信理论、编码理论、视频/图像处理和理解,机器视觉、模式识别、信息安全、网络工程、光学工程、等,是一个多学科交叉领域的应用研究,不仅具有较高的实用价值,也具有很高的学术研究价值，并吸引了众多研究者进入该领域，成为当前学术界和产业界的研究热点，各方面的研究成果层出不穷。2000年，国际顶级期刊《计算机视觉》和IEEE模式分析与机器智能会刊相继出版了视频监控专刊，掀起了视频监控及其关键技术的研究热潮，极大地促进了视频监控的应用。计算机械协会(ACM)多年来发表了许多关于视频监控的文章。施普林格、SPIE、Elsevier和IEICE的相关期刊也有很多报道。在世界各地已经召开了许多关于视频监控的国际会议。这些国际会议都涉及视频和图像处理的前沿研究，因此视频监控往往被作为会议讨论的主题之一，为该领域的科学家和技术人员提供了广泛的交流与合作机会。国内著名学术期刊《自动化在2003年出版了一本特殊视觉监控问题,“中国科学E系列”、“计算机科学与技术”、“通信杂志,电子杂志,杂志的软件,计算机研究与发展》、《电子与信息学报,《计算机与光电子、激光和其他重要学术期刊经常报道一些关键技术在视频监控系统中。2002年、2003年和2011年分别召开了全国智能视觉监控学术会议，使视频监控研究受到广泛关注。2013年3月在深圳召开的院士论坛会议以“华山论剑”为主题，“华山论剑”是中国视频监控领域的领军人物。涉及的主题包括智能视频监控、图像/视频识别与检索、智能城市驾驶、图像与视频理解、视频分析和新一代视频编码。1.3.2发展趋势目前，新一代视频监测技术尚处于初级阶段，数字化、智能化、网络化、系统集约化是未来视频监测的必然发展趋势。1.数字化数字视频监视系统完全数字化，而不是模拟视频监视系统。数字视频监控允许在没有重叠布线的情况下易于受到距离限制和干扰，并且增强了在图像的视觉质量和视频监视系统中处理视频图像信息的能力。2.智能化视觉是数码化的基础上,计算机技术的发展和视频监控的应用,视频监控系统最主要的发展方向之一是,传统的视频监控系统,智能图像理解技术,提取相关信息监测数据并作相应的处理,增强视频监控中兴趣和警报功能识别区域的跟踪,相关人士的辅助工具。3.网络化国家制定了“对安全视频监控网络系统信息的传送、交换、控制技术的要求”标准，标志着2013年将成为基于互联网的视频监控系统全面普及的时代。随着因特网通信技术的发展，视频监控系统能够通过因特网远程地传送视频数据，从而实现远程监控功能。网络化的趋势是视频的数据量越来越大,系统更强烈的记忆、搜索、备份等功能的要求。另外,庞大的视频数据,也ビデオモニタリングシステム的数码化,智能化发展提出了新的要求。4.系统的集成化除了应用程序所需的复杂化以及用户的多样化以及视频监控本身的特征之外，视频监测必然朝着系统化、集约化的方向发展。视频监视系统是兼容的且可扩展的。开放的系统架构,如果招聘门禁、身份认证、警告、mis系统等的主功能更加专业化,实现无缝融合后,被合并的操作系统上容易管理及控制,可以实现。此外，热图像处理技术、云计算和高分辨率图像处理的研究和应用推动了视频监测的发展。目前，新一代的视频监控技术尚处于起步阶段，数字化、智能化、网络化、系统集成化是未来视频监控的必然发展趋势。第二章视频监控系统的几个关键技术现在的视频监控系统，在功能上取得了很大的发展，性能上也有了很大的提高，但是受到了几项固有要素和技术发展的限制，安全性和实用性没有得到完善，存在缺陷。学术界和产业界为了解决在影像监控系统实施时遇到的各种问题，正在积极地进行研究。在视频监控领域研究和探讨的问题，事实上是开放和无止境的。当代的5大类的视频监控系统的主要关键技术,包括数字视频压缩技术和代码、数字视频的网络传输技术,个视频数据的保存技术,视频搜索和监控场景的人/物体的识别和追踪技术,视频监控场景的运动检测报告警技术,这也一定程度上反映了目前的视频监控系统,向数码化和网络化,智能系统集成化发展的趋势。如上文所描述，对视频信息的智能分析和处理、对视频信息的压缩和传送是最重要的核心支持技术。本文只探讨了这两个方面的几个重要问题。下文中，将主要结合视频监视中的自动脸识别、视频强调及视频编码优化的三个方面分别进行描述。2.1自动人脸识别目前公共安全问题不断被强调，犯罪活动的技术越来越高，被要求加快开发以主动警告为主、基于生物学特征进行身份认证的视频监控系统。在新生物识别技术(Biometrics)中，生物的特征主要有两种。所谓人的脸、指纹、虹膜、手掌纹、行动、耳朵、静脉、嘴唇、脑波、DNA、体臭等行为的特征，就是笔迹、点击习惯、行动、声音等。，表1-1是最主要的生物特征的比较。表1-1的几种最重要的生物特征均具有人体固有的特性和不可复制的唯一性，非常适合人物的身份认证。其中，DNA、指纹和虹膜,那是人的一生不变的生物特征,个体应积极采集,采集虹膜是根据需要近距离,才能采集和DNA分析都有一定的难度,语音视频监控的主要信息采集，这就限制了以上生物特征在视频监控领域的应用。与其它生物特征识别技术相比，每个人的脸部都暴露在公共环境中，易于非接触性获取的特点使得监控更隐蔽，因此人脸识别最适合视频监控应用。如果将特定人的脸部特征信息储存在数据库里作为识别的依据，在此基础上采用中远距离的人脸检测与识别技术，基于众多公共摄像头采集的视频信息，很容易实现视频监控中目标人物的身份认证和系统准入。例如，利用人脸识别技术对广泛使用的安防视频监控系统进行监控，有利于提高工作效率，可以大大提高传统视频监控系统的预警功能和情报程度，对反恐、刑事侦查等具有重要意义。2012年，震惊全国的周克华案就使用了视频监控中的人脸识别技术。然而，视频监控系统具有全天候运行的特点，人脸图像采集不可避免地会受到光照变化的影响。相关研究表明，同一个人在不同光照条件下的人脸图像差异要大于不同人在相同光照条件下的人脸图像差异。因此，光照鲁棒人脸识别的研究成为视频监控领域的一个热点。2.2视频增强视频监控系统特别注意图像的清晰度。正常情况下，视频监控系统需要全天24小时工作，因此视频信息采集设备易受各种环境因素引起的噪声影响，给后续分析处理带来很大困难。因此，旨在提高视频视觉质量或便于后续识别分析处理的视频增强技术具有越来越多的研究价值。通常，在安静的夜晚，视频监控系统更为重要。但由于夜间光照不足，监控视频质量较低，不利于进一步分析。因此，对夜间视频增强的研究是非常有价值的。2.3视频编码优化视频压缩编码技术的主要目的是压缩数字视频信息，有效利用存储和网络传输资源，提供更高的视频重建质量。视频编码及其优化是视频监控系统中最重要的核心技术之一，为视频监控系统在视频图像传输和存储方面带来了巨大的好处。然而，在视频监控系统的开发中存在两个问题:（1）基于网络的视频监控系统已得到广泛部署，海量的数字视频信息处理成为现实需求，无线传输将是下一代视频监控系统的主要渠道，数据存贮与网络传输资源的有限性和客户对视频质量需求提高的矛盾成为了视频压缩与编码发展的动力；（2）目前的视频监控系统中往往有实时性的视频编解码处理需求，而现今的视频监控系统常用的视频信息采集和处理设备是计算能力和资源受限的移动设备或嵌入式系统（EmbeddedSystem），这对视频处理的实时性（Real-Time）提出了严峻挑战。第三章视频监控中人脸特征描述方法研究3.1视频监控中的人脸识别人脸识别以其高精度、非侵入性、低成本、摄像机分布广等优点，在视频监控系统中得到了广泛的应用。视频监控系统需要对视频中的人脸图像进行分析和识别。技术实施可分为以下步骤:(1)用相机采集人脸图像或用照片形成人脸图像文件，处理后生成人脸数据库作为识别的基础;(2)利用摄像机获取监控场景的视频，利用人脸检测算法获取视频流中的人脸图像，并记录相应的位置、时间等信息;(3)将当前人脸图像与数据库中存储的数据进行比较。综上所述，视频监控系统中的人脸识别过程一般包括图像采集、人脸检测与定位、图像预处理以及特征提取与识别等几个步骤。3.2基于轮廓波变换的光照鲁棒人脸特征描述方法由于小波分析具有“自适应性”和“数学显微镜的特性”等优点，自诞生以来就成为许多学科的研究热点和研究人员喜爱的分析工具，极大地促进了理论科学、应用科学，特别是信息科学的发展。小波变换能在空间和频域上提供良好的局部信息，因此在数字图像处理中得到了广泛的应用。受生理学家对人类视觉系统（HumanVisualSystem，HVS）和自然图像统计模型的研究成果启发，图像的最优化表征方法应该具有如下5种特性：（1）多分辨特性：对图像以多种不同的分辨率进行连续的逼近；（2）局部化特性：表示图像的基函数在空域和频域是局部支撑的；（3）严格采样性：表示图像的基函数或框架冗余较小；（4）方向性：图像用不同方向的基函数来表示；(5)各向异性:表示图像的基函数具有不同方向和比例的拉伸形状。但在这些期望的性质中，小波变换只满足前三个性质，而不具备后两个性质。小波变换的缺陷迫使科学家们寻找一种更有效的图像表示工具，多尺度几何分析理论发展迅速随着小波变换的发展，轮廓变换可以代替小波变换应用于图像处理的许多领域。与小波变换相比，轮廓变换具有更好的方向性和各向异性，在图像去噪、增强等方面的应用更加有效。第四章视频监控中视频增强方法研究视频增强是一项旨在提高视频人/机器视觉感知质量的计算机视觉任务。本章针对视频监控中夜间亮度不足导致视频监控质量低下的问题，提出了一种基于小波变换融合的夜间视频增强算法。利用同一场景中的白天视频内容，达到增强夜间视频的目的。4.1引言视频信息的获取容易受到环境因素和噪声的影响，给后续的视频分析和识别带来很大的困难。因此，提高视频人/机视觉感知质量的视频增强技术显得越来越重要。视频监控系统具有全天候工作的特点，往往能在深夜发挥更重要的作用，图4-1是具有相同背景和相同角度的监控视频的某一帧。可以看出，由于夜间光照不足，光照条件发生很大的变化，使得监控视频的对比度严重下降，颜色也发生退化，夜间视频的质量比白天的监控视频差很多，不利于使用该视频作进一步分析。因此，夜间视频的增强问题就非常有研究价值。根据Marr关于视觉的计算理论，视频增强是最基本的图像处理技术，目的是把原来不清楚的视频图像变得更清晰、或者强调感兴趣的区域和强化特征以便后续处理。因此，传统意义上的夜间视频增强主要来自于图像处理中的图像增强技术。近年来，随着视频监控的普及，不断有新方法提出。目前，夜间视频增强的主要方法可以分为以下两类：1.基于视频本身的增强方法。这种方法是图像增强的结果，图像增强)技术，传统上对图像增强的许多基本方法，如直方图均衡化、伽马校正、对数变换、色调映射等。可用于夜间视频增强，在此方法的基础上，结合一些有价值的改进方法，如自适应直方图均衡化(AdaptiveHistogramEqualization,AHE)、加权阈值直方图均衡化(Weightedthreshold-dedHistogramEqualization,WTHE)和Arici等提出了一种改进的直方图均衡化。然而，这些方法主要用于图像增强。Bennett等人提出了一种视频增强方法，并通过实验验证了其有效性。这种方法的特点是,无论在图像像素水平,增强或整个水平,或在变换域中,不要依赖增强目标视频的任何信息,除了晚上视频的一部分,因为信息丢失的光太暗,增强效应可能出现不和谐甚至无法改善的情况,所以这种方法并不总是有效的。2.基于视频融合的增强方法这种方法比较新颖，主要来源于图像融合技术，其实质是利用相关信息对目标视频进行融合增强。利用红外成像进行融合增强是一种自然的思路，但在视频监控系统中推广应用并不容易。考虑到视频监控系统对同一场景的白天和夜间监控视频都很容易获取，因此在白天使用同一场景的高质量图像来提高夜间视频质量的想法是非常可行的。国外学者提出了一种基于梯度域的白天视频和晚上视频融合方法，但是基于梯度的图像重建方法可能会导致颜色偏移，这极大地限制了该方法的应用。文献中提出了一种基于图像融合的视频增强方法，但该方法的融合规则依赖于多个参数，很难在所有情况下都有效。受相关研究启发，可以认为利用同一场景的白天视频信息帮助提高夜间视频质量的思路是有效的，但改进的关键包括：（1）如何更有效的提取光照信息；（2）如何使融合后的视频更加自然、协调。本章针对视频监控中夜间视频亮度低和质量差的问题，提出一种使用小波变换的夜间视频增强算法，该算法把光照成分和反射成分进行分离，并采用“动”（运动检测）“静”（背景估计）结合的策略，在此基础上提出了一种新的基于光照的融合规则来增强夜间视频。实验表明，该算法能有效提高夜间视频的亮度，并且色彩信息比较自然协调。下文是对这种算法和相关内容的详细介绍。4.2算法描述为了提高视频监控中的夜间视频质量，本章提出了一种基于小波变换的夜间视频增强算法。该算法使用一种新的彩色图像分离算法提取相应的光照明形象,监视视频序列和背景估计和运动区域检测,白天在视频信息的帮助下,用一个新的图像融合规则的运动区域和背景区域分别增加,然后使用方法高斯低通滤波器平滑运动区域的边界,最后重建彩色图像和视频。从理论上讲，本章算法利用夜间视频中的时域、空域和频域信息，提取白天视频的相关内容作为补充，是提高增强效果的重要保证。本章算法也使用更有效的浅色图像分离算法,该算法基于小波变换和颜色空间转换的原理是输入视频图像从RGB颜色空间转换到YCbCr颜色空间,提取后Y分量图像使用光分离方法基于小波去噪图像进一步分解为光和反射图像。此外，本章算法还根据增强背景的相同比例对运动区域进行了增强。为了解决运动区域的模糊和不一致问题，该算法还采用了低通高斯滤波器，使增强后的视频各区域的光照强度一致，效果良好。这种基于小波变换和融合的夜间视频增强算法主要包括以下技术:(1)RGB颜色空间与YCbCr颜色空间的转换;(2)基于小波变换的光图像分离;(3)背景估计和运动检测;(4)基于图像融合的增强方法;(5)重建彩色图像，输出增强视频。4.2.1RGB色彩空间与YCbCr色彩空间的转换颜色是由人眼感知不同频率光的方式造成的。根据计算机颜色理论，某一种颜色在计算机上有不同的组织和表示，这就是所谓的颜色系统。常见的颜色空间包括RGB、归一化RGB、XYZ、HSV、YCbCr、CMYK等，可以在各种颜色空间之间进行转换。相机采集的视频大多采用RGB色彩空间，这也是最常用的色彩空间。顾名思义,RGB颜色空间是由红色、绿色和蓝色的组件,其标准的国际照明委员会(任命国际歌DEL'EclairageCIE),原则上是将红、绿、蓝三种单色光选为三个主要的颜色,数字图像中每个像素的颜色可以用于三维空间的一个点在第一象限。YCbCr色彩空间是另一种常见而重要的色彩空间，广泛应用于电信技术等领域。YCbCr颜色空间由亮度分量和色度分量组成:Y表示亮度分量，Cb表示蓝色色度分量，Cr表示红色色度分量。本章算法采用YCbCr颜色空间，具有以下优点:(1)YCbCr颜色空间和RGB颜色空间是线性变换关系，彼此之间容易变换，复杂性不大。(2)ycbcr颜色空间,是人类的视觉感知过程具有类似的机制,相关的研究中,动态检测和动态投影抑制的适用,另外,正规化,另外,xyzhsv等其他相比,ycbcr颜色空间得到更出色的效果——成为了可能。(3)YCbCr颜色空间中色度分量和亮度分量彼此独立。由于上述方法的随后处理主要基于光照图像处理，所以视频对光照信息的处理对于RGB颜色空间的对应颜色分量影响，但是在YCbCr颜色空间中的光照信息处理中没有改变。(4)YCbCr颜色空间广泛应用于诸如电视显示的区域，并且是在一般视频编码标准中采用的颜色显示格式。由于视频监视系统中的每一模块必须与视频压缩和编码模块协作，所以利用YCbCr色彩空间以促进每一模块的交互变得更加方便。4.2.2小波变换与数字图像处理小波的数学基础是fourier变换进行了分析,并通过一些简单运算的伸缩和平(等)的转移函数和适应对信号的多尺度分析,可以同时满足信号时域和频率领域,为了处理的必要的“数学显微镜”的美称,fourier变换后在科学方法上的重大突破,当前的应用数学和工程学科的研究热点话题有问题。许多实际应用都是可以归纳为信号处理问题的，小波分析适当地从信号中提取信息，所以它取得了电子信息产业领域瞩目的成果。图像处理,小波变换是实际应用的一个非常重要的方面,强调图像的图像除噪,数字水印的信息隐蔽,模式识别等领域的研究中,科学意义和应用价值的成果获得了很多。4.2.3背景估计和运动区域检测首先,为了获得日间和夜间背景,使用图像平均模型的方法在这一章,原理是将一系列的视频帧平均像素值后的积累,因为很长一段时间后平均的总和,在单帧图像运动的影响,区域价值平均将变得非常小,可以使运动区域的误差可以忽略的水平,和更准确的背景估计。目前常用的运动检测方法有帧间差分法、背景差分法和光流法。帧间差分法是从两幅连续图像的差值中获取运动区域的信息，但由于运动区域内可能没有明显的差异，通常只能得到运动区域的一部分。背景差分法主要根据运动信息将前景与背景分离，从而检测运动前景。然而，当运动区域与背景之间的差异不明显时，该方法容易产生误差。光流法的优点是无需先验信息即可检测出独立的运动区域，缺点是计算量大，难以满足实时性的要求。因此，根据以上分析，可以认为单纯使用某种方法很难达到理想的运动检测效果。运动检测方法主要是基于高斯混合模型,为了进一步处理,第一个帧的提取运动区域对应的二进制图像,但图像可能是空的,边缘有亮点,所以用数学形态学方法对二进制图像腐蚀、扩张和填充处理,以获得优化的二进制图像,在后续的处理步骤中可以使用二进制图像作为分割前景和背景视频帧的基础。4.2.4算法流程根据前文所述，本章提出了一种新的夜间视频增强算法，其处理过程如图所示。从图可以看出，该算法的输入为白天和夜间采集的两组相同场景的视频，输出为增强后的夜间视频，处理流程为：（1）分别对白天和夜间视频做背景估计以获得白天和夜间的背景图像，然后利用基于PCA的图像融合方法对夜间背景图像进行增强；（2）对夜间视频做运动检测，获取二值图像作为后续处理的基础；（3）利用本章提出的基于小波变换和色彩空间转换的彩色图像光照分离子算法，按需要提取相应的光照图像；（4）利用本章提出的基于光照的融合规则对夜间视频亮度进行增强，并使用低通高斯滤波器作平滑处理；重构彩色图像，并输出彩色视频。第五章视频监控中视频编码快速算法研究5.1H.264/AVC视频编码2003年，itu-t与ISO/IEC联合组建的视频联合视频团队(JVT)发布了新一代视频编码标准h.264/AVC，该标准具有较好的压缩性能和网络亲和力。因此，它受到了广泛的关注和欢迎，被普遍认为是最有影响力的视频编码标准。图5-1显示了h.264/AVC的编码框架。可以看出H.264/AVC编码主要包括:编码控制、帧间/帧间预测、变换与逆变换、量化与反量化、环路滤波、熵编码、运动估计(MC)和运动估计(ME)。为了实现高效的视频压缩，充分考虑多媒体和通信对视频编解码的需要，H.264/AVC标准集中了以往标准的优点，吸收了视频编码领域的许多先进技术。引进了许多新的技术和方法后,H.264/AVC的编码和解码性能质量大大提高,但增加了编码的计算复杂度,也限制了H.264/AVC应用程序实时视频处理,从而提高基于H.264/AVC视频编码速度的研究价值,它也成为近年来研究的热点。5.2可伸缩视频编码可伸缩视频编码标准，它主要通过时间、空间和质量等方面的可伸缩机制，灵活多变的自适应异构网络的动态变化和用户的不同需求，具有很高的编码效率。由于从不同摄像机得到的视频可能有不同的分辨率和不同的视频质量，因此可伸缩视频编码非常适合应用于视频监视系统中。可伸缩视频编码的可伸缩性包括多个方面，其中最重要的是以下三个方面：（1）时间可伸缩性（TemporalScalability）；（2）空间可伸缩性（SpatialScalability）；（3）质量可伸缩性（QualityScalability）；它也可以是上述的组合。可伸缩视频编码继承了h.264/AVC的先进编码技术，其编码效率也非常高，采用了许多高复杂度的方法来有效地实现编码的可扩展性，使得可伸缩编码更加复杂。因此，研究如何提高编码速度是非常必要的。本文只研究了高质量可伸缩编码的快速编码算法。简而言之，质量可扩展性是指视频序列可以在相同分辨率和帧率的前提下重构不同质量级别的视频。如图所示，可以看出左右视频(帧率相同)的分辨率是一样的，但是左右视频的质量更高。第六章总结与展望6.1工作总结视频的智能分析与处理、视频的压缩与传输是视频监控系统的两个最重要的方面，也是下一代视频监控系统开发的基础和研究重点。本文仅对视频监控中光照鲁棒性人脸自动识别问题、低照度夜间视频增强问题和视频编码速度优化问题进行了深入研究。在研究过程中，完成了以下几项工作：(1)提出了一种利用小波变换的轮廓线，并基于光照不变特征描述的人脸光照模型，该方法是基于轮廓线的系数在小波变换域内进行处理，提取出的特征光不敏感，计算过程简单，耶鲁大学B和CMUPIE数据库实验表明，该方法能有效改善人脸识别率条件下的光照变化，对光线具有良好的鲁棒性。(2)提出了一种基于融合的夜间视频增强方法。该方法首先采用基于小波变换和颜色空间变换的光照分离算法，然后分别对背景区域和运动区域进行增强。实验表明，该方法能有效提高夜间视频质量。6.2展望在视频监控这一快速发展、影响深远的领域，一篇论文不能涵盖所有方面。本文仅对几个关键问题进行了研究。下一步是在现有工作的基础上进一步研究，可以从以下几个方面进行:1.人脸识别技术已广泛应用于视频监控系统的身份认证中。由于小波多尺度分析的原理符合人类的视觉感知机制，笔者将在多尺度分析理论最新研究成果的基础上，进一步优化人脸识别的特征提取和特征分类，提高识别的鲁棒性。另一方面，视频监控中的行为识别研究正在兴起，对于异常事件预测和发现的应用具有更大的研究价值。此外，根据最新的文献发现，目前越来越多从事人脸识别研究的学者正逐步转向这一研究领域。本文将重点对人的行为特征进行描述和识别，并结合多种生物特征识别身份认证方法，从而更好地拓展视频监控系统在智能分析中的应用前景。2.本文提出一种视频基于小波变换的增强方法是晚上一个更复杂