智能视频监控中的运动目标检测相关技术研究

1、分类号：TN919.8510.4050密级：天津理工大学研究生学位论文智能视频监控中的运动目标检测相关 技术研究申请硕士学位学科专业：信息与通信工程 研究方向：图像处理 作者姓名：潘兆华 指导教师：张德干 教授Thesis Submitted to Tianjin University of Technology for the Masters DegreeResearch on the relative technology of moving object detection in intelligent video surveillanceByZhaohua PanSupervisorD

2、egan Zhang独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取 得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得 天津理工大学 或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研 究所做的任何奉献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解 天津理工大学 有关保存、使用学位论文 的规定。特授权 天津理工大学 可以将学位论文的全部或局部内容编入 有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编， 以供查

3、阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子 文件。保密的学位论文在解密后适用本授权说明学位论文作者签名：导师签名：摘要智能视频监控技术的研究属于近些年来在计算机视觉领域新兴的方向。它主要的研 究目标是通过计算机视觉技术、图像视频处理技术和人工智能技术，对监控视频的内容 进行描述、分析和理解，同时根据分析处理所得的结果对监控系统进行控制，进而使得 视频监控系统能够满足人们对于智能化的要求水平。它的主要研究内容包括：监控视频 中运动物体的检测、跟踪、识别和行为分析等。本文主要的研究内容为智能视频监控中的运动目标检测提取方法。针对传统的运动 目标检测诸多方法中经常出现的易受光照变化、

4、复杂背景、阴影等因素影响的问题，提 出了一种由混合高斯模型、边缘检测法与连续帧间差分法三种算法相结合的运动目标检 测算法。该算法通过混合高斯模型在时间域上进行背景的建模与更新，在空间域上利用 由边缘检测算法、连续帧间差分法以及混合高斯模型相结合的检测算法得出初始的运动 目标轮廓，并且经过后续的运算处理，得到完善的所需运动物体。该算法不仅能够很好 的适应所处场景中的背景干扰与渐变的光照条件，而且能够克服传统算法中对于目标检 测不准确、边缘检测不完整、容易产生空洞和重影等问题的发生。实验结果显示该运算 方法复杂度相对适中，具有比拟好的实时性和鲁棒性，对运动物体检测的精确度较高。 运动目标检测是智能

5、视频监控中的一个重要环节，而运动目标的阴影检测又是运动 物体检测的一个重要步骤。对于目标阴影检测的正确与否将直接影响到对目标物体的检 测结果。通过对各种阴影检测方法的学习与研究，我们发现仅仅通过一种特征进行处理 并不能准确的检测出阴影。因此，本文提出了一种混合颜色信息、光学不变性以及纹理 特征的目标阴影检测方法，通过综合分析三种信息检测的结果，从而实现对阴影的有效 确定。该算法能够有效地结合各种方法的优势，在实验中取得了较好的效果和运行效率。关键词：智能视频监控 运动目标检测 阴影检测Intelligent video surveillance is an emerging research

6、direction in the field of computer vision. It focuses on how to describe, analysis and understand the contents of the surveillance video by using image and video processing technology and artificial intelligence techniques. Then it can control the video surveillance system according to the analysis

7、results, making the video surveillance system have a higher level intelligence.The main research content of this paper is the detection method of moving targets in intelligent video surveillance. Aiming at the problems of the illumination change, complex background and shadow in the traditional targ

8、et detecting methods, a novel algorithm which combines mixture Gaussian background models with edge detection and continuous frame difference, moving object detection method. In the method, background model was set up and updated through GMM on the time domain. Then the mixture method includes edge

9、detection, continuous frame difference and mixture Gaussian background models was used to get thepreliminary target ， and perform further operation ,to extract the final moving object. Themethod not only can satisfy the illumination changes and background scene disturbance, but also can overcome the

10、 problems of object detection inaccuracy, lacking of edge, empty of target and double-shadow phenomenon existing in common methods. The experimental results show that the method is easy to implement, has good real-time performance and robustness, and can detect the moving targets accurately.Moving o

11、bject detection is an important part in intelligent video surveillance; otherwise, the detection of moving targets shadow is also an important step in moving object detection. On the accuracy of shadow detection will affect the detection results of the object directly. Based on the variety of shadow

12、 detection method, we find that only using one feature can not make the result of detection accurately. Then we present a new method for shadow detection which contains color information, the invariance of optical and texture feature. Through the comprehensive analysis of the detecting results of th

13、ree kinds of information, the shadow was effective determined. It gets ideal effect in the experiment when combining advantages of various methods.Key words: Intelligent Video Surveillance, Detection of Moving Object, Detection of Shadow HYPERLINK l _bookmark0 第一章 绪论1 HYPERLINK l _bookmark1 1.1 课题的研

14、究背景和意义1 HYPERLINK l _bookmark2 1.2 国内外研究现状3 HYPERLINK l _bookmark3 1.3 本文的研究内容和组织机构5 HYPERLINK l _bookmark4 第二章 运动目标检测的相关技术研究6 HYPERLINK l _bookmark5 2.1 图像预处理6 HYPERLINK l _bookmark5 2.1.1 颜色模型分析6 HYPERLINK l _bookmark6 2.1.2 灰度化9 HYPERLINK l _bookmark6 2.1.3 消除噪声9 HYPERLINK l _bookmark7 2.1.4 二值化1

15、1 HYPERLINK l _bookmark7 2.2 运动目标检测常用算法11 HYPERLINK l _bookmark7 2.2.1 运动目标检测算法概述11 HYPERLINK l _bookmark8 2.2.2 三种常用的运动目标检测方法的比拟15 HYPERLINK l _bookmark9 2.3 本章小结16 HYPERLINK l _bookmark10 第三章 一种新的混合运动目标检测算法17 HYPERLINK l _bookmark11 3.1 概述17 HYPERLINK l _bookmark12 3.2 相关研究工作18 HYPERLINK l _bookma

16、rk13 3.3 算法思想19 HYPERLINK l _bookmark13 3.4 算法的理论根底19 HYPERLINK l _bookmark13 3.4.1 混合高斯模型19 HYPERLINK l _bookmark14 3.4.2 边缘检测法22 HYPERLINK l _bookmark15 3.4.3 连续帧间差分法24 HYPERLINK l _bookmark16 3.5 算法实现过程25 HYPERLINK l _bookmark16 3.5.1 连续帧间差分法与边缘检测法的融合25 HYPERLINK l _bookmark17 3.5.2 边缘检测法与混合高斯模型相

17、结合26 HYPERLINK l _bookmark18 3.5.3 整体算法描述27 HYPERLINK l _bookmark18 3.5.4 阴影抑制27 HYPERLINK l _bookmark19 3.5.5 形态学处理28 HYPERLINK l _bookmark20 3.6 实验结果比照29 HYPERLINK l _bookmark21 3.7 本章小结34 HYPERLINK l _bookmark22 第四章 基于多源信息的运动目标阴影检测36 HYPERLINK l _bookmark23 4.1 概述36 HYPERLINK l _bookmark24 4.2 阴影

18、的特点37 HYPERLINK l _bookmark24 4.3 基于 HSV 颜色空间与光学不变性的阴影检测37 HYPERLINK l _bookmark24 4.3.1 基于 HSV 颜色空间的阴影检测37 HYPERLINK l _bookmark25 4.3.2 基于光学不变的阴影检测39 HYPERLINK l _bookmark26 4.3.3 基于 HSV 颜色空间与光学不变的二重阴影检测算法40 HYPERLINK l _bookmark26 4.4 基于 LBP 纹理的阴影检测40 HYPERLINK l _bookmark26 4.4.1 LBP 纹理模型40 HYPE

19、RLINK l _bookmark27 4.4.2 LBP 纹理的光照不变性41 HYPERLINK l _bookmark27 4.4.3 基于 LBP 纹理的阴影检测41 HYPERLINK l _bookmark28 4.5 基于多源信息的阴影检测算法详细步骤42 HYPERLINK l _bookmark29 4.6 实验与分析43 HYPERLINK l _bookmark30 4.7 本章小结47 HYPERLINK l _bookmark31 第五章 总结与展望48 HYPERLINK l _bookmark32 参考文献49 HYPERLINK l _bookmark33 发表

20、论文和科研情况说明53 HYPERLINK l _bookmark34 致谢54第一章 绪论 课题的研究背景和意义人类对于外部环境信息的获取绝大局部都是由视觉来完成的。通过研究发现，75% 以上的外部信息的获取是通过视觉来完成的，借助视觉途径来认识环境通常具有很高效 率的。在经由视觉认知世界的情况时，一般步骤是：光信号通过刺激眼睛使其能够感受 到外部事物的影响信息，进而经由视觉感官系统把相关影响信息传输到大脑，大脑通过 处理所获得的信息，最终获得由视觉传递的解释信息。图像与视频是人类所依赖的最直 接的信息载体，它实现对所记录的客观事物的直观而具体的表达。随着计算机软件、硬 件综合性能的迅速提升

21、，以及随着群众平安意识的持续增强，以图像与视频为根底的监 控系统得到了飞速的开展和更加广泛的应用，尤其是在社区安防、交通监管、银行、商 场等场合的监控措施进行的都比拟成功，取得了很好的社会经济效益。然而，原有的监控系统只可以提供包括视频采集、存储以及分发等根底的效劳，人 们所获得的视频图像也只是没有经过任何分析处理的初级图像，仅仅能应用于事后取 证，人为的操作在监控系统的运行过程中占据非常大的比重，因而无法使实时性、主动 性以及准确性在视频监控系统中得到充分的表达；此外，从信息量庞大的视频监控系统 中提取出人们感兴趣的信息的工作量也是异常巨大，费时又费力，无法满足人们对突发 事件的及时性应急需

22、求，因此，诸如此类的监控系统的缺乏之处表达的越来越明显。能 够实现实时准确的检测、分析、跟踪和判别所监控的区域的异常事件的发生，以及即时 性报警的智能视频监控技术越来越受到人们的重视并且得到了迅速的开展。智能视频监控Intelligent Video Surveillance的定义为：无需人为处理的条件下， 借助机器视觉的相关技术对监控系统中的视频序列进行处理、分析以及理解，完成对所 监视控制区域中存在的目标的检测、定位、跟踪与识别，并以此为依据对物体的行为进 行特定的分析与判断，在有异常事件发生时能够及时的提供有用信息或发出警报，进而 使得漏报与误报的情况得到极大程度的降低1。因而智能视频监

23、控系统一般又可为自动 化的监控系统。一般来讲智能视频监控系统按需求与功能可分为四大模块，具体组成如 图 1-1 所示：图 1-1 智能视频监控系统组成各模块所实现的功能如下： 目标检测：从视频中截取的图像帧，针对其一局部或全部进行搜索，检测符合要求的目的区域； 目标跟踪：对检测到的符合实际要求的目的区域，在区域中针对符合条件的目标进行跟踪，与此同时对目标的运动轨迹进行获取与记录； 目标分类：目标分类主要参考的目标属性一般为运动特性与表象特性，通过对不同属性的判断进而对目标进行分类； 目标行为分析：分类处理后的目标，对其行为做进一步的综合性分析。 综合各方面性能，智能视频监控系统的优势显而易见，

24、具体表现如下2-3：1、24 小时监控：传统的视频监控系统中，对监控设备所覆盖的区域的监控与画面 分析等操作，都是通过人为来完成的；而在自动化的视频监控系统中，对监控视频中所 获取的大量数据的分析处理，都是通过其本身系统中的内部算法来实现的，极大程度的 缓解了监视人员的工作压力，与此同时也可以实现全天候无缝隙的对特定区域的监控。 2、提升发出警报的准确性：在传统的视频监控系统中，工作机制只是完全的借助人 为操作来完成，对于这项枯燥无味的工作，相应的工作人员无法保持任何时段的精神都 集中，因此必然会出现疲劳、松懈等现象，由于这些情况的出现，必然会带来错误警报、漏除警报等现象。错误的警报可能会让监

25、控人员、安保人员等对相应的视频做出不必要 的分析，对人力物力都是一种极大的浪费，而很多监控区域的危害因素的出现，都是由 漏除警报导致的。智能视频监控系统的出现，极大地防止了上述不利因素的出现，它能 够让用户根据不同的监控区域，按照特定要求自主的设置不同的平安监控因素，从而最 大限度的减少错误警报、漏除警报等现象的出现，极大程度的降低了工作人员由于长时 间人工监控带来的消耗。3、监控内容的即时性处理：当有非正常情况发生后，监控人员会对监控视频的图像 所包含的信息进行分析和采取相应的措施，而错误警报与漏除警报等现象的出现，会使 工作人员对信息数据的定位与分析的难度加大，从而带来很多不必要的工作。在

26、传统的 监控系统中，对于感兴趣的事件，工作人员只能单纯的对事件的时间节点进行标注，然 而，在智能视频监控系统中，可以实现对非正常事件的自动检测，并且能够把非正常事 件所涉及的信息添加到数据库中，从而实现在有需要时，可以迅速的查找与定位。智能 视频监控系统不仅能够对常规的问题采取解决措施，还能提供对特定范围内的人数进行 统计、对车辆进行识别以及对交通中的流量进行控制等很多效劳。智能视频监控系统的出现，不仅提高了监控系统的效率、实现了即时性的对突发事 件做出相应措施，而且解放了人力、节约了物力。因此智能视频监控系统的应用范围非 常广泛，而其中最为根底、主要的功能为运动目标的检测技术。对运动目标进行

27、检测是 为了去除视频监控视频图像序列中的背景，进而把所研究的目标从视频图像序列中提取 出来。可以说，对于目标检测效果的优劣，会严重影响到接下来的操作的实现效率。运 动目标检测技术涉及到计算机视觉与模式识别等很多领域，因此该技术的开展状况一直 备受关注；同时，由于各种主观和现实问题的影响，诸多不可预测因素使得实际的监控 环境变得比拟复杂，给检测任务带来了各种各样的麻烦与不便，对研究工作来讲也是带 来了很多挑战与困难，因而，对于运动目标检测技术进行深入研究与探索，是非常必要 且拥有重要的意义与价值。对于运动目标检测算法来讲，不仅要到达准确的从背景中检测出目标物体，同时也 要到达实时性的要求。虽然该

28、技术历经了多年的研究与开展，对于不同要求的具体算法 也层出不穷，但至今为止，始终存在很多难点问题4-5：由于光照影响而出现的目标阴影 问题、在监视场景中原本静止的物体的移出问题、原本运动的物体进入场景后静止融入 背景的问题以及运动物体的相互遮挡等诸多问题，都是急需研究人员更深层次的进行探 索与解决的。因此，研究出一种具有诸多兼容性的算法，将会非常具有实际意义与应用 价值。 国内外研究现状近些年来，时代的开展促进着计算机软件、硬件的应用性能的不断提升与进步，各 式各样的针对于不同应用场所的智能视频监控系统也如雨后春笋一样大量出现。智能视 频监控系统的多方面优势，促使着很多领域对它的需求量不断增大

29、，为了解决市场上逐 渐增长的需求，许多国家都逐渐的加大了对于智能视频监控系统相关技术研究所需投入 的人力与资金，正是由于如此高度的重视使得拥有高度自动化的监控系统的开展进程日 益迅猛。20 世纪 90 年代，针对当时与未来世界的不同场所的监控需求，美国的几所世界名 校与研究院所在美国国防高级研究方案局的资助下通力合作，经过不断的努力与探索， 成功的研制出了名为 VSAM 的视频监视与监控系统6。VSAM 的核心为自动化的对所监 控的视频信息进行理解与分析的技术，它的出现为降低人力在多种场合的巨大消耗提供 了可能，也为很多危险场所的无人自动化监控提供了实现平台。欧盟在这一领域也投入 了大量的人力

30、物力，欧盟 IST 的 Framework5 委员会针对智能视频监控系统设立了专门 的工程，目的是通过开发一个高效的城市公共交通管理系统，来逐步实现对交通环境所 面对的日益增大的压力的有效缓解，该技术不仅包括对交通流量的监控，而且还包括对 交通中的个人进行行为分析和人机交互等多方位的研究。英国的雷丁大学通过对交通视 频监控中的人流和车辆的实时监测，来实现对相应目标的跟踪与行为分析和理解，从而 到达更深层次的人车交互识别研究的目的7；IBM 和 Microsoft 等很多国际大公司也着 眼于未来科技的开展，将基于视觉的手势识别接口投入到商业市场中8-9。Maryland 大 学 W4 系统，能够

31、经过创立相应的外观匹配模型，来实现对户外场景中的人群进行检测 与跟踪，同时能够完成对人们之间的简单交互进行监控10。在国外的研究当中，不同形 式的传感器也被应用在监控系统之中，它是通过多个传感器的协同工作，来实现对某一 区域的全方位监控；还包括飞行器监控，最常见的就是把从特定的飞行器上传输来的实 时监控的视频图像进行分析和相关的处理，来指导进一步的对突发事件的响应措施。日 本也针对人们居住环境所面临的种种问题，开展了应用在公共场所和居住区域的智能化 的监控方案等。当前世界范围内的很多权威杂志：IEEE Transactions on Pattern Analysis and Machine I

32、ntelligencePAMI，Image and Vision ComputingIVC等；和许多规格 非常高的学术会议：计算机视觉和模式识别会议、国际计算机视觉会议、欧洲计算机视 觉会议、视觉监控会议等都将智能视频监控作为主题内容之一，为所处领域研究者的沟通协作提供非常方便的平台。 相比拟于一些兴旺国家与地区来说，中国的研究起步比拟晚，但是对于这一领域的高重视程度，使得该技术在国内进行研究的开始便被逐步的投入了大量的人力和物力资 源。在实际应用工程上，“国家应急防护体系、“平安城市等平安防卫工程的推出与 应用11，使得智能视频监控系统的重要性与不可替代性得以凸显。在科学研究领域，全 国范围

33、内有许多高校以及研究机构都对智能视频监控系统给予了高度的重视，投入了大 量的人力与资金对该领域的相关技术进行研究与探索，多方面投入的综合作用，使得该 领域相关技术的研究效果也非常显著，相对应的研究中得到的成果被应用于实际成品当 中，使得技术成品的推广也到达了空前的速度。时代的持续进步，视频监控在社会各个领域的需求应用量逐渐增大。日常生活中有 人们生活居住范围内的监控，公共场所有不同形式的交通监控，金融机构有责任制监控， 林业等相关部门有平安隐患的监控等。可以说视频监控在不断的渗透到我们生活和工作 中的每一个角落。虽然视频监控系统被应用于很多场所，但传统的视频监控往往都是只 有单纯的记录功能，是

34、事后获取信息的主要途径，无法充分表达出主动式的监控作用。 而且人工的对监控系统进行操作，对人力也是一种巨大的消耗，由此来说传统的监控系 统的性能已经无法与人们逐渐增长的需求水平相匹配。轰动世界的发生在美国的 9.11 事件，为人们敲响了警钟，该事件之后，一些人群密度比拟大的公开场所，如商场、地 铁、飞机场等，都逐渐的增加了监控设备用以辅助人们做好公共场所的平安防范与报警 措施，以此来到达预防异常事件发生的目标，或是在发生突发状况时能够做出及时有效 的措施从而能将人员等损失降到最低。现如今，很多智能大厦的建造以及人们居住楼房 的建设，都将智能化的视频监控参加到平安防范的手段中来。如果智能的、自动

35、化的视 频监控设施能够大面积的覆盖到人们的生活工作的场所当中，真正的实现自动的对监控 目标进行分析识别等措施，那么犯罪事件的大幅度下降将指日可待，并且无论对于人力 还是物力都会产生极大的节约。目前，合理有效的交通监管是大局部城市尤其是开展水平领先的城市同时面对的难 以解决的问题。自动化的视频监控系统不仅能较快的检测到各个交通路段的车流量和路 面情况，并且能够记录违章交通路段和违反交通规那么的车辆，同时进行快速而正确的交 通指挥，到达合理的交通管理，充分利用道路情况与信息提高交通监管的能力，防止突 发事件造成的影响，快速解决交通事故带来的不便，从而为人们出行带来方便。在一些 大型商场和生产线工厂

36、，也利用自动化的监控来检测商场人流量和生产产品质量，从而 方便管理商场的平安和工厂的生产。自动化智能的监控在军事上也大有作为，开展空间 相对较大。不仅能快速精确地了解到边界及海岸线等重要区域的状况，而且对于保护国 家的疆土有很重要的作用。建立边界及海岸的自动化的智能的监测，不仅能将边界和沿 海一些军事信息快速及时的播报给有关部门，同时还能提高获取信息的真实性和综合军 事解决能力12。同时，还能及时检测到国家内部人员的活动，也能防止一些不遵守国家 法律法规的偷渡和贩毒等行为的出现，加强国家对于国家内部的管理。在当前经济和市 场的形式和状态下，许多国际化大型企业为了适应全球经济的竞争力，在全球都建

37、立自 己的分公司来扩大自己在市场中地位。因此，通过远程的自动化智能监控系统，企业管理员就能快速检测到世界各地分公司的生产和工作情况，这不仅能帮助企业管理内部同 时也能让每一个员工有自我监督能力，与其他的汇报方式相比，这种监控方式既方便又 直观。运动目标检测作为智能视频监控组成之中的关键环节，其相关算法经过了多年的研 究开展，各种各样的算法逐渐出现，其中主要包括背景差分法、帧间差分法和光流法等13-14。背景差分法的主旨是将载入的图像和事先设定的背景模型进行差异比照，由此来判断异常情况的发生和分割目标，它主要是通过判定灰度等特征的变化，或用直方图等 统计信息的变化来完成。帧间差分法，一般流程是将

38、相邻的前后两帧图像的对应像素值 进行做差运算，在所处的场景相对稳定的条件下，假设相应的像素差值小于某一限定值， 那么物体被判定为处于静止状态；假设图像区域某处的像素值变化很大，那么认为是由于物体 运动引起的，这时要对这些区域进行标记，通过分析标记的像素区域，就能够得到运动 目标在图像中的位置。光流法，光流含有物体外表结构和动态行为的信息，可以认为是 环境中运动物体能够被观测到的外表对应像素点的状态改变所引起的瞬时速度场。光流 法通常有三类：基于匹配的、频域的和梯度的方法。综合评定，不同方法有不同的优势 和各自的缺点，这些缺点的存在使得任何一种检测方法都不可能很好的适用于所有的监 控场所中，因此

39、，需要不断的对各种方法进行深入的研究，并且积极的对各种检测方法 进行提高与改良。 本文的研究内容和组织机构文章在结构上共包括五局部，第一章为绪论，着重列举表达了选题背景、意义和国 内外的研究状况。第二章主要介绍运动目标检测的相关技术，其中包括图像的预处理技 术以及运动目标检测常用的方法，并对这几种方法的优缺点进行了比照与总结。第三章 与第四章突出了文章的研究重点。其中第三章提出了一种新的混合算法用来对目标物体 进行检测与提取，混合算法包含混合高斯模型、连续帧间差分法与边缘检测法，对三种 不同算法进行了有效的结合，从而实现了更加准确的对背景中运动目标的检测。第四章 主要针对运动目标检测过程中存在

40、的阴影问题进行了介绍，在分析了阴影形成的机制与 特点的根底之上，总结概括出常用的阴影检测算法，并由此提出了一种融合多源信息的 阴影检测获取方法，经实验确认取得了较为理想的实际效果。最后一章为总结与展望， 该局部对论文进行了全面的概括，列举了文章的创新点和工作成果，结合实验数据和实 际应用的情况，提出了本文的缺乏，进一步展望本文以后的改良方向，提出下一步的工 作目标。第二章 运动目标检测的相关技术研究运动目标检测，通常主要针对视频图像中存在变化信息的范围，其主要完成将包含 运动信息的元素从背景之中别离出来。它完成对运动信息的有效检测与提取，降低处理 过程中的复杂度，获取目标运动矢量，为后续的识别

41、和跟踪等打好根底。它是数字图像 处理的重要技术组成，对于运动目标检测的准确性，将关系到后续操作的有效性，由此 来说，运动目标检测技术在智能视频监控系统是一个根底并且重要的课题。 图像预处理运动目标在被检测的过程中经常会伴随着很多影响因素，这些困难和不利因素往往 都是由光照和噪声等问题导致的。而为了解决这些问题给实际检测中带来的不便，我们 会应用到图像预处理技术。通过对特定图像进行校正，使实际中的图像满足后续的图像 分析和理解的条件，往往都是结合图像的噪声滤波技术、几何变换技术和图像增强技术 等来实现的。在视频图像处理的过程中，图像预处理技术的作用不可替代，它是直接决 定后续处理水平好坏的关键步

42、骤。2.1.1 颜色模型分析 在大自然中，物体所呈现彼此相异的颜色信息，是由于物体属性的差异会吸收不同频率的光，同时将剩余无法吸收的频率的光反射出去而形成的，由于被反射出去的光的 频率属性的互异性，最后引起了物体之间颜色的差异。人们在对颜色的不断认知过程中， 提出了五彩缤纷的颜色表述方式来对颜色进行分类。不同的颜色描述模型具有不同的优 势与特点，不同模型的认知来逐步建立导致了不同模型的理解，从而在实际应用中依靠 不同的模型特点来指导针对不同颜色的特点来选择适合的模型。因此，对于不同颜色模 型的学习与研究，将对我们后续的技术研究有很大的帮助。综合前人的研究成果，颜色 模型根据各自的特点一般可分为

43、下面几类：RGB、YUV 与 HSV 等几种常用的颜色模型。 在实际的应用中，我们应该根据不同颜色特征来选取不同的颜色模型来解决问题，从而 能够到达具体问题具体分析的效果，最终高效的完成目标。接下来将着重针对常用的颜 色模型 RGB、YUV 与 HSV 进行介绍。RGB 颜色模型RGB 颜色模型，又叫做加色法混合颜色模型，它主要是靠红、绿、蓝三基色的混合 来实现的，在实际应用中主要被用作发光物体的显示。根底色以不同比例的叠加，从而 实现不同颜色信息的显示。具体的配色方程如下：F 物体的颜色R 红色的比例G 绿色的比例B蓝色的比例RGB 颜色模型可由立方体进行表示其属性特征，如图 2-1 所示：

44、图 2-1 RGB 颜色模型从图 2-1 中我们可以看出，三个坐标参数分别为 R、G、B，其中，黑色由0,0,0来 表述，白色由1,1,1来表述，其它颜色的分布那么介于这两种颜色之间，其中包括 224 种 不同颜色。YUV 色彩模型YUV 模型主要应用于 SECAM 和 PAL 彩色电视制式。其中 Y 表征亮度信息，U 和 V 用于表征色差特性，它们在应用中分别对基色分量红色和蓝色与亮度分量的差值信号 进行传输运送。从 RGB 格式转换到 YUV 格式的公式如下：Y0.114 RU - - 1G V11 B2-1HSV 颜色模型HSV 颜色模型，又被称为六角锥体模型，如图 2-2 所示，它的三

45、个表征分量为色调 分量、饱和度分量以及亮度分量。在该模型中，当 V=1 时，其所代表的为该六角锥体模 型的顶面，它包括了 RGB 模型中三个分量分别为 1 的三个面，所表示的颜色较亮。色 调分量 H 主要用角度来衡量。当旋转对应的角度 0o 时，表示的为红色；当旋转的角度 为120o 时，表示的为绿色；当旋转的角度为 240o 时，表示的为蓝色。在该模型中，其包 含的每种颜色都与其对应的补色相差的角度为180o 。饱和度分量对应的的取值区间为 01，由此可知，圆锥顶面所对应的半径为 1。对于用户来说，HSV 的直观性更强。黑 色对应于锥体的顶点处，此时 V=0，H 和 S 无定义。白色对应于锥

46、体的顶面圆心处，此 时 S、V 的取值均为 1，H 无定义。对于颜色的获取，在该模型中我们可以从某一种纯 色开始着手，假设制定某一特定的 H，同时令 V=S=1，那么这时我们就可以通过向其中 参加不同的需要比例的白色成分与黑色成分来获取我们所需颜色。增加黑色成分所带来的最直观的影响是 V 减小，S 维持不变；相反的，增加白色成分时，S 减小，V 维持不 变。HSV 模型可以类比于画家在进行配色时的途径。他们通常以某一种纯色为根底，通 过改变色浓度与色深度等，来得到所需的不同色调的颜色。图 2-2 HSV 颜色模型从 RGB 过渡z到hHiSV 的k公u式为：quan 202107210H 当B

47、 G360 -当B Gos c1 1 R B R B 22-21R B 2 R B G B 2 maxR, G, BminR, G, BS maxR, G, BmaxR,G, B V 255不同的色彩成分是彩色图像所独特拥有的属性，要想实现对彩色图像的某些处理， 我们可以通过分别对其所包含的不同颜色分量进行处理的手段来实现。对于图像中所包 含的有用信息的获取，我们不仅可以通过获取的彩色图像来实现，同时还可以通过利用 已经非常成熟的基于灰度的图像处理技术来完成。很多时候，把我们所获取的彩色图像 转换为灰度图像会更有利于对目标特征信息的获取。2.1.2 灰度化图像的灰度化是很多图像处理过程的根底操

48、作，因而该过程的作用不言而喻。 1.灰度图表示 灰度图像，通常用来泛指那些仅仅包含亮度元素而没有色彩元素的图像。在灰度图中，连续性的变化是其图像变化的最显著的特征，就像黑白照片，其亮度变化是渐进的， 颜色的变化也是具有衔接性的。由此可知，我们通常所用的灰度图像的表示方法就是通 过对灰度图像的灰度值量化来实现的。灰度图像一般被定义为 256 个不同的级别，其对 应的灰度值的取值范围为 0255，其中两端的端点值分别对应全黑和全白全黑为 0， 全白色 255。用灰度值表示 BMP 格式图时，把 R、G、B 所对应的值绑定对待，把它 们三个变量都取相同的值，同 256 个灰度级相匹配，也就是用0,0

49、,0、1,1,1到255,255,255的值来对每一个像素点进行表示，在该方法中，全黑色由0,0,0来表 示，全白色由255,255,255来表示，介于这两者之间的就为不同程度的灰色。把任何 一个该范围内的取值代入 YUV 色彩系统的转换公式之中，明显得出其颜色分量对应的 值都为 0，也就是没有色彩信息15。在我们进行转换的过程中，由于 R、G、B 三个分量都被赋予相同的值，且都是数 量为 256 的调色板，图像中每个字节表示的是相应的每个像素数据，由此可见使用灰度 图要比彩色图方便。假设是级数同为 256 的彩色图像，在进行处理操作之后极有可能产生 不在此范围的“新颜色，因此，非常有必要将彩

50、色图像进行转换，利用相对应的灰度图进行处理。zhi ku quan 202107212.真彩色位图转换成灰度图使用 YUV 模型时，Y 表征亮度，它含了灰度图所需的全部特征属性，因此，单纯 的 Y 便可以将一幅灰度图表示出来。真彩色位图通常情况下是可以转化为灰度图的，以将 24 位真彩色位图变换为灰度图 为例：首先，应用立方体的量化方式对真彩色进行颜色量化处理，此时输出的结果为 8 位彩色位图。继续将 256 色位图进行处理按要求转变为灰度位图。此时利用灰度与颜色 的相互关系计算出每一颜色相应的灰度值：Y 0.114 B2-3最后，对于图像中所包含的所有对应像素的 RGB 值换算为对应的灰度数

51、值，经此 变换便完成了真彩色像到灰度图像的转变过程。2.1.3 消除噪声 在图像获取时会产生许多噪声，这些噪声主要包括采集过程中产生的随机噪声以及外部环境影响所造成的干扰等，这些噪声会影响到目标检测的正确率，因此去除不必要 的噪声是图像处理过程中一项非常重要的任务。从统计学角度来讲，同一图像的绝大局部相邻像素的灰度差异很小、相关性很高， 这种特性决定了图像的大局部能量会聚于低频区域中，与此相对，高频区域那么主要集中了图像的细节信息以及在图像转化与传输过程中产生的噪声等信息与能量。这种特性为 我们去除图像噪声提供了思路，对高频分量进行衰减，对低频分量进行增强，这就是图 像的平滑去噪。图象平滑处理

52、在对外界噪声进行抑制消除的过程中，也会衰减边界信息16。由此导致了图像的清晰度要有不同程度的降低，因而在对图像进行处理时要综合考虑噪声与细节这两方面的因素。 1.频域滤波 频域滤波的方法流程如下：1用-1x y 乘以原始图像 f (x, y) ；2由1的结果计算相应的 DFT，即 F (u, v) ；3选取符合具体情况的滤波表征函数 H (u, v) ，将 H (u, v) 与 F (u, v) 进行相乘运 算；4计算得出步骤3相乘运算得出的结果的 IDFT；5保存步骤(4)结果的实部；6用-1x y 与步骤5所计算出的值相乘，得到加强的图像 gx, y。 可以用如下公式表示：gx, yF 1

53、 H u, vF u, v2-4它的传递函数可以表示为：在进行频域z滤h波时i，如k果噪u声干q扰u是高a频n的，我2们0那么1采5用巴0特7沃2思1滤波器进行处理，H u, v1 o1 Du, v D 2n2-5式中 Du, vu2 v2 代表从频域平面的原点到 u, v地点的距离。如果噪声干扰的统计特性和本身信号的统计特性已经事先知晓，我们那么采用维纳滤 波器进行处理，它的传递函数可以表示为：Gu, v F u, v 22-6, 2 , 2F u vN u v上述表达式中 F u, v, N u, v代表图像元素的傅氏变换与噪声元素的傅氏变换。 在不同的条件下我们将有针对性的采用不同的频域

54、滤波器，无论采用哪种频域滤波器都会对图像的清晰程度造成一定的干扰，另外在对图像进行频域滤波都是在复平面中 进行，因此处理的复杂度相对较高、耗时较长，因此频域滤波与交通中的智能监控的匹 配度较低。2.时域滤波处理在进行图像去噪处理时，时域去噪处理的方法种类繁多，下述将列举几种较为有代 表性的方法：1多图像平均法：此种时域处理方法的根本思想是对以目标获取多幅图像，取所 获取图像的加权平均值。这种方式注定了该方法的运算复杂度较高，耗时较长，因此对 实时性要求较高的场景匹配度较低。2中值滤波法：该方法在进行信号处理时思想为非线性处理，能够比拟有效的降 低噪声干扰对图像的影响。在进行传统的中值滤波处理时

55、需要对所选取的窗口内的像素 灰度值进行排序处理，处理速度难以到达人们的需求水平。基于以上缺点和缺乏，研究 人员对该方法进行了适当的改良，如果选取的窗口的尺寸为 mn，那么进行如下流程： 首先从统计学角度出发，利用直方图计算所选窗口内像素灰度值的统计平均值。其次， 在中值滤波由一窗口过度到下一窗口的输出过程中，窗口将向右平移一列，而其它的像 素维持原状态。因此，这种方式不仅能够修正原直方图的偏差也能计算出新窗口的中值。3邻域平均法：此方法的根本思想为用某像素点相邻区域内的所有点的灰度值的 加权均值来代替所选区域的所有点的灰度值。此算法虽然计算复杂度较低，实时性较好， 但是容易导致图像的边缘不清晰

56、。4保持边缘滤波法：这种方法在保持去除噪声干扰的效果同时还能保证图像的高 频成分的完整性，但是在运算过程中复杂度较高导致实时性较差，因此应用范围有限。针对上述对时域滤波方法的优缺点的综合考虑，我们选取中值滤波法。2.1.4 二值化zhi ku quan 20210721二值化的目的就是把目标物体从图像中提取出来。具体的提取过程可以描述为针对 图像 f x, y的特性，选取某一阈值 T阈值选取原那么要视具体情况而定，那么将出现 两个集合，其中一个为大于阈值的集合，另一个那么为小于阈值的集合，大于阈值的那个 集合我们把其中的像素灰度值设定为 255，那么另一个集合元素对应的像素灰度值那么为 0。此

57、时图像被转换成了黑白图像。具体的阈值化变换公式如下：f x, y0 x T2-7255x T其中 T 为指定的阈值，x 为图像中点的像素灰度值。 运动目标检测常用算法2.2.1 运动目标检测算法概述 当前，在进行运动物体检测时应用率较高的方法可分为三种：光流法、帧差法、背景差法等。运动目标检测的目的就是把我们所需要的目标物体从图像背景之中提取出来，为后续的处理打好根底。 运动目标的背景根据属性特征的不同可划分为静态与动态两种。其中静态背景可以认为目标物体所处的背景在检测过程中没有发生较大的变化，此种背景下的检测任务的 复杂度较低；而动态背景是指随着检测目标物体的运动状态发生改变，其所处背景的一

58、 些因素的状态也在改变。动态背景下的运动目标检测那么较为复杂，需要先进行运动补偿 处理，然后进行运动目标检测，自适应背景模型可以根据背景的变化，实时地更新背景， 进而能够更为精确地检测出运动物体17-19。接下来将针对常用的算法做详细的分析对 比：1.光流法 简单来说，光流可以理解为在人们观察外界物体的运动时，外界目标的状态改变信息就像视频一样逐帧的展现在人们的视网膜中，从而构成了包含目标运动信息的图像序 列，这种连续性变化的信息被称为光流。通过分析研究视频图像中矢量元素光流的状态 改变情况，便可以判断视频图像中是否含有在场景中处于运动状态的物体以及其相应的 坐标信息。定 义 视 频 图 像

59、中 属 于 目 标 物 体 的 像 素 点 x, y在 对 应 时 间 节 点 t 的 像 素 值 为 f x, y, t ，对应像素点在对应时间节点 t t 由初始状态移动至 x x, y y位置，其 像素值为 f x x, y y，在时间节点 t t ，点 x, y与点 x x, y y的像素值维持 不变，因此：zhi kf xu, y, tqfux a nx, y 2y,0t 1t507212-8对上述表达式泰勒级数展开：f x, y, tf x, y, tfxx fyy ftt o2 2-9两边的相同局部做差消除，忽略高于二次项，结果如下：f x fxyy ftt 02-10两边同时除

60、以 t ，有：f x fy f 02-11x ty ttx 代表图像像素点水平速度向量 u， y 代表图像像素点竖直速度向量 v，于是：ttf u fv f0, t 02-12xyt这就是著名的光流约束方程。在上述表达式2-12中 u、v 为非确定数值。由此可 知，只利用这一个表达式无法确切的求出光流，因此有必要增添约束条件。根据相邻像 素点之间的差异性小、相关性大等特点，我们可以认为二者具有相同的状态。由此，可 以得到又一约束性方程：u uxu y 02-13v vxv y 02-14性。结合上述的约束方程进行求解，可以得出光流，进而得出图像中目标物体的状态特 2.相邻帧间z差分h法i ku