（光学工程专业论文）基于视频的停车场车位状态监控识别系统.pdf

摘要 随着现代交通的迅速发展，停车场资源越来越紧张。如何有效的管理停车场 车位、提高停车场的使用效率，是智能交通系统面临的一个课题。与地感线圈和 超声波探测技术相比，基于视频的车位监控方法具有节约硬件成本、易于安装施 工、便于扩展其他附加功能，如停车存留登记、重要车辆看护等优点。 针对某停车场内停车位多、车辆进出频繁的特点，本文设计出一套基于视频 的停车场车位状态监控识别系统，通过对各停车位进行实时监控，得到每个车位 的占用状态，实现停车场的高效管理。 本文完成了以下几个方面的工作： 1 根据停车场现场条件及车位分布要求，设计了视频采集光学系统，确定了 光学系统的各参数，并根据车位状态监控的要求对光学系统进行了分析与评价； 2 深入分析了视频监控的原理和光学模型，提出了车位监控的3 个判据，结 合实验得出了不同条件下的判据数值特征，确定了监控算法； 3 以v c + + 6 0 为开发平台，设计了_ 套基于视频的停车场车位状态监控识 别软件，各模块分别实现了视频图像的获取、车位状态的监控、人机交互以及外 部设备交互等功能； 4 进行了基于a v i 文件的监控实验，验证了监控算法和系统软件的可靠性， 完成了软件和硬件的调试与改进。 关键词：车位监控运动检测差影图像自适应背景 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fm o d e mt r a f f i c ，t h ep a r k i n gr e s o u r c ei sf a c i n gg r e a t p r e s s u r e a m o n gt h ep r o j e c t so fi n t e l l i g e n tt r a f f i cs y s t e m , i ti sc r u c i a lt oe f f e c t i v e l y m a n a g et h ep a r ka n da c c o r d i n g l yi m p r o v ei t se f f i c i e n c y c o m p a r e dw i t ht h e t r a d i t i o n a lm e t h o d su p o ni n d u c t i o nc o i lo ru l t r a s o n i ct e c h n o l o g y , t h es o l u t i o nt o p a r k i n gs p a c e sm o n i t o rb a s e do nc o m p u t e rv i s i o nh a sa d v a n t a g e si nc o s to fh a r d w a r e ， c o n v e n i e n c eo fs e t t i n g m o r e o v e r , i ti sa p tt of u n c t i o n s e v o l u t i o nf o rp a r k i n g r e g i s t r a t i o no rg u a r d i n gt h es e c u r i t yo fv a l u a b l ev e h i c l e s s i n c et h eg r e a tn u m b e ro fp a r k i n ga r e a sa n df r e q u e n tc h a n g e sb e t w e e ne n t r a n c e a n de x i ti nt h ep a r k , t h em o n i t o rs y s t e mf o c u s e so nm o v e m e n td e t e c t i n ga n ds t a t e r e c o g n i t i o no f e a c ha r e a ，i no r d e rt oi m p r o v ee f f i c i e n c yo f m a n a g e m e n t w o r k sc o m p l e t e da r ea sf o l l o w i n g ： 1 b a s e do nt h ec o n s t r u c t i o no fp a r k , s c h e m eo u ta n de s t i m a t et h eo p t i c ss y s t e m f o rv i d e oc a p t u r ea c c o r d i n gt ot h er e q u i r e m e n t so fs t a t e sm o n i t o r i n g 2 a n a l y z et h ep r i n c i p l eo fv i s i o n - b a s e dm o n i t o r i n gm e t h o d sa n dt h em o d u l eo f i m a g i n g ，t h e ni m p o r ta n dr e f i n e3c r i t e r i o n sa sa na l g o r i t h m , a n df i n a l l yd i s t i n g u i s h v a r i e dc h a r a c t e r sa m o n gd i f f e r e n ts i t u a t i o n 3 f i n i s ht h ef r a m eo fs o f t w a r eb ym sv c + + 6 0 ，a n dr e a l i z et h es y s t e mw h i c h c o n s i s t so fv i d e oc a p t u r e ，a u t o m a t i cm o n i t o r , i n t e r f a c ef o ru s e ro p e r a t i o na n d c o m m u n i c a t i o nw i t hp e r i p h e r a le q u i p m e n t s 。 4 e x p e r i m e n tw i t ha v iv i d e of i l e s ，t e s tt h er e l i a b i l i t yo fa l g o r i t h ma n ds o f t w a r e ， a n dc o m p l e t ed e b u gw o r k si nb o t hh a r d w a r ea n ds o f t w a r e k e y w o r d s ：p a r k i n gs p a c em o n i t o r i n g ，m o v e m e n td e t e c t i o n ，d i f f e r e n c ei m a g e ， s e l f - a d a p t e db a c k g r o u n d 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：马镑 签字日期： o 口口 7 年7 月6 日学位论文作者签名：与璐 签字日期： o 口口年 月6 日 学位论文版权使用授权书 本学位论文作者完全了解鑫鲞盘堂有关保留、使用学位论文的规定。 特授权盘鲞本堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文拓者签名：马；奄 签字日期：山口 年 月6 日 导师签名：拖谢彳 签字日期：j 。年7 月占 日 第一章绪论 1 1 课题的研究背景 第一章绪论 计算机视觉【l 】( c o m p u t e rv i s i o n ) 既是工程领域，也是科学领域中的一个富 有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各 个学科的研究者参加到对它的研究之中。其中包括计算机科学和工程、信号处理、 物理学、应用数学和统计学、神经生理学和认知科学等。视觉是各个应用领域， 如制造业、检验、文档分析、医疗诊断，和军事等领域中各种职能、自助系统中 不可分割的一部分。由于它的重要性，一些先进国家，例如美国把对计算机视觉 的研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的 的重大挑战( g r a n dc h a l l e n g e ) 。计算机视觉的挑战是为计算机和机器人开发具 有与人类水平相当的视觉能力。机器视觉需要图像信号，纹理和颜色建模，几何 处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密 的集成在一起。作为一门科学，计算机视觉开始于6 0 年代初，但在计算机视觉 的基本研究中的许多重要进展是在8 0 年代取得的。现在计算机视觉已经成为一 门不同于人工智能、图像处理、模式识别等相关领域的成熟学科。 1 人类视觉 感觉是人的大脑与周围世界联系的窗口，它的任务是识别周围的物体，并告 诉这些物体之间的关系。我们的思维活动是以我们对客观世界与环境的认识为基 础的，而感觉则是外界的客观世界与我们对环境的认识之间的桥梁，是我们的思 维与周围世界建立某种对应的关系。 视觉则是人最重要的感觉，它是人的主要感觉来源，人类认识外界信息的 8 0 来自视觉。 人有多种感觉，但对人的智力产生影响的主要是视觉和听觉。视觉是一种高 度清晰的媒介，它提供关于外界世界中各种物体和事件的丰富信息，因此它是思 维的一种最基本的工具。 视觉系统所完成的功能十分复杂，它首先通过人类的敏感( s e n s a t i o n ) 、感 觉( p e r c e p t i o n ) 、认知( c o g n i t i o n ) 这三种能力，摄取外界信息，然后让大脑依 靠有关的知识，对输入的图像信息进行处理，把复杂的景物进行分类，然后从中 选出某些特征做出解释，判断，使得视觉接收到的刺激具有明确的物理意义。 2 计算机视觉 第一章绪论 人类正在进入信息时代，计算机将越来越广泛的进入几乎所有领域。计算机 的功能越来越强，使用方法越来越复杂。这就使人在进行交谈和通讯的灵活性与 目前在使用计算机时所要求的严格和死板之间产生了尖锐的矛盾。 人可通过视觉和听觉，语言与外界交换信息，并且可用不同的方式表示相同 的含义，而目前的计算机却要求人们按照各种程序语言来编写程序，只有这样计 算机才能运行。为使更多的人能使用复杂的计算机，必须改变过去的那种让人来 适应计算机，来死记硬背计算机的使用规则的情况。而是反过来让计算机来适应 人的习惯和要求，以人所习惯的方式与人进行信息交换，也就是让计算机具有视 觉、听觉和说话能力。这是计算机必须具有逻辑推理和决策的能力，具有上述能 力的计算机就是智能计算机。 智能计算机不但使计算机更便于为人们所使用，同时，如果用这样的计算机 来控制各种自动化装置，特别是智能机器人，就可以使这些自动化系统和智能机 器人具有适应环境、自主做出决策的能力。这是一个要经过长期的努力才能达到 的目标。因此，在实现最终目标以前，人们努力的中期目标是建立一种视觉系统， 这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。例如，计算 机视觉的一个重要应用领域就是自主车辆的视觉导航。目前还没有条件实现像人 那样能识别和理解任何环境，完成自主导航的系统。因此，目前人们努力的研究 目标是实现在高速公路上具有道路跟踪能力，可避免与前方车辆碰撞的视觉辅助 驾驶系统。 计算机视觉系统中计算机起代替人脑的作用，但并不意味着计算机必须按人 类视觉的方法完成视觉信息的处理。计算机视觉可以而且应该根据计算机系统的 特点来进行视觉信息的处理。 迄今为止，眼睛是人类所知道的功能最前大和完善的视觉系统，对人类视觉 处理机制的研究将给计算机视觉的研究提供启发和指导。因此，用计算机信息处 理的方法研究人类视觉的机理，建立人类视觉的计算理论，也是一个非常重要和 令人感兴趣的研究领域。所以，这方面的研究被称为计算机视觉。 有不少学科的研究目标与计算机视觉相近或与此有关【2 】。这些学科中包括图 像处理、模式识别或图像识别、景物分析、图像理解等。由于历史发展或领域本 身的特点，这些学科互有差别，为清晰起见，我们把这些与计算机视觉有关的学 科研究目标和方法的角度加以归纳： 1 图像处理 图像处理技术把输入图像转换成具有所希望特性的另一幅图像。例如，可通 过处理，使输出图像具有较高的信噪比，或通过增强处理来突出图像的细节，以 便于操作员的检验。在计算机视觉研究中，人们经常利用图像处理技术进行预处 2 第一章绪论 理和特征抽取。 2 模式识别 模式识别技术根据从图像抽取的统计特性或结构信息，把图像分成预定的类 别。例如，文字识别或指纹识别。在计算机视觉中，模式识别技术经常用于对图 像中的某些部分，例如分割区域的识别和分类。 3 图像理解 给定一幅图像，图像理解程序不仅描述图像本身，而且描述和解释图像所代 表的景物，以便对图像代表的内容做出决定。在人工智能视觉研究的初期，经常 使用景物分析这个术语，以强调二维图像与三维景物之间的区别。图像理解除了 需要复杂的图像处理以外，还需要具有关于景物成像的物理规律的知识以及与景 物内容有关的知识。 在建立计算机视觉系统时，需要用到上述学科中的有关技术，但计算机视觉 研究的内容要比这些学科更为广泛。计算机视觉研究的最终目的就是利用各种信 息处理技术，对获取的视觉信息进行处理与分析，进而完成特定的工作，实现操 作的自动化和自主化，提高工作效率和工作质量。 1 2 课题的目的和意义 近几年来【3 】，随着经济的发展，我国各大城市内部的交通基础设施建设也得 到了快速发展，但是，尽管城市道路越建越宽，立交桥越建越多，交通信号越来 越复杂，停车场所越建越大，交通的拥挤程度却没有得到明显的缓解，交通运输 业特别是城市交通承受着越来越大的压力。城市的空间资源以及城市环境资源的 有限性，使得人口本来就很密集的各个大中城市都将面临着不断迅猛增长的停车 场所需要。尤其是私人轿车数量的激增和停车场车辆的频繁进出，使得停车难的 问题越来越突出，有限的停车场资源必须得合理有效的管理起来。这就需要停车 场管理系统借助于监控技术，及时地获得车位的利用情况，提高停车场的使用效 率。 停车场车位状态监控已有多种实现的方法，可以在车位地面以下埋设感应线 圈，通过检测磁场的变化判断车位内是否有车；也可以通过超声波检测技术，对 有效范围内的运动物体进行跟踪，从而检测到车辆运动。这两种车位传感器都需 要在每个车位的上方或下方进行施工和安装，然后将各个车位停车情况的简单信 息通过专用网络线路传给上端控制计算机。它们安装施工复杂维护费用高，特别 是不适用于室外停车场。 场景监控【卅( s c e n es u r v e i l l a n c e ) 是计算机视觉( c o m p u t e rv i s i o n ) 研究的分支之 第一章绪论 一，它能够在图像及图像描述之间建立映射关系，从而使计算能够通过数字图像 处理和分析来理解视频画面中的内容，实现自动的抽取并分析视频源中的关键信 息。如果把摄像机看作人的眼睛，而场景监控系统或设备则可以看作人的大脑。 借助计算机强大的数据处理功能，场景监控技术对视频画面中的海量数据进行高 速分析，过滤掉用户不关心的信息，仅仅为监控者提供有用的关键信息。 与传统意义上的监控系统相比，场景监控不仅用摄像机代替人眼，而且用计 算机代替人、协助人，来完成监视或控制任务，从而大大减轻人的负担。视觉监 控具有广泛的应用前景和潜在的经济价值，引起了国际上许多著名科研机构以及 研究人员的兴趣。近十年来，针对这一应用学者们提出了各种各样的实现手段， 计算机视觉在场景监控中的应用中得以迅速发展。 基于场景监控的交通监测对于智能交通系统( i n t e l l i g e n tt r a f f i cs y s t e m ) 有着 重要的意义，它可以为交通智能化调度管理提供依据，从而减少交通资源的利用 率。智能化停车场管理系统正是顺应这一时代需求的高技术产物。借助于停车场 车位监控技术，它不仅可以解决乱停乱放造成的交通混乱，促进交通设施的正规 化建设，而且规范的管理能有效地提高停车场的管理效率、提升停车场的档次， 推动安全建设更上台阶。 基于视频的车位状态监控方法是近年提出的用于车位监控的新方法。它指的 是利用计算机对摄像机捕获到的视频进行运动检测与分析，得到各停车位的利用 情况。与非视频的方法相比，基于视频的车位监控方法具有信息量大，硬件成本 低，无需开挖路面等优点，并可方便地扩展其他附加功能，如停车存留登记、重 要车辆看护，车辆安全预警等等，因此成为近来智能交通与计算机视觉研究的重 要课题。 在车辆进出频繁的停车场所，如果车位监控系统能够迅速、准确地反映各车 位的占用情况，停车场的利用效率将得到明显提升。 然而，基于视频的车位状态监控方法在实际应用中仍存在许多困难： 第一，不同的车辆在大小、颜色上差异较大，视场中远近不同的车位像素面 积迥异，增加了算法设计的复杂度，车辆识别难度较大； 第二，停车场内车辆和行人进出频繁、运动变化量大，监控算法要具备排除 干扰的能力； 第三，停车场现场的光照条件随时问发生显著改变，运动检测需要适应不同 的光照条件变化； 第四，已有的视频车位状态监控方法对整幅图像进行处理，信息处理量大， 这使得许多方法尽管理论上是可行的，却不能在实际应用中满足实时处理的要 求。 4 第一章绪论 本文正是针对某大型停车场内车辆进出频繁、车位状态难于统计的情况，从 提高监控效率和准确率出发，通过对序列视频图像的变化进行分析，试图找到能 够检测并确认车位占用状态变化的方法，得到各车位的变化情况，进而得到停车 场车位的利用情况，提高停车场的管理效率。 1 3 本文的主要工作 车位状态监控识别的主要目的包括两个方面：一是检测车位区域的是否有运 动变化；二是确认这种变化是否是车辆驶入或者驶出。 因此，为实现上述目标，本文的工作主要包括以下几个方面： 1 根据停车场现场条件及车位分布要求，设计了视频采集光学系统，确定了 珧学系统的各参数，并根据车位状态监控的要求对光学系统进行了分析与评价； 2 深入分析了视频监控的原理和光学模型，提出了车位监控的3 个判据，结 合实验得出了不同条件下的判据数值特征，确定了监控算法； 3 以v c + 斗6 0 为开发平台，设计并实现了二套基于视频的停车场车位状态 监控识别软件，各模块分别实现了视频图像的获取、车位状态的监控、人机交互 以及外部设备交互等功能； 4 进行了基于a v i 文件的监控实验，验证了监控算法和系统软件的可靠性， 完成了软件和硬件的调试与改进。 第二章基于视频的监控识别原理 第二章基于视频的监控识别原理 2 1 数字视频基础 ，数字视频【5 嗣涉及到可视化信息，其中包括静态图像和时变图像。静态图像 其信息密度随空间分布，且相对于时间为常量；而时变图像其空间密度特性是随 时间变化的，所以时变图像是一种时空密度模式( s p a t i o - t e m p o r a li n t e n s i t y p a r c m ) ，它可表示为巳( 而，而，t ) ，其中：五和恐是空间变量，f 是时间变量。对 于图像而言，另一种通常使用的术语是“图像序列”( i m a g es e q u e n c e ) ，人们用 静止帧图像( s t i l l f r a m e i m a g e ) 的一个时间序列来表示一个时变图像。 1 视频图像的特点： ( 1 ) 实时性 与静态图像相比，视频的信息是以时间为基线的，它不仅包含了二维空间信 息，而且记录了时间的过程，因此视频图像的时间顺序是不能混淆的，帧率参数 也直接反应时间变化过程的信息。 ( 2 ) 相关性 由于视频以较短的时间间隔记录空间二维图像信息，因此相邻帧图像很相 似，甚至相同，也就是说相邻帧图像的相关系数很大。基本上所有的视频图像处 理都以该特性为基础。 ( 3 ) 多参数转换性 以视觉效果为主要用途的视频，许多参数并不都同时要求高指标，往往是某 个方面的指标要求高时，其他的指标就不需要很高。 ( 4 ) 数据量大 图像的数据量本来就很大，视频的数据量更大。这一直是视频图像处理和应 用的主要问题之一。对于6 4 0 4 8 0 的标准v g a ( 相当于n t s c 画面) 真彩色 2 4 位图像，每帧的数据量为6 4 0 4 8 0 3 - - - 9 2 16 0 0 字节，按3 0 帧s 计算，数据 量为2 7 6 4 8 m b s 。一张6 5 0 m b 的光盘，只能存储2 4 秒的视频图像数据1 2 视频图像技术的主要研究内容 ( 1 ) 图像滤波与重建 以提高图像质量，获得尽可能高分辨率的图像为主要目的。包括运动滤波、 噪声滤波和超分辨率重建等。 ( 2 ) 运动分析 6 第二章基于视频的监控识别原理 以模式识别为最终目的，研究视频图像中物体目标的分离、识别与跟踪。运 动分析包括二维运动分析与三维运动分析。前者以二维平面图像的光流为依据， 研究和估计图像内容的运动参数。后者以三维投影模型和二维运动估计方法研究 图像中三维物体的三维运动和参数估计。物体的三维结构重建既可以归于静态图 像处理和图形学范畴，也经常在视频图像处理中讨论。 ( 3 ) 视频数据压缩 由于视频图像的数据量巨大，因此动态图像数据压缩是视频图像处理的主要 研究内容之一。一类是以视觉为主要目的的动态图像数据压缩，这方面比较成熟， 不仅制定了众多标准，而且已经得到广泛的应用。另一类是以运动分析等数据处 理用途为目的的动态图像数据压缩，主要是为了保证数据的准确性和完整性。 视频图像处理可以看成是静态图像处理的高层处理，又可以看成是静态图像 处理的继续。 首先，它要用到静态图像处理的所有技术，因为视频图像是在时间上系列化 的静态图像；其次，它包括了许多静态图像处理没有的或不能解决的新问题；第 三，视频图像处理同时与图形学、人工智能、模式识别等多个学科领域都有交叉 的内容，他们既有联系，又有各自的特征和侧重点。 2 2 基于视频的运动分析 2 2 1 视频运动分析的几种方法 运动分析是数字视频处理的基本问题之一。 它可能涉及到图像平面运动( 二维运动) 或物体运动( 三维运动) 的估算。 由于视频是以时间为基线的图像系列，它记录了景象中物体在各个时刻的二维投 影图像，因此人们很自然的期望通过分析和处理视频系列图像，得到目标和物体 的运动或变化信息。 与静态图像比较，视频图像记录了目标物体的运动或变化过程的历史，通过 相关性，可以获得比静态图像更多的目标信息。 运动分析的研究内容主要有目标探测、运动估算和运动跟踪三个方面。 运动分析的一个主要研究内容是二维运动估算。它的主要目的是尽可能的把 图像“结构化，能够以对象为单位对图像进行描述和存储，为图象运动补偿、 图像噪声滤波、图像数据压缩、目标探测识别与跟踪等进一步处理提供更多的必 要的信息。 目前，基于视频的运动分析主要有以下几种方法： 第二章基于视频的监控识别原理 1 帧差法 目标探测是运动分析的主要研究内容之一，它以目标识别为最终目的。 在静态图像中，哪个目标是运动的，或者说哪部分图像是目标，并不容易确 定。而在视频中，却可以通过分析前后帧的变化来确定运动的部分图像或目标。 基于帧差的目标运动与轨迹探测方法以数字图像处理的差影法为基础，通过将前 景帧的图像与背景帧的图像作差，得到两帧图像的不同之处，进而认为差影的结 果为检测出的变化。如果进一步分析序列变化的特征和趋势，即可得到目标的运 动特征，如运动速度、方向、轨迹等信息。 2 块运动估算法 基于块的运动估算和补偿是运动分析最通用的算法。在这里，把帧图像分成 一定大小的图像块，认为每个图像块具有一个唯一的运动向量( 即运动的方向和 距离) 。通过对图像块的运动分析，找出前后帧的图像各部分的对应关系。 在国际标准中已经采用基于块的运动补偿进行数字视频压缩，如 m p e g 1 ，m p e g 2 和h 2 6 1 。在这些标准中并没有指定特定的运动估算算法，于 是基于块的运动估算成为简单自然的选择。基于块的运动估算也广泛用在几个其 他数字视频的应用中，包括用于标准变换的运动补偿滤波。 3 光流场法 在基于块的运动分析中，把帧图像分成一定大小的图像块，认为每个图像块 具有一个唯一的运动向量( 即运动的方向和距离) 。通过对图像块的运动分析， 找出前后帧的图像各部分的对应关系。这里实际的前提条件是块在运动时，其灰 度或颜色信息分布不变，只是在位置上发生了变化。块的尺寸越小，前提条件满 足就越容易，各个块的运动向量就越精确。 当块的尺寸接近于一个像素时： ( 1 ) 在k 帧图像中的每个像点，绝大部分都可以在肛1 帧图像中找到其对应 点； ( 2 ) 这些对应点的亮度或颜色信息基本不变。两帧的时间越接近，对应点的 亮度或信息就越接近； ( 3 ) 这些点都有各自的运动方向。两帧的时间越接近，或物体运动越缓慢， 对应点运动距离就越小。 从亮度的分布和变化看来，就像光亮度分布场在随时间流动一样。因此，这 种方法称之为光流场法。 由上述知识可知： 帧差法以整个图像帧为单位，计算帧差。该方法能够得到比较直观地分析目 标物体的运动，即轨迹探测，易于实现； 第二章基于视频的监控识别原理 块运动估算法以图像块为单位，进行目标物体的运动复算和估计。该方法能 够得到局部各块的运动信息，比帧差法具有更高的精度，但同时也增加了信息处 理量： 光流场法以像素为单位，对图像的各个部分进行更细致更普遍的运动分析。 该方法能够得到像素级的运动特征，比帧差法和块运动估算法具有更高的精确 度，但该方法算法设计复杂，信息处理量比较庞大。 停车场车位监控系统需要考虑一下两个方面的因素： 第一，车辆进出车位时，前景图像和背景图像存在较为明显的宏观变化： 第二，在多视场、多车位的监控条件下，监控模块应具有较快的处理速度。 由此可知，在上述的三种方法中，帧差法能够较好的满足车位监控的特点和 要求。 2 2 2 基于帧差的目标运动分析 1 帧差模型分析 图2 - 1 表示了两帧图像相减的情形。一般情况下，可把图像分成目标和背景 两部分。当目标和背景运动时，目标和背景的相对位置和形状就会发生改变。两 帧图像相减时，图像可分成几个不同区域：目标重叠区表示两帧中都有目标的区 域，目标覆盖区表示该区域在上一帧为背景而本帧为目标的区域，目标暴露区则 表示上一帧为目标而本帧为背景的区域，背景重叠区表示两帧都为背景的区域。 目标暴露区目标重叠区目标覆盖区 ( a ) 上一帧( i ，) 当前帧( g ) 帧差 图2 - 1 相邻帧图像的目标位置变化示意图 9 第二章基于视频的监控识别原理 对于运动目标探测，主要讨论目标重叠区、目标覆盖区和目标暴露区的情况。 在图2 1 中，设目标以速度v 拊运动，设背景以速度运动，它们都是时间t 的 函数。同时，由于只是平移，图像分布函数的形式不变，只是在位置上发生了变 化，在数学函数上表示为位置变量随时间变化。设表示原始起点位置，目标 图像可以表示为式( 2 1 ) ，背景图像可以表示为式( 2 2 ) 。经过时间“后，目标 和背景图像可以分别表示为式( 2 3 ) 和式( 2 - 4 ) 。 式( 2 1 ) 和式( 2 2 ) 中目标图像是覆盖在背景上的，两者不能在同一区域 同时出现，如图2 1 ( a ) 和图2 1 ( b ) 所示。 在以下的讨论中，位置风，和屹都是向量，具有方向属性。 厶( p ，t ) = 厶( p o + v 肼f ) ( 2 1 ) 五( p ，f ) = 五( p o + 屹f ) ( 2 2 ) 厶( p ，t + 址) = 厶( p o + v 卅( f + 垃”( 2 3 ) 以( p ，t + a t ) = 五( p o + o + f ) ) ( 2 - 4 ) 当( a ) ，( b ) 两帧图像相减时，其结果在不同的区域，表示式不同。在目标重叠 区的结果如式( 2 5 ) 所示，在目标覆盖区的结果如式( 2 6 ) 所示，在目标暴露 区的结果如式( 2 7 ) 所示，在背景重叠区的结果如式( 2 8 ) 所示。为了便于讨 论，在这些表达式中，设背景和目标图像函数的一阶导数处处存在。 匀二( p ，t + a t ) = 厶( p o + o + f ) 一厶( p o + f ) ( 2 - 5 ) = 厶( p o + f ) ( a t ) 乙( p ，f + f ) = 无( p o + o + f ) ) 一以( p o + 吃f ) ( 2 6 ) = 厶( 风+ f ) ( 垃) + 厶( + f ) 一五( 风+ v b t ) 吮( p ，+ f ) = 五( p o + v 埘( f + f ”一厶( 岛+ f ) ( 2 - 7 ) = 以( p o + v 6 f ) ( 屹，) + 以( p o + f ) 一厶( p o + ，) 今么( p ，f + f ) = 五( p o + v b ( t + a t ) 一五( p o + v b t ) ( 2 - 8 ) = 以( p o + 吃f ) ( a t ) 在目标覆盖区和目标暴露区，相减的结果就是各自运动图像的一阶微分与运 动速度和时间间隔的乘积。在图像上表现为边缘增强运算，在图像各区域的边界 上，出现较大的数值，在灰度缓变区，出现很小的数值。 2 背景不动、目标移动条件下的帧差分析 背景不动，目标移动时，帧相减能够很好的探测出目标，且给出目标的运动 过程。如图2 2 所示。由于背景图像不变，因此相减后，背景区除了随机噪声外， 都接近于o 。而目标叠加区，目标图像区的高频信息显示出来。特别是目标与背 景交界处，信息特别明显，这是由于目标与背景在交界处不能保持一阶连续，其 l o 第二章基于视频的监控识别原理 bo i ( a ) 背景o ) 背景 ( c ) 背景 圈2 - 2 背景不动，目标移动 2 3 视频图像的光照模型 在白天，主要的光源是太阳，图2 - 3 反映了视频图像的光照模型印吲【9 惜况 图2 - 3 视频图像的光照模型 对于视频图像，某像素点的光照模型为： s - ( x ，y ) = 耳( x ，y ) n ( i ，y ) ( 2 - 9 ) 其中， 岛( j ，y ) 为( x ，y ) 处像素点的亮度： , o k ( x , y 1 为物体表面的反射系数； 丘( z ，y ) 为物体表面单位面积接收到的光强度： 下标女表示这些物理量随时间而缓慢变化可以认为n ( x ，y ) 不随时间变化 为一常量p ( x ，y ) 。 丘( y ) 的计算公式由下式给出： 第二章基于视频的监控识别原理 fc a + c ee o s z ( n ( x , y ) ，三) ，无阴影遮挡 乓( 石，y ) = 白+ 七( x ，y ) c pc o s l ( n ( x ，y ) ，) ，半阴影遮挡 ( 2 一i 0 ) ic a ，全阴影遮挡 其中， c a 、c 。分别是环境和光源的亮度： n ( x ，j ，) 是物体表面的法向量； 是物体表面到光源的方向矢量； k ( x ，y ) 是半阴影相对于无阴影时光能的损失系数0 k ( x ，j ，) 1 ； 全阴影的光强为常数。 视频图像中像素点( 石，y ) 在未被阴影覆盖和被阴影覆盖时的亮度比值为： ，( x ，y ) ：( c a + c ec o s z ( _ n ( x , 了y ) , l ) ) p 一( x , y ) ( 2 - 11 )c a p ( x ，y ) 其中： 巳、勺、c o s 。l ( n ( x ，y ) ，三) 都是缓慢变化的，在一个较短的时间里可以将这 几个参数近似为常数。 因此，像素点( 石，y ) 在未被阴影覆盖和被阴影覆盖时的亮度呈线性关系，即 无阴影遮挡时的像素值与有阴影遮挡时的像素值比例一定。 2 4a vi 视频文件的读取 为确定监控算法，本文的工作涉及了通过a v i 文件存储停车场现场视频，进 而对算法进行分析和评估。因此，对a v i 文件进行读取也是本文工作的一部分。 v f w l 0 】【1 1 】是m i c r o s o f t 公司为开发w i n d o w s 平台下的视频应用程序提供的软 件工具包，提供了一系列应用程序编程接口( a p i ) ，用户可以通过它们很方便地 实现视频捕获、视频编辑及视频播放等通用功能，还可利用回调函数开发更复杂 的视频应用程序。它的特点是播放视频时不需要专用的硬件设备，而且应用灵活， 可以满足视频应用程序开发的需要。目前，p c 机上多媒体应用程序的视频部分， 大都是利用v f wa p i 开发的。 w i n d o w s 操作系统自身就携带了v 】? w ，系统安装时，会自动安装v f w 的相 关组件。v c + + 自4 0 以来就支持7 w ，大大简化了视频应用程序的开发。 打开a v i 文件，并获得任意帧图像数据的程序如下： p a v i f i l e p f i l e ；a v i 文件接口指针 1 2 第二章基于视频的监控识别原理 a 【f i l e 矾f o p ! f 气v i s t l t e a m p g e t f r a m e p f i ；| | 文传信息头 p a v i ； n 文件数据流指针 p g f i a v i 压缩格式指针 初始化a v i 库 a v i f i l e l n i t 0 ； 打开文件 a v i f i l e o p e n ( & p f i l e ，m s t r _ a v i f i l e ，o f _ r e a dl o f _ s h a r ed e n y _ n o n e ，n u l l ) ； 读取a v i 文件信息头 a v i f i l e l n f o ( p f i l e ，& p f i ，s i z e o f ( a v i f i l e i n f o ) ) ； 打开数据流 a v i f i l e g e t s t r e a m ( p f i l e ，& p a v i ，s t r e a m t y p e v l d e o ，o ) i 获取视频帧数 l e n g t h = a v i s t r e a m l e n g t h ( p a v i ) ；， a v l s t i 汪a n 呻os i ： 获得数据流信息头 a v i s t r e a m l n f o ( p a v i ，& s i ，s i z e o f ( s i ) ) ； 获得压缩格式指针 p g f = a v i s t r e a m g e t f r a m e o p e n ( p a v i ，n a j - l l ) l p b i t m a p l n f o h e a d e rl p b i ； 获得第1 1 帧图像数据 l p b i = ( l p b i t m a p i n f o h e a d e r ) a v i s t r e a m g e t f r a m e ( p g f , n ) ； 对r g b 2 4 位图像，图像数据紧跟在信息头后 l p b y t el p d i b = ( l p b y t e ) i p b i + s i z e o f ( b i t m a p i n f o h e a d e r ) ； a v i s t r e a m g e t f r a m e c l o s e ( p g f ) ； 解放文件资源 a v i f i l e r e l e a s e ( p f i l e ) ； 释放a v i 库 a v i f i l e e x i t ( ) ； 1 3 第二章基于视频的监控识别原理 2 5 基于d ir e c t d r a w 技术的快速显示 视频图像的实时处理要求图像的显示更新具有较快的速度，这样，c p u 才会 有更多的时间去完成监控算法的计算过程。因此，本文借助于d i r e c t d r a w 技术 来实现视频的快速显示。 d i r e c t d r a w 1 2 】【1 3 】【14 】【1 5 1 是d i r e c t xs d k 的主要部分之一，它允许你直接对显示 内存操作，支持硬件位块传输、硬件覆盖、表面翻转，并且保持同目前的基于 w i n d o w s 的应用程序和驱动程序兼容。 d i r e c t d r a w 是一种软件接口，它除了能直接对显示设备存取外，还保持同 w i n d o w s 图形设备接e 1g d i ( g r a p h i c sd e 、，i c ei n t e r f a c e ) 兼容。对于图形来说， 它并不是一种高级应用程序接口。d i r e c t d r a w 提供了一种设备无关性的方法，使 得基于w i n d o w s 的应用软件和游戏( 例如三维图形软件包和数字视频游戏) 能 直接获取显示设备的特性。 d i r e c t d r a w 技术中的几个主要概念如下： 1 绘图表面( d r a w i n gs u r f a c e ) 绘图表面接受视频数据并将其作为图象显示出来。 在大多数的w i n d o w s 应用程序中，可以使用w i n 3 2 的函数如g e t d c ( ) 来 访问绘图表面。g e t d c ( ) 获取设备上下文d c ( d e v i c ec o n t e x t ) ，获得了设备 上下文后，就可以重画表面了。然而，w i n 3 2 的图象函数是由g d i 提供的。g d i 是系统的一部分，它提供了抽象层，使得标准的w i n d o w s 程序向表面绘图。g d i 的缺点是它并不是为高性能的多媒体软件设计的，它主要用于商业软件如字处理 和电子表格软件。g d i 提供了对系统内存中的视频缓冲区的访问，但不提供对视 频内存的访问。尽管g d i 对于大多数的商业软件非常合适，但对于多媒体应用 程序和游戏软件则显得太慢了。 另一方面，d i r e c t d r a w 能提供表征真实视频内存的绘图表面，这就意味着当 使用d i r e c t d r a w 时，程序能够直接向视频内存写数据，使得图像的显示速度足 够快。这些表面表征为连续的内存块，使得寻址时更加容易。 2 位块传输b l i t b l i t 是“b i tb l o c kt r a n s f e r 的简写，表示位块传输。它是将内存中一个地址的 一块数据传送到另一个地址的一种方法。位块传输经常用于精灵动画中。 i d i r e c t d r a w s u r f a c e 7 ：b l t 方法和i d i r e c t d r a w s u r f a c e 7 ：b l t f a s t 方法来执行位块传 输。 1 4 第二章基于视频的监控识别原理 3 页翻转( p a g ef l i p p i n g ) 和后台缓冲( b a c kb u f f e r i n g ) 页翻转是多媒体、动画、游戏软件中的关键。软件页翻转是对卡通画家使图 像运动的过程的模拟。例如，画家在一张纸上画了一个人物，然后将其置于下一 帧的工作状态，对于每一帧，只很少地改变人物图像。当快速翻转纸片时，连续 的人物图像看起来就成了动画。 软件中的页翻转类似于上述的过程。首先，建立一系列d i r e c t d r a w 表面，这 些设计好的表面准备“翻转”到屏幕。第一个表面被看作是主表面( p r i m a r y s u r f a c e ) ，在主表面后的所有表面都称为后台缓冲区。应用程序将数据写向后台 缓冲区，然后翻转主表面，于是后台缓冲区就显示在片面上了。当系统正在显示 图像时，程序就可以向后台缓冲区写数据，这个过程一直持续到动画的结束，它 快速而高效地将离散的图像变成动画。 d i r e c t d r a w 的开发过程包括以下几个步骤， 1 初始化d i r e c t d r a w 环境 2 设置显示模式 3 在内存里建立翻转所需要的两个页，前页和后页 4 给显示的区域设置裁剪板，限定图像显示区域 5 在后页画图，然后实现翻转 根据上述步骤，用d i r e c t d r a w 实现图像快速显示的程序如下： l p d i r e c t d r a w l p d i i 也c t d r a w s u r f a c e l p d i r e c t d r a w s i 瓜f a c e l p d i r e c t d r a w c l i p p e r p d d = n u l l ； d i r e c t d r a w 对象 p d d s f r o n t = n u l l ；n 前页对象 p d d s b a c k = n u l l ；n 后页对象 p c l i p p e r = n u l l ； n 裁剪板对象 d i r e c t d r a w c r e a t e ( n u l l ，& p d d ，n u l l ) ) o , g 建d i r e c t d r a w 对象