（计算机应用技术专业论文）运动车辆视频分割与跟踪技术研究.pdf

摘要 基于视频技术的车辆监澳! 技术由于其维护方便，易于实施的特点，近年来广受关注。 车辆跟踪技术是实现视频车辆监测的关键技术之一，是交通流量检测和交通事件判断的 基础。 本文对车辆跟踪算法进行了研究，主要内容包括： ( 1 ) 在传统的背景提取和二值化方法的基础上，提出了一种基于块的背景提取和 二值化算法，该算法将图像分成一定的块，通过计算块内的均值和方差，针对每个块进 行背景提取和二值化。 ( 2 ) 对二值化后的目标车辆进行区域标记，提出了一种基于区域面积的噪声去除 方法，该方法利用区域标记得到的区域面积作为去除噪声的准则，然后通过横纵坐标的 加权对目标进行合并，从而完全的分割出每辆车。 ( 3 ) 针对跟踪问题，提出了一种基于树型联系图的跟踪方法，该方法改进了 s u r e n d r ag u p t e ，o s a m am a s o u d 文章中所提出的联系图跟踪方法，利用目标在两帧间的 重叠面积计算权重，每个目标建立一棵跟踪树，通过分析树的分裂和合并，可以很好的 解决遮挡和粘连情况，从而得到目标运动的轨迹。 本文所设计的算法在车流量比较大、车辆容易发生遮挡和粘连的西安市南二环进行 现场实验。实验结果表明，该算法能够很好的解决车辆遮挡和粘连问题。对跟踪得到的 车辆运动轨迹进行进一步分析，判断是否有异常( 撞车、停车、慢行、逆行等) 发生， 从而进行快速报警。 关键词：智能交通系统，背景提取，二值化，车辆分割，车辆跟踪 a b s t r a c t t r a f f i cs u r v e i l l a n c eb a s e do nv i d e ot e c h n o l o g yi sw i d e l ys t u d i e di nr e c e n ty e a r sb e c a u s e o fi t se a s y - i m p l e m e n t a t i o na n de a s y - m a i n t e n a n c e t h ev e h i c l et r a c k i n ga l g o r i t h m s ，w h i c ha r e t h em o s ti m p o r t a n ta l g o r i t h m si nt r a f f i cs u r v e i l l a n c es y s t e m ，a r et h eb a s i sa n dp r e m i s eo f t r a f f i ci n f o r m a t i o ns t a t i s t i e sa n dt r a f f i ci n c i d e n td e t e c t i o n i nt h i sp a p e r , t h ev e h i c l et r a c k i n ga l g o r i t h m sa r er e s e a r c h e da n da n a l y z e d m a i nc o n t e n t s a lei n c l u d e d ： ( 1 ) i tp r e s e n t sa l g o r i t h m so fb a c k g r o u n de s t i m a t i o na n di m a g eb i n a r y z a t i o nb a s e do n b l o c k t h ea l g o r i t h m se s t i m a t eb a c k g r o u n da n db i n a r i z ei m a g ef o re a c hb l o c kt h r o u g h c a l c u l a t i n gt h em e a na n dv a r i a n c eo fab l o c k ( 2 ) a f t e rl a b e l i n gv e h i c l ew i t hc o n n e c t e dc o m p o n e n tl a b e l i n ga l g o r i t h m ，i tp r o p o s e sa n o i s er e m o v i n ga l g o r i t h mb a s e do nl a b e l i n ga r e a t h e nt h ev e h i c l et a r g e t sa r em e r g e db y w e i g h t e da v e r a g eo fa b s c i s s aa n do r d i n a t e f i n a l l y , t h ew h o l ev e h i c l et a r g e t sa r ee x t r a c t e d ( 3 ) f o rt h eo c c l u s i o np r o b l e mi nt r a c k i n g ，i ti m p r o v e st h ea s s o c i a t i o ng r a p hf o rv e h i c l e t r a c k i n gw h i c hw a sr a i s e db ys u r e n d r ag u p t e ，o s a m am a s o u da n dp r o p o s e san e wt r a c k i n g a l g o r i t h mb a s e do na s s o c i a t i o nt r e e s a f t e rt h ew e i g h to fo v e r l a p p e da r e ao ft w oc o n s e c u t i v e f l a m e si sc a l c u l a t e d ，t h et r a c k i n gt r e ei sc r e a t e do fe a c ht a r g e t i td e a l sw i t l lv e h i c l eo c c l u s i o n p r o b l e mb e t t e rt h r o u g ht h em e r g i n ga n dd i v i d i n go ft h et r e e f i n a l l y , t h et r a c k so fv e h i c l ea l e e a l c u l a t e do u tw i t ht h et r e e s t h ea l g o r i t h m sp r o p o s e da b o v ea r ee x p e r i m e n t e di ns e c o n d 融n gr o a do fx i a nw h e r e t h et r a f f i ci so f t e nh e a v y t h ee x p e r i m e n t a lr e s u l t ss h o wt h a ti tc a l ld e a lw i t hv e h i c l eo c c l u s i o n p r o b l e mb e t t e r a f t e ra n a l y z i n gt h et r a c k so fv e h i c l e ，a b n o r m a lt r a c k sw i l lb ea l a r m e di nt i m e ， s u c ha si n c i d e n t ，s l o wc a r s ，s t o pc a r sa n db a c k i n gc a r s k e yw o r d s ：i t s ，b a c k g r o u n de x t r a c t i o n ，bin a r y ，v e h i c l es e g m e n t a t i o n ，v e h i c l e t r a c k i n g 论文独创性声明 本人声明：本人所呈交的学位论文是在导师的指导下，独立进行研究工 作所取得的成果。除论文中已经注明引用的内容外，对论文的研究做出重 要贡献的个人和集体，均已在文中以明确方式标明。本论文中不包含任何 未加明确注明的其他个人或集体已经公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名：首僧彦 矿7 年 l 论文知识产权权属声明 其，、日 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属学 校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权 利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成 果时，署名单位仍然为长安大学。 ( 保密的论文在解密后应遵守此规定) 论文作者签名： 导师签名： 聋竹依 私乏弓 7 年月，口日 长安大学硕士学位论文 1 1 研究背景 第一章绪论 智能交通中运动车辆的检测和跟踪，是车流量和事故判断的前提和基础，在视频监 控中利用检测和跟踪得到的车辆信息，统计出路段的数据，如车流量、车型、车速以及 检测事故等【1 1 ，然后据此对交通进行规划，例如调整十字路口红绿灯开启等，从而可以 减少交通拥堵、提高道路利用率、降低交通事故发生率。并且正确、实时地记录下道路 上车辆行驶情况，例如违规超车、车辆相撞等等，对发生的交通事故能进行快速反应， 从而极大地提高了排障效率，使道路迅速畅通；同时记录下该事故的发生过程，为事后 处理交通事故提供了有力的证据。所以车辆的有效检测和实时跟踪是智能交通【2 】中的核 心内容和关键技术。 目前车辆检测的方法【3 】有很多，如感应线圈检测、红外线视频检测、数字视频检测 危在 号宁o ( 1 ) 环形地埋式检测：该检测手段工作稳定，在恶劣天气条件下仍具备出色的性 能，价格低廉，检测精度高。但是要求设置于路面中，对路面有损坏，安装不方便，而 且安装的数量多；属于点式检测，检测范围较小，每个车道需要一个；可检测参数较少； 可扩展性差，不能进行调节和移动，发生故障时，一般不能维护，只有等多个检测器严 重故障时，才进行破路施工换掉失效的检测器。 ( 2 ) 红外线视频检n - 这种检测方法是非接触遥控测量、响应速度快、灵敏度高， 红外检测器外观不显眼，布线简单易于安装，有无光线都可以工作，可以很好的解决昼 夜转换的问题。但是由于检测灵敏度与热辐射率相关，红外线检测受车辆本身热源的影 响，抗噪声的能力比较差，在检测时对时间一温度关系要求严格，另外测得的交通参数 比较少。 ( 3 ) 数字视频检测：这种检测方法，为现在智能交通所青睐，现在被广泛的应用， 它主要由摄像头、数据设备和多媒体p c 机监视终端等组成。与其他类型的检测方法相 比有很多优点：它属于面式检测，检测范围大；能提供大量交通中所需要的信息，如可 检测所有交通控制所需的参数：车流量、车辆速度、道路占有率、停车等待时间、车型、 排队长度、路口拥塞状况等；维护简单、扩展性强、精度高，而且能提供可视图像信息。 鉴于智能交通的广泛应用和数字视频检测系统的不足，本研究对智能交通系统中的 第一章绪论 关键技术运动车辆的跟踪技术进行了分析和研究，以进一步完善智能交通中运动车 辆的实时跟踪。智能交通中利用计算机代替传统的监控【4 】人员完成监控任务，即由计算 机系统负责自动完成运动车辆的检测、跟踪、分类以及行为分析，并维护图像序列数据 库，当有异常情况发生时，如有超速、闯红灯以及交通堵塞时，完成自动抓拍，记录当 时的有关视频信息，并将其存储在数据库中，同时将相关图像信息传送到监控中心，供 有关人员及时掌握路况情况。 1 2 研究现状及存在问题 美国是智能交通产品开发的发源地，早在6 0 、7 0 年代一些学者就开始对图像处理 技术在交通控制中的应用展开研究。 1 9 8 4 年，美国明尼苏达大学( t h eu n i v e r s i t yo fm i n n e s o t a ) 的机器视觉与人工智能实 验室首次开展了将计算机视觉应用于高级交通管理的研究。2 0 世纪8 0 年代，在当地的 交通部门以及美国联邦公路署的扶持下，该大学成立了i s s 公司( i m a g es e n s i n gs y s t e m ， i n c ) ，专门从事交通视频技术相关产品的研究开发。1 9 8 7 年，i s s 研制出第一台原型机， 首次验证了视频检测技术在交通领域的应用。其后于1 9 8 9 年正式推出了用于外场车辆 检测的a u t o s c o p e2 0 0 2 视频车辆检测系统。1 9 9 2 年，i s s 公司研制出a u t o s c o p e2 0 0 3 ， 产品的各项性能趋于成熟，实现了全天候检测。美国乔治亚、密歇根等州开始广泛采用 这一产品，以后又在原有的基础上不断扩大使用。a u t o s c o p e 系统是当今世界最成功的 交通视频检测产品之一，它奠定了i s s 在业界的领头羊的地位。 法国c i t i l o g 团队15 年前开始对视频检测技术进行研究，1 9 9 6 年将其研究成果商业 化，成立了c i t i l o g 公司。c i t i l o g 的技术是自主研发的动态图像背景自适应技术和车辆 图像跟踪技术，消除了光线、雨雪、灰尘对系统的影响，是基于事件本身的检测技术， 可以及时检测监控区域内发生的交通事件，采集交通数据，辅助进行交通控制等。 目前国内有不少公司在这方面作了许多努力，如清华紫光与清华大学合作开发的新 一代视频交通流量检测系统v s 3 0 0 1 ，深圳神州交通系统有限公司开发的v i d e o t r a c e ， 厦门恒深智能软件系统有限公司开发的h e a d s u n s m a r t v i e w e r - i i 视频交通检测器等等。 但是这些产品大多功能比较单一，与国外的产品相比还有一定差距 物体运动的复杂性在于图像中包括了各种类型的大量的复杂目标，有些目标物体是 快速移动的，有些目标物体却是静止的，有些情况是摄像头和物体都是移动的，物体之 间的遮挡有时比较严重，背景、光线等随着天气、季节的影响比较大。物体的检测与跟 长安大学硕士学位论文 踪难点主要在于下列方面： ( 1 ) 复杂多变的运动目标。如上面提到的，经常在一个场景中，有不同类型的目 标物体，例如路面上有车辆和行人等运动目标以及如斑马线等交通标志出现导致路面的 灰度不一致。另外，物体的运动速度也是多变，在复杂的场景中，经常会有高速运动的 物体同时又有静止的物体，而且物体的运动速度也在改变。 ( 2 ) 摄像头移动的问题。在摄像头移动的情况下，背景和运动车辆都存在不同程 度的运动，在这种情况下，很难准确提取出运动车辆。 ( 3 ) 阴影问题。运动物体自身的阴影，以及其他背景的阴影都会对物体的检测产 生影响。 ( 4 ) 复杂背景和变化背景。复杂的背景对运动物体的提取增加了难度，例如道路 上的交通标志等对车辆检测的影响比较大。另外，有些变化的背景，如飘动的旗帜、摇 动的树等也会产生错误检测。 ( 5 ) 遮挡问题。运动物体相互的遮挡是在拥挤条件下的产生的难题，它是目前比 较大的一个难题。 1 3 论文的主要工作及工作安排 本论文所作的主要工作是基于视频的交通事件和交通参数检测系统中软件算法设 计的一部分：目标分割和目标跟踪部分。通过跟踪获得目标车辆的运动轨迹，从而完成 整个系统中的交通事件检测。 ， 本文的主要内容安排如下g 第一章绪论 介绍课题研究的目的及意义，国内外关于视频图像处理技术在智能交通中的应用现 状。 第二章基于视频的交通事件和交通参数检测系统 介绍了基于视频的交通事件和交通参数检测系统的总体框架、硬件设计和软件算 法。 第三章目标分割 首先介绍了常用的目标检测方法以及本文所采用的方法。然后详细介绍了目标分割 中的连通区域标记算法：传统标记法和本文所采用的基于线段的方法。提出了基于目标 面积的散点去除方法，并对去除散点后的目标进行合并，为第四章的目标跟踪作好准备。 1 第一章绪论 第四章目标跟踪 首先介绍了常用的目标跟踪方法：模板匹配法，m e a n s h if t 跟踪法和粒子滤波跟踪 法，并分析了它们的性能。然后介绍了本文所采用的s u r e n d r ag u p t e ，o s a m am a s o u d 文 章中所提出的联系图跟踪方法，并对其进行改进，提出一种基于树型联系图的跟踪方法。 该方法能够很好的解决常用的跟踪方法中车辆遮挡，粘连等不足。 总结与展望 对全文工作进行总结和展望。 长安大学硕士学位论文 第二章基于视频的交通事件和交通参数检测系统 2 1 系统简介 本系统以c i t i l o g 视频交通分析系统为参照，并且在系统架构、软件和算法设计等方 面充分考虑系统在公路和城市交通等应用环境中的适应性和可扩展性。对视频图像中的 目标进行识别、跟踪，并描述其运动轨迹，根据车辆的运动轨迹得出车辆的运动状态， 从而实现对道路交通突发事件的实时检测，并在第一时间内自动报警。同时采用自适应 技术，以充分适应各种气候状况和不同光照的环境。以具有自动交通事件检测、交通参 数测量、火灾检测和交通状况分级等功能。 ( 1 ) 系统功能 基于视频的交通事件和交通参数检测系统，具有自动交通事件检测、交通参数测量、 火灾检测和交通状况分级等功能，具体如下：交通事件检测及报警：逆行车辆、停驶车 辆、车辆驶出车道、行人检测、抛落物、慢行车辆、交通拥堵、火灾检测、交通事故； 交通参数检测：车流量、车速、道路占用率、车头时距、车型类别：交通状况分级，如 畅通、饱和、拥堵等；自诊断功能：信号丢失、设备故障等：异常事件前后片段录像， 多通道即时回放；远程系统参数配置功能等。 ( 2 ) 系统性能指标 针对在公路上固定安装的定焦摄像机，在输出视频信号稳定清晰的情况下：交通事 件检测率： 9 9 ；检测报警时间： 9 0 ；平均车速准确率： 9 5 ；存储图像分辨率：7 2 0 x 2 8 8 ：事件检测区域： = 1 6 ；检测范围：图像中车辆目标大于2 0 ( 水平) 木1 0 ( 垂直) 个像 素的图像范围；事件报警区域： = 1 6 ；报警录像长度：默认事件前后3 分钟，用户可自 定义。 ( 3 ) 开发环境及系统创新 本系统的实现，以v i s u a ls t u d i o n e t 和v i s u a lc + + 6 0 为开发工具，以w 玳x p 为 开发平台，最终算法移植到d s p 处理器中。所以算法和软件设计中要特别注意考虑向 d s p 平台移植的方便性。 本研究方案将特别突出系统的创新：为了降低最终产品成本、增强其市场竞争力和 提高系统的总体可靠性，本产品将采用基于嵌入式d s p 处理模块的系统硬件架构；在 第二章摹f 频的交通事件和交参数检测系统 系统处理功能方面，将同时具有交通事件检测、交通参数检测和交通状况分级的功能。 22 硬件设计 基于视频的交通事件和交通参数检测系统在交通监控系统中的应用示意图如下图 2 l 所示。 咤曰f 蟠j 眨画j 盼m 图2 1 基于视频的交通事件和交通参数检测系统应用示意图 其中虚线框内的视频交通事件检测器、管理服务器和百兆以a 网交换机共同构成基 于视频的交通事件和交通参数检测系统。 视频交通事件检测器是本系统的核心部分。它对输入的视频信号进行分析处理，并 将变通事件和交通参数等分析结果上传给管理服务器和其他需要该信息的计算机。 管理服务器负责视频交通事件检测器内各单板的配置、管理和监控，并统计管理交 通事件和变通参数，存储交通事件录像进行数据库管理等。 视频交通事件检测器、管理服务器和其他管理终端之间通过百兆以太网交换信息。 23 算法和软件设计 本系统软件流程图如图22 所示。 长安大学硕士学位论文 图2 2 软件系统流程图 算法流程如下： ( 1 ) 初始背景提取。采用背景提取方法，本系统采用分块的方法进行初始背景提 取。 ( 2 ) 背景更新。采用加权平均法进行背景更新。 ( 3 ) 二值化。基于分块的方法进行二值化。 ( 4 ) 流量和速度统计【5 l 。设置虚拟线圈进行流量、速度、车型、车头时距、空间占 有率、时间占有率等交通参数统计。 第二章基于视频的交通事件和交通参数检测系统 ( 5 ) 目标分割。对二值化后的图像进行目标分割，联通区域标记，并对标记后的 目标进行处理，去除小面积目标，合并中心接近的目标，完整的分割出来每辆车。 ( 6 ) 目标跟踪。对于分割出来的目标，每个目标建立一棵树，利用目标在帧间的 重叠面积进行跟踪，根据树的分裂和合并解决车辆的粘连和遮挡问题。 ( 7 ) 目标轨迹分析。对跟踪出来目标轨迹进行分析，检测逆行车辆、停驶车辆、 车辆驶出车道、行人检测、抛落物等交通事件。 2 4 目标分割与目标跟踪 本论文所作的主要工作为目标分割和目标跟踪。具体如下： ( 1 ) 目标分割。首先对图像进行二值化，然后进行目标分割，主要采用连通区域 标记方法提取二值化后的每个目标，即每辆车，再对目标区域进行处理，消除小散点的 影响，最后合并相邻的区域。 常用的连通区域标记方法有多次扫描法、两次扫描法等。本文采用一种基于线段的 连通区域标记算法，进行标记后的目标会存在由于图像噪声和车辆分割的不完整而造成 的小散点，根据目标区域的面积去除小散点，其效率高于数学形态学的散点去除方法。 再对距离相近的区域进行合并，完整的分割出各个车辆，为车辆跟踪作好准备。 ( 2 ) 目标跟踪。首先讨论常用的目标跟踪方法：模板匹配方法、m e a n s h i i t 跟踪方 法、粒子滤波跟踪方法，并分析其优缺点。然后改进了s u r e n d r ag u p t e ，o s a m am a s o u d 文章中所提出的联系图跟踪方法，提出一种基于树型联系图的跟踪方法。利用目标在两 帧间的重叠面积，计算权重，每个b l o c k 建立一棵跟踪树，通过分析树的分裂和合并， 可以很好的解决遮挡和粘连情况，从而得到目标运动的轨迹。 长安大学硕士学位论文 第三章目标分割 目标分割是在对图像进行目标检测、二值化后进行的。目标检测方法为背景差分法， 即首先提取背景，然后前景减去背景进行差分，得到二值化图像，同时进行背景更新。 本章中首先对常用的背景提取、背景更新、二值化方法以及本文所使用的方法进行 讨论，然后进行目标分割，主要采用连通区域标记方法提取二值化后的每个目标，即每 辆车，最后对目标区域进行处理，消除小散点的影响，合并相邻的区域。 常用的连通区域标记方法有多次扫描法、两次扫描法等。本文采用一种基于线段的 连通区域标记算法，该算法的执行效率较高。进行标记后的目标会存在由于图像噪声和 车辆分割的不完整而造成的小散点，常用的小散点去除方法为数学形态学，即先腐蚀后 膨胀。本文根据目标区域的面积去除小散点，其效率高于数学形态学。之后再对距离相 近的区域进行合并，完整的分割出各个车辆，为第四章的车辆跟踪作好基础。 3 1 目标检测 常用的目标检测方法有帧差法【6 7 】，光流法【8 , 9 , 1 0 , 11 和背景差法 2 , 1 3 , 1 4 , 1 5 】。本文所采用 的方法为背景差法，首先提取初始背景【1 6 1 ，然后背景更新【1 7 1 和二值化。 3 1 1 传统的检测方法 ( 1 ) 背景提取。 平均法。由于道路上行使车辆的多样性，有的车辆亮度值比路面亮度值高，有的 车辆亮度值比路面亮度值低。所以，从统计学角度来看，由于车辆经过而引起的变化在 长时间内可以忽略。可以用公式简单地表示为： b a c k g r o u n d ( x , y ) 。专善懈( 五y ) ( 3 1 ) 其中：b a c k g r o u n d ( x ，力表示背景图象，i m a g e _ f ( x ，y ) 表示第f 帧图像，表示平均 的帧数( 即表示时间) 。 统计法。直方图中最大值所对应的亮度值就是路面本身的亮度值。统计直方图公式 可表示为： p y = 乒篡舄嚣础 b 2 ， 第三章目标分割 b a c k g r o u n d ( x ，y ) = m a x ( p ( x ，y ，七) )k = 0 ，1 ，2 2 5 5( 3 3 ) 其中：e ( x ，y ，后) 表示象素点( x ，y ) 处亮度值为k 出现的次数，i m a g e i ( x ，y ，聊) 表示某 一帧图像象素点 ，y ) 处亮度值为m 。另外一种基于统计的背景模型是统计单个象素点 ( 工，y ) 在连续帧的图像中的亮度值，求取在一段时间丁内对视频序列图像的亮度值进行 排序，然后取其中值亮度m ( 毛y ) 作为背景。这种方式主要考虑到在车辆较少的情况下， 连续多帧图像中背景的象素值占主要部分，这样在一段时间丁内变化缓慢，取中值便可 以认为是路面背景。可以用公式简单表示如下： b a c k g r o u n d ( x ，y ) = m e d i a n ( i m a g e i ( x ，y ) ，i m a g e i lo ，y ) ，i m a g e f _ r ( 工，y ” ( 3 4 ) ( 2 ) 背景更新。 随着时间的推移，光照以及一些不可预测的路面情况等外部条件的不断变化，使路 面背景亮度发生缓慢的变化，如果一直用初始背景当作固定背景，随着时间的延续，必 然会造成越来越大的误差。要保证系统长时间正常运行，需要综合当前的各种因数，进 行背景更新保证背景的实时性。 目前广泛采用的是自适应背景更新方法，其基本原理是用视频序列的当前背景和当 前帧的加权平均来更新背景。由于当前帧中含有前景目标，因此更新前要分割前景和背 景，仅用当前帧的背景像素修正当前背景。合成瞬时背景后，通过瞬时背景和当前背景 的加权平均得到更新后的背景，即： c u r r e n t b a c k g r o u n d k + l ( x ，y ) 2 i n st a nt b a c k g r o u n d k ( 工，y ) 宰t t l + c u r r e n t b a c k g r o u n d k ( x ，y ) 木( 1 一口) ( 3 5 ) 式3 5 表示更新后的背景，l n s t a n t b a c k g r o u n d o ，y ) 为瞬时背景， c u r r e n t b a c k g r o u n d k ( x ，y ) 为当前背景，c u r r e n t b a c k g r o u n d k + l ( x ，y ) 为更新后的背景。口 为更新系数，取值为o 口1 。背景更新后，c u r r e n t b a c k g r o u n d k + l ( x ，y ) 即作为新的当 前背景，而丢弃原背景图像，后续帧的处理类似。 为了防止后续背景更新失败，隔一段时间根据后续车辆跟踪的效果，在效果理想的 条件下保存当前背景图像。 ( 3 ) 二值化。 长安大学硕士学位论文 基于灰度的方法。这是最简单的方法，对静止的图片进行操作。这种方法的基本原 理是基于车辆是紧密的目标，与背景相比有不同的灰度。因此，通过对像素点的灰度取 阈值，就可以将车辆与背景分开。这种方法对阈值的选取依赖很大。自适应选取阈值可 以用来对应光线的变化，但是不能避免对阴影的错误检测，或者对车辆与环境相似部分 的漏检测。 基于颜色的方法。由于交通场景中的车辆往往具有与路面背景不同的颜色信息，因 此可以利用这种差别检测车辆，将目标与背景分割开来。 基于边缘的方法。这种方法基于目标的边缘特性，在交通场景中，车辆区域有丰富 的边缘信息，而路面区域有相对较少的边缘信息。因此可以利用边缘的复杂性检测出场 景中的车辆，并可以用直方图进行量化分析。这种方法往往比基于灰度等方法更加有效， 因为即使环境光线变化了，边缘信息仍旧很显著。这种方法的主要缺点是在平滑的目标 区域，目标会丢失。 3 1 2 基于分块的检测方法 ( 1 ) 背景提取【1 8 】。 首选读取帧图像数据，并将每帧图像数据分成m 个小区域；计算每帧图像第i 个 小区域的均值u ，和方差莲，并将她们作为矢量保存于内存单元；具体的某个区域对于 帧图像，可以得到个矢i t ( - ；，4 ) ，根据统计的方法，求出最经常出现的矢量 一，) 。 认为此帧图像区域为该区域的背景。 ( 2 ) 二值化【1 9 】。 将获得的含有车辆的图象和纯背景图象分为个矩形块，分别计算两幅图象对 应块的灰度均值和方差，并分别做比较，然后与一定阈值相比较，小于阈值的被认为是 两幅图象中“相同”的部分，给以去除。这个过程进行到最后，就将车辆目标区域与背 景分割开了。 传统的目标检测方法是针对像素进行的，对于噪声比较敏感。而分块的方法是针对 每个块进行的，可以很好的抵制噪声问题。 3 2 目标标记 连通区域标记是通过对图像进行从上到下，从左到右的扫描来识别相连象素的区 第j 章目标分割 域，也就是说灰度值在相同灰度值集合v ( 对于二值图像米说，v = i t ，而对于灰度图 像来说，v 是一个值域，比如：v = 1 0 0 ，1 0 1 ，11 0 ) 中的相邻象素构成的区域。 象素相连通描述了两个或两个以上象素的关系。对于两个象素，如果被认为是相连 的，那么他们的扶度和卒删关系就必须满足一定的条件。首先，它们的象素值必须在相 同灰度值集合y 中。对于象素连通的空间连接标准，我们首先介绍邻域( n e i g h b o r h o o d ) 的概念对于一个坐标为z ，y 的象素p ，它可以有两个水平和两个垂直的近邻象索。我 们的坐标集合： m ( p ) = 0 + 1 ，y ) ，“一1 ，) ，k y + 1 ) ，( j ，y 一1 ) ) ( 36 ) 称为象素p 的4 邻域，另外，象素p 的8 邻域定义为： 虬( p ) = m ( p ) u 扛+ 1 ，y + 1 x “+ 1 ，y 一1 ) ，0 1 ，y 一1 ) ，o 一1 ，y + 1 ) ( 37 ) 从咀上对4 邻域和8 邻域的定义，我们可以推出4 连通和8 连通的定义：两个象素， p 和q ，它们的象素值都属于相同扶度值集合v ，如果q 是d ( p ) 中的一个象素点，则 它们是4 连通的，如果足m ( p ) 中的一个象索点，则它们是8 连通的。通常我们所说的 连通指的就是4 连通或者8 连通。 一旦所有的前景象素被归为一些连通区域，根据所属的连通区域为每一个象素标识 扶度或颜色。本文中使用的是8 连通，输入图像是二值图像，示意图如图31 所示。示 意图中可以看到，二值化后共有五个连通的区域，分别被标已成了不同的数字。 圈3 1 连通区域标记示意图 - i2 - 长安大学硕士学位论文 3 2 1 传统的标记算法 如图3 2 所示，图中有a 、b 、c 三个不连通的物体，对这三个物体的标识过程【2 0 】 如下： ( 1 ) 从左到右，从上到下逐个象素扫描。 ( 2 ) 若该点的左上、正上、右上及左前点共四个点的象素值都不为物体，则把数 标加1 。 ( 3 ) 采用( 行坐标，列坐标) 方式标记物体。 若遇到( 1 ，1 ) 象素为物体a ，依次判断该象素点的右上点( o ，2 ) ，正上( 0 ，1 ) ， 左上( o ，0 ) 及左前( 1 ，o ) 是否为该物体，优先级依次降低，为右上点( o ，2 ) ，正 上点( o ，1 ) ，左上点( o ，o ) 及左前点( 1 ，o ) 。( o ，2 ) 的优先级最高，而左前( 1 ， o ) 的优先级最低。 ( 4 ) 若右上点为物体，则当前点跟右上点合并，并标记和右上点相同的值。如当 前点( 2 ，2 ) ，则右上点( 1 ，3 ) 为物体，所以当前点为( 2 ，2 ) 标记与右上点( 1 ，3 ) 相同的值。 ( 5 ) 若右上点不为物体，则判断正上点。如当前点( 5 ，4 ) ，则其右上点( 4 ，5 ) 不是物体，则判断正上点( 4 ，4 ) 为物体，所以当前点( 5 ，4 ) 标记与正上点( 4 ，4 ) 相同的值。 ( 6 ) 同理，若当前点的右上点、正上点都不为物体，则同样的方法依次判断左上 点，若左上点也不为物体，则再判断左前点。 ( 7 ) 若如：当前点( 1 ，8 ) 的右上点( o ，9 ) ，正上点( o ，8 ) ，左上点( o ，7 ) 及左前点( 1 ，7 ) 都不为物体，则当前点的值在原来的标记上加1 ，此标记用来作为另 一个物体的区别。 ( 8 ) 其中有一特别调整：从图3 2 可见( 1 0 ，2 ) 是一个新加标记的点，当前点( 1 0 ， 3 ) 的右上点( 9 ，4 ) 及左前点( 1 0 ，2 ) 为不同的标记，正上点和左上点不为物体，则 当前点( 1 0 ，3 ) 标记同右上点( 9 ，4 ) 置相同的值。此时，从头到尾扫描图像，把所 有同( 1 0 ，2 ) 标记相同的象素值标记成与右上点( 9 ，4 ) 同样的值。 第三章目标分割 ol23 4 56789 1 0l l 1 2 1 3 0 o0o 00o000o0o00 l0 曩万一 oo0o 露鬻 嬲嬲物 弼 0o? 1 3 200 乡碣 00o 5 。餮i b ，b ，一圈0 ，篓i ，豢 魏t 箍# 照糍镕舭 3o 匪黪蛰 _ ， 习 0 0 隧滏秘霭 0000j 7 惫髟，彩j ， 4o0 麟i熬溯 0000 麟焉 0 0 0 50 f 黪鬻臻缪，锄驴 彤，z ，孽；霉 麓鬻霸 0oi7 旌j ，? ，?么，圈oo隧 劳 j g m - 盔 6 o 匕翻 o0o000o邕瀛溺0 7o 0 豳 0o0 圉 00oo000 8o0豳 0 o 慝鬻震羽 oo000 90000 蕊 ? 卺一爹移! 零攀穹震囊潮 0 0 越毫缸盏澧 1 00o l翌羹黪一 、jp， 溯 o000o，e 妻7 影彰 麟，。 。歹 ， ! 箩霭羹溺 0o1 1000oo 隧。篷轰荔 1 2000 0 00 o 包如逶滋麓瀚 0 1 30ooo000o000 o00 图3 2 物体标识 算法中的第( 8 ) 步，当前点( 1 0 ，3 ) 的右上点( 9 ，4 ) 及左前点( 1 0 ，2 ) 为不 同的标记，正上点和左上点不为物体，则当前点( 1 0 ，3 ) 标记同右上点( 9 ，4 ) 置相 同的值。此时，从头到尾扫描图像，把所有同( 1 0 ，2 ) 标记相同的象素值标记成与右 上点( 9 ，4 ) 同样的值。如果多次出现这种情况，则必须不断的从头到尾扫描图像，计 算量很大。两次扫描法可以解决这种多次扫描图像的问题，只需要扫描两次图像，就可 以对整个图像进行标记。步骤如下： ( 1 ) 初始化标号。开辟二维数b i s c o n n e c t 用以记录连通的标号。从上到下，从 左到右扫描图像，设p 为当前扫描到的像素点，p 的右上、正上、左上、左前为p 的四 个邻域。如果p 为0 ，则移动到下一个像素位置，如果p 为2 5 5 且p 的四个邻域都为0 ， 则给p 分配一个新的标号。如果p 的四个邻域只有一个为2 5 5 ，则把它的标号分配给p 。 如果p 的四个邻域有大于两个为2 5 5 ，则把其中的一个标号分配给p ，把四个邻域的标 号全改成此标号，并且把数组b i s c o n n e c t 相应位置t r u e 。 长安大学硕士学位论文 ( 2 ) 连通问题的处理。用一个二进制的矩阵可以表示连通问题。例如，如果标号1 和标号2 连通，标号3 和标号4 连通，标号4 和标号5 连通，标号1 和标号6 连通。则 对应的矩阵如图3 3 ( a ) 所示。根据f l o y d w a r s h a l l ( f w ) 【2 1 1 算法进行连通问题处理，即 把数组b i s c o n n e c t 连通的标号置t r u e 。处理后的矩阵如图3 3 ( b ) 所示。算法如下： f o r ( i n ti = 1 ；i _ n ；i + + ) f o r ( i n t j = 1 ；j _ n ；j 抖) i f ( b l s c o n n e 圮t i 】【j 】一t r u e ) f o r ( i n tk = 1 ；k - n ；k 抖) b l s c o n n e c t i 】 k 】_ b l s c o n n e c t i 】 k 】ib l s c o n n e c t j 】【k 】； 其中，n 为第一步中初始标号中一共分配的标号数。进行f w 算法后，对图像进行 第二次扫描，对每个标号用其等价的连通标号进行代替。 123456 111 21 3 1 411 5 1 6l 123456 111 l 2 111 3111 4111 511l 6l1l ( a ) 处理前( b ) 处理后 图3 3 等价矩阵 3 2 2 基于线段的标记算法 从上往下、从左向右对图像进行扫描，基本思想如下：找到连通区域的第一个目标 段( 如图3 4 目标段l ，第1 行的第1 列到第3 列) ，标记该段并且压入堆栈作为“区域 增长”的种子段。检查当前段的上下两行是否有重叠并且未标记的目标段。如果不存在 重叠的目标段就把当前段弹出堆栈；如果存在( 目标段3 ，第2 行的第2 列到第5 列) ， 标记该段并且压入堆栈，作为新的“种子段”。后续操作不断从堆栈中取出种子段，重 复上述操作直到堆栈为空( 标记完一个连通区域) 。接着搜索图像中下一个未标记的连 通区域，重复上述操作直到图像中所有的连通区域标记完毕【2 2 1 。 第三章目标分割 由于采用的是8 邻域连通，所以本行目标段( x 。，x e l ) 和上下两行目标段( x 。，x 。：) 重 叠的准则是：x 。- i 五：并且五。+ 1 置：。其中，s 表示目标段的开始，e 表示目标段 的结束。图3 4 中第一个连通区域的目标段入栈先后顺序为目标段i 目标段3 - 嵋 标段2 _ 呻标段4 ；出栈顺序正好相反。 l 叫【l 】【1 01 匆 34 | 56 j f 8 夥 | 、 o j 1 】 1 1 111l l 1il 夕 2li11il夕少 ： 3 11111r 多多 4 、二二一r j 毒乒 一 ， 2p52222r2 6222l 1 222l ， ， 7 l2 2l 矿222l ，乃l 8 ，夕a 回瞄1雨1向】 图3 4 线段标记 算法的实现过程用伪代码描述如下： f o re a c hs e g o b j i f l ( s e g ) = u p u s h _ s t a c k ( s e g ) ； i 一l + 1 ： w h i l es t a c ki sn o te m p t y s e 分_ 一p o p s a t c k ( ) ； f o re a c hs e g n e w + 一n ( s e 曲 i f l ( s e g n e w ) = u p u s h s t a c k ( s e g n e w ) ： 1 6 长安大学硕士学位论文 e l s e p o p _ s t a c k o ： 为了不破坏原图像，同时为了避免当目标像素位于图像的边界时出现对内存的非法 操作，申请一个比原始图像尺寸上、下、左、右各大一个像素的临时图像；由于元素的 删除和增加操作始终在数据结构的顶部进行，所以我们采用堆栈作为存放目标段的数据 结构，s e g 表示目标段，l 表示段的标记值，u 表示未标记的目标段集，n 表示与目标 段s e g 相邻的段，s t a c k 表示存放目标段的堆栈，p u s h _ s t a c k 和p o p _ s t a c k 分别表示入栈 和出栈。 此算法综合了线段标记法和区域增长法的优点，把连通区域的目标段作为区域增长 的“种子段 ，充分利用区域的邻域信息，对图像只需要进行一次扫描就可以标记出所 有连通区域。但由于每个目标段都需要对上下两行进行扫描判断( 有些判断必定是重复 操作) ，为了进一步提高算法效率，进行优化。 假设当前行某个目标段( 记目标段1 ) 左右两端点为( x 彬x 。) ，下一行的某个目标 段( k 2 目标段2 ) 左右两端点为( x 。：，x 。：) ，目标段1 覆盖目标段2 的准则是：x 。1 置：且 鼍。五：，如果目标段1 覆盖了目标段2 ，这样在后续的处理操作中，目标段2 只需要 对其下一行进行扫描判断，从而避免了重复操作。 如图3 4 所示，假设当前处理的目标段为目标段5 ，目标段5 覆盖了目标段7 ，但是 没有覆盖目标段8 。所以在后续的处理操作中，目标段8 需要对上下两行都进行扫描， 但目标段7 就只需要对下一行进行扫描。这样根据两个目标段是否覆盖的准则就可以进 一步地减少搜索量，从而提高算法效率。 图中连通区域2 中有6 个目标段，在算法优化之前，每一段需要对该段的上下两行 进行扫描，共需扫描1 2 次；算法优化后，总共只需扫描9 次( 目标段5 作为连通区域的 起始段没必要对其上一行进行扫描) 。当图像中连通区域的形状比较规则，不同行的目 标段上下覆盖时，优化后减少的运算量还是相当可观的，大约较优化前减少了1 0 左右。 3 2 3 标记目标处理 由于本章后面各节中的跟踪算法跟踪的对象是矩形框，因此还要提取车辆目标区域 的最小外接矩形。在8 连通操作后，可以得到各个标记过的连通区域，其最小外接矩形 计算方法如图3 5 所示。 第= 章目标分割 h “：( 恐m i n b ( c o 碍m p 8 y ) ：m a x ( c o m p y ) ，m i n ( c o m p ) ，m a x ( c o m p ，) ) ( 3 8 ) = ， ) ， ， ” x | ，： r “”。1 _ _ 1 。l