（信号与信息处理专业论文）复杂场景下背景提取与自适应更新算法在dsp上的实现.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 随着现代经济的高速发展，交通运输的保障就显得尤其重要，对交通管理的要求也越 来越高，将计算机视觉等高新技术运用于交通监控管理与车辆控制，以保障交通顺畅及行 车安全，从而促进经济发展的智能交通系统i t s ( i n t e l l i g e n tt r a f f i cs y s t e m ) 也随之应 运而生。在基于视频检测的智能交通系统中，先期获得较好的背景是系统稳定运行的基础。 而复杂场景下的背景提取由于实际场景的复杂与运动的多样性，因而也就成为背景提取与 更新中研究的难点。 本文以摄像机获取的交通场景视频作为研究对象，对视频检测技术中的背景提取及自 ： 适应更新关键技术问题进行了分析和研究。在基于统计直方图与多帧平均混合算法的基础 上，提出了适合城市交通道口复杂场景下的背景提取与自适应更新算法，并在d m 6 4 2d s p 平 台上对算法进行了验证。论文还给出了基于视频检测智能交通系统的整体架构，以及基于 d s p 的视频实时处理模块的整体设计。 关键词：智能交通系统，视频检测，背景提取，自适应更新算法，d s p 南京邮电大学硕士研究生学位论文 a b s t r a c t a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t o fm o d e r n e c o n o m y ，k e e p i n g t r a f f i ca n d t r a n s p o r t a t i o ns a f ea n do r d e r l yi sb e c o m i n gm o r ea n dm o r ei m p o r t a n t ， i n t e l l i g e n t t r a f f i cs y s t e mi sb e i n gf o l l o w e d t oo b t a i nag o o db a c k g r o u n dp r e v i o u s l yi st h e k e yt os y s t e ms t a b l er u n n i n gf o rt h ei n t e l l i g e n tt r a f f i cs y s t e mb a s e do nv i d e o d e t e c t i o n r e s e a r c ho nt h et e c h n o l o g yf o rb a c k g r o u n de x t r a c ti o nu n d e rc o m p li c a t e d s c e n ei sj u s tt h eh o ts p o to ft h ef i e l df o rt h ec o m p l i c a c yo fr e a ls c e n ea n dt h e d i v e r s i t yi nm o t i o n t h i sr e s e a r c hi sa i m e da tb a c k g r o u n de x t r a c t i o nw i t hs e l f 。a d a p t i v eu p d a t e a l g o r i t h ma n di t si m p l e m e n t a t i o nu s e di nt h et e c h n o l o g yo fv i d e od e t e c t i o n f i r s t l y ， t h r e e k i n d so fb a c k g r o u n de x t r a c t i o na n ds e l f 。a d a p t i v eu p d a t ea l g o r i t h m sa r e d i s c u s s e di nd e t a i l s e c o n d l y ，am e t h o ds u i t a b l ef o r t h eb a c k g r o u n de x t r a c t i o n a n ds e l f 。a d a p t i v eu p d a t ea l g o r i t h mu n d e rc o m p l i c a t e ds c e n ei nc i t yt r a f f i c i n t e r s e c t i o ni sp u tf o r w a r da n dv a l i d a t e do nd m 6 4 2d s pp l a t f o r m ，t h ef l o w c h a r t a n dd e t a i lo fh o wt oi m p l e m e n tt h i sm e t h o da r ea l s od i s c u s s e di nd e t a i l f i n a l l y t h em a i nf r a m e w o r ko fv i d e od e t e c t i o nb a s e ds y s t e ma n dr e a l t i m ed e t e c t i o nm o d u l e b a s e do nd s pisp r e s e n t e di nt h ep a p e r k e y w o r d s ： i n t e lli g e n tt r a f f i c s y s t e m ， v i d e o d e t e c t i o n ，b a c k g r o u n d e x t r a c t i o n ，s e l f a d a p t i v eu p d a t ea l g o r i t h m ，d s p i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：二工毕日期：。k 赳、i 文 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：j ! l ：冬导师签名：址日期：。坐2 ) 生，又 南京邮电大学硕士研究生学位论文第一章引言 第一章引言 随着经济的发展，全世界各国车辆继续进一步的增长。而最近几年，车辆猛增的趋势 已在我国初现端倪，拥有私家车的车主越来越多，导致城市内的交通状况日趋恶化，堵车 现象日益严重，交通事故频繁发生。虽然可以通过提供更多的道路交通设施从根本上减轻 这一现状，但这受限于有限的城市资源。因此现阶段迫切需要能利用智能交通系统【l j ( i t s ) 中的设备实时、准确地获取各种道路交通路况信息，方便交通管理部门的交通管理，车辆 调度，从而科学有效地利用现有的道路交通资源。 1 1 视频检测在智能交通系统中的研究意义 智能交通系统牵涉到对描述车辆特征以及车辆在道路交通网中的运动状态等数据的 采集。车辆数目、车辆速度、车辆行驶路线、车流量、车辆密度、车辆长度、重量、类别 ( 小车、卡车、公共汽车等) 以及由车牌表示的车辆标识都属于该范畴。这些数据可用于以 下四个目的【2 】= ( 1 ) 交通法规执法依据：如对违章超速、危险驾驶、非法占用公交车道的车辆以及被 盗和被通缉的车辆的检测，以作为交通管理部门提供执法依据。 ( 2 ) 高速公路不停车收费：人工收费站通常需要车辆在收费站先停下来，然后驾驶员 根据车型交纳一定的费用。在不停车收费系统中，驾驶者将不需要再停车，而是当车辆通 过收费站时，由系统自动根据车型大小计算出所需的通行费用并记录通行车辆车牌号，车 主只需要根据收到的账单按月交费。 ( 3 ) 交通堵塞及事件检测：前方车流序列过长、交通意外事故和前方车辆速度过慢 都是对正在接近中的行驶车辆的潜在危险。如果交通意外事故可以被检测，那么就可以采 取一些措施例如限速、发布警告信息来提醒过往的车辆。 ( 4 ) 提高道路的可承载容量：提高现有道路的可承载容量相对于建造新的道路来讲是 一种很有吸引力的方案。如果拥有当前各道路交通路况的足够信息，人们就可以通过选择 路况最佳的道路、控制车速等方法来优化现有道路交通的整体运行能力。 当前智能交通系统中所采用的车辆检测技术1 3 】主要依赖基于雷达、微波、橡胶管道、 环型感应线圈的传感器技术( 如图1 1 ) 。 南京邮电大学硕士研究生学位论文 第一章引言 图1 1l 斯段智能庹通中所使用的基寻传睨l 的车辆检测h 女未 ( 1 ) 雷达：用于准确测量车辆速度。 ( 2 ) 微波检测：通常被安装于横跨公路的人行天桥上，安装时必须垂直于待检测的 车道，该装置通过发射微波，然后检测反射回的微波来检测是否有车辆通过。 ( 3 ) 橡胶管道：橡胶管道的一端封闭，另一端连接到压力传感器上。当车辆的每一 个车轮驶过时将导致管道内的压力波动，而这种波动能够被压力传感器所检测到。每次波 动代表了车辆的一根车轴驶过了管道。通过计算通过管道的次数来推断出车辆的数目、长 度和类别。 ( 4 ) 环型感应检测器：通常为由埋在路表面下的线圈。当车辆经过线圈时，电感产生 变化，则说明有车辆通过。 ， 在以上几种传感器中，环型线圈感应器使用的最为广泛，几乎被运用到所有的交通灯 系统中。再将多个检测装置的检测结果结合就能推断出车辆的速度、长度、车流量以及车 流密度等信息。但是使用这些传感器检测装置有其不足之处，首先，在普通的交叉路口为 了能覆盖每个出入口，通常需要安装许多这样的装置。其次，一旦被安装很可能就不能被 移动，缺乏灵活性。再次，环型感应检测器在道路维护保养时非常容易被损坏，且安装不 方便，对路面破坏严重、延误交通运输的发展。 而基于计算机视觉和视频检测技术的智能交通系统则可以克服上述缺点。 视频检测技术通过计算机从数字图像中提取与交通有关的信息。典型的采用视频检测 技术的智能交通系统如图1 2 所示。c c d 摄像头采集交通视频，并交给专用的设备进行数 2 南京邮电大学硕士研究生学位论文第一章引言 字化，再采用相关的视频检测算法进行车辆检测、跟踪、分类和识别等。 田1 2 采用视频检舞 技术的翟能交适系绽 基于视频检测技术的智能交通系统与现有的基于雷达、电磁波、环型感应线圈相比功 能更为强大。单个c c d 摄像机就可以检测几百米内的多条车道的交通信息，提取出车辆行 驶路线、车辆形状、车辆色彩等信息。同时基于视频检测的系统也是一个被动的感知系统， 对周围的环境几乎没有影响：理论上视频的系统具有人类视觉系统样的观察能力且不会 产生任何视觉疲劳；使用摄像机监测整个交通状态相对于其他检测装置要便宜得多，也不 会破坏路面。这一切都使得视频检测逐渐成为i t s 数据采集的主流技术之一。 1 2 国内外的发展状况 我国在车辆视频检测方面的研究起步较晚，但近几年发展较快。国内的很多著名高校 如清华、哈工大、上海交通大学等都纷纷参与到此项目，开展了一系列行之有效的研究工 作。我们也在这方面一些领域进行了一些前期性的研究。 目前在国际上经常使用的视频车辆检测器有i s s 公司的a u t o s c o p e m ，i t e r i s 公司的 v a n t a g e 和t r a f i c o n 公司的c c a t s 等产品。国内也有很多公司在这方面做了许多努力， 如哈工大交通的v t d 2 0 0 0 系列产品，深圳中盟u n i h z 智能交通系统，清华紫光与清华大学 合作开发的视频交通流量监测系统v s 3 0 0 1 等。但有些产品功能比较单一，与国际上经常 使用的产品相比有一定的差距。 而且我国交通场景比较复杂，在城市交通中，通常是人车混杂，行人和各机动，非机 动车辆并不是严格按照车道行驶。因此在城市道路上区分各种类型的目标，如人车的识别 ： 3 南京邮电大学硕士研究生学位论文 第一章引言 也变得很重要。而我国目前正急需能适应国情的智能交通系统。 1 3 论文的主要工作 运动检测是车辆检测的关键，其主要有模板匹配法【5 1 、光流法 6 1 、特征匹配法【7 1 、帧间 差分法 6 1 、背景差分法【6 】【8 】等。前四种方法运用在实时车辆视频检测中时或多或少都有不同 的缺陷，模板匹配法和特征匹配法由于现实中车辆本身外形多变，因此比较难建立准确的 模型，且运算复杂，达不到实时性要求；而光流法计算复杂，现阶段无法用于实时处理； 帧间差分法易受噪声的影响，检测精度和可靠性不高。因此背景差分法被认为是比较适合 于交通视频中运动目标检测的方法，其计算开销较小，对噪声的抗干扰能力较强，检测精 度较高。而背景差分法的效果主要取决于背景图像提取的准确性，所以如何提取背景图像 以及背景图像更新就是研究的一个重要问题。本文也将其作为论述的重点之一。 基于视频检测的智能交通系统的一个基本要求就是必须满足实时性要求。如果c c d 摄像机拍摄下来的为2 5 帧s 的7 2 0 x5 1 2 视频流，则其数据流量高达1 0 m b y t e s s 。这就需 要专用的硬件来处理。由于普通嵌入式处理器在处理图像、视频流信号上的限制，因此如 何选择合适的嵌入式处理器，并用其来搭建一个符合要求的完整系统是值得研究的。 1 4 论文的内容安排 本论文的结构和主要安排如下： 第二章主要阐述了背景的提取与自适应更新的算法，尝试了一种基于直方图统计与 多帧平均混合的算法。并叙述了现有背景提取与更新算法中存在的问题，提出了一种针对 城市拥塞路口的背景更新策略。 第三章概述了d s p 的发展及在视频检测中的应用，并结合d m 6 4 2e v m 平台概述了 d m 6 4 2 芯片的特点及开发。 第四章结合本课题阐述视频检测中背景提取与自适应更新在d s p 平台上软件实现的 流程。 第五章对现有的基于视频检测的智能交通系统进行阐述，提出了系统的整体架构设 计方案及基于d s p 的视频实时处理模块的设计框图。 第六章对论文做全面的总结，并对将来的工作进行了展望。 4 南京邮电大学硕士研究生学位论文 第二章背景提取与更新 第二章背景提取与自适应更新 背景差分法主要涉及到对于背景如何建模的问题，即背景如何估计，同时在交通场景 中由于环境的变化，如场景中光照条件引起的亮度改变、物体运动引起的背景遮挡、临时 停靠路面车辆等，导致背景图像并不是静止不变的。在实际应用中，如果直接用当前图像 与未动态更新的背景图像差分进行分割，则会产生不理想甚至是错误的分割，因此需要采 用一定的算法进行背景模型的动卷更新。目前许多研究人员都致力于好的背景提取与自适 应更新算法，以期减少动态场景对于准确分割的影响。 2 1 背景提取与自适应更新算法概述 背景提取与自适应更新的通常是这样定义【9 的：输入为一段视频序列，其叶l 包含了运 动的物体，算法的目的是输出个能描述这个场景的单帧背景( 如下图21 ) 。 ( a )( b ) ( c ) 图21 ( a ) ，( b ) 为输入的一段视频序列中的某两帧图像 ( c ) 为输出的背景图像 耍让这些算法可行，必须满足下面儿个条件： 1 在一小段时间内，图像中的每一点都会出现背景象素点。 2 背景近似固定，仅有小部分背景运动。 3 对于实时系统允许图像处理中短的时延。 现有的背景提取算法一股都可分为三类：( 1 ) 时域滤波；( 2 ) 直方图分析：( 3 ) 神经 网络。表l 对现在常用的算法进行了比较，其中卡尔曼滤波、混合高斯滤波、非参数 模型、w a l i f l o w e r ” 均可归类为时域滤波。 门叫 = ；叁 一f r ，一霹叶h 南京邮电大学硕士研究生学位论文 第二章背景提取与更新 算法优点 缺点 无法解决运动物体长期静止，或 图像平均计算量小，速度快 检测区域大量连续运动物体 克服光线的影响，对背景要求象索级阈值，无法处理像 卡尔曼滤波 渐变也跟踪较快素的双峰或多峰分布 克服光线、树枝摇动等 计算量较大，仍会出现运动物体 混合高斯滤波 造成的影响长期静止时的失效状况 非参数模型可得到移动的背景 需要存储以前的参数 多尺度空间处理，利用 需要确定的阈值很难满足复杂交 w a ll f l o w e r 高层语义通的需要 表2 1 几种背景估计模型算法的比较 图像平均模型是一种简单的自适应背景估计模型，其将一系列的图像视频序列的象 素值累加起来并求其平均值作为背景象素值。一般通过平均后，就可以把运动物体所造成 的误差消除，从而得到比较准确的背景。但是这种方法往往只能用于背景初始化的阶段， 随着图像序列的不断增加，就必须采用背景更新公式来更新背景，而不是简单的将图像序 列的象素值累加起来求平均值，否则提取出的背景很难跟踪实际背景的变化。实际应用中 往往是给背景图像和当前图像赋予不同的权值，即求它们的加权平均： 鼠+ l u ) = q 最( f ) + 口2 q ( f ) ( 2 1 ) 其中最+ 。( f ) 为第k + 1 次背景中象素f 的值，取( f ) 为第k 次背景中象素j 的值，q ( f ) 为前景 图像中象素f 的值，口：为加权系数，一般有 + 吃= 1 ( 2 2 ) 基于卡尔曼滤波器【1 0 1 的背景更新算法采用的是判断背景图像值和当前图像值的差分 值是小于还是大于阈值，从而使用不同的加权系数来进行更新。一般来讲。当差分值小于 阂值时，即无运动物体存在，取较大的系数进行背景更新，当差分值大于阈值时，即有运 动物体存在，取较小的系数进行背景更新。这种方法，能够减少运算量，选择性的对背景 进行了更新，同时对背景渐变的跟踪速度也较快，但是这种更新模型在对背景突变情况跟 踪速度较慢，这样有可能会导致目标的误检或漏检。 s t a u f f e r 和g r i m s o n 提出了利用混合高斯模型】来进行背景提取。高斯分布法，就是 把图像的象素值看成是前景高斯分布和背景高斯分布的混合。当图像的某点象素值符合前 景高斯分布时，该点就属于前景，符合背景高斯分布时，该点就属于背景，并进行背景更 南京邮电大学硕士研究生学位论文 第二章背景提取与更新 新。这种方法当有新的物体加入到背景中或者原来背景中的物体消失，造成背景发生突变 时，仍能及时跟踪背景的变化，从而克服了光线、树枝摇动等造成的影响。虽然混合高斯 模型的效果较好，克服一些缺陷，但是计算量大，用于实时背景估计需要改进。 2 2 背景分布的高斯假设 设输入的视频图像的象素大小为w xh ，令g ( x ，y ) 代表f 时刻图像中象素位置 ，j ，) ( o x w ，0 y h ) 出的特征值( 如亮度，色度等) ，旦 ，y ) 是背景在象素位置 ，y ) 处的特征值。通常在运动场景中e ( x ，y ) 是一个随时间t 的随即过程。 在实际交通场景中，背景部分的变化一般是很小的：另一方面，在真实场景中，由于 运动目标的多样性，即使在运动物体经常经过的区域，由于有的运动物体的特征值比相应 的背景特征值高，而另一些运动物体的特征值比相应位置的背景特征值低，再加上运动物 体出现的频率相对于背景来说要低得多。 基于以上原因，可以大致认为c ，( z ，y ) 服从高斯分布【1 4 1 ，即 ( j 一) 2 p ( 抛j ) = 力2 面1 p2 0 2( 2 3 ) 其中是高斯分布的平均值，仃是高斯分布的方差，和o r 是位置和时间的函数，随 着位置和时间的不同，盯的取值也不同。 2 3 多帧图像平均的背景提取和自适应更新 由于背景符合高斯分布，因此要想得到背景的估计，就是要获得各象素在不同时刻的 均值4 x ，y ) 。由最大似然估计理论，的最佳估计是多帧图像的时间平均。即我们可以通 过图像的时间平均来计算背景在象素( x ，y ) 处的特征值： 置( 毛力= 万1 。：骞+ ，e ( 五力 ( 2 - 4 ) 其中n 为处理的所有视频序列的帧数。 但如果直接根据上式来获取平均值则需要在系统内存中保存当前所有的前帧图像， 7 南京邮电大学硕士研究生学位论文第二章背景提取与更新 而在实际情况中，为达到很好的背景估计效果，v 通常取5 0 的数，考虑所处理的视频图 像的象素大小及所用系统的内存容量的大小并需考虑系统实时性，且随着图像序列的不 断增加，若每一帧图像都同等处理，则前期图像所占的比例太大，后期提取出的背景很难 跟踪实际背景的变化，因此这种方法并不实用，需将式( 2 4 ) 改成如r 的形式： b ( x ，力= c ( z ，) ( 2 ；) 且( ，y ) = ( 1 一d ) el ( x ，y ) + 口c ( x ，) ，t 2 ( 26 ) 其中最一( t ，) 为当前背景图像，e ( x ，) 为更新后的背景图像，0 ( x ，y ) 为当前帧图像 a 为背景更新系数，其反映了当 u 帧对背景的更新的影响程度：a 值越大，则当前帧对背 景更新贡献的权值越火。一股情况下，取0 口! 0 1 。 在选择个比较合适的口后，根据式( 2 5 ) ( 2 - 6 )有： e = q 马= ( 1 一q + dc 2 b = ( 1 一口) 2 g + ( 1 一口) 口c 2 + 口g 县= ( 1 一日) 1 g + ( 1 一口) “2 口q 十+ ( i a ) a c l + a g ( 2 7 ) 实际的背景估计效果如下圈所示 图22 多帧图像平均的背景估计效果目 左图为当前图像，右图是估计的背景( 文中所有的背景估计图均来源于利用c c s 集成 开发环境读取d s p 存放在内存上的背景数据，然后以图形的方式显示在c c s 软件中) ，可以 8 南京邮电大学硕士研究生学位论文 第二章背景提取与更新 看出，多帧图像平均的效果还可以，但是背景更新受到运动物体的影响，当有人经过时， 背景中会有一条模糊的痕迹留下，如右图中人头部的黑发及下身黑色裤子的留下的模糊的 痕迹。通常这种现象也被称为“拖尾现象。 2 4 基于判决反馈的改进多帧图像平均 对于多帧图像平均出现的“拖尾”现象，通过分析式，不难发现“拖尾 的根本原因 在于当前帧图像也是背景更新的一部分，当当前图像中存在运动物体时，其与背景之间的 较大差异也导致了背景更新过程中发生了较大的变化。如果在背景更新过程中只对那些肯 定是背景点位置象素的特征值作更新，而对运动目标所在的位置的象素的特征值保持不 变，则可以在更新背景的同时消除运动目标对背景造成的影响，大大降低或者消除“拖尾 现象的出现。因此，基于判决反馈的改进多帧图像平均可表示为： 当q 似y ) 被判为背景点时：e ( x ，力= o - a ) e 一。( 毛力+ 口g 以力 ( 2 8 ) 当c ，( x ，y ) 被判为前景点时：忍( 工，y ) = e 一1 ( x ，y ) ( 2 9 ) 在该算法中，需先判断当前象素g ( x ，y ) 的类型，再决定采取何种方法更新。只有对被判为 背景点的那些象素才进行背景的更新，而被判为前景点的象素则不参与背景的更新。 通常我们采用阈值法来判定e ( 万，y ) 的类型，即判定下式 l c f ( x ，y ) - b , ( x ，y ) i r ( x ，y ) ( 2 1 0 ) 是否成立，若成立，则q ( x ，y ) 被判为前景点，若不成立，则g ( x ，y ) 被判为背景点。其中 t ( x ，y ) 为判断所需的阈值。在实际应用中，t ( x ，y ) 按不同的o ，y ) 取值是否相同分为全局 固定阈值和时变局部阈值。 采用全局固定阈值来进行判定是指式( 2 1 0 ) 中t ( x ，y ) 对图像中所有的o ，y ) 取相同 的值丁。一般来说，全局固定阈值判断简单，采用一些经验阈值在某些场景中可能可以得 到较好的效果，但是由于实际的场景复杂且多变，因此设定好的全局固定经验阈值在一个 环境下能正确地判定，在另外一个场景下很可能行不通，很容易引起误判。 当式( 2 1 0 ) 中丁瓴y ) 的取值与当前位置 ，y ) 有关时被称为局部阈值。局部阈值一 般能取得较好的效果，但需对图像中所有象素点进行复杂的计算才能获取阈值。通常可以 9 南京邮电大学硕士研究生学位论文第二章背景提取与更新 根据当前位置到目前为止的灰度的方差来选取z ( z ，y ) ，即： 乃( x ，力= ，咒q ( x ，y ) 其中q ( x ，y ) 为背景图像在( x ，y ) 处到，时刻为止象素灰度值的方差。 ( 2 - 1 1 ) 计算q ( x ，j ，) 需保存过去所有的图像序列，因此为了存储空间的考虑，可以采用与式 ( 2 7 ) 类似的方法来计算q ( x ，y ) ，即： 一( 毛y ) = 0 d 子( x ，y ) = ( 1 - a ) t r i ! _ l ( x ，j ，) + 口( c l ( x ，y ) 一e ( x ，j ，) ) 2 ，2 ( 2 1 2 ) 通过上式可以迭代计算出在每一时刻各象素位置的灰度值方差，再根据式( 2 1 1 ) 即 可得到局部阈值。 相对于式( 2 - 1 0 ) 所描述的绝对阈值，还存在着相对阈值，即还考虑图像对比度的影 响。可以用下式来描述： 隧掣 t c o i w ) ( 2 _ 1 3 ) 忍( x ，少) ”。一 式中k ( x ，y ) 是相减后图像相对于背景所必须达到的相对阈值。理论上来说，对于 图像对比度低的区域，所选的阈值应该相对比较小；而对图像对比度比较高的区域，所选 的阂值应该比较大。实际中，若背景中具有高亮度的位置，当前时刻图像的亮度必须具有 与背景亮度更大的差异才能被判为前景点；而背景中具有低亮度的位置，则需具有较小的 差异即可被判为前景点。 值得注意的是，上述的基于判决反馈的改进要想获得比较好的应用效果，首先必须得 到一个比较好的初始背景，如果初始背景一开始就不准确的话，前景点的判决也就不可能 得到较准确的结果，基于判决反馈的背景更新同样也没有准确性可言。因此，依据高斯分 布假设，可以选视频序列在初始一段时间内的平均值作为初始背景的估计，即： 反( 训) 2 专善c i ( w ) (2-14) 其中，七为一确定的整数，一般取k 1 0 0 即可。由于只需要进行一次这样的计算，因此不 需要额外的存储空间来保存过去的图像序列。即，对于所有的，5k 时刻既不进行背景的更 新也不进行前景的检测，而只进行初始背景的累加计算，真正的基于判决反馈的背景更新 南京邮电人学硕士研究生学位论文 第二章背景提取与更新 从r + l 的时刻开始 翳警1 黼 静掌妒# - 一_ | | l i i ， i i i 争， 一 ， 芝武 髀 l 零 l 主鹜憋蒌糕 鼍囊辫黼 图23 基于判决反馈的改进多帧图像平均的背景估计效果圈( 此时取r ( x ，y ) = 5 ) 与多帧图像平均相比，背景图像中由丁二人的运动所造成的“拖尾”现象得到了较好的 抑制，但仔细观察背景图像可以发现背景图像不够“光滑”，这| 兑明运动物体对于背景还 是造成了一定的影响。 25 混合高斯分布模型 背景模型一般有单模态和多模念l ls 两种。前者在每个背景点上的颜色分布比较集中， 可以用单个概率分布模型来描述，后者的分布则比较分散，需要多个分布模型来共同描述。 自然界中的很多景物和人造物体，如水面的波纹、摇摆的树枝、飘扬的旗l 阻、监视器荧屏 等，都呈现出多模态的特性，在多五天气条件f 的交通场景也表现为多模态，即背景忽明 忽暗。最常用的描述背景点颜色分布的概率模型是高斯模型。我们用一( z ，一，) 表示均值为 4 、协方差矩阵为的高斯分布的概率密度函数，在处理过程中，我们假设背景模型中每 个图像点是独市的，因此对它们的处理也是独立的。 多模各背景模型需要用多个分布柬共同描述一个图像点上的颜色分布。s t a u f f e r 和 g r i m s o n 等提出了一种自适应混合高斯模型，对每个图像点采用了多个高斯模型的混合来 表示。每个象素点可表示为： x q 3 ( “，) ( 21 5 ) 1 2 l 其中，h = ( h ”，一。，卢，8 ) 7 ，一8 、u 。、，分别表示酸象素点颜色值的r 、g 、b 分量，权值q 0 ， 南京邮电大学硕士研究生学位论文第二章背景提取与更新 七 i = 1 ，七且q - - 1 。为简化起见规定，= q 2 ，。首先，七个高斯分布按照权值从高到低 i = i 的次序进行排序，再根据 召= 鹕幽凶k i = l b 刁 。一一 i 确定背景b 分布( 其中，丁为一定义好的阈值) 。将要进行匹配的象素点吒看成 一个正态分布g 3 ( ，0 2 9 ，) ，然后计算j e f f r e y 值： ( 2 - 1 6 ) t ，c 乃= 兰( 虽一詈 2 + 丢( 毒+ 毒) 皈一膨九以一剐 c 2 哪， 有式( 2 1 7 ) 决定要检测的象素点是否已经存在的七个高斯分布乃一3 ( 鸬，2 ，) 中的一个。 定义 j ( 乃，g ) = r a 。型i 业n ，( z ，g ) ( 2 1 8 ) 只有当，g ) 不大于一定的阈值k 时，才认为象素点和第个分布匹配。若第，个分 布为背景分布，当前匹配点则为背景点，其余情况则认为当前点是前景点。 混合高斯分布背景模型的自适应更新不仅要更新高斯分布自身的参数，还要更新各个 分布的权重。若检测时没有找到任何分布与吒匹配，则将权重最小的一个高斯分布去除， 并根据引入一个新的高斯分布，赋予小的权值q 一。：与和较大的方差，然后对其余的 高斯分布的权值进行归一化处理： ：觋r + 竺：! 二i ( 2 - 1 9 ) q 川2 劬，+ 斧 若与第，个分布匹配，则根据下式对混合模型中各个分布的权重更新： 定义 q ，= ( 1 一口) q ，j i = 1 ，七a n di j q ，= ( 1 一口) 哆，一l + 口 ( 2 2 0 ) 口 胪石丽 ( 2 - 2 1 ) 第，个高斯分布相应的参数按下式更新，其余七一1 个高斯分布的参数不做改变。 1 2 南京邮电大学硕士研究生学位论文 第二章背景提取与更新 纡，= ( 1 一p ) 约，一1 + p p g q ，2 = ( 1 一户) q j 1 2 + p 2 + p ( 1 一p ) ( 葺一一。，一1 ) 7 ( 而一一j 1 ) ( 2 2 2 ) 2 6 一种基于直方图统计与多帧平均的混合算法 通过对交通场景中的视频序列研究可得出这样一种统计事实：即在一段时间内，交通 场景中视频序列特定象素位置出现频率最高的象素值是背景象素值。即利用统计直方图的 方法，对每一个象素位置处每一种可能的象素灰度值所出现的次数进行统计，取出现次数 最多的作为背景象素值： m c x ，y ，m ，= 爱：；：；+ 1 ；i f f c c i i 。( x x ，, y y ，) = 聊m t = ，2 n ( 2 2 3 ) 取m ( x ，y ，m ) 最大值对应的c 。( z ，y ) 为背景象素值，m 为特定的某级灰度值。 直观来看，这种方法简单可行，但实际这样做运算量很大，而且对光线渐变和背景变 化的跟踪都很慢。 实际上交通场景中的视频序列还有一个特点：某点背景的象素值总是在某个区间内波 动。因此将某点的灰度范围 0 ，2 5 5 3 等分为若干区间 o ，2 5 6 n ， 2 5 6 n ， 2 2 5 6 n ( 2 5 6 - 2 5 6 n ) ，2 5 5 ，n 为等分区间数，这样对某一位置处的象素进行直方图 统计就变成对该象素落在各区间段的次数进行统计。 对应于某个象素的每个区间，我们考虑其落在区间内象素点的灰度值的均值及区间 的计数统计s 。当前i 帧的在第胛个区间上的均值以。的表达式可参照多帧平均的更新公式 式( 2 - 4 ) ，即： 当川 ( 川) 百2 5 6 川争时 以，( 石，y ) = ( 1 - a ) 以- 1 , n ( 石，y ) + 口e ( x ，y ) ( 2 2 4 ) 当球) 百2 5 6 办争时 “。( x ，力= 鸬1 ，( x ，y ) ( 2 2 5 ) 在计算区间的计数统计s 时也引入计数贡献因子，主要是为了能更好的跟踪背景的 变化，当前图像象素值对区间计数值的贡献是1 ，而前帧图像象素值对区间计数统计值 南京邮电大学硕+ 研究生学位论文 第一= 幸背景提取与更新 的贡献为卢，则区间的计数统训s 。可表示为f 式： 当毗y ) 陋1 ) 百2 5 6 ，月百2 5 6 s 。0 ，y ) = s 。( x ，y ) + 1 ( 22 6 ) 岬w 川( ) 百2 5 6 ，等 时 s ，( x ，y ) = s 1 。( r ，y ) ( 22 7 ) 这样将直方图灰度划分成区间段，对帧中的每个象索点计算h 。和后，比较不同区 问段的s 。后，将具确最大s 。的区间的h 。作为背景。 图24 基于直力图统计与多帧平均混合算法的背景估计效果图( n - 4 ，- o0 2 ，口= 1 ) 通过与图21 ，图22 的比较可以看出，基于直方图统汁与多帧平均混合算法所得到 的背景估计剐最接近真实的背景，说明其算法的合理性，且能被应用到实际的场合。 2 7 算法在实际复杂交通场景的测试 尽管从前面的章节中可以看出，算法在较为简单的实验室场景取得不错的效果，但为 了进一步改进算法以适应实际复杂场景，我们在实验中使用了南京鼓楼隧道南口的视频监 控录像，测试了在有车辆停止、运动过慢时，算法的实际运行隋况。实验巾混合高斯模型 由于其在d s p 平台上的实时肚没有得到很好的优化解决，有待改进，所以未显示混合高 斯模型在此场景下的结果。 场景牟流量较少，无车辆停止，运动过慢等现象，自左向右，自上向f 的四幅图像分 驷 南京邮电大学硕十研究生学位论文 第二章背景提取与更新 别为原始视频序列图像，多帧图像平均所提取的背景图像，改进的多帧幽像平均所提取的 背景图像以及基于直方图统计与多帧平均混合所提取的背景图像。 图25 车流量较少，无车辆停止，运动过慢的场景下三种算法的实际估计罔 场景二二车流量多，车速过慢的场景，四幅图像的组织同上 南京邮电大学硕士研究生学位论文 第二章背景提取与更新 图27 车流量多，有车辆静止的场景下三种算法的实际估计图 从上述结果可以看出，多帧图像平均算法在前景目标较少时比较理想，而在处理实际 复杂场景中的车速过慢，堵车现象是将出现模糊和拖尾现象，而基于判决反馈的改进多帧 平均算法在一定的程度上缓解了这些问题，但图像还不够平滑。基于直方图统计与多帧平 1 6 南京邮电大学硕士研究生学位论文第二章背景提取与更新 均混合的算法受场景的影响较小，估计的背景也较为稳定，是一种新颖的应用尝试，美中 不足的是，在堵车的场景下，画面中出现了一些白斑的痕迹，这跟算法中参数n ，口，的 选择有关。 2 8 背景提取与自适应更新算法潜在的问题 由于实际环境的复杂和运动的多样性，因此在在背景提取和自适应更新算法中可能遇 到以下几个问题，总结如下： ( 1 ) 光照条件变化 一种是光照条件缓慢变化，在这种情况下，上述模型都可以通过更新背景很好的解决 这一问题；另一种是光照条件变化很快。比如突然的开灯或者关灯，建筑物图像出现的阴 影等。在这种情况下，背景模型的更新速度跟不上外界的变化速度。这样，会产生将大面 积的背景当作了前景目标，而真正的前景目标往往淹没在其中了。 ( 2 ) 物体停止，或者运动过慢 当运动物体停止时，则产生需要考虑是否将该物体当作背景的问题。而在赋予前景目 标更新率的情况下，运动过慢的运动物体将会产生拖尾以及中间产生空洞的现象。 ( 3 ) 原背景中物体运动引起虚静止物体 当初始的背景中存在运动物体时，该运动物体的初始图像在背景中将长期存在，从而 在检测结果中出现了虚的静止目标。而用一般的背景更新算法很难将该区域去除。同样， 在原来背景中静止的物体如果突然运动起来也会产生这样的问题。 ( 4 ) 树叶摆动等干扰 当背景中有很多并非绝对静止的背景物体时，在检测结果中将会产生很多的噪声。如 果视频场景中有风，背景中大部分的树叶都在晃动，在检测结果中出现了很多的树叶。 ( 5 ) 运动物体的阴影 由于运动物体存在着阴影，而这些阴影往往与背景不同，而在背景提取较难消除，因 此会使得在背景差分过程中，这些阴影会与前景物体连在一起，不利于以后的前景物体的 跟踪与识别。 针对这些问题，许多学者进行了深入的研究，并对各个问题分别提出了不同的解决方 法。其中最为重要的就是背景的更新策略。在背景更新时应当注意如下两条原则： ( 1 ) 背景模型对背景变化的响应速度要足够快。背景的变化可能是由光照变化等因素 1 7 南京邮电大学硕士研究生学位论文第二章背景提取与更新 引起的背景本身颜色的变化，也可能是背景区域的变化，如前景和背景的相互转化。如果 背景模型不能迅速跟上实际背景的变化，检测结果中就会出现大范围的噪声或不合理的长 时间静止前景物体。 ( 2 ) 背景模型的每个点都受到了一个颜色序列的“训练，不论时间场景中该点是处 于静止背景上还是在运动目标上。静止的背景或目标的这种“训练”是我们所希望的，而 运动目标的“训练”则是不希望看到，特别是当运动物体尺度较大或运动较慢时，这种长 时间的“训练”可能会引起错误的检测结果，如在运动目标的尾部产生“空洞 ，特别是 两个颜色相近的物体交错而过时更加明显。 2 9 针对城市拥塞路口的背景更新策略 城市拥塞路口主要存在前景目标运动过慢，短暂停止，甚至长时间停止的状况，如果 直接采用原有的背景提取与自适应更新算法，则提取的背景中就可能包含这些慢速运动或 暂时停滞的前景目标，因此如果不修改更新策略，就会造成系统的误检和漏检。 鉴于在城市交通路口前景目标运动有其先验的规律性，由于车辆正常情况不能长时间 的停留在路口，只是短期停留约l 至l j 2 分钟，因此我们在现有的背景提取与自适应更新基础 上，进行背景帧的采样，采样间隔可以根据实际情况加以调整，原则上不小于2 0 0 m s 。实 验中我们在内存区域中开辟三个存储区墨，是，墨及对应于两个存储区墨，是的计数单元 q ，q 。其整个流程如下： ( 1 ) 将当前背景的抽样送岛，并复制到q 。 ( 2 ) 取下一个背景的抽样到墨，并与昌相比较，若小于阈值乃，则将计数单元q 的 值增一，并将马复制到s ；若大于阈值乃，则将墨复制到岛。 ( 3 ) 再取下一个背景的抽样到墨，并与墨相比较，若小于阈值乃，则将计数单元c ， 的值增一，并将马复制到墨；若大于阈值乃，则将s 再与岛相比较，若小于阈值乃，则 将计数单元e 的值增一，若大于阈值乃，计数单元g 的值不变，将马复制到足单元。 ( 4 ) 重复步骤( 3 ) 直至抽样时间的结束 ( 5 ) 判断两个计数单元q ，q 的值，若q 丁( x ，y ) ，即判断a b s ( ( 木n m e m t e m p c ) 一( * ( n m e m t e m p b i ) ) ) 5 ， 是否成立，当上式成立时，e ( x ，y ) 被判为背景点时：按公式 尽( x ，y ) = ( 1 - a ) 尽一1 ，y ) + 口c f ( 五y ) 进行更新，即： f o r ( 1 = 0 ；1 ( 7 2 0 ；l + + ) ( r 诅t e m t e m p b i 儿1 = ( 2 9 * n m e m t e m p b i i + n m e m t e m p c i ) 3 0 ； 否则q ( x ，y ) 被判为前景点时：忍( x ，y ) = 尽一l ( x ，y ) ，背景n m e m t e m p b i 1 不做改变。 4 2 4 视频输出端口的驱动程序 与采集相对应，视频输出端口是用来完成视频最终输出的，其驱动程序的实现同样基 于t i 的c s l 库，主要包括二个部分： ( 1 ) 视频端口寄存器的配置 ( 2 ) d a 芯片s m 7 10 5 p 5 】寄存器的配置 4 2 4 ，1 配置视频端口寄存器 与采集相类似的是，输出同样使用一个通道，框图( 如图4 4 ) 也极为类似，仅仅是 方向上的改变。同样每个f i f o 对应一个入口地址，y 对应y d s t a ，c b 对应c b d s t ，c r 对应c r d s t ， 这些入口地址就是e d m a 将视频数据从r a m 搬运到视频端口的目标地址。 d i s p i a yf i f o i i 兰竺h p 矿 8 1 0 i y ， y b u f f e r l ( 2 5 6 0b y 艳s ) l 三至呈! 二h 河 c bb u f f e r _ - _ _ _ - - - _ _ 一l 曰1 07 ( 1 2 8 0b y t e s ) l ! 曼2 1 ：i ，缸- c rb u f f e r j 8 f 1 0r _ _ ( 1 2 8 0m e s ) 图4 4b t 6 5 6 视频输出模式下的f i f o 示意图 在寄存器的配置上，与采集相对照，上层控制寄存器同样需要配置，改变的是需要配 南京邮电大学硕士研究生学位论文第四章背景提取更新算法在d m 6 4 2 上的实现 置显示控制寄存器，而不是采集控制寄存器。显示控制寄存器主要有： 寄存器名