（计算机应用技术专业论文）视频人数统计方法研究.pdf

华北电力大学硕士学位论文 摘要 视频人数统计方法是能够准确地统计通道口出入人数、提供人群流动方向等信 息的方法。随着社会的不断发展，其在车站、道路和超市等场所有着广泛的应用需 求。本文主要研究了垂直角度场景和斜角场景的视频人数统计方法。垂直角度场景 中，采用背景差分法作为前景检测算法，设计线性统计规则计算各连通区域包含对 象数量，并提出基于双重感兴趣区域的二级跟踪算法优化跟踪效率，提高统计准确 率。斜角场景中，选用基于贝叶斯决策规则的前景检测方法，定义简单行人模型提 取对象，提出连通区域跟踪算法和基于m e a n s h i f t 的多目标粒子滤波跟踪算法相结 合的方法完成对象跟踪，统计视频人数。 关键词：视频，人数统计，前景检测，对象跟踪 a b s t r a c t i nt h ev i d e o ，p e o p l ec o u n t i n gm e t h o d sa r et h ea b i l i t yt oa c c e s st h en u m b e ro fo p e n i n g s a n dt op r o v i d ec r o w df l o wd i r e c t i o ni n f o r m a t i o n w i t ht h ed e v e l o p m e n to fs o c i e t y , i th a sa w i d er a n g eo fa p p l i c a t i o na tt h es t a t i o n ，r o a d sa n dt h es u p e r m a r k e t i nt h i sp a p e r , m e t h o d so f p e o p l ec o u n t i n ga r es t u d i e di nt h eo v e r h e a ds c e n ea n dt h et i l ts c e n eo fv i d e o s i no v e r h e a d s c e n e , w eu s et h eb a c k g r o u n ds u b t r a c t i o nm e t h o da st h ep r o s p e c t so fd e t e c t i o na l g o r i t h m ，t h e d e s i g no fl i n e a r s t a t i s t i c a lr u l ef o rc a l c u l a t i n gt h en u m b e ro ft h ec o n n e c t e dr e g i o nt h a t c o n t a i n so b j e c t s ，a n dd o u b l er e g i o n so fi n t e r e s t i n go p t i m i z et h ee f f i c i e n c yo ft r a c k i n g i nt i l t s c e n e ，t h i sa r t i c l eu s ef o r e g r o u n dd e t e c t i n gm e t h o db a s e do nb a y e s i a nd e t e c t i o nr u l e s ，a n d o b j e c t sa r ee x t r a c t e db yt h ed e f i n i t i o no fas i m p l ep e d e s t r i a nm o d e l o b j e c tt r a c k i n gm o d u l e u s e sp a r t i c l ef i l t e rb a s e do nm e a n s h i f ta n dc o n n e c t e dc o m p o n e n tm e t h o do fc o m b i n i n g t r a c k i n ga l g o r i t h m t oc o u n tt h en u m b e r o f p e o p l e s u il i l i n ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yp r o f c h e ns h e n g j i a n k e yw o r d s ：v i d e o ，p e o p l ec o u n t i n g ，f o r e g r o u n dd e t e c t i n g ，o b j e c tt r a c k i n g 2 4 3 卡尔曼滤波1 9 2 4 4 粒子滤波2 l 2 5 对象计数2 2 2 6 本章小结2 3 第三章垂直角度场景视频人数统计方法2 4 3 1 方法概述2 4 3 2 线性统计规则2 6 3 3 对象跟踪计数。2 8 3 3 1 简单快速跟踪算法2 8 3 3 2 两级跟踪算法2 9 3 3 3 基于d r o i 的跟踪计数方法3 l 3 3 4 对象计数3 5 i 华北电力火学硕士学位论文 3 4 实验与分析。3 6 3 5 本章小结3 7 第四章斜角场景视频人数统计方法3 8 4 1 方法概述3 8 4 2 对象提取3 8 4 3 对象跟踪4 l 4 4 实验与分析。4 l 4 5 本章小结一4 3 第五章总结4 4 5 1 论文总结4 4 5 2 下一步工作4 4 参考文献4 5 致谢4 8 在学期间发表论文和参加科研情况一4 9 华北电力大学硕士学位论文 1 1 课题研究背景及意义 第一章绪论 在人类感官接受的各种信息中约有8 0 来自视觉。视频、图像是对客观事物形 象、生动的描述，是直观而具体的信息表达形式，是人类最重要的信息载体【ij 。特 别是在今天的信息社会，随着电子技术、计算机技术、网络和通信技术的发展，视 频技术在国民经济的各个领域获得了广泛的应用。 计算机视觉【2 】作为一门多学科的交叉领域，涉及图像处理、计算机图形学、模 式识别、人工智能、人工神经网络、计算机、数学、心理学、生理学和物理学等。 虽然这方面的研究已经很多，但直到最近十几年才在智能视频监控系统、机器人视 觉导航、医学辅导诊断、工业机器人视觉系统、地图绘制，物理的三维重建与识别、 智能人机接口等领域得到广泛的发展。本文的研究内容为视频人数统计技术，属于 智能视频监控范畴。 近年来，很多行业对人流信息有极大的需求，如汽车公交站场，地铁站台，商 场出入口等。利用统计的客流量数据，管理人员可以合理调度人力、物力，合理配 置资源，从而获得最佳的运营效果。以往，管理者了解客流信息，只能使用高成本 的、落后的人工统计方法，或者常规机械手段，但后者准确率并不理想。后来发展 的人数统计系统主要使用光电传感器，这种系统的实现过程比较简单，其内置的检 测器采用多个红外传感器及多个高速的、具有人工智能技术的微处理器来连续豁测 客流模式，可以连续监测双向客流量，但在人流密集时精度会受到一定的影h 向。近 年来使用图像传感器进行人数统计的技术也有所发展。被动红外成像系统可以更精 确的提取人体运动信息，得到高精度的统汁结果，但其成本过高难以广泛应用。而 借助运动检测技术，人数统计系统可以对从摄像机中取得的场景的视频信息进行自 动的人数统计，可以方便、可靠、实时地对各种场所的人流进行统计，而不对公众 造成任何影响。结合其他图像分析技术，系统可以清楚快捷地掌握客流动态，使决 策者及时做出对策。利用图像处理来完成人数统计系统，主要优点就是图像信号非 常直观，便于人为的理解。此外，这种信号易于存储，便于人为分析和对比。 1 2 国内外研究现状 人数统计系统有多种分类方式，按照监控摄像头的角度以及应用场景可以分为 垂直角度场景和斜角场景两种。从适用环境来划分，人数统计系统可分为断面式和 区域式。断面式系统对一个二维断面内通过的不同方向的人数进行统计。适用于商 华北电力人学硕士学位论文 店，车站等公共场所的出入口、室内或者室外的人行通道等场合。区域式系统，则 是可以实时地统计出一个指定区域内的总人数或者进行密度估计。区域式系统可以 用于统计较小范围内或者较大范围内的人数，一般也称为人群监测统计系统。根据 数据采集原理，人数统计系统又可以分为红外光电传感器式、多摄像头立体视觉式 和单摄像头式三类系统。其中红外光电传感器式的优点是安装方便、便于维护，已 经开始被广泛应用于公交车、地铁和火车的车门来统计上下旅客数量。红外光电式 人数统计系统的主要缺点是目前只有断面式的产品，此外，在进出口断面宽度较大， 人流密集的情况下，由于无法分割位置紧邻的人群，而导致统计精度下降。红外系 统的另一个问题是人数统计结果里没有图像记录，给实时观测现场情况带来了困 难。为了克服这个困难，红外光电人数统计系统往往和视频监控系统结合使用。多 摄像头立体视觉人数统计系统使用至少两个事先标定好的并排放置的摄像头，通过 立体深度算法，将场景深度图计算出来。在深度图中可以分割出每一个经过摄像头 前的行人，从而达到数人的目的。立体视觉式的系统适用于断面式和区域式环境， 此类系统也已经开始在欧洲的地铁车门上开始使用。其主要优点是由于使用三维深 度信息，所以对图像中行人的分割比较准确，受行人相互遮挡等的影响较小。多摄 像头立体视觉式系统的主要问题是由于使用多个摄像头，并需要准确标定，体积较 大，系统成本也较高【引。 近年来，人数统计系统受到国内外很多学者的高度关注，在理论和实践两方面 都取得了长足的进展。 在理论研究方面，计算机视觉领域中的著名期刊如i j c v ( i n t e r n a t i o n a lj o u r n a lo f c o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、p a m i ( i e e e t r a n s o np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i v c ( i m a g ea n dv i s i o n c o m p u t i n g ) 和重要的学术会议如i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n a n dp a t t e r nr e c o g n i t i o n ) 、e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、c v p r ( i e e ei n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) 、i c i p ( i e e ei n t e r n a t i o n a lc o n f e r e n c eo ni m a g ep r o c e s s i n g ) 、i c p r ( i n t e r n a t i o n a lc o n f e r e n c e o np a t t e r nr e c o g n i t i o n ) 等相继刊登了大量有关人数统计方法领域内的最新研究成 果。s e n e mv e l i p a s a l a r 4 1 等人基于垂直角度场景单目固定摄像头，采用简单跟踪和 m e a n s h i f t 相结合的两级跟踪算法跟踪统计行人，很好的解决了行人对象合并分离 问题，得到了较好的统计结果。但该算法未区分行人和其他对象，另外穿着相同颜 色衣服的行人也会对统计结果产生影响。文献 5 】中m a s s i m i l i a n ob o z z o l i 等人学习 单人在特定场景下运动矢量信息，建立运动矢量和人数的关系。该算法结构简单， 满足实时性，并且达到了9 5 的统计结果。但该算法对环境要求较高，光线的变化 对统计结果影响较大。t a oz h a o 等人【6 】建立人体模型，基于视频中人头不宜被遮挡 的前提，确定人体位置，然后通过摄像机标定技术确定人体模型参数，利用卡尔曼 2 华北电力大学硕十学位论文 滤波算法跟踪对象，解决对象拥挤遮挡问题，得到了很好的统计效果。 在实践研究方面，国外的著名的研究活动主要有：美国国防高级研究项目署 ( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 设立了以卡内基梅隆大学( c a r n e g i e m e l l o nu n i v e r s i t y ) 为首、麻省理工学院( m a s s a c h u s e t t si n s t i t u t eo ft e c h n o l o g y ) 等 高校参与的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) 【7 j ，主要 研究用于战场及普通民用场景进行监控的自动视频理解技术；马里兰大学的实时视 觉监控系统w 4 8 1 不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来 实现多人的跟踪，并可以检测人是否携带物体等简单行为；英国的雷丁大学【9 】已开 展了对车辆和行人的跟踪及其交互作用识别的相关研究；三菱电子研究实验室也正 研究视频人数统计方法，该方法也可以应用于其他对象统计【l o l 。 在国内的研究机构中，由谭铁牛领导的中国科学院北京自动化研究所下属的模 式识别国家重点实验室在视觉监控研究处于领先地位。他们对交通场景的视觉监控 ( 基于三维线性模型定位、基于扩展卡尔曼滤波器的车辆跟踪算法) 、人的运动视 觉监控( 基于步态的远距离身份识别) 和行为模式识别( 提出了对目标运动轨迹和 行为特征的学习的模糊自组织神经学习算法) 进行了深入研究，取得了一定的成果 1 2 - 1 4 】，而且他们总结了英国雷丁大学v i e w s 的车辆交通监控原型系统的研究经验， 在以往的理论研究的基础上，自行设计并初步实现了一个捐j 有完全自主知识产权的 交通监控原型系统v s t a r ( v i s u a ls u r v e i l l a n c es t a r ) 。文安客流统计系统( v i o n c o u n t ) 【l5 】是一种先进的监控人群流动的智能安防系统，能够准确地统计通道口出入人数、 提供人群流动方向等信息。用户可根据需要，指定监测一个或多个出入口，也可以 指定统计单一方向或双向的人群流动。根据客户的需要，系统可以把统计信息生成 报表，或上传到其他商业管理软件。 1 3 课题研究内容及成果 本文以单一固定摄像头获取视频为研究数据，针对两种应用场景( 垂直角度场 景和斜角场景) 对视频人数统计方法进行研究。 主要研究内容有： ( 1 ) 前景检测：重点研究了目前在实际应用中普遍采用的背景差分法、单高 斯分布背景模型法、尽高斯混合背景模型法和基于贝叶斯决策规则的前景检测方 法，通过实验分析总结各算法的优缺点，并给出选取某种算法的理由； ( 2 ) 对象提取：主要研究了图像预处理方法，分析各种方法的定义、原理以 及应用场景； ( 3 ) 对象跟踪：研究介绍连通区域、m e a n s h i f t 、卡尔曼滤波和粒子滤波的理 论，以及在对象跟踪算法中的应用。 3 华北电力人学硕十学位论文 由于垂直角度场景不存在目标遮挡，本文在总结分析现有方法的基础上取得以 下研究成果： ( 1 ) 提出基于前景面积计算单前景包含对象个数的线性方法，很好的解决了 以往计算方法只能统计有限个前景对象的缺陷。 ( 2 ) 设计简单快速跟踪算法：利用垂直角度场景中不存在目标遮挡的特征以 及单对象在相邻帧不存在巨大变化的特点，通过计算相邻帧各对象间的重叠比例来 确定对象间对应关系。该算法有较好的计算效率，能够实现对象间简单跟踪。 ( 3 ) 采用简单快速跟踪和m e a n s h i f t 相结合的两级跟踪方法解决对象合并分离 问题：由于单独使用m e a n s h i f t 算法跟踪效率低下，所以对于没有合并分离的情况， 使用简单快速跟踪算法，不然，使用m e a n s h i f t 跟踪算法。这两种跟踪算法的结合， 很好的解决了多对象合并分离问题。 ( 4 ) 提出了一种基于双重感兴趣区域的对象跟踪计数方法：设计双重感兴趣 区域，解决由于对象往返运动引起的重复统计问题，提高统计方法准确性。 另外，斜角场景中，利用侧面安装的c c d 摄像机可以获得较多的物体运动信 息，但目标遮挡的情况较复杂，这对对象检测跟踪准确性和效率产生影响。 ( 1 ) 提出了基于简单行人模型的行人提取算法，实现行人和非行人的分辨以 及人群分割。 ( 2 ) 提出了连通区域跟踪算法和基于m e a n s h i f t 的多目标粒子滤波跟踪算法相 结合的跟踪方法，有效的解决了对象间的遮挡问题，并缓解了单独使用粒子滤波法 造成的速度低下问题。 1 4 论文组织结构 在第一章绪论中，介绍视频人数统计方法研究的背景和意义，分析国内外研究 动态并描述了本文的组织结构，同时提出了论文的研究内容及成果。 第二章介绍了视频人数统计方法总体设计的主要思想，方法步骤以及各步骤涉 及算法的理论知识，并实验分析算法优缺点。 第三章对垂直角度场景的视频人数统计方法各步骤采用的几种算法作了介绍， 并提出有利于提高统计准确率的线性统计策略和基于双重感兴趣区域的跟踪方法。 第四章主要研究斜角场景视频人数统计方法，提出了连通区域跟踪算法和基于 m e a n s h i f t 的多目标粒子滤波跟踪算法相结合的跟踪方法。本方法可以有效的提高 单独使用粒子滤波法的速度，并能够解决对象问的遮挡拥挤问题。 第五章全文进行总结，对下一步的工作提出了设想和建议。 4 华北电力大学硕士学位论文 第二章视频人数统计方法 2 1 方法概述 视频人数统计是利用计算机视觉技术，对画面进行分析、处理、应用的过程。 完整的行人数量统计方法，主要包括图2 1 所示四个步骤：前景检测、对象提取、 对象跟踪和对象计数。本章节将详细介绍视频人数统计方法中用到的各种算法，并 分析各算法的性能。 ( 图像序列 ) 上 前景检测 上 对象提取 上 对象跟踪 上 对象计数 丫 ( ， 统汁结果 、) 、l 图2 1 视频人数统计方法 以图像序列作为输入，通过前景检测、对象提取、对象跟踪和对象计数四个步 骤，得到对象运动轨迹、运动方向以及对象数量等信息。其中前景检测的输入为待 统计的图像序列或待测视频，输出为每帧图像上的前景区域。前景区域作为对象提 取的输入，并根据不同的应用场景以及需检测对象的特征提取对象的位置、大小以 及其他相关信息。根据提取对象信息，在对象跟踪中采用有效的跟踪算法，将在上 帧提取到的对象和当前帧提取到的对象建立对应关系，并计算对象运动方向和运 动速度等信息。对象计数过程中，根据相邻帧对象间对应关系，判断对象是否满足 计数规则，就可得到时间段内的对象统计结果。各步骤所用到的详细算法以及各算 法间的性能比较将在后续章节中做详细介绍。 2 2 前景检测 前景检测即运动检测是运动图像分析、可视监控、可视人机交互中的重要处理 5 华北电力大学硕+ 学位论文 步骤，其目的是从图像序列中将运动的区域从背景图像中提取出来。通过运动检测 可以得到图像中的运动信息，提取图像中的运动人物和目标，对于简化图像目标分 类、运动跟踪和图像理解分析等后期处理的难度具有十分重要的意义。然而，由于 背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得对图像中运 动物体的检测成为一项相当困难的工作。 现有的比较有效的图像运动目标检测方法有：光流法、背景差分法( b a c k g r o u n d s u b t r a c t i o n ，b g s ) 、帧问差分法、单高斯模型法( s i n g a lg a u s s i a nm o d e l ，s g m ) 、 高斯混合模型法( g a u s s i a nm i x t u r em o d e l ，g m m ) 和基于b a y e s 决策规则的前景检 测方法。 一般来说，光流法的时间开销很大，其实时性和实用性较差，帧间差法一般和 其他方法结合应用。所以，本文选择背景差分法、单高斯模型法、高斯混合模型法 和基于b a y e s 决策规则的前景检测方法对比研究，并通过实验仿真进行算法性能比 较。 2 2 1 背景差分法 背景图像差分法是传统运动目标检测方法中最直接、最简单的一种方法。首先， 它将选定的背景图像储存下来，然后将序列图像当前帧与背景图像做减法运算。由 于运动物体和背景在灰度或色彩上存在差别，相减后所得结果中每一像素的值和一 个预先设定的阈值相比较，如果这个像素的值大于设定的闽值，则判定被监控的场 景中存在运动物体，从而得到运动的目标。 2 2 2 单高斯背景模型 在任意时刻t ， 图像中任一象素点( x 。，y 。) ，其象索值具有历史值 五，x z ，x ，) _ l ( x o ，y o ，耽1 f t ) ，其中，为图像序列。 如果背景是静态的，而且光线也保持静念，那么象素值保持相埘稳定。此时可 以为每个象素点建立单高斯背景模型，即任一象素x 出现的概率为： p c x ，27c一，r，2卉p一争_一“，rl(一一肼) c2 - t ) 若u ( x ，鸬，) 乙( 乃为概率阈值) ，则该点被判定为前景点，否则为背景点。 2 2 3 高斯混合背景模型 s t a u f f e r 和g r i m s o n 【1 6 1 将尽高斯混合模型引入了背景减方法。群高斯混合的背 6 华北电力大学硕十学位论文 景建模方法可以解决缓慢的光照变化、杂乱背景中的周期性的运动、缓慢移动的物 体、长期的背景变化，以及相机的噪声影响等问题。 尽高斯混合模型描述如下： 任意时刻t ，象素值x 出现的概率为： k p ( x 。) = 缈j ，fx r ( x ，“) f - i ( 2 2 ) 其中，k 为高斯分布的个数，可以由计算机的可用内存和计算能力决定，一般取3 5 。 f ，表示第f 个高斯分布在t 时刻的权值，i t ，表示第f 个高斯分布在t 时刻的均值，瑁 为高斯分布的概率函数： 刁( x ，) 2 i 三：了害可三广万p 一争置一鸬) r f i ( 一一所) ( 2 3 ) 为了减少计算量，假设红( r e d ) 、绿( g r e e n ) 、蓝( b l u e ) 相互独立，而且具有相 同的协方差仃；，因此协方差矩阵可以简化为= 露，( 对灰度图，则有“= 仃；) 。 如果k 个模型都不匹配当前的象素值，则用一个新的高斯分布取代概率最小的 那个分布，新的分布的均值即为当前象素值，| 一j 时为它分配一个较大的协方差和一 个较小的权值。如果存在匹配模型，则对各个分布的权值进行调整： f ，= ( 1 一口) 缈i f - i + a ( m ，) ( 2 4 ) 其中o te o ，1 】为学习率。慨，表示是否匹配，对于匹配模型，尥f _ l ，否则为0 。未 匹配的高斯分布的参数和盯保持不变，而匹配到当前象素值的高斯分布的参数进 行如下更新： _ 2 ( 1 一p ) ，：1 + p x r，(2-5) 盯j = ( 1 p ) 仃二i + p ( 置一，) 。( x ，一，) 其中，p 是第二个学习率，p = a q ( x ， 段，吒) 。作为背景的象素值，通常具有较大 的权值和较小的方差。 分别计算出象素x 对于这k 个高斯分布的概率，并按照c o a 的值排列它们，选 择前b 个分布作为背景模型： 7 华北电力大学硕士学位论文 b b = a r gm i n 6 ( q r ) 量= i ( 2 6 ) t 是背景模型的最小比例，如果t 取的很小，k 高斯混合模型则退化为单高斯分布 模型。t 取稍大，则可以为复杂的动态背景，如摆动的树枝、飘动的旗子等建立多 个高斯分布的混合模型。对于不能直接提取到背景的场景( 如繁忙的高速公路上无 法直接提取到一个没有运动物体的背景) ，通过建立肛高斯混合模型也可以获得良 好的背景模型。 2 2 4 基于贝叶斯决策规则的前景背景模型 贝叶斯决策规则运动目标检测的目的就是将前景点和背景点分开，可以看作是 模式识别中的两类别分类问题。l i y u a nl i ，w e i m i nh u a n g ，i r e n ey h g u 等人【1 7 】采 用基于贝叶斯决策规则的实时复杂视频中前景对象提取方法。首先利用时间差分法 和背景差分法进行变化检测。然后，将检测结果输入到变化分类器中，通过贝叶斯 决策规则判断当前的变化点是背景点还是前景点。其次，提取前景目标，更新背景 图像。各部分的结构关系如图2 2 所示： 图2 2 ：贝叶斯前景检测总体结构 ( 1 ) 变化检测 时间差分法是利用视频序列中当前两帧或当前帧与某一帧的差分来提取图像 中的变化区域。该方法具有较强的场景变化适应能力，背景不随时间积累，更新速 度快。变化检测方法如下： ( a ) 将t 时刻的视频帧和t 1 时刻的视频帧相减得到差分图像r d ； ( b ) 将t 时刻的视频帧和背景图像相减得到另一差分图像r d ： ( c ) 采用的是自适应的阈值法l m e d s ( l e a s tm e d i a no fs q u a r e ) 1 8 】，将凡和 8 华北电力大学硕士学位论文 砌分别进行二值化处理后得n - 值图像凡d 和心。 ( 2 ) 变化分类 设r d ( s ，) 表示t 时刻在二值化图像凡在5 = o ) 处的像素值，r a ( s ，f ) = 1 表示运 动物体上像素值发生变化的点，凡( s ，f ) = 0 表示静止物体上的像素点。它们通过基于 贝叶斯决策规则的分类器进一步判断，归类为前景点或背景点。对于心( s ，f ) = o 的像 素点，其颜色特征向量记为v t = r ，g ，b ， 7 ；对于e a ( s ，f ) = l ，其颜色特征向量 v t = 【小g h ，包小，g ，6 f 】7 。采用这种特殊的颜色特征向量表示法是因为由于物体表 面的局部一致性。也就是说，在一个很小的时间段内，不同视频帧间同一位置上的 像素值变化通常是相似的，实验证明采用这种像素特征表示法增强了系统的鲁棒 性。另外，通过对颜色分量进行量化提高了系统的运行效率，节省了存储空间。 ( 3 ) 贝叶斯决策规则 y ，表示像素点s = y ) 在t 时刻的颜色特征值向量，b 表示背景，厂表示前景。那 么y ，的后验概率满足： 即= 掣掣， c 珈厂厂 7 ， 根据贝叶斯决策规则，如果像素点后验概率满足： p ( bi ，s ) p ( fly ，s ) 那么，该像素点为被归类为背景。另外特征向量，的全概率公式为： ( 2 8 ) 尸( is ) = 尸( j6 ，s ) p ( bs ) + p ( v tf ，s ) p ( fs ) ( 2 9 ) 将公式( 2 - 7 ) 和( 2 - 8 ) 代入( 2 9 ) ，得到： 2 p ( v ，l6 ，s ) p ( bs ) 尸( v fls ) ( 2 1 0 ) 也就是况，通过学习先验概率p ( b l s ) ，概率p ( v ，i s ) 和条件概率p ( ，i t , ，s ) ，我们就可以 区分特征竹属于前景还是背景。 9 ( 2 1 1 ) j 6 i 盯 p m 耐，一 d 芝芝吃 以如 华北电力人学硕士学位论文 式中匹配特征集m v ，) 定义为： 2 2 5 实验与分析 m ( v ，) = 后：v ，l 1 ，棚) ，l 口。一口：降万) ( 2 - 1 2 ) 本文以在实验室中采集的视频3 ( 帧率：3 0 f p s ；大小：3 2 0 * 2 4 0 ；x v i d 编码， a v i 格式) 和室外采集的视频5 ( 帧率：3 0 f p s ；大小：3 2 0 * 2 4 0 ；x v i d 编码，a v i 格 式) 作为实验数据，检测上述算法的性能。选取视频3 中第9 4 7 、9 5 4 、9 5 9 、9 6 1 帧和视频5 中第7 3 6 、2 0 0 2 、2 0 3 8 、2 0 7 3 帧对比介绍。 视频3 的背景如图2 3 所示，场景为垂直角度，光线充足，较为明亮，且室内 多角度灯光使行人影子不明显。原始帧( s r c ) 及各算法获得前景( f o r e g r o u n d ， f g ) 如表2 1 所示。 图2 - 3 视频3 背景图( b a c k g r o u n d ，b g ) 视频5 为斜角室外场景，存在光线的变化，阴影干扰，树叶晃动已经背景改变 的影响。如图2 4 第1 5 1 4 帧到1 6 9 l 帧所示，本来属于背景的汽车突然驶离，造成 背景大范幽的改变。这对前景的检测带来很大的影响。汽车驶离自仃后的背景效果如 图2 5 所示，a 为驶离前，b 为驶离后。由于背景的改变使背景差前景检测方法无法 实现背景的动态更新( 表2 2 所示) 。另外，单高斯分布更新速度较慢，并且噪声点 太多。多高斯模型，无法较好的处理噪声点，但基于贝叶斯的前景检测可以较好的 处理上述问题。 另外，我们对视频5 中1 0 0 0 帧图像进行算法运行时间统计，各算法平均单帧 运行时间如表2 3 所示。这些实验数据是在测试模式，且在算法没有经过任何优化 的前提下得到的测试数据，不能作为实时应用中算法效率标准。 1 0 华北电力大学硕士学位论文 表2 1 视频3 中第9 4 7 、9 5 4 、9 5 9 和9 6 1 帧原始图像以及前景提取结果列表 视频3 f r a m e9 4 7f r a m e9 5 4i f r a m e9 5 9f r a m e9 6 1 s r c f g ( b g s ) 圈i 1 1日圈 f g ( s g m ) 日日日 f g ( g m m ) 圈圜圆 从左到 茂 挈一 联， 华北电力人学硕十学位论文 图2 5 视频5 中两幅相对稳定的背景帧 表2 2 四种算法对视频5 中7 3 6 、2 0 0 2 、2 0 3 8 和2 0 7 3 提取前景结果列表 视频5 f r a m e7 3 6f r a m e2 0 0 2f r a m e2 0 3 8f r a m e2 0 7 3 一- - - - 一 - 一- f g 圆圈圈豳 ( b g s ) -i 叠葛i 哩i 1 一f ”， 。 l i【星j i i l 。强 一) 国 o 蕊i 霞j 已1_ 暖翰口_ 强龋 瓦盆 蟹 圈 _ _ _ 最- 霞 _ 暖豳 i， 曩髓 l璧i 翱| ! ：蕊隰豳 ( g m m ) 瞰移嘲嘲碍霸瞬爝零酾嘲冈黝黝酾帮孵。i fi喁圈瓣i碉孽譬嘲 f g ( b a y e s ) 降“蜥枷一j l 兰二涵一滥畿翊娩蔓j 娩。“ 华北电力大学硕士学位论文 了运动目标的位置、大小、形状等信息，能够得到比较精确的运动目标信息。在简 单场景中，能够得到比较好的前景检测结果，但在斜角场景中存在受光线、天气等 外界条件变化影响较大的一面；并且，用背景图像差分法去处理目标由静止开始运 动的情况，可能出现“鬼影”现象。例如视频5 中，在2 0 0 2 2 0 7 3 帧中，图像中部 车辆已经驶离，但该算法在较长时间内，并没有将背景更新完整；另外，该方法经 常导致同一对象的前景检测结果被分离为非连通区域，这给对象的提取带米阑难。 因此，在运用背景图像差分法时，应该重点考虑： ( a ) 如何获得背景图像。背景图像中要求不应该包含运动目标，但是在某些情 况下却很难满足这一要求，这就要求用已有图像( 其中包含运动目标) 去构造一个 不包含运动目标的背景图像。 ( b ) 如何处理动态背景和视频噪声。运用背景图像差分法，理想的情况就是 背景完全不发生变化且没有噪声污染，可是实际中很少能达到这样的理想情况。其 主要原因是，视频图像在获取的过程中都会掺入视频噪声；在户外的情况，背景经 常会受到光线和风等自然因素影响而发生变化。根据噪声的来源，可以采用不同的 滤波器消除噪声，同时采用自适应动态背景更新的方法来减小动态背景对检测结果 的影响。 ( c ) 如何选取阈值。阈值的选取直接决定了检测结果的好坏，只有恰当的阈值 才能正确地分割出运动目标所占的区域。现在普遍采用根据经验来选取阈值的方法 或者采用自适应的方式获取阂值。 ( 2 ) 单高斯分布背景模型只能适应背景稳定的情况。如果每个象素点都是特 定光照条件下的特定表面上的点，运用单高斯模型就足以模拟象素值的变化，同时 也能较好地处理噪声问题。如果只有光线随着时间变化，采用对每个象素点自适应 的高斯模型也足够模拟其情形。事实上，一个特定的象素点的平截面加上光照条件 的变化，经常出现多个表面。另外，对于复杂变化的背景，如摆动的树枝等，将无 法建立较好的模型。同时，该算法也存在图像差分法中所陈述的a ，b ，c 三个重点 考虑问题。 ( 3 ) k - 高斯混合的背景建模方法可以解决缓慢的光照变化、杂乱背景中的周 期性的运动、缓慢移动的物体、长期的背景变化，以及相机的噪声影响等问题。相 对于单高斯模型方法取得了较好的前景检测结果，但算法运行时问相对较长，接近 单高斯模型方法的两倍。在应用高斯混合模型时应重点考虑： ( a ) 由公式( 2 - 6 ) 可以看出高斯混合模型中均值学习率与方差学习率相等， 且小于权重学习率。权重m 是该高斯分布为背景的先验概率，而背景是相对稳定的， 所以权重学习率应该选取一个较小的值。 ( b ) 由于均值和方差的特点不同，所以均值学习率和方差学习率应取不同的 值，为了适应环境变换，均值学习率应稍大一些。 1 3 华北电力人学硕+ 学位论文 ( c ) 方差更新比较复杂，如果方差更新过慢，则前景与背景颜色相近时，由于 方差过大，而容易使前景误判为背景；如果方差更新过快或背景长时间不变，致使 方差过小时，则容易在噪声和光照变化的影响下将背景误判为前景。 ( 4 ) 基于贝叶斯决策规则的前景检测模型，在垂直角度场景和斜角场景中都 取得了较好的前景检测结果，特别是在斜角场景中对于多状态的更新，前景对象的 准确提取，运动背景的快速更新都可实现。 2 3 对象提取 对象提取以前景检测的结果( 前景区域) 作为输入，根据要提取对象的特征， 将对象提取出来，获得对象的位置，大小等信息，作为对象跟踪模块的输入。对象 提取流程如图2 6 所示。 图2 - 6 对象提取流程图 至于要选用什么对象特征，这取决于该算法的应用场景，室内或者室外，远景 或者近景。根据待提取对象在图像中的展现形式，来确定运动对象的特征。对于行 人的提取，在垂直角度场景中本文以对象前景面积为特征，这部分内容将在第三章 做详细介绍。而在斜角场景中，我们通过建立人体模型，来确定行人特征，这部分 内容将在第四章中做详细介绍。下面对图像预处理的相关理论知识做简单介绍。 2 3 1 预处理 图像预处理【侈1 的主要目的是消除图像中无关的信息，恢复有用的真实信息，增 强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹 配和识别的可靠性。预处理过程一般有平滑、复原、增强和形态学处理等操作。 1 4 华北电力人学硕+ 学位论文 平滑：消除图像中随机噪声的技术。对平滑技术的基本要求是在消去噪声的同 时不使图像轮廓或线条变得模糊不清。常用的平滑方法有中值法、局部求平均法和 k 近邻平均法。局部区域大小可以是固定的，也可以是逐点随灰度值大小变化的。 复原：校j 下各种原因所造成的图像退化，使重建或估计得到的图像尽可能逼近 于理想无退化的像场。基本的复原技术是把获取的退化图像g ( 五) ，) 看成是退化函数 ( 五y ) 和理想图像以x ，y ) 的卷积。它们的傅艰叶变换存在关系g ( u ，v ) = h ( u ，v ) f ( u ，v ) 。 根据退化机理确定退化函数后，就可从此关系式求出f ( u ，) ，再用傅里叶反变换求 出几l y ) 。 增强：对图像中的信息有选择地加强和抑制，以改善图像的视觉效果，或将图 像转变为更适合于机器处理的形式，以便于数据抽取或识别。例如一个图像增强系 统可以通过高通滤波器来突出图像的轮廓线，从而使机器能够测量轮廓线的形状和 周长。图像增强技术有多种方法，反差展宽、对数变换、密度分层和直方图均衡等 都可用于改变图像灰调和突出细节。 形态学处理：从图像中提取对于表达和描绘区域形状有用的图像分量。在图像 预处理或后处理中，形态学技术有很多，比如丌关操作、膨胀、腐蚀、边界、骨架 以及凸壳等。下面介绍几种常见的形态学操作。 ( 1 ) 膨胀 膨胀的运算符为o ，a 被结构元素b 膨胀，记为a 口召。膨胀的定义为： a b ： xl ( 云) 。na m 其中：b 为b 的映射，定义为 b = ww = 一“，a b ) ( 2 1 3 ) ( 2 1 4 ) ( 云) ，是对b 的映射进行位移x 。位移定义为是：用x = ( x l ，x 2 ) 对a 进行位移，记为似) 工， 定义为似k = 秒陟= 口+ 五口e a ) 。该式表明膨胀过程是b 首先做关于原点的映射，然后 平移工，这里a 与b 映像的交集不为空。a 被b 的膨胀过程也就是b 的位移与彳至 少有一个非零元素相交时，b 的中心像素的位置的集合。利用b 对a 的膨胀，结果 是使a 扩张，这就是“膨胀”名称的由来。 ( 2 ) 腐蚀 腐蚀的运算符为o ，彳被结构元素b 腐蚀，记为a o b 。腐蚀的定义为： a o b = 扛i ( b ) ，a ) 1 5 ( 2 1 5 ) 华北电力人学硕士学位论文 即a 被曰腐蚀的结果是所有满足将艿平移工后，b 仍全部包含在a 中的x 的集合。 从直观上看就是b 经过平移后全部包含在a 中的中心像素组成的集合。从本质上讲， 腐蚀是数学形态学在集合意义上定义的一个对结构元素的“减”运算，所有的形态 学运算都基于这一基石之上。 膨胀和腐蚀这两种操作有着密切的联系：使用结构元素对图像进行腐蚀操作相 当于使用该结构元素的映像对图像背景进行膨胀操作，反之亦然。即有： ( 彳。曰) 。= a 。o b 。 ( 么o b ) 。= a 。0 b 。 ( 2 1 6 ) 其中，a 的补集记为a c ，定义为a 。= 缸i 石萑a ) 。 ( 3 ) 开启 开启运算就是先对图像进行腐蚀，然后对腐蚀后的结构做膨胀操作，开启运算 符为o 。其定义为： 彳o b = ( a o b ) 0 b ( 2 1 7 ) 开启运算一般能平滑图像的轮廓，削弱狭窄的部分，去掉细的突出。 ( 4 ) 闭合 闭合运算足先对图像进行膨胀，然后对膨胀后的结构做腐蚀操作，闭合运算符 为。其定义为： a b = ( 彳ob ) o b ( 2 1 8 ) 闭合运算也足平滑图像的轮廓，但与开启运算相反，它一般能融合窄的缺口和细长 的弯口，去掉小涮，填补轮廓上的缝隙。 2 4 对象跟踪 2 4 1 连通区域跟踪算法 连通区域跟踪( c o n n e c t e dc o m p o n e n tt r a c k i n g ，c c t ) 算法是运动目标跟踪领 域最有效、最高效的跟踪算法，本算法以运动对象稀疏，并且线性运动为f j 提，适 用于大部分应用环境。 ( 1 ) 首先，对于当前帧任一对象么，已知特征向量纥= ”w ) 7 1 ，各分量分别 表示包含该对象彳的最小矩形的左上角点的x 坐标、y 坐标、矩形的宽度和高度。 ( 2 ) 遍历上帧中提取的对象列表，对于任一对象b ，特征向量= ”wj i z