（模式识别与智能系统专业论文）交通视频监控中的目标检测与跟踪.pdf

上海交通大学博士学位论文中文摘要 交通视频监控中的目标检测与跟踪4 摘要 视频监控系统通过对摄像机拍录的图像序列进行自动分析，实现对动态场景中目 标的定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而做到既能完成日 常管理又能在异常情况发生时及时做出反应。视频监控技术涉及计算机视觉、视频图 像处理、模式识别和人工智能等领域的许多核心问题，是一个具有挑战性的课题。 运动目标检测与跟踪是实现视频监控系统的核心与关键。本论文对目标检测与跟 踪技术进行了研究，着重讨论了动态场景下的多模态背景建模、阴影检测以及目标跟 踪。 本论文所做的主要工作包括以下几方面： i 在单模态背景下，提出了一种基于形态抑制的运动目标检测算法。首先采用背 景帧差法得到前景区域二值图，然后利用序贯算法对连通成分进行标记，并利用面积 及形态密集度对非目标物体进行抑制，最后提取目标轮廓。该算法实现简单，可以较 准确地提取目标轮廓。 2 在复杂场景下，背景不能用单模态模型来完全描述，需要进行动态背景多模态 建模。因而，提出了一种基于多样性( d i v e r s i t y ) 抽样机制的非参数建模方法，用于背 景分布核密度估计，克服了均一全样本在核估计阶段的重复计算等闯题。该算法结合 像素的邻域信息去除场景中由于树叶摇动、摄像机抖动等引起的噪声，并对环境光照 变化具有较好的鲁棒性。 3 阴影检测与去除是动态场景目标捡测中的难题之一。在多模态背景模型下，利 用阴影与对应背景相比具有亮度变暗、色度几乎不变的特性，提出了一种采用h m m d ( h u e - m a x - m i n - d i f f ) 色彩空间检测阴影的算法。克服了h s v 色彩空间复杂的矢量量 化，对运动目标投射阴影( c a s ts h a d o w ) 具有良好的抑制作用。算法计算简单，适用 于目标与背景色差较大情形。 4 提出了一种利用阴影与目标之间的分界线提取识别阴影的算法。首先从前景区 域中得到所定义的暗色区域，然后进行细化等处理得到分界线，并利用阴影比目标区 域灰度更一致的特性来识别阴影。该算法区别于基于阴影像素点检测的方法，尤其适 用目标较分散场景。 + 本沦文研究得到“刖家重点基础研究发展规划”( 9 7 3 ) 项目( t 0 1 9 9 8 0 3 0 4 0 8 ) 的资助。 上海变通大学博士学位蹬文 中文摘要 5 从阴影的形成出发，结合阴影像素点的光度不变性和投射阴影的空间特性，提 出了种适用户外场景的阴影检测算法。实验表明该算法对不同场景、不同目标产生 的阴影都具有很好的检测效果。 6 结合交通监控系统，研究基于序贯蒙特卡罗粒子滤波的概率跟踪方法。引入 色彩相关直方图( c o l o rc o r r e l o g r a m ) 来描述目标的色彩特征，克服了直方图描述缺乏 空间信息可能引起歧义的不足。提出一种结合树形量化与多样性量化的算法，使量化 后的色彩对不同图像具有自适应性，且计算更加有效。该跟踪算法采用最小方框图 ( m b r ) 来表示目标，结合目标的位置、形状和色彩特征来计算粒子滤波所需样本的 权值。实验对比了不同色彩描述对同组样本的分辨能力，并验证了算法在车辆跟踪 中的有效性。 关键词：视频监控，智能交通系统，非参数统计，核密度估计，卸岫色彩空间，光 度不变性，序贯蒙特卡罗，粒子滤波，色彩相关直方图 一一 圭堡窑堕盔堂盟主芏壁丝兰 茎塞塑墼 o b j e c td e t e c t i o na n dt r a c k i n gi nt r a f f i cv i d e o s u r v e i l l a n c e + a b s t r a c t v i d e os u r v e i l l a n c ei sc u r r e n t l yah o tt o p i ci nc o m p u t e rv i s i o nr e s e a r c h t h eg o a lo f v i d e o s u r v e i l l a n c ei st oo b t a i nad e s c r i p t i o no f w h a ti sh a p p e n i n gi nam o n i t o r e da r e a , a n dt h e nt ot a k e a p p r o p r i a t ea c t i o nb a s e d0 nv i d e of o o t a g e t h i st e c h n i q u ei n v o l v e sm a n yc h a l l e n g ep r o b l e m s i nc o m p u t e rv i s i o n , v i d e oi m a g ep r o c e s s i n g , p a t t e r nr e c o g n i t i o na n dh u m a n i n t e l l i g e n c e m o v i n go b j e c td e t e c t i o na n dt r a c k i n ga r cp r i n c i p a lp r o b l e m si nl o wl e v e lv i d e os u r v e i l - l a n c es y s t e m ，a n dt h e ya f f e c th i g hl e v e lp r o c e s s i n gs u c ha so b j e c tc l a s s i f i c a t i o na n db e h a v i o r a n a l y s i s t h i st h e s i sm a i n l ya d d r e s s e sp r o b l e m so f b a c k g r o u n dm o d e l t m g , s h a d o wd e t e c t i o n a n do b j e c tt r a c k i n g ，e r e t h ec o n t r i b u t i o n so f t h i sd i s s e r t a t i o ni sb r i e f l yd e s c r i b e da sf o l l o w s 1 a na l g o d t l h no f o b j e c tc o n t o u rs u b t r a c t i o nw i t hau n i m o d a lb a c k g r o u n di sp r o p o s e d i tf i r s ts u b t r a c t sf o r e g r o u n db i n a r yi n 3 r g ea f f e rb a c k g r o u n ds u b t r a c t i o n , a n dl a b e l sc o n n e c t e d c o m p o n e n t su s i n gi m p r o v e ds e q u e n t i a la l g o r i f i l m a n dt h e nh a n d l e st h e mw i t hm o r p h o l o g i - c a o p e r a t o r s a r e rn o n - o b j e c t se l i n 口i n a t i o nb ys i z es u p p r e s s i o n , f o r e g r o u n dr e g l o n $ a r es u p p r e s s e db yd e f i n e ds h a p ec o m p a c t n e s s t h i sa l g o r i t h mi m p l e m e n t se f f i c i e n t l ya n di sr o b u s tt o n o i s e s 2 w h e ns c a n ei se l u l f e r e da n db a c k g r o u n di sn o tc o m p l e t e l ys t a t i cb u tc o n t a i n ss m a l l m o t i o n ss u c ha st r e eb r a n c h e s ，t h eb a c k g r o u n dc a n n o tb ed e s c r i b e db yau n i m o d a lm o d e la n d i tn e e db a c k g r o u n dm o d e l l i n g a f t e ra n a l y z i n gp a r a m e t r i ca n dn o n p a r a m e t r i cm o d e l l i n g 印一 p r o a c h e s ，ad i v e r s i t y - s a m p l i n gb a s e d k e r n e ld e n s i t ye s t i m a f i o n ( k d e ) a l g o r i t h mi sp r o p o s e dt o m o d e lt h ed y n a m i cm u l t i m o d a lb a c k g r o u n d t h ed i v e r s i t ys a m p l e - s e tc o m p u t e se f f i c i e n t l yi n k d e , a n di ta v o i d st h ed i s a d v a n t a g eo f t h ef u l lu n i f o r ms a m p l e si nt h er e p e t i t i o nc o m p u t a t i o n i ta l s ou t i l i z e sp i x e ln e i g h b o ri n f o r m a t i o nt oe l i m i n a t en o i s e sd u et ot r e es w a y i n g ，c a m e r e j i t - t e r , e t c e x p e r i m e n t a lr e s u l t ss h o wt h em u l t h n o d a lm o d e lc a nh a n d l es c e n ec h a n g e ss u c ha s i l l u m i n a t i o nv a r i a t i o n a n d 涩：瓣潲。勰黜巅：；茳：勰撕c r “c h n 呼”o f 。“m “嘶“n 啦。m o 谢幻柏s 一一 上海交通大学博士学戗论文 英文摘要 3 i l l u m i n a t i o nv a r i a t i o np r e s e n t sp a r t i c u l a rd i f f i c u l t i e si np r a c t i c e ，e s p e c i a l l yi nm o n i t o r - i n so u t d o o rs c e n e 8 s h a d o w sc a u s es e r i o u sp r o b l e m sw h i l es e g m e n t i n gm o v i n go b j e c t d u et o t h em i s c l a s s i f i c a t i o no fs h a d o wp o i n t sa sf o r e g r o u n d a nr m v l dc o l o rs p a c eb a s e ds h a d o w d e t e c t i o na l g o r i t h mi sp r o p o s e dt od e t e c ts h a d o w sw i t ht h em u l t i m o d a lb a c k g r o u n dm o d e l i t d e t e c t ss h a d o w sd u et ot h e yc a s to l lab a c k g r o u n do f e nl o w e rb r i g h t n e s sb u td on o tc h a n g e s i g n i f i c a n t l yi t sh u e i tu s e st h es c a l a rc o l o rq u a n t i z a t i o no f h m m dr e p l a c i n gt h ev e c t o rc o l o r q u a n t i z a t i o no f h s v t h i sa l g o r i t h mc a ns u p p r e s sm o v i n gc a s ts h a d o w s ，a n di th a sg o o dp e r - f o r m a n c e p a r t i c u l a r i n t h ec a s e0 b j e e l sa n d b a c k g r o u n d h a v e d i s t i n g u i s h a b l ec h r o m a t i c i t y 4 s i n c et h em u l t i m o d a lb a c k g r o u n dm o d e lb a s e db a c k g r o u n ds u b t r a c t i o nc mo b t a i nt h e a c c l a t ef o r e g r o u n dc o n t o u p 3 , t h eb o u n d a r yo fe a s ts h a d o wa n ds e l f - s h a d o wi ss u b t r a c t e dt o s e g m e n ts h a d o wa n do b j e c t d e f i n e dd a r kr e g i o n sa r ef i r s to b t a i n e df r o mf o r e g r o u n dr e g i o n s ， a n da r et h i n n e dt os e p a r a t es h a d o w sa n do b j e c t s s h a d o wr e g i o ni si d e n t i f i e d 、 t 1 1i t sh a v i n g m o l eu n i f o r mi n t e r n 姆t h a no b j e c tr e g i o n b a s e do nt h ei n i t i a l i z a t i o n , t h i sa l g o r i t h mc o m p u t e s e f f i c i e n t l y 5 a c c o r d i n gt os h a d o wf o r m a t i o n , ac a s ts h a d o ws e g m e n t a t i o na l g o r i t h mi sp r o p o s e d e x p l o i t i n g t h es p e c t r a l a n d g e o m e t r i c a l p r o p e r t i e so f s h a d o w s s h a d o w i s d e t e c t e d u t i l i z i n g i t s p h o t o m e t r i cv a r i a n ta n ds p a t i a lp r o p e r t i e s s i m d a t i o nr e s u l t ss h o wt h ep r o p o s e da l g o r i t h mi s e f f f c i a n ti nd e t e c t i n gs h a d o w sf o r t h ed i s t i n c ts c a l e sc o n d i t i o n sa n do b j e c t si no u t d o o rs c e n e s 6 as e q u e n t i a lm o n t ec a r l ob a s e dp a r t i c l ef i l t e r i n gi su s e dt ot r a c km o v i n go b j e c t s i t n t r o d u c c sc o l o rc o r 地1 0 霉锄nt od 豁c n b eo b j e c tc o l o rf e a t u r e ，a n da v o i d st h ed i s a d v a n t a g eo f c o l o r h i s t o g r a m i n l a c k i n g o f s p a t i a l i n f o r m a t i o n a c o l o r q u a n t l z a t i o n a l g o r i t h m i n c o r p o r a t i n g t r e ea n dd i v e r s i t yq u a n d m t i o nm e t h o d si sp r o p o s e dt om a k eq u a n t i z a t i o na d a p t i v et oc o l o r s t r a c k i n ga l g o r i t h m1 1 8m i n i m u mb o u n d a r yp e e t a n g j e ( m b g ) t od e s c r i b eo b j e c t ，a n di n t e - g r a t e sp o s i t i o n , s i z ea n dc o l o rf - 8 n u r e st oc o m p u t es a m p l e s w e i g h t s e x p e r i m e n t sc o m p a r et h e d i s t i n g u i s ha b i l i t yo f t h ed i f f e r e n tc o l o rd e s c r i p t o r sw i t ht h es a n l es a m p l es e t , a n dt h ee f f i c i e n c y o f a l g o r i t h mi sv a l i d a t e di nv e h i c l et r a c k i n g k e yw o r d s ： v i d e os u r v e i l l a n c e ，i n t e u i g e n c et r a n s p o r t a t i o ns y s t e m , n o n p a r a m e t r i cs t a f f s - t i c s ，k e r n e l & m s i t yd t i m a t i u n , h m m d ( h v e - m a x - m i n - d i f f ) c o l o rs p a c e ，p h o t o m e t r i ci n v a r i - a n t ，s e q u e n t i a lm o n t ec a r l o ，p a r t i c i ef i l t e r i n g ，c o l o rc o r r e l o g r a m 一一 上海交通大学学位论文答辩决议书 誊巷酱“孟拖茸l i所寿堂科f 哥l p )h禧戋识劓品鉴静藁翁 l 论文题蠹| j 交通视频监控中的目标检测与跟踪 l 答辩罄期l 2 0 0 5 0 6 一i 0 | l 答辩地点 l 上海交通大学浩然大茬i 9 室 答辩委员会成费 辛e i 褥积盈h赫囊 l 积赫“斯靠t 作照付i i善滓 磐名j 主席 | 童窭蓉i 教授i i 霹济大学计算机系5 女$ 唾f t 象 委员 ! | 曼立德l i 教授l l 复旦大学计算枫系 | | 蔗一“气 委员l i 鲍城恚| l 教授l 美国毋利滔丈学9 辅 2 雪t 二嗽葛 受受 l 计髑耕l l 歌袋尔串a 予“ 槲 l 以稳够耧 委员 | l 陈褥趣 i 研究员8 中辩院技物所 1 。m 张二1 髯圳l b 硝歌聪 | j 上博x _ 】艟八子 l 栅 “3 1 i 垂篓 l 委员 8 施鹏飞0 救援i l 上海交通大学 料 j i 一e 跏考| 评语和决议： 论文哿 究的交通视频露像目标检测与躁踪技术是智自交遁系统的重要组成部分。选 题具有重要的理论意义和应用价值。作者黠视频监控系统的关键嘲题即运动冒标检测与 跟踪特别是动态场景下的多模态建摸、阴影检测和目标跟踪作了较深入的分析研究。论 文主要研究成果如下： 提出基于形态抑制的运动强标检测算法；提出多样性抽样机制的非参数建横方法； 对图像中目标阴影检测进行了涤入分析，创新地提出了一种采舟 强眦d 色彩空间检测 阴影的算法和利用黼影与习标之闻的分嚣线提取识划阴影的算法：结合盟影像素点的光 度不变性帮投射勰影的空滴特性，提出了一种遥舟户外场最黔阴影检测算法；在序黄蒙 特卡罗粒子滤波的概率跟踪方法中，加入了色彩相关童方图的概念，提出色彩直方匿的 鼹踪算法：论文对算法作了仔细分柝，并通过实验进行验证。 论文立论正确，条理清晰，层次分明，实验数据可靠。论文有剖薪性。论文工作袭 疆了作者已经掌握本专业的坚实宽广的基础理论和系统深入的专门知识，独立从事科学 研究髓能力强。 该同学在替辩过程中表述蒲楚，能正确强答所提阐题，经答辩委员会无记名投票， 一致通过搏士论文答辩。建议校学位委员会授予该生工学博士学位。 嗽鼬彩蚓。徽蒯徽， 上海交通大学博士学位论文表格 3 1 3 2 3 - 3 3 4 4 1 4 2 4 3 5 1 5 2 5 3 背景建模方法 常用核函数 参数与非参数建模方法对比 核估计计算时间 表格 h m m i ) 阴影检测实验参数设置 场景条件状况 阴影检测参数设置 卡尔曼滤波与粒子滤波 滤波方法分类 自相关直方图数据 一 m 拶凹 n 以 酪稻 上海交通大学博士学位论义 插图 1 1 城市道路视频监控系统 2 1 视频图像序列 2 2 对象模板计算流程方块图 2 3v o p 提取流程图 2 40 点序号计算示意图 2 5 序号标记流程图 2 6 等价表 2 7 序号标记后的一个例子 2 8 形态密集度模型 2 9 背景参考帧 2 1 0 目标检测结果 2 1 1 目标轮廓提取 插图 3 1 动态场景下运动目标检测 3 2 多样性样本集提取 3 3 用高斯核估计混合高斯密度分布 3 4 像素8 邻域及其对应样本集 3 5 第6 2 0 0 帧中像素( 1 0 4 ，2 6 4 ) 位置 3 6 像素( 1 0 4 ，2 6 4 ) 1 0 0 帧灰度直方图 3 7 概率密度估计比较 3 8 序列1 第6 3 0 0 帧检测结果 3 9 序列2 第4 9 帧检测结果 3 1 0 序列1 第6 2 2 8 帧实验结果 3 1 1 序列3 第2 1 0 帧实验结果 4 1 阴影的形成 4 2 本影与半影 4 3 自身阴影与投射阴影 一一 ， 0他m堪侈加殂勉 ”记”弘”粥弛扣扣们柏 鸵钙躬 上海变通大学博士学位论文插图 4 4 h m m d 色彩空间模型及其横截面 4 5h m m d 平面的均匀量化 4 6 h s v 色彩空间表示为一个圆柱体模型 4 7 h s v 色彩模型s v 平面标量均匀量化 4 8m m d 平面的标量均匀量化及h s v 中对应的量化线 4 9 m m d 平面与s v 平面的对应关系 4 1 0 序列1 第6 2 2 8 帧阴影检测 4 1 1 序列3 第2 1 0 帧检测结果 4 1 2 理想分界曲线 4 1 3 亮色和暗色车辆与阴影的分界区域 4 1 4 原图与前景二值图 4 1 5 暗色区域与分界线提取 4 1 6 目标与阴影检测结果 4 1 7 太阳与天空照明的表面 4 1 8 视频v e h i c l e i 阴影检测结果 4 1 9 视频v e h i c l e i i 阴影检测结果 4 2 0 视频k i d 阴影检测结果 5 1 序贯重要抽样算法伪代码 5 2 状态量与观测量 5 3 粒子滤波抽样过程 5 4 棋盘距离 5 5 h s v 树形量化 5 6 d i v e r s i t y 量化算法 5 7 进行色彩相关直方图计算的样本图像 5 8 图像色彩自相关直方图 5 9 白色目标车辆与样本相似性测度 5 1 0 白色目标车辆与部分样本 5 1 1 绿色目标车辆与样本相似性测度 5 1 2 绿色目标车辆与部分样本 5 1 3 车辆跟踪结果 一一 鸽盼卯乳钉记舛鲋骶卯鼹鼹矾矾 硝佰侈引眩昭昭跖跖盯盯叭 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导f ，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人 和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本 人承担。 学位论文作者签名：毛巍务 日 期：。5 阜5 月o 目 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论 文。 本学位论文属于 保密口在年解密后适用本授权书。 不保密口。 学位论文作者签名：毛豳芬 日 期：。- 哆车z 月，o8 指导 日 孑矽 猡钆 上海交通大学博士学位论义 第一章绪论 第一章绪论 y o uc a n h a v eau s a b l ei n t e l l i g e n tt r a n s p o r t a t i o ns y s t e mw i t h o u ts u r v e i l l a n c e p a t h 1 。1 视频监控发展与现状 视频监控是指用计算机视觉的方法，在不需要人为干预的情况下，通过对摄像机拍 录的图像序列进行自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此基础上 分析和判断目标的行为，从而做到既能完成日常管理又能在异常情况发生时及时做出反 应【l ，2 。视频监控技术包括摄像机标定、目标分割与跟踪、多摄像机融合、高层语义理解 等内容，涉及到计算机视觉、模式识别和人工智能等领域的许多核心问题，是一个具有挑 战性的课题。 视频监控系统一直是监控领域中的热点，它以直观、方便、信息内容丰富而在各行业 如交通、金融、政府机关企事业单位及各要害部门如军队、公安、监狱、民航等得至广泛 应用，并已引起了国际上许多著名科研机构以及研究人员的浓厚* 趣t 3 - - 6 。“9 1 1 ”及随后 发生的一系列恐怖事件更使智能视频监控显得日益迫切，世界各国纷纷将其列入重要研究 计划。 视频监控系统发展与电子、通信的发展息息相关，主要经历了以下几个阶段： 一、基于模拟传输的视频监控系统 视频盟控系统最早的应用方案是采用模拟信号在电缆或光纤中传输，然后再集中监控 和录像等。系统主机多为矩阵切换主机，显示终端多为模拟监视器或由其组成的电视墙。 监控图像一般只能在控制中心查看操作员主要通过矩阵切换主机的键盘实现对现场摄像 头的控制。这种模拟型系统主要由摄像机、视频切换矩阵、监视器、录像机等组成，通过 视频线、控制线缆等连接一般采用视频电缆( 少数采用光纤) 等模拟方式传输，主要用 于安保、生产管理场合。其特点是模拟视频信号传输，传输距离有限，安全性较差，监控 方式单一，属于早期的交通监控系统。 二、基于p c 机的板卡式视频监控系统 视频采集压缩技术的进步使得基于p c 机的板卡式视频监控系统成为可能，p c 机的普 及也推动了此类技术的发展。这类视频监控系统主要由摄像机、各类采集设备、p c 机工控 机、采集卡、视频压缩卡、通信接口卡、p c 监控设备、录像机( 模拟或数码) 等组成，依 上海变通大学博士学位跄文 第一章绪论 赖于通信网络构成整个视频监控系统。其特点是功能较强、灵活性高，缺点是功耗大、环 境适应能力差、可靠性差、软件的开放性著。 基于p c 多媒体f 的模数混合交通监控系统由p c 机板插视频卡构成，在原有模拟系统 的基础上，增添d l ( 数字硬盘录像机) 主机，主要是用硬盘录像功能来代替早期模拟录 像帆的功能，采用m p e g - 2 或1 2 2 6 3 图像压缩技术，可以实现远程图像实时监视。在监控现 场，有若干个摄像机、各种检测、报警探头与数据设备，通过各自的传输线路，汇接到监 控终端机上，该终端可以是一台p c 机，也可以是专用的工控机。除了处理各种信息和完 成本地所要求的各种功能外，系统还利用视频压缩卡和通信接口卡，通过网络将信息传到 一个或多个监控中心。这种系统终端功能较强，便于现场操作。但稳定性不好，视频前端 ( 如c c d 等视频信号的采集、压缩、通讯) 较为复杂，可靠性不高：p c 机也需安排专人管 理。该类系统已经开始采用运用数字图像处理技术增强系统功能，比起纯模拟监控系统， 有相当的灵活性和易扩展性。但仍以人的直接观察为提取图像有用信息的主要方法，也有 部分系统在一定程度上实现了复杂交通信息的自动提取和交通事件的智能检测。 三、基于嵌入式技术和m p e g - 4 标准的数字视频监控系统 第三代数字视频监控系统，集中了多媒体技术、数字图像处理及远程网络传输等最新 技术。不仅可解决图像传输、远程控制、现场信号采集等监控功能，还可提供高质量的监 控图像和便捷的监控方式。系统一般基于t c p i p 架构，符合通信网的发展趋势，具有非常 灵活的应用。 随着宽带婵网络的发展以及m p e g 4 压缩标准的逐步完善，交通视频监控系统也将转 换成全数字方案。它不再需要处理模拟视频信号的p c ，而是把摄像机输出的模拟视频信号 通过硬件编码器或嵌入式系统处理直接转换成口数字信号。这种嵌入式微系统专用编码器 或处理系统具备视频处理、网络通信、自动控制等强大功能。采用b 删蛳s 目结构使得 监控测览范围达到前所未有的广度，这意味着通过可以上网的计算机就可以看到任意监控 点的实时情况，并具有完全自由的扩展性，可形成任何规模的交通监视系统。该类系统还 能通过交通场景分析的过程实时采集各种交通信息，通过w 曲服务器完成对监视系统的管 理任务如存储、检索、回放、访问控制、管理权限和信息发布等。基于w e b 的数字型交通 监控系统以网络为依托，以数字视频的压缩、传输、回放和结构化视频存储检索为核心， 以方便实用的实时图像分析为特色，将使得交通监控系统全面走向网络化、智能化阶段， 将引发交通视频监控行业的空前技术革命。 ( 一) 嵌入式技术 由于采用p c 机板卡式的视频监控系统存在着诸多的不足之处，当前最新的视频监控 产品都采用了嵌入式的设计。嵌入式系统，一般指非p c 系统，它是以应用为中心，软硬件 可裁减的，对功能、可靠性、成本、体积、功耗等严格要求的专用处理系统。简单地说， 嵌入式系统集系统软件、应用软件与硬件于一体，具有软件代码小、高度自动化、响应速 一2 一 上海交通大学博士学位论文 第一章绪论 度快等特点，特别适合于要求实时和多任务的应用。嵌入式视频监控系统主要把专用视频 编解码芯片和各种接口芯片集成，采用专用的底层操作系统。此类视频监控系统的采集设 备可集成各种控制接口和信号输入接口，设备采用一体化设计，体积小，工作稳定，功耗 小，这种采集设备可以很方便的放置到各种环境下的监控点。由于采用了数字化的视频编 解码方式，现场采集设备与监控中心之间通过数据网络互联，不需铺设功能单一的模拟线 路。基于嵌入式的视频监控系统的监控中心一般采用两种方式：软件方式或嵌入式。采用 软件方式的监控中心利用监控软件与工控机或服务器的配合来实现远程监控；采用嵌入式 设计的监控中心则采用专用芯片与底层操作系统，设各一般是一体化或模块化的设计，可 靠性好，系统容量大。 基于嵌入式系统的数字监控具体的优点体现在以下几方面： ( 1 ) 布控区域广泛、。嵌入式数字监控系统的w 曲服务器和终端设备可直接连入网 络，没有线缆长度和信号衰减的限制，同时网络是没有距离概念的，因此彻底抛弃了地域 的概念，扩展了布控区域。 ( 2 ) 可组成非常复杂的监控网络。如果采用基于嵌入式w 曲服务器为核心的监控系 统，由于w 曲服务器输出已完成模拟到数字的转换并压缩，采用统一的协议在网络上传 输，支持跨网关、跨路由器的远程视频传输，所以其在组网方式上和基于p c 平台的监控方 式有极大的不同，能支持更为复杂的监控网络。 ( 3 ) 性能稳定可靠，无需专人管理。嵌入式数字监控系统采用嵌入式实时多任务操 作系统，视频压缩功能集中到一个体积很小的设备内，直接连入局域网或广域网，即插即 看，系统的实时性、稳定性、可靠性大大提高，所以无需专人管理，适合于无人值守的环 境。 ( 二) m p e g - 4 编解码技术 要进行远程监控，大量的视频数据就需要通过网络进行传输，这就需要在数据传输 之前进行编码压缩以减少数据量。从视频压缩编码技术来看，新一代的基于对象的编码 标准m p e g - 斩叶统的m p e g 一1 、m p e g - 2 和i - i 2 6 3 相比，在交互性、抗误码性和压缩比上都 具有巨大的优势。在交互性方面，m p e g - 4 采用的是基于对象的编码，便于操作和控制对 象；在抗误码性方面，m p e g - 4 提供了鲁棒性和可扩展性，并且对其误码恢复技术( 包括 再同步，数据恢复和错误隐藏) 部进行了优化；在压缩方面，由于采用了基于对象的编码 方式，使得在编码过程中能够考虑到人对图像信息的主观感受以及人眼的视觉神经特性， 给人们感兴趣的对象分配较多的码率，而一些诸如背景等人们感觉迟缓的对象分配较少的 码率，从而大大提高压缩率。 m p e g - 4 在录像存储容量、图像质量、网络传输、对图像可以进行交互操作等方面都 具有巨大的优势。 ( 1 ) 存储空问得到节省。在优势最明显的存储容量方面，采用m p e g - 4 的视音频 一3 上海交通大学博士学位论文 第一章绪论 全同步录像所需的硬盘空间约为相同图像质量的m p e g - l 或m j p e g 所需空间的1 l o ，此 外，m p e g - 4 因能根据场景变化自动调整压缩方法，故对静止图像、一般运动场景、 剧烈活动场景均能保证图像质量不会劣化。( 2 ) 在图像清晰度方面，尽管m p e g - 4 瞄 准的是较低带宽上的音视频解决方案，但是它独特的基于对象的编解码方式同样也适 合c i f ( 3 5 2 x 2 8 8 ) 、2 c ( 3 5 2 x 5 7 6 ) 、4 c i f ( 7 0 4 x 5 7 6 ) 的视频格式显示。其中，4 c 球能 达到d 1 v d 的影像效果。 ( 3 ) 在网络传输方面，由于中国实际应用场合的网络环境还 不能和国外相比，可以被广泛利用的带宽一般都在2 m 以下，在如此低的带宽r 传输视 频，正是m p e g - 4 大显身手的地方。目前在低带宽上传输活动视频的另一个解决方案就 是采用h 1 6 3 标准，尽管h 2 6 3 也有较高的压缩比，但是图像质量要差于m p e g - 4 ，特别是 在动态特性方面的表现相当欠缺。( 4 ) 纠错能力方面，当网络传输有误码或丢包现象 时，m p e g - 4 受的影响很小并且能够迅速恢复。如在误码达到1 时，m p e g - 1 已经无法播 放，而i m p e g 4 只会有轻微的边缘模糊。 基于上述特点，嵌入式系统和m p e g 4 在数字监控领域受到越来越广泛的关注，具有 良好的应用前景。 作为视频监控系统的一个重要应用，交通视频监控的技术得到了国内外研究领域的广 泛关注。交通视频监控是智能交通系统( r r s ) 的重要组成部分，它的发展有利于i t s 的不 断发展川。然而，我国的交通远程视频监控系统并不完善，在产品性能、功能和组网等方 面不能很好地满足实际的需求。这在很大程度上影响了整个城市交通管理的科学化现代化 水平的提高，制约了城市交通的稳定和安全经济运行。 在交通事业发展的客观需求的推动下，目前交通监控系统从模拟监控到数字监控再到 分布式智能网络监控，已经有了长足的发展和进步，当前与计算机技术、通信技术、视频 监控等现代技术相结合，以图像理解为基础的智能视频交通监控系统开始进入实际应用领 域，并逐步朝分布式和智能监控方向迈进。 图i 1 是城市道路网络化视频监控系统的一个例子。 利用这个系统监控中心可以在电视墙或普通p c 上实时观看各个远端监控点的图像， 并实现远程录像、远程控制等功能。通过与其它外围设备和相关软件的配合，就可实现整 个交通系统的智能化控制。 总之，虽然监控技术是当前的研究热点，但其中仍有很多技术没有达到应用要求。目 前监控摄像机并没有充分发挥其实时主动的监督作用圈。实际需求的监控系统应能连续2 4 小时的实时监视，并自动分析摄像机捕捉的图像数据，当发生或发现异常行为时，系统能 准确及时地发出警报，减少所需的人力、物力和财力资源。因此，视频监控技术不论在实 际应用还是理论研究方面都有很强的扩展性。 一d 一 占墨銮堕盔堂堕主兰垡堡皇 笙二童堕笙 图1 1城市道路视频监控系统 f i g1 1 v i d e os u r v e i l l a n c es y s t e m0 1 1u r b a nr o a d s 1 2 本文的创新点 运动目标检测与跟踪不仅是视频信息分析的基础，而且也是视频监控系统实现的核心 与关键。本论文对目标检测与跟踪的几个关键技术进行了研究，着重讨论了动态场景下的 多模态背景建模、阴影检测以及概率跟踪等关键问题，主要创新点包括以下几方面： 1 在单模态背景下，提出了一种运动目标检测算法。该算法定义了形态密集度模型和 形态密集度变量，并利用形态密集度进行非目标物体形态抑制。改进了序贯算法，使计算 更加有效。算法具有抗噪声、计算简单有效等优点。 2 在实际复杂场景下背景不能用单模态模型描述时，提出了一种基于多样性抽样机制 的非参数背景建模算法，以处理动态多模态背景问题。克服了均一全样本在核密度估计阶 段的重复计算等问题，并结合利用像素邻域信息来去除背景由于树叶摇动、摄像机抖动等 引起的噪声，对环境光照变化具有很好的鲁棒性。 3 阴影检测是动态场景目标检测中突出但具挑战性的问题。利用阴影特性提出了一种 一5 一 上海交通大学博士学位论文第一章绪论 在多模态背景模型下的h m m d 色彩空间阴影检测算法，克