（交通信息工程及控制专业论文）交通监控系统中目标跟踪与行为识别研究.pdf

：jo i ：一：。 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：兰丛 日期：业年月萆日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：丛 日 导师签名厦墨! 氐日期：单年月2 岁 a b s t r a c t i n t e l l i g e n t t r a f f i cs u r v e i l l a n c es y s t e mw i t ht h ec h a r a c t e r i s t i c so f a u t o m a t i ca n di n t e l l i g e n t ，h a st h ea b i l i t yo fd e t e c t i n gt r a f f i ci n c i d e n t s ， m o n i t o r i n gt h ep e d e s t r i a n sa n dv e h i c l e si nt h et r a f f i cs e n c e ，c a na d a p tt o t h en e e d so fp r a c t i c a la p p l i c a t i o n t h i sp a p e rf o c u s e so no b j e c td e t e c t i o n ， o b j e c tt r a c k i n g ，a n do b j e c tb e h a v i o ra n a l y s i s i nt h ei n t e l l i g e n tt r a f f i c s u r v e i l l a n c es y s t e m ，t h e nd e l v e si n t ot h ek e yp r o b l e m si nt h e s et h r e e t e c h n o l o g i e s ，p r o p o s e sn e ws o l u t i o n s t h ep a p e rw o r k si nt h ef o l l o w i n g a s p e c t s ： ( 1 ) m o s to fc u r r e n tm e t h o d su s e a s i n g l em o d e lf o rt h eo b j e c t d e t e c t i o ne x i s tm a n yp r o b l e m s ，s u c ha sh i g he r r o rr a t e ，l i g h ts e n s i t i v i t y , p o o rr o b u s t n e s si nt h ed y n a m i cs c e n e s ，b e c a u s eo ft h i s ，t h ep a p e rp r e s e n t s ah y b r i dm o d e lo f m o t i o nd e t e c t i o nb a s eo nac e r t a i nb l e n d i n gr u l e s w e i n t e g r a t eo b je c td e t e c t i o nm o d e lw h i c hi sn o ts e n s i t i v et ol i g h tc h a n g e s a n dt h eo t h e rt a r g e td e t e c t i o nm o d e lw h i c hc a nt r a c ks c e n ec h a n g e s q u i c k l yi n t oam i x e d - t a r g e td e t e c t i o nm o d e l t h eb l e n d i n gs t r a t e g i e sa r e h e l pf o re l i m i n a t i n gm i s s e da n df a l s ed e t e c t i o n s f i n a l l y , t h ef a s tm o v i n g t a r g e td e t e c t i o nm e t h o di su s e dt or e d u c et h ec o m p u t a t i o no f t h i sm o d e l ， t o g e t h e rw i t ht h et w om o d e l sw h i c hh a v eb e e ni n t e g r a t e dw e l lb o t hh a v e s i m p l ec o m p u t a t i o np r o c e d u r e ，t h eh y b r i dm o d e l s t i l lr u n si nr e a l t i m e ( 2 ) i nt h et r a c k i n g ，t h ep a p e rm a i n l ys t u d i e st h eo b j e c td e s c r i p t i o ni n t h et r a c k i n gp r o c e s s ，p r o p o s e sat r a c k i n ga l g o r i t h mb a s eo nm u l t i f e a t u r e s e l e c t i o n w ec o m b i n a t er a n k b o o s tw i t ha d a b o o s tt oc o n s t r u c th y b r i d b o o s t i n ga l g o r i t h m ，t h e nu s eh y b r i d b o o s ta n dt h ei n f o r m a t i o n so ft a r g e t a n db a c k g r o u n dt os e l e c t ef e a t u r e s ，e s t a b l i s hf e a t u r er a n k i n gc l a s s i f i e r s ， u p d a t ef e a t u r er a n k i n gc l a s s i f i e r sa d a p t i v l y i nt r a c k i n gt i m e k a l m a nf i l t e r i su s e dt op r e d i c tt a r g e ta r e a ，t h e nu t i l i z em e a n s h i f ta l g o r i t h mc o m b i n e d w i t hf e a t u r er a n k i n gc l a s s i f i e r st oc o m p l e t et a r g e tt r a c k i n gt a s kp r e c i s l y t h et r a c k i n ga l g o r i t h ma b o v ec a ns e l e c tf e a t u r e sa d a p t i v l ya c c o r d i n gt o d i f f e r e n to b j e c t i v e sa n db a c k g r o u n di n f o r m a t i o n s ，i ti sv e r yb e n e f i c i a lf o r o v e r c o m i n gi l l u m i n a t i o n ，i n t e r f e r e n c e ，o c c l u s i o na n ds oo ni nt h et r a f f i c s e n c e ( 3 ) p r e s e n tam o t i o nb e h a v i o rr e c o g n i t i o nm e t h o db a s e d o nt r a je c t o r y a n a l y s i s w eu s et h ec l u s t e rm e t h o dt ol e a r nm o v e m e n tp a t t e mo ft h e t r a je c t o r i e s ，g e tt h et r a je c t o r yr e f e r e n c es e q u e n c ew h i c hr e p r e s e n tt h e c a m p a i g nm o d e t h e nt r a j e c t o r y i sv i e w e da sat i m e v a r y i n gd a t a r e c o r d i n gt h et a r g e tb e h a v i o r , b e c a u s eo fd y n a m i ct i m ew a r p i n g ( d t w ) t e c h n i q u ed o e sn o tl i m i tt ot h el e n g t ho ft h et i m es e r i e s ，w ec o m b i n a t et h e d t wt e c h n o l o g ya n dkn e a r e s tn e i g h b o ra l g o r i t h mt om a t c ht h e t r a j e c t o r yw h i c hw i l lb ei d e n t i f i e dw i t ht h er e f e r e n c et r a j e c t o r ys e q u e n c e o ft h et e m p l a t e i nt h em a t c h i n gp r o c e s s ，i no r d e rt oa c c e l e r a t et h e m a t c h i n gs p e e d ，u s i n g d t wl o w e rb o u n df u n c t i o nt oe x c l u d ea l l n o n s i m i l a rt r a j e c t o r ya f t e rc l u s t e r i n g ，a n dt h e nm a t c h i n g ，i d e n t i f i n gt h e t a r g e tm o v i n gs t a t e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h eo b je c td e t e c t i o n ，o b j e c tt r a c k i n g a l g o r i t h mc a nd e t e c to b j i e c te f f e c t i v e l ya n dt r a c ko b j e c ts t a b l e ，t h e b e h a v i o rr e c o g n i t i o nm e t h o db a s e do nt r a j e c t o r ya n a l y s i sa c h i e v e sa h i g h e rp e d e s t r i a n s b e h a v i o r r e c o g n i t i o n r a t ea tt h ei n t e r s e c t i o n ，f o r e x a m p l et u m i n gl e f t ，t u r n i n gf i g h t ，g o i n gf o r w a r d ，u - t y p et u m s k e yw o r d s o b j e c t t r a c k i n g ，h y b r i d b o o s t i n ga l g o r i t h m ，h y b r i d o b j e c td e t e c t i o nm o d e l ，t r j e c t o r i e sa n a l y s i s ，b e h a v i o rr e c o g n i t i o n i i i 萄煳 醴器漪商辱菇淤漆器隶)c寸蹴氲娥李阵彳亍d掣安参潼。茸亍蚪耐翥酵j亍醛器安爵童跚器障离糌爵胃趣墨魏熄。黪碍时煺_)c寸螬器料氲爵商泓龄寻墨皿莉薜潼，e莉聂爵，譬阎皿莉干亍泮串青谴鼋令挚武 丹甜带罨冰藩苗离降书氟窝越琳窬壬骘墨藕漕-力，薄，忖埘h齐窨 潭斛譬吲令讨引。 1)牟誉胀普汁峭茔j目忸l湛谴阵彳亍卫莉齑潼_：f竽斟墨置裔。品彗斟淌离鹕法强露谗。掣谢蛰冲啦蒜薄冰嘏置商。齄譬叫霉菌玲商塾离潼湛起蓊茸苦嚣辩彳七爿露曛罨皿莉鸯薹藩起彗叉寸磐惑沛褂安疑爵器过露罨酥抖商潼茫毽碧呤。型违群呤淤暴菇雾务潼薄甜哥銎莸 藩营靴商。如乱笳臣型童涪商僦磐|莉参星萍甏峙赌湛畦暑卑将冲， 曾h茫型吩墨酬尊湛惶婪斟辫女子器将零爵薅弛。痊甜萄吩湛恺$棼洳 伞【矾s精耳薛。 n v鼋越叫溜窬肖蒂寻器皿莉蒜薛。笳睢【掣膊呻嵴蒸甫醛莉墨 葡蚪皿莉疑桀崧、法。苯ra声kb。打adboo一耸吩。荃黼萄玲f00一in 垴辫茄茹皿莉赢面凿球洫都西降莉菲甫。耐时菲常辜j芋冷-类糍。琳斟聂鼎器肖前丹爿蚤皿=i置爵跚辩。滟趣赤封细藩薄薄皿莉冈蘧阵彳亍益慰潼。魏舌堂，用喜讯冷燃帮裤玲暮ean_1if一糨辫斟爵皿莉器蘸塞疑 疑。对犍、法习譬茄萧爿国墨皿莉凿球景：肃豇。皿i置离器阵彳亍菲宜醛鞘。 洱呻斟录惑j票=丹甜讲专猛，书洋，障繁嘏莒随j乍舔斟型器。 v笳匪q【掣-基呻挚斟冷薄罨阿磐彳亍冲滴姿讨辫。甚薄湘丑糊糕罨斟i去薄嘉潍书堕罨喾薄阵彳亍彳亍泮湛冉慊赳书坚硫磐湛冉銎喾降蜘淋j芋望。拂试蔫喾阵鹭泮耳苗莉翌。鲨盗磐豺罩萄苗耐八。twv手支并茸耳吾，|芋型沭洒漭斟茹墅墨薅奔。藩otw灯l(j压会凇群坌吉吩丑呻i=寺 箔鎏簿降打蜘淋每道湛离孓阵器罔哥。旧琵肖茼母。滟趣dt吲翔斟 潜娑雾汁=量爿盏定誊障。譬苎落日琵融溉。酵虱菏鎏ej莉墨葡蚪藩讲。 将器龄淝涨温讲特器皿荪蒂塑，疑器将辩到譬罄仨j莉阵干亍礴游 墨薄潼凿荪矾疑瓤，嫩呻簿碘串翥s碌掣彳亍泮箔鎏斟群斟+书器口彳亍 墨阱簿。斟捧。黜彳亍。c瞳蕊薛望叫簿斟器箔鎏懈。 一 卅薄萄皿莉疑爵。箫跨bo。ti3将辩。萄冷皿莉商潼湛谴。喾礴串 蒜。裔泮箔迪 。0 一。 。， 目录 第一章绪论1 1 1 研究背景及意义1 1 2 国内外研究现状2 i 3 论文的主要研究内容及研究目标4 1 4 论文的结构安排5 第二章运动目标检测。7 2 1 概述7 2 2 采用混合模型的运动目标分割9 2 2 1 基于时空中心对称局部二值模式的目标检测1 0 2 2 1 1 时空中心对称局部二值模式1 0 2 2 1 2 时空中心对称局部二值模式下目标检测模型1 1 2 2 2 基于无偏卡尔曼滤波的背景提取及目标检测1 2 2 2 2 1 无偏卡尔曼滤波( u k f ) 简介1 2 2 2 2 2 基于u k f 的目标检测1 4 2 2 3 混合背景模型下的目标检测1 6 2 2 3 1 混合目标检测模型1 6 2 2 3 2 混合策略1 7 2 2 3 3 快速运动检测及阴影去除1 8 2 4 实验结果与分析1 8 2 4 1 模型参数的选取1 8 2 4 2 不同背景模型的运动目标检测实验1 9 2 5 小结2 l 第三章运动目标跟踪2 2 3 1 概述2 2 3 2 结合卡尔曼滤波粗预测和m e a n s h i f t 算法的目标跟踪2 5 3 2 1 卡尔曼滤波和m e a n s h i f t 算法2 5 3 2 2m e a n - s h i f t 框架下的目标跟踪2 7 3 2 3 结合卡尔曼滤波粗预测和m e a n s h i f t 算法的目标跟踪3 1 3 3 基于h y b r i d b o o s t 多特征选择的目标精确跟踪3 2 3 3 1a d a b o o s t 和r a n k b o o s t 算法简介3 2 3 3 2 基于h y b r i d b o o s t 的目标特征选择3 3 3 3 3 实时、稳定的运动目标跟踪3 6 3 4 实验结果与分析3 6 3 5 小结4 0 第四章运动目标的中心定位及轨迹提取4 1 4 1 概述4 l 4 2 二值数学形态学4 2 4 3 连通性分析4 4 4 4 目标中心定位4 5 4 5 小结4 9 第五章基于轨迹分析的行为识别5 0 5 1 概述5 0 5 2 轨迹表示及d t w 相似性度量5 1 5 2 1 轨迹特征提取5 1 5 2 2 动态时i 日j 归正( d t w ) 技术5 2 5 3 基于d t w 的模糊c 均值轨迹聚类5 3 5 3 1 轨迹聚类5 3 5 3 2 采用d t w 的模糊c 均值轨迹聚类5 4 5 4 基于轨迹的运动行为识别5 5 5 4 1 结合d t w 和k 近邻算法的行为匹配5 5 5 4 2 基于d t w 下界函数的快速k 近邻行为匹配算法5 6 5 4 3 行人运动行为识别5 7 5 5 实验结果及分析5 8 5 5 1 实验数据的建立5 9 5 5 2 结果分析6 0 5 6 小结6 l 第六章总结与展望6 2 参考文献6 3 致谢7 0 攻读学位期间的主要研究成果7 1 硕士学位论文第一章绪论 1 1 研究背景及意义 第一章绪论 交通智能监控系统的主要功能是从连续的视频图像中( 摄像头等) 检测出运 动目标，同时对提取出的运动目标分类并进行跟踪和识别，在理想状态下，能对 其行为进行理解和描述( 如图1 - 1 ) ，达到异常检测和行为识别的目的。这是一 个多学科交叉综合的课题，涉及到图像处理、计算机视觉、模式识别和人工智能 等诸多领域，是一个非常具有挑战性的困难问题。近年来，随着城市交通的发展， 智能交通监控系统由于其具备智能、高效、自动化的特点，面临着广泛的应用需 求，加之集成电路和计算机技术的迅速发展，智能交通监控系统所要求的硬件设 备成本大大降低，因此它获得了同益广泛的研究与应用。 图 像 采 集 目 标 检 测 化 行为 分析 理解 图卜1 智能化监控系统示意图 智能交通监控遇到的首个问题是提取图像序列中感兴趣的部分( 运动前景) ， 既运动目标检测，例如移动的人、车辆等。从上个世纪术至今，关于目标检测， 已经出现了一批较成熟的算法，分为静态场景下的目标检测和动态场景下的目标 检测。在静态场景下，最常用是背景差分法乜3 ，但背景差分法不能有效的去除运 动目标的阴影和鬼影 3 - 4 而且背景的有效构建和实时更新是个难点。在动态场 景中，其他物体的运动干扰、光线变化、背景闪烁等外在因素容易造成相邻帧图 像间至少有一部分像素的灰度值发生变化，而且在实际情况中，目标和摄像机同 时运动，那么目标会由于自身的运动或摄像机视角的改变而发生形变。以上这些 情况使得准确检测出运动目标变得非常困难和复杂，那么，寻求一种检测效果好， 检测速度快的算法，并非易事。 对目标的稳定跟踪是交通监控系统中的另外一个关键问题，指从包含运动目 标的视频帧序列中识别和定位运动目标，从而获得如位置、速度、加速度、方向 等运动参数，甚至目标的运动轨迹，从而进一步处理和分析，是更高一级的目标 行为理解分析的基础。但是，基于计算机视觉的目标跟踪当前正处于探索和不断 改进的阶段，如何对运动目标进行稳定、鲁棒的跟踪是计算机视觉领域的重点、 难点问题。在跟踪的过程中，由于运动目标的轮廓变化、背景中外在因素的干扰、 硕+ 学位论文 第一章绪论 光照变化、目标遮挡、摄像机移动造成的视角转变、目标发生旋转等等，给目标 跟踪带来了巨大困难。以往的很多目标跟踪算法多是以线性系统和噪声满足高斯 分布为前提的，如利用卡尔曼滤波进行跟踪，而实际上当前存在的跟踪系统大多 数都是非线性的，甚至是强非线性的，故不能很好地解决非线性和非高斯问题， 虽然近年来出现了解决非线性非高斯问题的粒子滤波，但算法复杂度大，不利用 实时应用，因此，寻找一个解决非线性系统问题的跟踪算法，并能满足实时性和 稳定性的需要迫在眉睫嵋1 0 。 目前的交通监控系统，一方面由于智能监控系统不能达到实际使用需求，另 一方面，价格低廉，大多处于非自动化和智能化的状态，大多数还是模拟式监控 系统，少数数字监控系统提供的功能也很简单，仅仅是多画面显示以及录像存储 到硬盘等。随着交通城市化演进带来的应用需求，以及计算机视觉、图像处理、 人工智能、模式识别等学科领域的发展所提供的技术支撑，交通监控系统智能化 越来越得到国内外学术界及相关工业部门的关注，并被提上了日程。该系统的核 心技术朝着如下方向发展：不仅能对进入交通监控场景的运动目标实时检测、识 别、跟踪，而且能够对运动目标当前的行为状态进行实时智能化分析，以此达到 自动判断目标的合法性和行为的异常性。那么智能交通监控系统主要有以下两方 面的应用： ( 1 ) 交通监视：在一个复杂繁忙环境中对人和车辆等运动目标进行实时的观 察，检测、识别、跟踪，并能正确的分析它们的行为并能准确的描述， 有效进行身份识别或异常检测。 ( 2 ) 交通事件检测：包括交通流量检测、拥塞控制、车辆换道、避障、逆行、 超速、慢速、停车等交通事件检测。 综上所述，理想的智能交通监控系统具有重大的应用价值，它给交通系统带 来变革，使其智能化、自动化。可以减少人力、物力、财力。那么，研究其中的 关键技术( 涉及目标检测、识别、跟踪、行为分析理解等) 具有重要的现实意义。 1 2 国内外研究现状 交通智能监控系统作为一种视频监控系统，它是计算机网络、计算机控制、 人工智能、多媒体等多学科科学技术的综合。在过去的五十年里，视频监控系统 经历了从低级到高级的三代发展历程n ：第一代模拟视频监控系统，第二代数字 视频监控系统，第三代分布式视频监控系统。 第一代模拟视频监控系统( 1 9 6 0 1 9 8 0 ) ：模拟视频监控系统采用同轴电缆 将采集到的实时监控信息传输到监视器，依靠人工对场景进行分析判断。主要特 点是：传输占用带宽大；人员易疲劳而产生误判；对大量存储的的视频资料检索 2 硕士学位论文 第一章绪论 和查询不方便：无法与报警系统联动和对前端控制。 第二代数字监控系统( 1 9 8 0 2 0 0 0 ) ：依靠m o t i o nj p e g 、h 2 6 3 、m p e g 等多媒 体数字图像压缩技术将视频数据数字化，并采用混合模数或全数字视频传输处理 技术节省带宽资源。此类系统将视频信息数字化并传输，视频数据占用存储空问 小，方便建立视频数据库索引对视频进行检索查询；传输不易受信号衰减影响， 抗十扰能力强，且可加密传输；可利用数字图像处理技术进行视频分析，提取 出感兴趣的视频内容，有利于异常检测并及时报警。 第三代分布式智能监控系统( 2 0 0 0 一) ：利用高性能的嵌入式终端完成视频 的自动分析处理，依靠计算机网络、移动通信网络和多媒体通信网络对视频信息 进行传输，将有利用价值的信息传输到监控中心，实现监控的自动化、智能化。 此类系统的主要特点是：传输处理速度更加快速、监控更加智能化；随着计算机 网络，移动通信网络的发展，此类监控系统可进行无限扩展，形成复杂庞大、功 能更加齐全的监控网络，监控距离长、范围大。 视频监控系统发展到今天，可以说向着具备智能化特点的准四代迈进，鉴于 其广阔的研究和应用前景，己引起许多国家的高度重视，投入了巨大的人力毒财 力、物力，它们分别丌展了以智能视频监控系统为核心的应用技术研究，例如， 美国国防高级研究项目署( ( d a r p a ) 在1 9 9 7 年设立了以卡内基梅隆大学为首、麻省 理工学院等高校参与的视觉监控重大项目v s a m ，主要研究用于战场及普通民用场 景进行监控的自动视频理解技术。此外，2 0 0 4 年由欧盟出资启动，雷丁大学与法 国i n r i a 等研究机构联合实施的机场智能监控项目a v i t r a c ，研究能够对停机坪场 景进行目标跟踪和异常行为监控与报警的智能系统解决方案。智能监控同时也成 为许多国际会议关注的重要议题，已经有很多关于视觉监视系统的论著。例如 o l s o n 等提出了一种通用的物体运动检测和事件识别系统2 。；w r e n 等开发了一个 利用颜色和形状信息对大视角范围内的人进行跟踪的实时系统3 j ；c o l l i n s 等介绍 了由c m u 和s 锄o f 硷司合作研究的一种视觉监视系统n 4 。1 5 3 ；它使用多个相互协作 的摄像机在复杂环境罩对人和车进行连续的跟踪，并对目标类别和行为进行分 析；h a r i t a o g l u 等开发的4 系统n 6 1 是一个可以在室外对人进行实时检测和跟踪的 视觉监视系统，它将外形分析与跟踪技术相结合来跟踪人体各个部分的位置并为 人的外形建立模型；c o i f m a n 等人n 7 1 建立了一个基于视频图像处理系统的交通监 控系统。这一方面的研究工作还有很多，研究要解决的重点问题是如何准确的实 现对目标的分割和跟踪n 铲旧1 ，如何分割和跟踪目标并对所跟踪目标的运动轨迹进 行判定，t a i 等人乜们研究了一个用于交通事故检测的视频监视系统，能够自动检 测运动车辆并对其运动轨迹进行了判定。v i s a t r a m 心系统能够对各个车道的 车辆行为进行监控，保证交通通畅。h a a g 和n a g e l 心2 1 专f - l 萍t 机动驾驶的车辆跟踪 硕士学位论文 第一章绪论 问题进行了研究。行人行为判定和跟踪对于车辆的安全驾驶以及道路交通管理有 着重要帮助，p a i 等人专门研究了十字路口的行人检测与跟踪以保证驾驶员在十 字路口能够安全驾驶心引，m a s o u d 通过对道路行人行为的跟踪以实现对行人的计 数幢4 1 ，为道路交通管理提供信息。 目前，国际上已经有一些公司面向市场应用需求推出了自主研发的智能视频 监控相关产品，实现了异常行为的检测功能。如法国的c i t i l o g 公司针对隧道、 高速公路和城市交通路口等不同场景，推出了一个视频事件检测系统，将此系统 应用于智能交通领域，实现交通拥堵，停驶车辆，逆行车辆，慢行车辆等事件的 检测；美国的v i d i e n t 、o b j e c t v i d e o 公司、以色y t j m a t e 、l o i m a g e 、n i c e v i s i o n 公司， 它们的监控产品或视频分析系统涉及移动物体检测、遗留物体检测、周边入侵检 测以及定向运动检测等内容，并能够统计场景中出现的行人、车辆或其它目标的 数目，查找目标聚集，密度大的区域。 在中国，智能化监控技术研发和市场推广都较为滞后，很多视频监控产品仍 然停留在非智能范畴，处于第二代数字视频监控、或第三代分布式视频监控阶段。 随着视频监控智能化需求的发展，国内也有公司开始智能视频分析的研究，并推 出其智能监控产品，但由于自主研发能力有限，在自主创新的基础上引进国外成 熟技术。比如汉王科技公司与以色y o m a t e 公司合作推出的视频检测嵌入式产品， 对徘徊、越界、消失、遗留、定向运动等多种行为进行检测。目前，国内也有很 多研究机构开始了智能监控相关的研究，如中科院自动化研究所、清华大学、上 海交通大学等单位，其中中科院自动化所模式识别国家重点试验室视觉监控小组 在以往的研究经验和理论研究基础上，自主设计了一个交通监控原型系统，初步 实现了对交通场景下的车辆进行检测、定位和跟踪，同时经过动作分析进行语义 解释，然后转换为语音进行提示警告，例如对在车辆逆行或闯入非法区域时，系 统自动发出准确的语音报警。 1 3 论文的主要研究内容及研究目标 本文主要围绕智能交通监控系统中运动目标自动检测、分类、运动目标自动 跟踪、以及基于轨迹分析的运动目标行为识别等技术，研究相关内容存在的问题， 目标检测 目标跟踪轨迹获取行为识别 图1 - 2 交通监控系统目标跟踪与行为识别结构图 4 硕十学位论文 第一章绪论 以实际应用为目标，提出切实可行的改进算法。论文的主要研究内容如图卜2 所 示，主要研究方法包括以下几点： ( 1 ) 通过深入分析现有几种背景建模的特点，针对单一背景模型存在模型进 行背景建模存在高误检率，光照敏感，动态场景鲁棒性差等问题，本文提出一种 混合背景模型，将局部二值模式( l b p ) 扩展为具有时空特性的中心对称局部二 值模式( s t c s l b p ) 提取图像纹理信息，采用类似高斯混合模型的方法对图像中的 每一个像素点维持一个分布，进行目标检测，然后与利用无偏卡尔曼滤波器( u k f ) 进行背景提取的目标检测算法进行融合，最后通过一种快速目标检测法降低融合 后算法的运算量，检测出运动目标。一 ( 2 ) 提出利用混合b o o s t i n g 算法根据目标信息和背景信息选择特征，建立 特征排序分类器，并在跟踪的过程中不断自适应更新。采用卡尔曼滤波对目标区 域进行粗预测，然后利用排序分类器结合m e a n s h i f t 算法完成目标的精确跟踪。 该算法可以根据不同的目标和背景信，g ，自适应的进行特征选择，对于场景中存 在光照、干扰、遮挡等情况，依然可以对目标进行实时有效的跟踪。 ( 3 ) 在检测和跟踪的基础上，提出了一种交通场景下行人的轨迹分析方法， z 利用轨迹分析法识别行人的行为。首先提取轨迹的方向特征，利用动态时问归正 技术和方向特征进行轨迹相似性度量，然后进行行为模式学习，将轨迹粗聚类形 成行为的参考轨迹序列，最后将动态时问归j 下技术和k 近邻算法结合，用于将 待识别行为的轨迹与参考轨迹序列进行匹配，达到分析运动目标前行、左转、右 转的目的。此种方法在判断行人是否闯红灯、违章左转，右转等具有一定的借鉴 作用。 1 4 论文的结构安排 论文共分六个章节，各章节的安排如下： 第l 章为绪论，主要介绍了基于图像分析的智能交通视频监控系统的研究意 义以及涉及的关键技术，概括了国内外相关技术和产品的研究发展现状，最后对 论文研究目标、研究内容及论文结构安排进行了说明。 第2 章研究了能够应用于交通环境下的运动目标检测方法，介绍并分析了 常用的背景模型的优缺点，提出了一种混合背景模型，并给出了具体的背景构建 和目标检测算法。 第3 章研究了运动目标的跟踪方法，提出采用混合b o o s t i n g 算法进行特征 选择，卡拉曼滤波粗预测，m e a n s h i f t 精确跟踪的目标跟踪算法。该算法能在 跟踪过程中进行特征更新，对于存在遮挡、形变、光照变化等干扰情况下，可以 做到稳定跟踪。 5 硕十学位论文 第一章绪论 第4 章对于检测和跟踪到的目标，首先去除小的噪声点和非目标区域，然 后给出了单目标和多目标的中心定位方法，利用目标的中心正确的获取运动轨 迹。 第5 章提出基于轨迹分析的目标行为识别方法，首先进行行为模式学习， 利用轨迹的方向特性进行聚类，获得参考模式的轨迹序列，然后利用动念时间归 j 下技术和k 近邻算法识别目标的运动行为。将此方法用于十字路口或者t 型路口， 目标的前行、左转、右转、u 型转等具体行为的识别。 第6 章对论文的研究内容进行了总结，并对当前存在的问题和有待进一步 研究和解决的问题进行了分析与展望。 6 硕士学位论文 第二章运动目标检测 2 1 概述 第二章运动目标检测 所谓运动目标检测，是指在具有时间连续性的图像序列中将变化区域从复杂 背景中检测并提取出来乜5 侧，处于智能监控系统的最底层，是后续处理目标跟踪、 行为识别理解的基础。因为以后的处理过程仅仅考虑图像中对应于运动区域的像 素，既运动的目标，所以目标检测在目标运动分析中非常重要。然而，监控场景 的复杂性带来了很多外界因素( 如天气、光照，树叶摇动等) ，给运动目标检测 带来了不利影n 向，人们希望能够设计出不受外界条件影响的检测算法，目前常用 的运动目标检测方法有：相邻帧差法位7 1 、背景减除法幢8 侧、光流法0 l 。 ( 1 ) 相邻帧差法 相邻帧差法又称时问差分法，其思想是通过利用连续两帧或几帧图像的差异 性对目标进行检测和提取，如v s a m 采用一种将自适应背景相减与三帧差分相结 合的混合目标检测算法，能够快速有效地从背景中提取出运动目标。相邻帧差法 首先计算差分图像，然后通过对差分图像进行二值化处理、连通性分析以确定运 动目标所在的区域，如图2 1 所示， 图2 - i 基于帧间差分的目标检测算法流程图 由于相邻帧之问的间隔时间较短，相邻帧差目标检测算法对于动态变化具有 一定的鲁棒性，具有较强的环境自适应型，且算法简单，实时性较好。但该方法 不能完全提取出所有相关的特征像素点，当相邻帧图像提取出的特征比较接近 时，检测出的结果内部出现空洞；当目标以较快速度运动时，致使目标沿着速度 方向拉伸；当背景发生运动时，需要对摄像机引起的背景移动进行运动补偿。 ( 2 ) 背景减除法 背景减除方法是当前运动目标检测最为常用的方法，它采用的思想是利用当 前图像与实时获取的背景图像相减，将与背景偏离超出一定阈值的区域作为运动 目标区域，获得目标的大小、位置，形状等信息，对于摄像机静止的情况，该方 法是一种非常实用的方法。其主要工作过程如图2 2 所示，对背景图像和当前图 像做差，对差分图像二值化，然后做连通性分析，当某一连通区域的面积( 象素 7 硕士学位论文 第二章运动目标检测 数) 大于一定的阈值，才认为检测到目标。 图2 - 2 基于背景相减的g l 标检测算法流程图 在交通场景下，背景减除法的关键是克服各种因素的干扰( 如光照、扰动、 物体干扰、影子等) ，准确获取背景模型以及实时更新，最简单的背景模型是时 间平均图像。例如，前文的4 系统中利用最小、最大强度值和最大时间差分值 为图像中的每个像素进行统计建模，并且进行周期性的背景更新；m c k e n n a 等将 像素色彩和梯度信息相结合形成自适应背景模型来解决影子和不可靠色彩线索 对于目标检测的影响；k a r m a n n 等人采用基于卡尔曼滤波的自适应背景提取模型 口”用来克服天气和光线随时问变化的影响；h o r p r a s e r t 等首先建立了一个亮度 与色度变化的彩色空间模型2 l ，并采用此模型区分高亮、阴影、普通背景和目标 前景，然后利用自适应阈值对像素点进行分类；当前一种较好的背景建模方法是 混合高斯背景模型口3 删，它在判断像素点是否符合已经形成的像素分布的基础 上，将像素点分类为前景或背景，并对模型参数更新，该方法能够光照变化、背 景混乱干扰，场景的持续性变化。 与相邻帧差法相比，背景减除法由于背景相对稳定，并能及时更新，减少了 目标运动过程中本身的影响，可以提取出比较精确的目标图像。但在动态场景中， 对光照突变、背景扰动、外来物体的干扰等特别敏感。 ( 3 ) 光流法 当物体在运动时，它在图像上对应点的亮度模式也在运动，这种图像亮度模 式的表观运动就是光流。在空间中，运动可以用运动场描述，而在一个图像平面 上，目标的运动往往体现为图像序列中不同图像灰度的分布，空间中的运动场转 移到图像平面上就表示为光流场，光流场反映了图像上每一点灰度的变化趋势。 采用光流方法副进行目标检测利用了运动目标随时间变化的光流特性，实质上是 通过光流场近似计算图像序列中不能直接得到的运动场，根据运动场的特征，对 目标进行检测。 光流法检测运动目标的基本问题是光流场的计算，建立约束方程并求解，假 设e ( x ，y ，f ) 为( x ，y ) 点在时刻f 的灰度( 亮度) 。设t + d t 时刻该点运动到 硕士学位论文第二章运动目标检测 ( x + 出，y + 咖) 点，它的灰度为e ( x + d x ，y + 咖，t + d t ) 。由于对应的是同一个点， 可以认为： e ( x , y ，t ) = e ( 工+ d x , y + d y ，t + d t ) ( 2 1 ) 将上式右边做泰锄展开，并令出j 0 ，则得到光流基本约束方程。： 一o e “+ 丝v + 丝：0 ( 2 2 ) “十一v 十= l z zj a x 砖8 t 其中，“：譬，y ：掣，光流法的主要任务就是通过求解光流约束方程得到“，y ， 但是由于只有一个方程，不能求解出甜，v ，故需要其他约束条件，h o r n 和s c h u n c k 根据同一运动物体引起的光流场应是连续的，平滑的，而提出了如下的约束条件： 巨= 叫( 削荆削笥p 陋3 ， 计算使得e 。尽可能小，从而求出“，v 。 光流法的最大优点是，可用于摄像机运动情况下的目标检测，而且它不需要 预先知道场景的任何信息即能检测出独立运动的目标，但大多数光流法计算复杂 度大，需要有先进的硬件设备支持，j j 可以实现运动目标的实时检测。 当然还有其他的运动目标检测算法。如近年来，涌现出了很多效果较好的背 景提取算法，m a r k o 和m a t t 提出基于纹理的方法m 引，能同时适应光照的局部变化 和全局变化，而且对于含有树叶摇动，水波晃动等也有很好的鲁棒性，但这种方 法是一种基于局部区域的方法，使得在边缘处含有太多的背景。采用u k f 建模的 实时目标检测算法b 7 3 能够快速的跟踪光线变化和背景状态变化，背景物体变化， 但在复杂的动态场景下，仍然不能达到理想的效果。最近，又有学者提出将多种 模型组合进行背景建模。粥3 邮取得了较好的效果。 总得来说，相邻帧差法容易产生空洞现象，且无法检测短暂停止的运动目标； 背景减除法则根据当前图像与背景图像的差分来检测目标，其主要缺点是对场景 中的各种干扰比较敏感，而且建立背景模型和更新背景模型本身就是比较复杂的 难点；光流法具有时间开销大，抗噪能力不强，无法有效的应用于复杂背景场合； 近年来出现的很多新的目标检测算法在遇到光照变化、背景扰动，物体干扰等外 在因素时，也不能获得理想的目标检测效果，同时对于阴影去除仍然是个难点。 鉴于上述问题，本文提出一种新的目标检测算法应用于智能交通监控系统中。 2 2 采用混合模型的运动目标分割 本节提出种新的混合目标检测模型，首先利用前后帧关系，将中心对称的 9 硕士学位论文 第二章运动目标检测 l b p 纹理信息扩展为具有时空特性的纹理信息( s t c s l b p ) ，构建s t c s l b p 直方图， 采用分析直方图来实现背景提取和目标检测。然后将此s t c s l b p 背景模型与基于 u k f 背景建模的目标检测方法相融合，并利用融合策略消除漏接和误检。运用快 速检测法将像素分类为前景或背景。最后利用检测过程中提取的纹理特征，阴影 和背景具有相似的纹理特征来去除阴影。 2 2 1 基于时空中心对称局部二值模式的目标检测 2 2 1 1 时空中心对称局部二值模式 局部二值模式n 们( 1 0 c a lb i n a r yp a t t e r n ，简称l b p ) 是一种分析图像纹理 特征的算子，可以很好地用来提取图像纹理特征，它利用像素与其周围像素之间 的灰度关系来对图像进行编码，其最大的特点是能适应光照变化。但是在使用l