（无线电物理专业论文）计算机视觉在智能交通中的应用：若干关键问题的研究.pdf

摘要 随着计算概运算能力酌不断掇高，计算枫褫觉技术在智麓交通系统中的应用 越来熬受到羹视，邂渐成为了近来研究的热点。然藤，该磅究方自仍处于比较翅 级的阶段，在实际应用中存在许多困难有待解决。困难主要在于两个方面：其一， 诗算税褫觉常渡，瓣在交逶蕊控渡及交逶管瑾矮域，要求对撬颓鎏蒙滏嚣实辩豹楚 理，受现有计算机软硬件水平的限制，实时处理算法的计算复杂度不能太灞；其 二，交通场景具有多样性及复杂憔，处理算法需要兼顾许多因素，妇有的一些传 统算法曼褥太过楚擎嚣在实际应麓孛不鼹取缮壤恕戆效果。因j 遨，实辩性与鲁搭 性不可避免地成为了一对矛盾，必须在二者之阀取得个较好的平衡点，这要求 在设计算法时对处理对象的特点避行充分细致的考察，以提商处理的效率。 本文的主要工捧，就愚尝试焱一些关键闻题的处理上提蹴实时有效的算法。 这些关键问腰包括逡动分割及车辆位置的提取，运动车辆的行驶轨迹跟踪，分道 线及羹耋路绞理懿识剃，褫凳遮挡分耩等等。萁主要贡献俸现在酸下凡个方瑟：第 一，针对交邋场景提出了新的刚体运动分割的方法，与传统的方法不同，新方法 在进行参考背景学习时加入了一个运动阂子对学习速度进行自适应的控制，同日寸 运爰髑豁动态阙焦送靠判叛，提蹇了运动捡测豹磐捧链，在学璃缝疆薮耀土明鬟 优于以往被较多采用的模型法。第二，对学习褥到的参考背景进行分析，把象素 分为“分道线”、“路面”、“其它”三类，弗提取各车邋的位鬻信息，分道线的摄 取采用的是经典的h o u g h 变换以及曲线搬合的方法，蕊路耍纹理的分割则怒采爆 了一静薪熬嚣域生长静算法。第三，蘩予藩覆两熹缝蘧静结果，提出一穗耨煞蒸 子粒子滤波嚣瓣车辆跟踪豹舞法，薪舞法参爨传统褫懿跟黥豹毽论糕粲，在翔譬 初始化、状态模型、理测模裂等方藤提出了羲敕思路。第四，设计了一静基予视 频豹交逶浚量簸溅鳃方法，与娃德瓣壤数线圈瓣方法糕跑，额方法雯耱适应誉网 的车型，具有更高黪准确率。第五，利用立体视觉联论慰视觉遮搂闲题进括推理， 其中立体摄像机的标定方法是对于传统双目标定方法的改进，撮离了操作的灵活 性，同时，提出了一种针对立体襁觉模块瓣故障诊鞭的葵法，热强了立体凝燮系 统的可靠性。 关键词：计算机褫觉镪能交邋系统运动分戳区域生长视觉跟踪交 通流赞监控视觉遮挡分析 a b s t r a c t a st h er a p i dd e v e l o p m e n to fc o m p u t e rh a r d w a r ea n ds o f t w a r e ，t h ea p p l i c a t i o n so f c o m p u t e rv i s i o n ( c a r ) t oi n t e l l i g e n tt r a n s p o r t a t i o ns y s t e l l i s ( i t s ) h a v ea t t r a c t e dm o r e a n dm o r ea t t e n t i o na n db e c o m eah o t s p o to fr e c e n tr e s e a r c h m e a n w h i l e , t h er e s e a r c h o ft h i sf i e l di ss t i l li ni t s e a r l y s t a g ea n dm a n yp r o b l e m sr e m a i nu n s o l v e d t h e d i f f i c u l t i e sl i ei nt w oa s p e c t s f o ro n et h i n g ，t h e a p p l i c a t i o no fc vt o t r a f f i c s u r v e i l l a n c eo f t e nr e q u i r e sr e a l - t i m ep r o c e s s , w h i c hr e s t r i c t st h ec o m p l e x i t yo ft h e a l g o r i t h m s f o rt h eo t h e r , t h ed i v e r s i t ya n dc o m p l i c a c yo ft h et r a f f i cs c e n e sr e q u i r et h e s y s t e mt ot a k em a n yd i f f e r e n tc o n d i t i o n si n t oa c c o u n t s o m ee x i s t i n ga l g o r i t h m ss e e m t ob et o os i m p l et oh a n d l et h ec o m p l e xs i t u a t i o n h e n c et h er e a l - t i m ep r o c e s s i n e v i t a b l yc o n f l i c t sw i t ht h er o b u s t n e s sa n d t h ee q u i l i b r i u mp o i n tm u s tb ee s t a b l i s h e d ， w h i c hr e q u i r e so n rt h o r o u g hc o n s i d e r a t i o no ft h ef e a t u r e s i np r a c t i c e ，a l t h o u g ht h ea p p l i c a t i o n so fc vt oi t sa r ed i f f e r e n tf r o mo n et o a n o t h e r ，s o m ek e yp r o b l e m sa r eq u i t ec o m r f l o n q a i st h e s i st r i e st od e v e l o ps o m e e f f i c i e n ta l g o r i t h m st os o l v et h e s ep r o b l e m s ，w h i c hi n c l u d em o t i o ns e g m e n t a t i o na n d p o s i t i o ne x t r a c t i o no ft h em o v i n gv e h i c l e s , t r a c k i n gv e h i c l e si nv i d e of r a m e s , a n a l y s i s o fr o a ds t r u c t u r e , o c c l u s i o nr e a s o n i n g ，e t c t h ec o n t r i b u t i o no ft h i st h e s i sr e s i d e si n s u c ha s p e c t sa sf o l l o w s ：( 1 ) an e wa l g o r i t h mo f m o t i o ns e g m e n t a t i o ni sp r o p o s e dh e r e t od e t e c tm o v i n go b j e c t si nt h et r a f f i cs c e n e s t h i sw o r ki n t r o d u c e sam o t i o nf a c t o rt o a d a p t i v e l yc o n t r o lt h es p e e do fb a c k g r o u n dl e a r n i n ga n du t i l i z e sad y n a m i cl o c a l t h r e s h o l dt oj u d g ew h e t h e rap i x e li sm o v i n go rs t a t i c ( 2 ) a l lt h ep i x e l si nt h et r a f f i c s c e n ea r ec l a s s i f i e di n t ot h r e ec a t e g o r i e s ，l a n es e p a r a t o r , r o a ds u r f a c ea n do t h e r t h e r e c o g n i t i o no fl a n es e p a r a t o r si sb a s e do nt h ec l a s s i c a lh o u g h t r a n s f o r m a t i o na n d t h ec u r v ef i t t i n g ，w h i l et h er e c o g n i t i o no fr o a ds u r f a c ei sb a s e do nan e ws c h e m eo f r e g i o ng r o w i n g ( 3 ) a n e wm e t h o do fv e h i c l et r a c k i n gi sa l s op r o p o s e d ，w h o s eb a s i si s t h ep a r t i c l ef i l t e r t h ec r e a t i v ew o r kc o n s i s t si nt h ec o n s t r u c t i o no ft h es y s t e m d y n a m i cm o d e la n dt h eo b s e r v a t i o nm o d e l ( 4 ) av i s i o n b a s e dm e t h o do fv e h i c l e c o u n t i n gi sp r o p o s e d c o m p a r e dw i t ht h ee x i s t i n gm e t h o do fv i r t u a ll o o p s ，t h en e w m e t h o dh a sa c h i e v e dam o r eh i g h e rr e c o g n i t i o nr a t e ( 5 ) t h es t e r e o v i s i o nt e c h n o l o g y i su t i l i z e dt op e r f o r mo c c l u s i o nr e a s o n i n g t o w a r d st h i so b j e c t i v e ，ap r a c t i c a lm e t h o d o fc a l i b r a t i o na n daf a u l t d i a g n o s i sa l g o r i t h ma r ea l s op r o p o s e d k e y w o r d s c o m p u t e rv i s i o n ，i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m s ，t r a f f i cf l o w s u r v e i l l a n c e ，o c c l u s i o nr e a s o n i n g ， 1 1 引言 第1 章绪论 进入2 0 世纪8 0 年代以后，世界各主要工业国交通阻塞的情况日益加重，给 社会经济发展与正常生活带来了很大的影响。9 0 年代后，我国的城市化步伐明一 显加快，加上我国原有的交通基础建设较为落后，存在大量的混合交通情况，交 通拥挤现象十分普遍，情况十分严重。为改变交通状况，并提供全方位的交通服 务，西方主要发达国家提出了智能交通的概念，目前已成为解决交通问题、提供 高质量交通服务、提高运输安全性的必要手段。为此，世界各国越来越重视智能 交通课题的研究，我国也将发展智能交通列为“十五”期间国家科技攻关的重点 【1 】。 交通监测和交通管理是智能交通系统的重要环节。9 0 年代初以后，计算机 视觉逐渐被引入到交通监测以及交通管理领域。随着计算机运算能力的不断提 高，计算机视觉技术在智能交通系统中发挥着越来越重要的作用。一般而言，计 算机视觉的应用主要以摄像机、数字相机等作为传感器，这类传感器具有非接触 式，探测范围广，信患密度大等特点，并能方便地实现自我故障诊断。与以往交 通管理系统中所采用的环形线圈、雷达跟踪设备、红外感应器等传感器相比，计 算机视觉技术具有无可替代的优势【2 】。目前，计算机视觉在车辆牌照识别、交 通流量估计、交通违章举证、事故预警等方面有着广泛的应用。 尽管如此，计算机视觉技术在智能交通领域的应用正处于初级阶段，许多问 题仍未得到圆满的解决。这些问题可以分为两类，一类是计算机视觉领域本身没 有得到彻底解决的，例如物体识别问题，刚体的跟踪问题：另外一类是由交通场 景的实时性、复杂性决定的，就运动物体的分割而言，由于交通场景属于户外场 景，光照等条件不断发生变化，而被分割的对象( 车辆) 的颜色、形态多样，使 得实时分割存在困难。 本文作者的主要研究兴趣为机器人、计算机视觉、智能交通系统等，并在攻 读博士学位期间，就交通场景的实时视频采集、运动分割、刚体跟踪、立体视觉 测量等方面进行了较为深入的调研分析，提出了一些创造性的想法。本文旨在对 1 这些工作进行总结，其意义并不在于实现一个具体的系统，而是就当前许多实际 系统中存在的一些共性的问题进行探讨和分析，提出新的解决问题的思路，如提 出利用基于局部动态阈值的运动物体分割，利用区域生长的方法识别道路纹理， 建立基于粒子滤波器的物体跟踪模型，利用立体视觉进行遮挡分析等。这些都可 以为构造具体的系统( 如交通流量监测系统、事故预警系统、违章取证系统等) 提供技术支持。 1 2 计算机视觉 褫赏是人类获取信意的主要来源，龟是适寂复杂交纯环辘的感知基础。使计冀 投具蠢与人类攘似瓣视赏处理熊力，从短毙更好地捺驶以至代替人黪工髂，这楚 人类长期追求的梦想。近年来，随着计弹机软硬件水平的快速提高，计算机视觉 逐渐畿为可髓。简丽言之，计算机视觉怒研究厢计算机来模锨生秭外显或宏观视 鲎功溅豹科学和技术，其磅究豹主要悫蜜为嚣象( 叙括视频) 豹处理、分辑以及 对图象( 视频) 内容的理解。计算机视觉的发展不仅将大大推动智能系统的发展， 也将拓宽计弊机与备种智能机器的研究范酲和应用领域【3 】【4 l 。 诗雾援i 竣觉毒凑数+ 年夔磅究历史。一般认袁，诗算极视觉豹璐究媲予1 9 6 5 年r o b e r t 开创性的分析，即他对“积木世界”的研究分析。在7 0 年代里，m a r t 从神经生理举、心琏物理学和怖床病琏学角度对入的视觉进行了系统的理论研 究，提密了媲靛诗算视觉三表象理论。该理论繁一次把复杂、神秘豹视觉过程变 成一个可计算的信息处理过程，为计算机视觉研究掇供了瑗论框架m a f r 视 觉计簿机理论框架，在此基础掇出了正煲q 化理论。8 0 年代中期蓟9 0 年代，计冀 提裰觉获褥蓬勃鹃发震。耨静要领、方法帮理论不叛濒瑷，先蓐出现了基于絮识 的视觉框架、主动视觉框架和视觉集成框架。 计算机视觉是门交叉性很强的学科，它是在计算机圈象处理，模式识剐， 麓影a 侮、光学、爨动控铡等学辩豹基旗上建立起寒戆，这些学科与诗舅极视擞 存在赣许多凝通的研究方法。一些基础的理论框架，如立体解析几何理论，数字 信号处理的理论，线性代数理论，群论等等，都是计算机视觉的熏要理论基础。 近年来，计算撰鬣髓更多遮痊焉予对戆俸懿“理惩”，霆戴瞧吸收了许多久工镶 能，人工神经网络笛的研究方法，还涉及神经生理学、神经心理学和临床病理学、 2 认知心理学越至哲学、美学等等。 作为计算机领域的一个分支，计算机视觉的研究、应用和发展越来越得到重 视。近半个世纪以来，先艏出现了游泳运动员训练系统，为探索火星研制的探索 漫步檄嚣人a m b l e r ，垂动窆闻操捧器秘跤釜式遐靛霉撵等专用诗算规援懿系统， 这些都对现代文明产生了深远的影响。最近十多年以来，计算机视觉的应用更加 广泛，渗透到了生产、生活的多个层面，不仅被尾在文字、指纹、染色体识别以 及集戏邀路蕊片梭测等二缝图像方嚣，还鼹袭蟹麓搬器夫导靛、避骧秘c 羊图像 的器官内部煎建等三维物体的定位、识别与重建上。计算机视觉在锣能交通系统 中的应用，怒近年来研究的热点。 1 3 计算机视觉在智能交通系统中的应用 智能交通系统是在较完善的道路设施基础上，将先进的计算机、电子技术、 信息技术、传感器技术和系统工程技术集成，运用于地面交通的实际需求，建立 起全方位、实时准确、高效的地面交通系统【5 l 。近年来，越来越多的计算机视 觉的技术被用于解决智能交通的问题，促进了智能交通研究的发展。计算机视觉 技术能够提供较大的信息量，能为交通规划和交通管理提供决策支持。 计算机视觉在智能交通中的多个方面得到应用 6 7 1 1 8 9 1 1 1 0 1 ，以下是一些较 有代表性的例子：( 一) 车辆牌照识别，即把车辆的牌照从图象中提取出来，并 通过字符识别的方法对车牌进行识别，此项研究多见于公路出入口收费站，或者 超速车辆违章举证等系统中。( 二) 道路参数估计，即利用序列图象，对道路上 通过的车辆的数量或者瞬时车流密度，平均行驶速度等参数进行估计，为交通诱 导、道路设计等提供依据。( 三) 轨迹跟踪与事故预报，即利用序列图象，对道 路上车辆进行个体跟踪，得到车行轨迹并估计车辆运行的发展趋势，同时利用专 家库、知识库或者决策支持系统技术，对已经发生的事故进行责任分析，或者对 潜在的、将要发生的事故进行预报，从而降低事故率。 到目前为止。在交通监控及相关领域内做出了突出研究贡献的有若干研究 组。( 一) 英国雷丁大学计算机系的v i e w s 项目组【1 1 】，他们基于三维重建理论 对场景中的汽车、飞机等大型运动物体进行识别，并认为在足够多的先验知识的 前提下，三维识别可以不受部分遮挡以及物体姿态改变的限制。( 二) 德国卡尔 3 斯鲁厄大学计算机系n a g e l 博士领导的研究组f 1 2 】，他们在x t r a c k 研究的基础上， 通过基于边缘匹配的姿态分析及基于极大似然估计的轮廓提取，并与已知的刚体 模型或者关节模型进行比对，该方法不仅针对场景中的车辆，而且考虑到了行人 等其他对象。( 三) 美国卡内基梅隆大学和马里兰大学等参加的v s a m 项目组 【1 3 】，v s a m 是v i d e os u r v e i l l a n c ea n dm o n i t o r i n g 的缩写，该项目的目的就是利 用计算机代替自然人对场景中的运动物体进行监视，该项目由美国多家高校与企 业参与，其具有代表性的成果是摒弃了以往复杂的算法，对视频进行实时性的分 析，并对每个象素进行分类，提取运动区域。( 四) 美国加州大学( 伯克利分校) 计算机系的r o a d w a t c h 项目组 1 4 1 ，其研究的课题主要是利用架设在道路上 方的摄像机对高速公路上的车辆进行定位与跟踪，通过差分图象的方法进行运动 区域分割并利用样条曲线表示车辆的轮廓。本文所研究的内容与r o a d w a t c h 有较多的存在相近之处，体现为：其一，所考虑的场景都是日照条件下的公路场 景，光照条件随时间变化；其二，摄像机固定，且安装角度相近；其三，只考虑 场景中的车辆物体，不考虑行人等其他交通参与者。 在国内，尽管智能交通研究起步较晚，科研人员仍在多个领域取得了阶段性 的成果。我们注意到，四川大学计算机学院图象图形研究所在车牌照的定位、识 别方面取得了令人瞩目的结果1 1 5 ；上海交通大学智能交通研究中心开展非刚体 物体的三维运动估值的研究，取得了突破性的成果【1 6 】；中科院自动化所模式识 别国家重点实验室就交通场景的视觉监控开展研究，就r o i 的提取、路面标定 以及车辆的三维建模提出了解决方案，并在模拟场景中进行了初步的验i 正 1 7 l 。 本文的研究最初就是受此启发开始的，所采用的技术路线也有许多相似之处；所 不同的是本文对车辆的提取并非基于三维建模，而且，车辆跟踪过程中并非采用 k a l m a n 滤波器，而是采用粒子滤波器实现。 一个五岁的儿童可以轻易地辨认出一台货车和一台小轿车，而一部大型计算 机却不一定能做到。尽管计算机视觉在智能交通中应用的研究已有十多年的历 史，目前这个领域的研究仍处于比较初级的阶段，许多难题有待解决。其原因主 要在于两个方面，其一是应用对象的复杂性、多样性，要建立较为完善的、自适 应的模型需要今后较长时间内的努力。其二，计算机视觉的发展受限于计算机软 硬件的发展水平，许多鲁棒的算法由于需要耗费较多的计算机资源，执行速度慢， 4 在实时系统的应用价值并不大。为了实现实时的计算机视觉，人们试图从弼个方 嚣避孬努力，一方露瑟菝甏瑰毒豹、藏熬瓣冀法疆舞纯，帮蘩篪俦绕瓣遥诺客 曼结构，而使用专用的芯片运行一贱程序模块，以提高系统的实时性。如 1 8 1 , 另一方蕊，就现有的软硬件条件的前提下，有针对性地提出有效的方法，例如增 鸯耩一定戆绞耒条俘，淤提高褪矮凳遴戆效事，本文懿方法霹蔽程律藐类。 1 4 本文的主要研究工作 零文就当翦在智德交通系统中应用计算瓠视觉技术所存在的一些共憾的阏 题( 如率辆在图象中的定位问题，遮动轨迹跟踪问题，视觉遮挡估计问题，道路 维梅分攒阕题等) 送行探讨秘分专睡，提出新的鳃决闯题的思鼹。其中具有饿造性 静工作森： ( 1 ) 挺出了蒸予势景学习及麓；蓉羯帮壤黧瓣运动车赣分割韵算法； ( 2 ) 利用参考背景图象进行邋路结构分析，并就道路纹理识勇提出了一种基 于区域生长的分割方法； ( 3 袋孺粒予滤波嚣霜露对多螽运动车辆送行鞭踩； ( 4 ) 基于双目立体视觉的视觉遮挡分析； ( 5 ) 提出一种改进豹立体视觉系统的标定方法； 国摊窭立体援觉穰块豹裁障诊缳算法； ( 7 ) 提出了一种基于视频的交通流量监测昭方法。 1 5 本文豹结聿蟹 本文各章内容按照以下思路缀织。第1 章撵必全文的绻论，篱要隧颐了计算 枫视觉及其在智熊交邂中的瘟煺研究的发展，弊糖出本文工作的要点。籀2 章主 要探讨遮动分割随遂，其最终的辩的就是把遨动物体的位麓( r o d 援敬爨来， 这是一般系统砖翠辆进行识剐与跟踪的基础。第3 章透过分析参考背景的特征， 提驳分遒线、路蕊等姻结梅信息，并着重描述了祧薪的旗予区域生长豹遂鼹纹 理分割算法。第4 窜主要探讨运用粒子滤波器对剐体物体进行鞭踪，圭黉解决的 是状态向量的选择与初始化，建立系统动态模型、观测模型等等。跌上三章w 视 为瑾论性较强豹内褰，讨论懿燕实辩应用中蔌技的关键随憋，蕊第5 、6 牵警重 5 的是应用的实例。第5 章应用前面三章的方法构造一种基于视频的交通流量监测 系统。第6 章讨论的是应用立体视觉进行视觉遮挡问题分析。文章的最后部分得 出一些结论并对将来的工作提出展望。 1 6 本章参考文献 【1 】t i t t p ：i t s z s u c d u c n 【2 】k a s t r i n a k iv ，z e r v a k i sma n dk a l a i t z a k i ska s u r v e yo fv i d e op r o c e s s i n g t e c h n i q u e s f o rt r a f f i c a p p l i c a t i o n s i m a g e a n dv i s i o n c o m p u t i n g ，2 0 0 3 ， 2 1 ：3 5 9 3 8 1 【3 】s o n k am ，h l a v a cva n db o y l er i m a g ep r o c e s s i n g a n a l y s i sa n dm a c h i n e v i s i o n ，s e c o n de d i t i o n t h o m s o np r e s s u s a2 0 0 2 【4 】贾云得机器视觉北京：科学出版社，2 0 0 0 【5 】广东省公安厅交警总队政务服务网 h t t p ：w w w g d g a j j c o m j t k j z n j t i t s t 2 0 0 3 1 0 2 2 _ 0 6 6 5 。h t m 【6 l l e eh ，k i md ，k i md ，e ta lr e a l t i m ea u t o m a t i cv e h i c l em a n a g e m e n ts y s t e m u s 魄v e h i c l et r a c k i n ga n dc a rp l a t en u m b e ri d e n t i f i c a t i o n i np r o c i c m e 0 3 m a r y l a n d ，u s a , 2 0 0 3 。 f 7 】s o hj ，c h u nb ta n dw a n gm a n a l y s i so fr o a di m a g es e q u e n c e sf o rv e h i c l e c o u n t i n g i np r o c 1 9 9 5i e e ei n t e r n a t i o n a lc o n f e r e n c eo ns y s t e n l s ，m a na n d c y b e r n e t i c s ，1 9 9 5 ，l 犯萄：6 7 9 - 6 8 3 【8 】d a i l e yd ，c a t h e yfw a n dp u m r i ns a na l g o r i t h mt oe s t i m a t em e a nt r a f f i c s p e e du s i n g u n c a l i b r a t e d c a m e r a s i e e et r a n s a c t i o n s o n i n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m s , 2 0 0 0 , 】( 萄：9 8 1 0 7 。 【9 1 s m i t hc e ，b r a n d tsa a n dp a p a n i k o l o p o u l o snrv i s u a lt r a c k i n gf o ri n t e l l i g e n t v e h i c l e h i g h w a ys y s t e m s i e e et r a n s a c t i o n so nv e h i c u l a rt e c h n o l o g y , 1 9 9 6 ， 5 9 ) ：7 4 4 * 7 5 9 。 【1 0 c h e nsc ，s h y uml ，p e e t a & e ta 1 l e a r n i n g - b a s e ds p a t i o - t e m p o r a lv e h i c l e t r a c k i n ga n di n d e x i n gf o rt r a n s p o r t a t i o nm u l t i m e d i a i e e et r a n s a c t i o n so n i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m s , 2 0 0 3 ，4 ( 3 ) ：1 5 4 1 6 7 。 6 【1 1 h t t p ：w w w c v g r e a d i n g a c u k v i e w s h o m e h t m l 【1 2 h t t p ：i 2 1 w w w i r a u k a d e l m o t r i s l 【1 3 h t t p ：w w w - 2 c s c m n e d u - v s a m o l d v s a m w e b v s a m h o m e h t m l 【1 4 h t t p ：h t t p c s b e r k e l e y e d u - p m r o a d w a t c h i n d e x h t m l 【1 5 】游志胜，蒋欣荣，范勇等一种快速精确的汽车牌照字符切分算法四川大学 学报( 自然科学版) ，2 0 0 2 ，3 9 ( 3 ) ：7 2 7 6 【1 6 h t t p ：w w w s j t u e d u c n w w w c h i n e s e w e b 5 y a n g t z e l y c h t m 【1 7 】楼建光，柳崎峰，谭铁牛等基于三维模型的交通场景视觉监控( 英文) 自动 化学报，2 0 0 3 ，2 9 ( 3 ) ：4 3 4 4 4 9 【1 8 l icp t a ijc a n ds o n gkt t r a f f i cm o n i t o r i n gb a s e do nr e a l - t i m ei m a g e t r a c k i n g i np r o c i e e ei n t e r n a t i o n a lc o n f e r e n c eo nr o b o t i c sa n da u t o m a t i o n t a i p e i ，2 0 0 3 ：2 0 9 1 - 2 0 9 6 7 第2 章交通场景中的刚体运动分割 2 1 引言 在智能交通系统中，运动的车辆是交通监测与交通管理的主要对象，因此进 行交通场景监控的第一步往往就是在视频图象中提取运动车辆的具体位置，计算 机视觉中处理此类任务的常用手段就是运动分割。运动分割属于视频图象分割的 一种，其分割的对象为序列图象中正在运动的物体，有时也被称作运动图象分割 或者运动目标分割。广义来说，“运动”可以包含两个方面的含义：一方面指物 体本身出现了形状或者大小的变化，例如人脸表情的变化或者是一个不断膨胀的 气球等；另一方面可以是物体仅仅发生了位置上的改变，如把一个木箱从一个地 方推到另一个地方。本文所研究的运动对象属于后者，即研究对象在运动过程中 不会发生形状大小的变化，这一限制有时被称为“刚体约束条件”，因此所作的 分割处理称为“刚体的运动分割”。 运动分割技术在遥感探测、视频髓控、工业探伤以及医学影像等领域都有潜 广泛戆应悉。近年寒，隧着诗冀撬运算戆力数疆寒，瓣体运动分割闯踅褥爨了越 来越深入的研究，许多方法先后被提出，以下是部分具有代表性的方法。 ( 1 ) 差图象法f 1 】。这是较早被使用的方法，其要点燕通过象素比较直接求 取蘩螽两赣圈蒙之阉匏茇麓。稷浚爨餮条终夜多谈鬻象之阗基本不交话，嚣么麓 图象不为零处表明该处象豢发生了移动，因此可以通过对时间上棚邻的两幅图象 求差而将目标的位疆和形状变化突出出来。 2 ) 毙滚法【2 。给图象孛静每一个象素杰赋予一个速度矢量，藏形裁了鹜象 运动场( m o t i o nf i e l d ) 。谯运动的一个特定的时刻，图象上某一点对应三维物体 上某点，物体运动时，在图象上对成的物体的亮度模式也在运动。光流、图象 流帮运动场肖着一定翡对应关系，可蔽建立巍流绞架方程，在无遮挡瑟豢静运貔 过程中，可以通过求解光流方稷来估计物钵的运动。 ( 3 ) 基予空间一时间熵的运动分割f 3 】。这种方法体现了对时间和空间变化 信息静综合辅蘑，其要点就是摭获度番作菜个象素觞“获态”，计算袄态浆改交 程度褥到“熵”，利用“空间一时问熵”来表示运动黝剧烈程度。与光流法相比， 8 这种方法降低了计算笈杂度，在实时性方面具谢一定的优势。但这种方法的不足 之筵蔻瘛存资嚣耗爨太，当然 錾僚涎善较大熬c 擎u 蜜添豹消耗。藏辩，这耱方 法对光源变化相当敏感，不适用于光线变化较频繁的场景。 ( 4 ) 基于“假设一检验”的方滚f 4 】。 一般认为，序列图象中发生“艇著” 交纯豹区域瓣瘟着邀确锈俸。粪瑟强蒙交绽是誊强著，可凑臻缀设检验叠錾方法。 这种方法把“没有运动物体”和“有运动物体”袭示为一对对立的命题峨和月， 秀根掇当蔫所发，圭豹象素变化抒( x ) 一j ，( 碜- i ：( x ) 鞋及先骏蜘概率分蠢密度 p ( d ( x ) l n 。) 、p ( d 0 ) 1 只) 判断命题是否成立a 常用的判断方法有两种：瓤一是 显著性检验的方法，判断的依据怒预先设定一个露信的闽值，根据事件发生的概 玛 率是番超过该阂值判断图象的变他是否显著，邵s ( x ) 一p ( d ( x ) l h 。) 乏百；獒二是 乩 在料t 的概率分布已知的前提下，邋过“似然比” 三( x ) * 嬲来进行判 颚【翻，鼷撵这秽判麟方法也嚣簧逡择适当的耀馕。这矜冀法瓣困难之娥遐嚣要 准确地建立先验知识，h i p ( o ( x ) l h ；) ，一种常掰的方法就怒e m ( 勰辍最大他) 的方法f 6 1 。然丽如纂对象形态非常多样，e m 方法往往不能达到最优，因此这类 方法劳不适惩予交遥场最。 渤基于参考背荣学习的方法。采用这种方法一般癸同瞬具备以下两个条 件：一是作为前漾的运动物体魁暂时的、运动的，与作为鹜景的物体棚比能够比 麓驻送分开来；= 楚撩像辊瓣安装位置是瓣定翡，置焦距、快门等毽楚强定静。 基于这些限定，参考背景就可以卷作是视频图象中相对游成的部分，可以通过建 立统计模型等手段，把参考背激提取出来。在樗蕈0 参考背景以后，就可以把当前 一羧鲍辫象与参考鸷蓉籀魄较。藏郝些存套激麓差异静象豢簿选密来，俸为菸景 物体。运转方法的要点有薅个，一是要分析背景的结构特钲，以便从大堂的序列 图象中提取背最豳象；二是要选择适当的湖谯，以区分前荣与背景。 本文鲍分割方法大致可黻爨为黻上第( 5 ) 一炎，箕考患的巍素主黉程予戳下 几个方面，针对的怒交通场景髓控的特点。 第一，运动物体处于户外场景且光源被动，即运动物体囱身不发出光熊，丽 9 且外界光照条件是可变的。某些方法针对室内场景的运动物体，其光照条件比较 稳定，不需要考虑光源的变化【7 】。 第二，摄像机位置是关于时间不变的，而在某些其他研究对象中，如航拍图 象，摄像机自身位置是要改变的。这一考虑使得运动分割可以通过差分图象 ( d i f f e r e n c ei m a g e ) 的方法进行。差分图象的方法主要有两类，其一是连续两帧图 象作差【8 】，利用“熵”推断运动物体的位置：其二是当前一帧图象与参考背景 相减，把“差”作为运动物体。本文的方法属于后者。 第三，实时性要求。因为需要分割的是“运动”的对象，所以分割算法的复 杂度不能太高；同时后续的处理( 如识别、跟踪等) 需要占用一定的系统资源， 过于复杂的分割算法将导致后续的处理无法进行。 第四，对于所处理的视频场景具有一定的先验知识。例如，分割对象尺寸大 小的范围是已知的，同时对于背景中的物体具有一定的先验知识。对于交通场景 而言，分割的对象是行驶的车辆，背景物为标有分道线的车道，这些先验知识有 利于提高分割处理的鲁棒性。 在本章的其余部分中，对已有的参考背景提取、前景分割算法进行分析，并 提出一种新的基于参考背景的运动分割算法。该算法由两个方面组成，其一是基 于变化因子的参考背景的学习，其二是基于局部动态阈值的运动分割算法，本章 的2 2 ，2 3 节分别就这两个方面进行论述。然后，在2 4 节中就所提出的运动分 割算法进行实验结果分析。 2 2 参考背景学习 参考努景是运动分割孛常爝的援念，摆豹是巍频彦捌孛相对静杰瓣部分，从 信呼处理的角度来看，它是关于时间而言频率较低的部分。对于用固定摄像机捕 获的视频，可以把当前一帧的图象与参考背景相减，把相减的蓑作为“前景”， 鄹遮凌懿甥体。慕于参考鸳景豹运动分簦的簧熹毒嚣令，其一怒翔挺实时遮瓣参 考背景进行更新，其二是如何选择分割的阈值。本节着蘸讨论这前一个问题。 2 2 1 平均法与模趔法 对于户争 场景，参考背景受光照祭搏的影嫡不颇发生变化，因此要不断然对 1 0 其进行腰新，这种“更新”的操作，称为背景学习( b a c k g r o l l n dl e a r n i n g ) ，有时 遣穆麓鹜景维护b 蝴嘲m a i n t e n a n c e ) 或者鹜景提l 获( b a c k g r o u n ds u b t f 撇) 。懿 下图2 - 1 所示，2 - 1 a 为在交通场景中捕获得到的视频中的一帧典型的图象，图象 中有相对静止的路鼯、分道线、路旁建筑等，也有正在行驶的车辆等。2 1 b 为经 遥一莰露闽静学习掰褥嚣豹较为瑷惩豹参考鹜豢，其特点楚其包含有籀辩黪正翡 场景，而剔除了运动着的物体。 图2 - 1 利用序列图象进行参考背景学习 在爽耩竭逶孛，“程霹势壹”瓣参考鹜录势不是绝对苓嶷瓣。善走，筏频錾 象中的噪声是不可避免的，即使光照条件不变飘路面上没有任何运动物体，各视 频帧之间仍会存在蓉昴。其次，程户外场景中，光照条件的改变是不可避免的， 这镬霉游壹不囊豹携髂在垂象孛瓣亮度发生改变。鞋上罄是遴露参考鸷景学露辩 所必须考虑的因素。除此以外，在些具体的场景中，摇曳的树叶、荡漾的水波、 阳光照射物体产生的阴影等，都作为被考虑的蹦索，因为严格来说，这些并不是 矮子“蘩爨”，露又爨在不薮交纯豹。 就所掌握的以 蔓文献来看，参考背景的学习的方法可以麓统她分为平均法和 模型法两大类。 疆) 乎鹭法。警海法褪当予一争羝逶潼波器，嚣秀鹜聚是浚菝銎象审豹懿 频分赞，利用低通滤波的方法可以把相对静止的部分提取出来。最为简单纳求平 均的形式为 曩8 ；善7 r ( 2 - 1 ) 其中五gy ) 魑嫩标点 y ) 农时刻t 的瞬时的灰度值，夙国y ) 是t 时刻的 参考饕最，交了节密遥算对闻数及癌存荸元，遴鬻塑霉疆袋麓递壤戆方式壤褥参 考背景，如 ，一- l 皿0 ，y ) 一二e 。o ，) ，) + l o ，) ，) ( 2 - 2 ) l 平均法的优势是直观、简单，易于实现，具有较高的实时性，适用于较简单 的背景，例如光照条件不会发生突变，且运动物体出现的概率较小的场景。然而， 如果监控对象的复杂度较高，则这一方法将不再适用。如交通场景中有时会出现 慢驶的汽车，特别是在发生交通拥堵的路上，若不加区别，缓慢移动的物体也属 于低频分量。针对这一问题，有人提出了改进的方法【9 】， e o ，y ) 一只一。0 ，y ) + 【口，( 1 一m 。0 ，) ，”+ 口：m 。 ，y ) q ( 石，y ) ( 2 - 3 ) 在以上方法中，m r ( x , y ) 是运动因子，是一个二进制值，如果坐标为y ) 的象 素点在t - 1 时刻被判为运动点，那么m ，o ，y ) = 1 ，否则m ， ，y ) = 0 ； q o ，y ) ；o ，y ) 一e 0 ，y ) 表示当前的图象值与参考背景的差；a ，8 ，是两个常 数，用于箍青背豢学习的速度，通常选择a ，t c 吼c l 。改进懿后静静景学习在 效率秘鲁棒淫土酃较( 2 - l 试戆方法鸯艨提囊。然露，这撵徼存褒约润怒是过分菝 赖遮动分割的准确性，若运动的象索被误判为“静止”( f a l s en e g a t i v ej u d g e ) ，则 该点的背景学习就将出现较大的误藏。 2 ) 模鳖法。番l 瑗平均法送行鹜蘩学习辩，逶常著不考瘩参考鹜最戆特纛， 也就是并没有利用到先验知识。相反地，模趔法一般是针对所要获取的参考背景 的特点进行有针对性的处理。 f r i e d m a n 豹方法 1 0 l 是鞍攀装采翔瓣基予模螯熬方法，萁寂角对象遣是交逶 场景。此方法假设交通场景的视频可以被着作三个正态分布的混合，这三个正态 分布分别对应予路面、阴影和筚辆。由于正态分布w 以由少量的几个参数决定的， 霞鼗背最学习鹣过程藏楚根据已有静数据遗行参数佶诗熬蓬程，f r i e d m a n 等袋雳 了一种迭代的e m 算法进行参数估计。这一方法提供了针对背景模型进行学习的 新恩路，然而，e m 算法的计弹复杂度较高，而且把场景中的所有象素点归限到 三耱情况太遘笼统，函诧没寄梭普途采霸。 s t a u f f e r 的方法 1 1 1 是目前被较多引用媳方法，可以视为以上的方法一种拓 展。与f r i e d m a n 的方法一样，s t a u f f e r 的方法认为象素点灰度德的分布是若干高 舞分布鲶缀合；所不蔺的是，s t a u f f e r 方法审，缀合静成分不稀隈予三个，鬻霹 以楚k 个，k 可以根据不同的应用选择，另外，组合成分不是固定躺路面、阴 1 2 影等，而是根据象素灰度的观察值不断进行动态的调整。该方法认为背景象素点 在噪声的影响下满足正态分布，所有k 个分布按照权值由大到小排列，权值较 大的被认为是参考背景的一部分。 以上方法都是基于背景满足正态分布这一前提的，采用正态分布模型的好处 是可以参数化。然而在某些具体问题并不满足正态分布要求，因此e l g a m m a l ， m i t t a l 等先后提出了非参数化的方法 1 2 1 1 1 3 ，即所谓的内核密度估计的方法，而 把背景学习推向更加一般化的情况。 2 2 2 一种新的参考背景学习方法 通过以上分析，可