（计算机应用技术专业论文）视频中车辆检测与跟踪方法研究.pdf

摘要 近年来，伴随着社会经济的发展，道路交通也迅速发展，从而造成交通环境 相对复杂。为解决道路交通迅速发展质带来的各种闻题，絮麓交通系统的研究被 提到了重要位置，利用计算机视觉技术进行交通状况检测与信息采集已成为智能 交通系统( i t s ) 领域中的一个重要课题。也就是在不破坏路面的情况下使用计算 机结合图像处理、模式识别以及通信科学等学科知识获得交通信息、解决一系列 的交通问题，比如缓解交通阻塞、提高道路通过率、以及高速公路的鸯动收费系 统等。所以视频中车辆检测与跟踪的准确性直接关系到智能交通系统决策的正确 性。因此，本文对视频车辆检测与跟踪方法中的关键技术进行了深入的研究， 本文掰进行的工作主要包括以下方面：传统方法的嚣标车辆检测、创新方法 的阴影去除以及创新方法的车辆跟踪。具体内容如下： 1 目标车辆的检测。目标车辆的检测使用常用的背景差分法获得运动目标， 为了利用背景差分的方法需要要进行背景的获得。我们利用已有的自适应背景提 取和受新方法获取和更新背景；接下来利用鹜景差分法、阙值化分割法以及形态 学操作来检测出运动目标。 2 阴影去除。本文提出一种自适应的加权高斯模型的阴影去除方法。从试 验图像的视觉效果来看该方法较以往方法有效。 3 车辆跟踪。本文提出了一种基于随机采样和彩色梯度的运动目标跟踪方 法。试验图像数据表明该方法更具鲁棒性、实时性。 关键词：鹜景提取；车辆检测；阴影去除；车辆跟踪 a b s t r a c t i nr e c e n ty e a r s ，a c c o m p a n i e db ys o c i a la n de c o n o m i cd e v e l o p m e n t ，t h er o a d t r a n s p o r th a sb e e nd e v e l o p e dr a p i d l y , r e s u l t i n gi n ar e l a t i v e l yc o m p l e xt r a 伍c e n v i r o n m e n ti no r d e rt os o l v et h ep r o b l e m sw h i c hc a s e db yt h ed e v e l o p m e n to f g r o u n dt r a f f i c ，i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e mh a sb e e nr e f e r r e dt o a l li m p o r t a n t p o s i t i o n , t h eu s eo fc o m p u t e rv i s i o nt e c h n o l o g yt od e t e c tt r a f f i c c o n d i t i o n sa n d i n f o r m a t i o nc o l l e c t i o nh a sb e c o m et h ei n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m s ( i t s ) i nt h e a r e ao fa ni m p o r t a n tt o p i c t h a ti s w i t h o u td a m a g i n gt h er o a ds u r f a c ec o m b i n e dw i t h t h eu s eo fc o m p u t e ri m a g ep r o c e s s i n g ，p a t t e mr e c o g n i t i o na n dc o m m u n i c a t i o no f s c i e n t i f i ck n o w l e d g e ，t og e ts o m et r a f f i ci n f o r m a t i o n , t os o l v eas e r i e so ft r a f f i c p r o b l e m s ，s u c ha st oa l l e v i a t et r a f f i cc o n g e s t i o na n di m p r o v er o a dt h r o u g hr a t e s ，a n d a p p l yt oa u t o m a t i ct o l lc o l l e c t i o ns y s t e mo fh i g h w a y , e t c s ot h ee x a c t i t u d eo fv e h i c l e d e t e c t i o na n dt r a c k i n gi nt h ex , i d e oi s d i r e c t l yr e l a t e dt o t h ec o r r e c t n e s so ft h e d e c i s i o n m a k i n go f i t s t h e r e f o r e ，t h i sa r t i c l ec o n d u c t sa ni n - d e p t hr e s e a r c ho nt h e k e yt e c h n o l o g i e so nt h ev i d e ov e h i c l ed e t e c t i o na n dt r a c k i n gm e t h o d i i lt h i sa r t i c l e ，t h ew o r kc a r r i e do u ti n c l u d e st h ef o l l o w i n g ：t h et r a d i t i o n a lm e t h o d s o fd e t e c t i o no ft h et a r g e tv e h i c l e ，i n n o v a t i v ew a y so ft h es h a d o wr e m o v a la n d i n n o v a t i v ew a y s t or e m o v et h ev e h i c l et r a c k i n g a sf o l l o w s ： 1 t h ed e t e c t i o no ft h et a r g e tv e h i c l e d e t e c t i o no ft h et a r g e tv e h i c l eu s e dt h e c o m m o n l yf i n i t ed i f f e r e n c em e t h o dt oo b t a i nt h eb a c k g r o u n do fm o v i n gt a r g e t s i n o r d e rt om a k eu s eo ft h eb a c k g r o u n dd i f f e r e n c em e t h o dt oo b t a i nt h eb a c k g r o u n d ，w e m a k eu s eo ft h ee x i s t i n ga d a p t i v eb a c k g r o u n de x t r a c t i o na n du p d a t i n go fm e t h o d st o a c c e s sa n du p d a t et h eb a c k g r o u n d ；t h en e x tu s eo ft h eb a c k g r o u n dd i f f e r e n c em e t h o d ， t h r e s h o l d s e g m e n t a t i o na n dm o r p h o l o g i c a lo p e r a t i o n st od e t e c tam o v i n gt a r g e t 2 t h es h a d o wo ft h er e m o v a l i nt h i sa r t i c l e p r o p o s e d 锄a d a p t i v eg a u s s i a n m e t h o df o rt h ew e i g h t e dm e t h o dt or e m o v et h es h a d o w t h i sm e t h o df r o mi m a g i n g r e s u l t so ft e s ti m a g e si se f f e c t i v et h a ne v e rb e f o r e 3 v e h i c l et r a c k i n g t h i sa r t i c l ep r e s e n t sat r a c k i n gm e t h o do fm o v i n gt a r g e t s b a s e do nr a n d o ms a m p l i n ga n dc o l o rg r a d i e n t t e s t - i m a g ed a t as h o wt h a tt h em e t h o d i sm o r er o b u s t 。r e a l - t i m e k e yw o r d s ：b a c k g r o u n de x t r a c t i o n ；v e h i c l ed e t e c t i o n ；s h a d o wr e m o v a l ；v i d e o t r a c k i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得东北师范大学或其德教育机构的学位或证 书面使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示谢意。 学缀论文作者签名：愠 霞期： 学位论文版权使用授权书 本学位论文作者完全了解东：i l n 范大学有关保留、使用学位论文的规定，即：东 ：i l 9 0 范大学有权保露多# 向国家有关部门或机构送交学位论文的复印件和磁盘，允许论 文被查阅和借阅。本人授权东北师范大学可以将学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名艟 日 期：名4 ：厶2 学位论文作者毕业后去向： 工作单位： 通讯地址： 指导教师签名：磁 日 电话： 邮编： 东j 乏师范大学硕士学位论文 。1 选题背景及意义 第一章引言 在当今经济发展、社会进步和人口迅猛增长的同时，交通运输业也得到了飞速发展。 阉时交通环境变得更秀复杂，交通状况不甄恶化，斧隧瑟来豹是一系列交遴润题：交通 捐挤、交通安全以及交通污染等，因此对交通场景的监控已经藏隽一个卡分重要酶课题。 但是在以往很多场合下，是通过人工的交通监控来控制这些问题，也就是通过人工来分 析视频序列，随着视频量的不断增大，通过人王的方法对视频序列的分析是不合适的。 根据现代信息通讯技术和诗算机科学技术酶快速发展，交通专家从系统工程学的霆度出 发，提出了基于现代信息通讯技术和计算机技术的、基于计算机视觉和图像处理的视觉 监控技术的交通控制系统，通过人对交通信息的使用，在不增加现有交通供给以及人力 资源的条停下，大大提高道解决交邋闯蘧豹能力。透过这静先进可行的方法逐步形成7 智能交通系统酌概念h 】。 早期人们是利用埋在地下的磁传感器来对交通进行辅助控制，但是磁传感器只能检 测到车的数量和速度，获得信息非常有限，无法分析和判断车辆的行为，而且安装和检 修豹费用巨大，具有定的弱限性。智能交逶系统才是现代科技手段在交通领域黧具体 表现，所谓智能交遥系统是在不需要入的干预、或者只需要檄少干预的情况下，通过对 摄像机采集得到的视频序列进行分析来实现车辆的定位、识别和跟踪，并在此基础上分 析和判断车辆的行为。这种方法是利用高辩技铸息通讯技术创新的交通系统的总称，是 未来道路交通发震静方向。世界发达匿家都竞藕把智麓交通佟为前沿学科加以研究，霹 本更是将其作为国家发展计划来定位；美国交通部1 9 9 9 年公布的对其高遽公路性能监 测系统( h p m s ，h i g h w a yp e r f o r m a n c em o n i t o r i n gs y s t e m ) 的最终评估报告中 2 j 监控系统 己经被掘入h p m s 数据库第8 2 个数据项 。撰有关科学家对未来智能交通系统瑟应用 有如下的预测：交通拥挤可降低2 0 ，延误损失可减少l o 屯5 ，车祸可降低 5 0 - 8 0 ，油耗可减少3 0 ，废气排放可减少2 0 口1 。 视频车辆检测作势智能交通系统懿重要部分，其检测方法h 嘲有很多，健众多方法相 对眈，基于数字视频的方法具有一定酶优势，箕优点懿下； 1 无需破坏路砸，安装、维护容易，并且视野可变； 2 检测韵信息壁大，可以检测多个车道的交通信息； 3 。实时性好，现在处理器的速发鞋指数缀在增长，所| 以利用计算视对视频枣到的 处理可以满足实时性的要求； 4 视频采集设备的成本较低，寿命长，性价比高，经济性好； 东北师范大学硕士学位论文 5 扩展性强，具有二次开发功能。 由此可见，基于数字视频的智能交通系统是未来交通领域最活跃、最有效的交通管 理系统，是构建和谐社会实现交通运输业可持续发展的有效手段。 1 2 国内外研究现状及进展 公路交通运输智能化已成为国际公路运输科技进步的主导方向哺3 ，并采用了许多先 进技术，对提高公路交通运输效率和改善车辆运行状况发挥了重要作用。 智能交通系统成为近年来比较活跃的研究课题，特别是在国外一些经济发达的国家 成为热门方向。其中，1 9 7 8 年，美国j p t ( 加州帕萨迪纳市的喷气推进实验室) 首先提出 了运用机器视觉来进行车辆的检测的方法；几年后，美国明尼苏达大学的研究人员研制 了第一个可以投入实际使用的基于视频的车辆检测系统。该系统使用了当时最先进的微 处理器，在不同交通环境下的测试结果良好；1 9 9 1 年，美国加州理工大学对在高速公路 上运用视频方法的检测技术进行了评估，在评估报告中对当时采用的不同的视频车辆检 测技术详尽地进行了分类；同期基于视频的车辆检测的研究也在欧洲和日本广泛展开， 等等。目前比较有突出贡献的国外研究组有： 1 英国雷丁大学计算机系的v i e w s 项目组； 2 德国卡尔斯鲁厄大学计算机系h h n a g e l 博士领导的研究组； 3 美国伯克利大学计算机系的r o a d w a t c h 项目组； 4 美国卡内基梅隆大学和马里兰大学等参加的v s a m 项目组； 5 美国康奈尔大学计算机系d a n i lh u t t e n l o c h e r 教授领导的研究组； 6 加拿大英属哥伦比亚大学计算机系d a v i dl o w e 教授领导的研究组等。 我国智能交通系统方面的研究起步较晚，目前国内在此领域的算法主要集中在差分 法、基于统计模式的运动目标检测方法、基于运动矢量估计的方法、模糊聚类算法、遗 传算法聚类等，并且做了一定的理论研究与试验。其中，中国科学院自动化研究所模式 识别国家重点实验室谭铁牛研究员从2 0 世纪9 0 年代初就开始研究基于三维模型的 机器视觉监控系统，领导视觉监控小组，针对系统中若干关键性问题( 车辆检测、跟踪 以及车辆行为分析) 进行了深入的研究，并提出了自己的见解和主张，取得了一系列的 研究成果；中国科学院自动化研究所模式识别国家重点实验室视觉监控小组总结了英国 雷丁大学v i e w s 的车辆交通监控原型系统的研究经验，在前人理论研究的基础上，自行 设计了一个拥有完全自主版权的交通监控原型系统v s t a r w i s u a ls u r v e i l l a n c es t a r ) ，等 等。但随着我国社会的进步、经济的增长、科技的发展、国立的增强，智能交通系统的 研究必将得到更大的重视和发展。 1 3 本文研究内容 运动车辆的检测与跟踪是智能交通系统的重要组成部分，本文的主要任务是以采集 2 东北师范大学硕士学位论文 得到的视频序列图像为研究对象，以前人的理论研究为基础，对视频车辆检测与跟踪方 法中的关键技术进行了深入的研究，并提出了具有一定应用价值的方法。其中涉及阴影 去除以及目标跟踪两个核心部分，其内容是基于图1 所示的流程进行展开的。本文具体 章节安排如下： 第一章引言。本章主要介绍了本课题的研究背景与意义、国内外研究现状与进展、 本课题的主要研究内容以及实验设备及开发平台。 第二章视频车辆检测。本章在已有的背景提取和更新方法的基础之上，通过背景 相减法、自适应阈值分割方法及形态学操作检测出运动车辆目标。 第三章阴影去除。本文提出了一种自适应的基于加权高斯模型的阴影去除方法， 其基本思路是在分析了阴影产生原理及视觉特性的基础上，通过进一步分析阴影与对应 的背景之间的线性比例关系初步定位阴影区域，然后利用阴影像素点与车辆质心的距离 关系对统计得到的似然区域进行加权，最后利用自适应阈值化方法精确去除阴影。实验 证明该方法能够准确去除阴影，提高了运动目标检测的准确性。 第四章车辆跟踪。本文提出了一种基于随机采样与彩色梯度相结合的车辆跟踪方 法，这种方法在不需要预先给定精确先验知识的前提下定位运动目标质心。实验证明该 方法能够准确定位质心，提高了运动目标跟踪的鲁棒性与实时性。 第五章总结与展望。回顾了本文所做的工作，并指出了尚未解决的问题及今后需 进一步完善与深入的工作。 视频采集设各 i ( 视频序列图像 ! 视频车辆检澜 j 阴影去除 7； 上 r 4 1 运动目标跟踪i 图l 视频车辆检测与龈踪流程 东北师范大学硕士学位论文 1 4 实验设备及软件开发平台 1 摄像机：索尼摄像机。 2 视频采集卡：w s v 视频采集卡。 3 p c ：p 42 4 g h z ，内存为d d r l 0 2 4 m 。 4 操作系统：w i n d o w sx p 。 5 开发平台：m a t l a b 。 6 视频采样频率：2 3 帧秒。 4 壅韭! 堕堇盔兰亟主芏堡堡塞 第二章视频车辆检测 视频车辆检测是智能交通系统的基础，其主要目的是将变化区域从视频序列图像中 提取出来。也是运动车辆识别系统的基础，它能够提供车辆大小、形状和位置等基本信 息，所以运动目标区域的有效分割对于后续的阴影去除、目标分类与跟踪等处理是尤为 重要。 21 视频车辆检测的常用方法 1 光流法 光流注j 的基本思想是利用序列图像上灰度信息的变化，即利用帧间图像中同像 素关于时间的变化来获得运动参数。其检测方法是利用运动目标随时间变化的光流特 性，如m e y e r 等1 。是通过计算位移向量光流场进行初始化，从图像序列的灰度变化中计 算速度场；然后利用一定的约束条件从速度场中推测出运动参数和运动目标的结构，从 而有效地提取和跟踪运动目标。虽然光流法为运动车辆检测具有一定的优点，但光流场 的计算相当复杂、耗时太大，容易受噪声的干扰、抗噪性差，并且计算需要一定的假设。 鉴于光流技术上的缺陷| 三i 超过其优势，所以本文对这一技术不再做详细讨论。 2 帧间差分法 帧问差分法”o 的基本思想是利用图像序列中的连续两帧进行差分，即帧问运动分 析，是基于像素点的差分方法。这种方法的优点是对运动的物体敏感，并且两帧图像的 时问间隔较短，差分图像受光线变化的影响小，对于动态环境具有较强的自适应性。但 这种方法也有一定的缺点“，一方面两帧问物体重叠部分不容易被检测出柬，并且运动 实体内部容易产生孔洞：另一方面检测出的物体在两帧中的位置信息不够准确，容易把 上一帧中被目标覆盖而且在当前帧被显露出束的背景区域也当作运动目标检测出来，即 目标变大，图21 是一个目标变大的简单演示。 东北师范大学硕士学位论文 ( c ) 图2 1 帧间差分：( a ) 第一帧：( b ) 第二帧；( c ) 帧司差分效果 3 背景差分法 背景差分法“2 。”是目前运动分割中晟常用的一种方法，其基本思想是利用序列图像 中的每一帧与背景相减，若像素值大于某一闽值，则判定此像素为出现在运动目标上的 点，否则被认为是背景，这样就达到了检顿嵯动目标的目的。它可用式( 21 ) 描述： 脚川= 把矿繁力一 旺， r ( z ，y ) = l ( x ，y ) 一b ( x ，) ( 22 ) 其中，t h 为给定的阈值，( x ，y ) 和b ( x ，) 分别为前景图像和背景图像( 即不舍运动目 标的场景图像) d ( x ，y ) 为差分得到的二值图像。 该方法一般能够得到最完全的特征数据，本文所做的前期目标检测工作就是利用了 背景差分的方法。图2 2 是对该方法进行目标检测的简单演示过程。但这种方法所用到 的背景图像对于十分复杂的交通现状和不断变化的室外环境( 如天气、光线等) 诸多干 扰因素存在时反应比较敏感，因此非自适应的方法获得的背景图像，会随时间的推移， 对场景中的干扰因素更加敏感，出现许多伪运动目标点及噪声点。不利于目标的准确检 测。目前国内外很多研究工作者都致力于构建减少动态场景变化对前景运动目标分割影 响的背景模型，并且取得大量而有效的研究成果，本课题就是采取了已有的的带衰减因 子的基于区间分布的自适应背景提取与更新的方法来进行前期的背景提取与更新”。，图 22 ( b ) 就是利用该方法所得到的背景图像。 东北师范大学硕士学位论文 医 ( c ) 图2 , 2 背景差分：( a ) 当前帧；( b ) 背景：( c ) 背景著分效果 22 运动目标检测 本文进行精确的前景运动目标分割之前需介绍一下应用在运动目标检测方面比较 有力的工具，即形态学处理。形态学通常指生物学的一个分支，它是一门研究动物和植 物的形态与结构的学科，但在这里我们所提到的是指在数学形态学语境下的应用。该技 术一般以二值图像为处理对象，通过一系列的集合论运算进行图像处理，下面本文介绍 几个形态学的基本操作，即膨胀与腐蚀，以及填洞和连通区域处理。 2 21 膨胀与腐蚀 膨胀和腐蚀运算是形态学处理的基础，膨胀是在二值图像中“加长”、“变粗”、“变 大”的操作，操作的结果是使物体的面积增大，并且缩小分割后物体中的空洞，图2 3 演示了一个膨胀的简单例子。 ( a )( b ) 图2 j 膨胀：( a ) 输入图像：( b ) 膨胀后的图像 口口 口a 222 填洞和连通区域处理 所谓填洞，应用在本文就是利用相同结构元素交互的膨胀、腐蚀以及区域填充操作 去除前景中的孔洞。图2 5 演示了个填洞的简单例子。 东北师范大学硕士学位论文 ( a )0 ) 圈2 j 填洞 ( a ) 输入图像：( b ) 填洞后的图像 所谓通过连通区域处理，应用在本文就是二值图像上进行噪声( 少量的像素点) 去 除的形态学操作。首先确定8 连通区域，接下来对8 连通区域进行标记，最后根据具有 相同标记的像素集的元素个数与给定闽值相比较，当小于给定阈值的时候就认为这个像 素集内的像素点为噪声。图2 6 演示了此过程，27 演示了一个去噪的简单例子。 1 111 门1 、 111 1 1 1 111 1 111 f 1 f 111 jp v 1 y - 1 ( 17 彳 1 111 门1 、 111 1 1 1 111 111 111 v 1 1 a 111 庳2 、 111 k 2 111 111 爿 111 f 3f 11 1 ，bi v 1 - 2 ( 4 7 1 111 11 1 11 1 111 111 111 v 1 7 ( c )租) 图2 6 去噪过程：( a ) 确定8 连通区域：( b ) 连通区域标记 ( c ) 阈值为3 时的去噪效果；( d ) 阈值为4 时的去噪效果 9 东北师范丈学硕士学位论文 圈2 7 去噪：( a ) 输 图像；( b ) 去噪后的图像 2 2 3 前景运动目标分割 本文利用了传统的背景差分法以及引用了文献 1 9 中的带衰减因子的自适应背景 提取和更新方法对视频序列中的前景运动目标进行了初步的提取，接下来我们需要进行 运动目标精确分割，其方法有很多，有基于边界的方法“。“、基于区域的方法”“ 和阚 值化法、等，下面对这几种方法做一下简单的介绍。 1基于边界的方法 所谓基于边界的方法，其基本思想是从差分得到的目标区域的边界着手，最终达到 前景与背景被分割开的目的。但现有的边缘提取方法得到的外边界曲线往往并不是真正 的运动目标的边界曲线，并且有时根本得不到连续、闭合的外边界曲线，所以根据得到 的边界曲线进行运动目标的分割并不能保证得到的运动目标信息完整。 2 基于区域的方法 所谓基于区域的方法，其基本思想是从差分得到的整个目标区域着手，也就是直接 寻找区域的分割技术。基于区域的方法也很多，有区域生长法、区域分裂法、区域合并 法以及区域分裂合并法。由于真实的交通场景下的视频采集设备距离运动目标较远，并 且视频采集设备抖动等干扰因素的存在导致所成图像信息丢失，噪声点数目增多，所以 无论哪种基于区域的分割方法应用在具体的交通场景下分割所得到的前景运动目标的 精度都不是很高。 3 闽值法 所谓闽值法，其基本思想是从差分得到的整幅图像的像素值着手，根据闻值进行图 像分割的方法。其优势在于实现简单、计算代价小并且性能稳定，因此是图像处理中应 用最广泛的分割算法。使用阈值法所要做的一个重要工作就是阐值的确定，常用的阐值 确定的方法有p 分法、迭代法、直方图分析法、撮大类间方差法、最小误差法、双闽值 法和自适应阈值法等。统合各种方法，对是否需要先验概率、计算代价的大小、是否具 有自适应性以及是否为全局闽值等因素的综合考虑，本文最终选择自适应闽值份割方 法进行前景运动目标的分割，其自适应阚值由公式2 3 给出。图2 8 演示了采用自适应 阈值分割法得到的效果。 东北师范大学硕士学位论文 t h = m + 3 x l4 8 2 6 m ( 23 ) 其中，村是差分图像的均值；m 是将差分图像与做点差之后所得图像的均值。 由于 诸多因素 噪声点的 处理方法 度。圈2 厂了露 一二二二 b ) ( c ) 圈2 9 运动目标分割：( a ) 阈值化图像：( b ) 形态学处理得到的图像 ( c ) 堆终的运动目标定位 东北师范大学硕士学位论文 第三章阴影去除 通过前面的视频车辆检测得到的前景运动目标不一定就是纯粹车辆，同时可能也有 阴影的伴随，这样就导致了诸多问题的产生，一是检测得到的运动目标的形状受到阴影 的影响，会使同一个目标的形状随着光线的不同而发生变化以及部分颜色被阴影改变， 导致车辆的信息提取受到影响：二是阴影会使目标变大，导致在运动目标检测时两个或 者更多目标粘连在一起被当作一个整体，并且有时伴随阴影的车辆也会被误检为两辆并 行的车辆，这都将会影响后续的些工作，使系统的整体性能下降。因此阴影去除的问 题是车辆检测中的一个重点，也是难点。 31 阴影概念及特点 阴影主要是当光源在入射方向上受不透明物体的部分遮挡或完全遮挡时产生。阴 影可分为静态阴影和动态阴影。静态阴影是指树木或建筑物等相对静止的物体产生韵阴 影，在我们所研究的问题中通常将这些阴影当作背景；动态阴影指的是运动的车辆目标 或行人等相对运动的物体产生的阴影，在我们所研究的问题中所考虑和处理的阴影通常 指的是这种阴影，这种阴影通常可分为自身阴影( s e l fs h a d o w ) 和投射阴影( c a s t s h a d o w ) 两类4 。自身阴影是指物体不能被光源直接照射的部分，也就是物体自身背光 的面：投射阴影是指在光照条件下，位于光源方向的物体的投影在背景中形成的相 对较瞎的区域，其中投影阴影叉可以分成本影( u m b r a ) 和半影( p e n u m b r a ) 。本影是 指所形成的投射阴影中直射光线被完全阻挡的部分，又叫暗影：半影是指所形成的投射 阴影中直射光线被部分阻挡的部分又叫半本影( 图3 1 演示了阴影区域的划分) 。物体运 动的本影因显著的异于背景而被检测出来，并且也会常常被误判为运动物体，这样就会 给后续的工作带来很大的负面影响。 一 o 二：= = ：式j ：! ：二甜：| 图3 1 阴影分娄 东北师范大学硕士学位论文 3 2 常见阴影检测方法 阴影去除算法按照其不同的分类准则可以进行多种划分。为了说明阴影检测算法 之间的差别，p r a t i 等人将不同的方法进行了两层的分类日3 1 ，如图3 2 所示。第一层的 分类考虑到了判定过程是否引入统计学方法以及判别过程是否引入不确定性因素，最终 将其分为统计方法和确定性方法。在统计学方法中，参数的选择是至关重要的，因此又 将统计学方法细分为参数方法和非参数方法。确定性方法又可以根据判决过程是否用到 模型的知识，进而又可以将确定性方法细分为基于模型的方法和不基于模型的方法。无 论哪种方法大都是利用了阴影的三个主要特征：光谱、空间和时间3 ，所以从特征的角 度又可以将阴影去除的方法细分为基于光谱方法、基于空间的方法和基于时间方法，接 下来又可以在这三个大方向上进行细分，如图3 3 所示。 图3 2 阴影去除方法分类 图3 3 基于特征的阴影去除方法分类 1 3 东北师范太学硕士学位论文 阴影去除方法的日d 提是基于已有的阴影存在性判断方法卅”，这种阴影存在性判断方法 是通过计算图像中每个像素的亮度和能量值来区分目标、背景和阴影，进而通过评估光 照分配柬判断阴影是否存在。 332 阴影区域初定位 本文首先引用了已有的方法来确定阴影方向，接下来，进入本文的阴影区域初定 位工作。在r g b 空问下，对于阴影点来说，阴影点与其对应的背景点的灰度值有一种线 性比例关系，假设当前帧图像为，( z ，) ，对应背景图像为b ( x ，) ，本文将这种比例关系 定义为口： n = ，( x y ) b ( zv 3 1 ) q 值落在一定的范围之内的点被认为为是阴影点，根据q 值是否落在这个区间内判断该 点是否属于阴影。通过大量实验，统计d 的直方图可以看出，的值基本上是落在0 与 04 z 创，直方图如图3j 所示。 圈35 值的直方h 基于以上分析，我们用前景图像与背景图像做除运算，得到新的图像a ( ，y ) ，并且 在阴影方同上的阴影区域选一种子点，接f 束根据公式32 的规则进行蔓延，从而确定 阴影区域，得到只存在阴影区域的图像s kv ) ，如图36 ( c ) 所示。 矿0 文l 力 o t ( 32 ) 东北师范大学硕士学位论文 重口 ( c )( d ) 固3 6 阴影区域初定位：( a ) 输入图像；( b ) 差分并且二值化以及形态学操作后的图像； ( c ) 阴影区域的初步定位； ( d ) 利用阴影区域的初步定位得到的车辆去除阴影的效果图 3 3 3 阴影区域精确定位 本文阴影区域精确定位的具体工作可分为：概率转化、加权处理和阚值化分割。 1 概率转化 通过对q 值的直方图进性分析，我们可以将其看作满足高斯分布，进而可以求出这 个高斯分布的均值和方差a ，接下来我们可以通过公式3 3 将初定位得到的阴影区域 图像s 仁力( 如图36 ( c ) 所示) 转化为似然图像p 仁力。似然图像上的每一点的值代 表着该点属于阴影的可能性。 m 川刮一逝螳趟) ( 3 3 ) 2 加权处理 考虑到像素点为阴影的可能性与其距离中心点的远近有着密切的关系，因此本文利 用这种距离关系对似然图像进行加权，进而准确的定位阴影区域，图37 演示了权值的 1 6 东北师范大学硕士学位论文 重口 ( c )( d ) 固3 6 阴影区域初定位：( a ) 输入图像；( b ) 差分并且二值化以及形态学操作后的图像； ( c ) 阴影区域的初步定位； ( d ) 利用阴影区域的初步定位得到的车辆去除阴影的效果图 3 3 3 阴影区域精确定位 本文阴影区域精确定位的具体工作可分为：概率转化、加权处理和阚值化分割。 1 概率转化 通过对q 值的直方图进性分析，我们可以将其看作满足高斯分布，进而可以求出这 个高斯分布的均值和方差a ，接下来我们可以通过公式3 3 将初定位得到的阴影区域 图像s 仁力( 如图36 ( c ) 所示) 转化为似然图像p 仁力。似然图像上的每一点的值代 表着该点属于阴影的可能性。 m 川刮一逝螳趟) ( 3 3 ) 2 加权处理 考虑到像素点为阴影的可能性与其距离中心点的远近有着密切的关系，因此本文利 用这种距离关系对似然图像进行加权，进而准确的定位阴影区域，图37 演示了权值的 1 6 东北师范大学硕士学位论文 意义。具体加权操作如下： 第一步，通过前文利用差分方法进行运动目标检测得到的二值图像( 如图36 ( b ) 所示) 我们可以利用最大外接矩形的方法计算得到其中心点( j ，t ) ； 第二步利用公式34 计算图像s 如力上初定位阴影点权值，得到权值图像w “力； 第三步，利用公式36 对似然图像p 伍 进行根据距离的加权处理，最终得到新的 加权似然图像k 。 图3 7 权值意义 w c w ) = 叭。 佃酬州。州邪2 卜1 。， d ( t y ) ：托i 再i 两i ( 3 5 ) p w ( z ，y ) = 户( x ，y ) w ( x ，y )( 3 6 ) 3 阈值化分割 通过上一步得到加权似然图像p w “力，接下来利用闽值化的方法确定新的阴影区 域，其中阈值n ，丁2 1 是通过公式37 计算得到自适应闽值：。最终阴影去除的效果如 图38 所示。 1 7 东北师范大学硕士学位论文 t 】= 脚1 + 3 14 8 2 6 m 2 t 2 = 研l 一3 l4 8 2 6 m 2 ( 37 ) 其中，m l 为加权似然图像p w ( 工y ) 的均值，m 2 为加权似然图像p w “y ) 与州的差的均 值。 34 实验结果 ( a )( b ) 图3 8 阴影去除效果：( a ) 精确定位阴影区域； ( b ) 利用阴影区域的精确定位得到的车辆去除阴影的效果图 为验证本文方法的有效性，选择了不同颜色、不同车型的车辆进行实验，具体效果 如图3 9 与31 0 所示。从效果图来看本文所提出的阴影去除方法能够很好地将阴影去除， 具有阴影残留部分小，车体误去除少的优点，能够准确的分割出运动目标，完整的保留 目标车辆外形、颜色、大小等交通信息。 i 瑟心 a )( b ) i 惫孽i ，嗯隰甍i 囤 般怒警 ( c )( d ) 图3 9 阴影击除实验效果：( a ) 输入图像：( b ) 背景 ( c ) 阴影初定位效果；( d ) 阴影精确定位效果 东北师范大学硕士学位论文 35 本章小结 本章在以往文献中提出的阴影存在性判断以及阴影方向判断的基础上，提出了一种 基于加权高斯模型的阴影去除方法。从实用角度来看，本方法有利于后续的工作：从方 法的实现角度来看，本方法易于实现，但由于做了阴影的进一步精确定位工作，所以时 间代价会有所增大，这就需要进一步做算法以及实现程序的优化工作。 东北师范大学硕士学位论文 第四章车辆跟踪 运动目标跟踪的研究是机器视觉系统的关键技术之一。较早的运动目标跟踪的研究 主要着眼于航空或控制领域的多目标跟踪和数据关联等方面。对于将其应用到智能交通 系统中便是运动车辆的跟踪，其原理就是从段视频序列图像中找到所感兴趣的运动车 辆所处的位置，即把当前帧检测到的前景车辆与下一帧中得到的运动区域建立起一一对 应的关系，最终确定各运动车辆的运动轨迹，因此运动车辆的跟踪也同样是智能交通系 统中尤为重要的一步。近些年来国内外许多研究工作者做了大量的研究与实验，同时也 取得了诸多显著的成果，所取得的成果大多都是以可靠性和实时性这两个跟踪的重要指 标来衡量。 4 1 常用的车辆跟踪方法分类 已有的跟踪算法各有千秋，并且不同的跟踪算法往往适用于不同运动状态的目标， 以下是对常见的跟踪算法的总体分类： 第一类，基于模型( m o d e l b a s e d ) m 的跟踪方法。其基本思想是通过对运动车辆 建立模型进行检测从而达到跟踪。对运动目标进行跟踪时，通常有三种形式的模型，即 线图模型、2 d 模型和3 d 模型，但是在实际的视觉跟踪算法中，尤其是在运动车辆的跟 踪问题上更多采用的是运动目标的3 d 模型，因为3 d 模型在刚体目标的的跟踪上具有 一定的优势，即首先利用一定的先验知识构造目标的三维结构模型和运动模型，然后根 据实际的视频图像序列对模型参数进行估计，确定目标的三维模型参数，进而确定出目 标的瞬时运动参数。这种方法的优点是可以精确地分析目标的三维运动轨迹，即使在运 动目标姿态变化的情况下，也能够可靠地跟踪，也就是运动目标跟踪的鲁棒性好；其缺 点在于运动分析的精度取决于几何模型的精度，要求车辆有详细几何模型，但是在现实 生活中一般很难得到所有车辆的详细精确的几何模型，这就限制了基于模型的跟踪方法 的使甩，同时，基于3 d 模型的跟踪算法往往需要大量的运算时间，很难实现实时的运 动目标跟踪，也就是运动目标跟踪的实时性差。 第二类，基于区域( r e g i o n b a s e d ) m 2 3 的跟踪方法。其基本思想简单的来说就是通 过匹配的方法跟踪车辆检测模块检测出的一个个像素连通块，这些块区域表示检测出的 车辆，所以这种方法在车辆稀少时效果比较好，但是在交通非常拥挤的情况下，视频获 取的图像中的车辆可能会粘连在一起，很难分割出包含单个车俩的区域，此时这种方法 就难以实现可靠的跟踪。这种跟踪方法的优点是是通过区域的运动估计跟踪图像序列中 的运动目标，提高分割的准确性：并且这类跟踪方法与其他的车辆检测与跟踪方法主要 的不同在于分割过程和跟踪过程是同步进行的，而不是在跟踪过程前就有了明确的分割 东北| 师范大学硕士学位论文 结果，所以同时将车辆跟踪过程和图像分割过程结合起来，还可以减少计算复杂度，提 高系统的实时处理能力。 第三类，基于特禚( f e a t u r e - b a s e dt r a c k i n g ) 溺嘲的跟踪方法。基于特征的跟踪方法 具体包括特征提取和特征匹配两个过程。与基于区域的跟踪算法的相比，后者是以目标 整体作为最小的研究单元，而前者是将车辆的特征作为最小的研究单元。不管用于跟踪 的目标是刚体运动目标，还是非刚体运动强标，其个体特征都有许多，如特征点、拐角、 边缘、线段、曲线、小面或局部黥量等；并且在净列图像孛相邻的两帧图像的采集时阍 间隔很小，所以可以认为这些个体特征在运动形式上具有平滑性。特征匹配是指将提取 出的当前帧图像中运动目标的特征与特征模板相比较，对特征属性作相关度计算，相关 系数的峰值繇为匹配位置，所以采耀基于特征的方法的计算量比较小，容易满足系统的 实时性要求。但是，此类方法的难点就是特征提取，也就是特征的选择是至关重要的， 因此所提取的特征必须要有较强的鲁棒性，能抵抗一定的干扰，如冗余噪声以及遮挡等。 即便是基于特征的跟踪方法也具有定的缺点，但足可以说是利大予弊，所以当前 大多数的研究方法还依l 墨是属于基于特征的跟踪方法这一类。接下来我们举两个基于特 征的经典跟踪方法，即c a m s h i f t 算法和k a l m a nf il t e r 算法。 4 2 两个传统的目标跟踪方法 4 2 1c a m s h i f t 算法 c a m s h i f t 是剩用视频序列图像孛运动冒标的颜色特征信息来进行运动髫标跟踪豹 算法，在跟踪过程中，c a m s h i f t 利用目标的颜色直方图模型得到每帧图像的颜色投影 图，并根据上_ 帧跟踪的结果自适应调整搜索窗口的位置和大小，从而得到当前图像中 目标的尺寸和中心位麓。通常这个算法可分解成b a c kp r o j e c t i o n 计算、m e a ns h i f t 计算和 c a m s h i 甜算三个组成部分：。 1 b a c kp r o j e c t i o n 计算 也就是计算被跟踪目标的彩色直方图，对于一些颜色空间( 如h s i 空间和h s v 空 闻) ，其中的蜀分量表示颜色信息。所以在具体的计算过程中，首先将其健的颜色空闻 的图像转化到h s i 或h s v 空间，然后用其中的膨分量做2 d 直方图；然后根据获得的彩 色直方图将原始图像转化成色彩概率分布图，这个过程就叫做“b a c kp r o j e c t i o n 计算 。 2 m e a ns h i f t 算法 m e a ns h i f t 算法主要是一种基予颜色信息的寂用在静态图像上的雪标定位方法，其 具体步骤如下： 第一步：初始化窗口大小和中心位置； 第三步：根据b a c kp r o j e c t i o n 计算方法将窑叠区域彩色餮像转化成色彩概率分布 图，最后计算这个色彩概率分布瀚的重心； 第三步：重新调整窗口的中心到第二步计算得到的重心位置； 2 l 东北师范大学硕士学位论文 第四步：重复第二步和第三步，直到窗口中心”会聚”，也就是窗口移动的距离已 经小于了一定的阈值为止。 3 c a r n s h i f l 算法 将m e a ns h i f t 算法的思想扩展到连续图像序列( 视频序列图像) ，这样就形成了 c a m s h i f t 算法。c a m s h i f t 算法的全称是“c o n t i n u o u s l ya d a p t i v em e a n s h i f t ”，其基本思 想就是对视频序列上的每