（计算机应用技术专业论文）基于目标检测与跟踪的机动车视频测速方法研究.pdf

ab str a c t a日st ract wi t hth edsvefo p i1 1 ent of com p u 1 e rh ar d w a r e ， net w o r k ， di gi tal 如age p r o c e s s i llg and c o 幻 i p u te r v i s i onte c h n o l o g i e s ， a i ntel l i gentm o n itori ng sy s t e mc an s ubst i t u t e p cop l e t o r e c e i ve and p r o c e s s 1 n fo rmation and t h e n m ake t h e dec i s io nt hi s thes i sm al n lys h id i e s howto p r o c e s sa n dana 】 y s e sthe vi deofreq u e n c yon the hi g h w a y ，a n d th e n get the s peedo f v e h ic l e ，pr o v i d e the s p e e d l n fo rmationfo r i t s (i nt e l l i g e nitr ans port s y s t e m ) t h 1 s t h e s i s m ai uly stud i e s t w 0p r o b l e m s : ti me a n dd i s t a n c e meas urement.f o r d i s t a n c e measurement ，th i s t h e s i s p ut s fo p 胃 ar d a n ew w a y o f i m a g e l o c a l i zati o n b a s e 山 edete c t i on o f th ewhi tem a r ko nt h ero ad s u ri 油 c e . t h i sw a yc an p ro v i d et h e c o nve n i e nce fromthe p o s iti o no f s o m ethi ng inthe ima g e toit s real p o s i t i on inth e worl d . t hi s w a y d o e s n ， t nee d s e ni n g t h e c o m p 1 i c ated thin g s for c a n 1 e rac a l 1 b r a t 1 o n ; a n d itism o rep racti c ableanda d a p t a b 1 e t h ant h e l ine. t y p e . at t h e s 田 m e t i m e ， th e c 别 旧 e r a i s o n a ro ads i d e p o l e ， wou l d b e b e tt e r o n m a i n t a i n a b i l i tya n d as e i smat i c ，and itise asytoi nstall ， adju standm e n d . t h ec i r c ul at i on on l h eroad c o ul dn o t be d i s tu r b e d . t h i s thes i s p uts fo n 刀 a r da m a r k . det e c t i n gal gori t hi nb ase o nt l让 e s h o l d v a 1 ue d ivis i on a n de d g ed etectin gtod e t ect t h ep o s it i o no f t hr e em ar k s andth e ir v e rt e x o n the hi ghw a y . t h i s thes i s p r e s ent a v e h 1 c l e d e te c ti ngal gori t 知 肌b as e onb ac k g r o u ll d s u b t r a c t i o n a n d v ehicl e t r a c ki ngal gori t 加 叮b a s e o n k a l m a n filt e r l n g ，w h i c h c ant r a c k t h e v e hi cl e 。 n t h e hi g h w a y . a n d we c anrem o val the s h a d 0 wt h r o u g h s h a d o wd e t e ct in g al g 。 山加 的 b a seone d ged et e c ti ng t 七 e n we c ang etth e p o s i ti ons o f the c arinal 1 t h e i m a g e s o f v i deo freq u e n c 丫 f i n a l lym 盯o b t ai n the t r a c k o f the vehi c l e s inthe 1 m a g e a n d in1 h e re alwor l dc al c u l ate the sp e e do f v ehic l e 朗 c o rd i ngthe l m a g e fo c al i zat i on and t h e t i ln e 一 g apo f v i d e o . avehi c l e sp e e d m easurem ent s y s t e mt hr o u ghv i d e o are des i g n e d in t h i s l h e s i s . t b i s thesi s ana ly se s the p r o bl e mo f di s t a n c emeas u n n gandm o v l n go bj e cts d e l e c 血g andt r a c ki ng， a n dp uts fo ，la rdm yw a y s tosolv e t h e mandte stthem t hr o u ghe x p e ri m e n t s . the re s ul t fi 0 mt hee x p erimeni s gi v e s a pos it i v e answertot h e i i ab s 扮a c t acc urac ya n ds 1 a b 1 l i ty o fthe al g o ri t l1 m， a n dthese w a ym ee t re a l 一 t i m eand p 撇t i c al i tyre q u i r e 们 。 e n t s . k e y 、 甲 d l 幻l easl l t e们 比 、 叭】 r dg iln铭e l o c at i o n ;m o v i 飞 o bj e c td e 比 c t i o n a n d t r a c ki n g ; s p e e d e n t t hi o u gh vi d eo 学位论文独创性声明 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的 研究成果， 也不包含为获得 南昌大学 或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示谢意。 学位一名(习 间签 字 日 期 :洲7 年 “ 加 日 学位论文版权使用授权书 本学 位论文作者完全了 解南昌大学有关保留、使用学位论文的 规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅 和借 阅 。 本 人 授权南昌大学 可以 将 学 位 论 文的 全 部或 部分 内 容 编入 有关 数 据 库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学 位 论 文 作 者 签 “ (手 写 ):刁 叭 签 字 日 期 : 问年 乙 月 ，日 导 师 签 名( 手 写 : 刀趣一 签字日 期: 2 。 ，习年 占月孙 日 学位论文作者毕业后去向: 工作单位: 通 讯地址: 电话: 邮编: 第 1 章 引言 第一章 引言 1 . 1课题研究背景及发展现状 我国的高速公路系统已 经达到了 相当的规模，在利用 it s( 恤ell论 ent 肠 胡s p o ri s y s l e ln s 智能交通体统) 实现智能交通控制和诱导的同时， 如果能对各 种道路上车辆的速度进行实时视频监控和处理，对改善交通秩序，保障交通安 全，减少交通事故都将起到重要作用。 目 前对车辆的行驶速度有多种检测方法，传统方法有感应线圈、激光测速、 雷达测速， 超声 波测 速等11 l2j， 但是由 于各自 存在各种缺陷， 在实际 应用中 效果 并不理想。而随着图像处理技术的长足发展和广泛应用，基于计算机视觉、图 像处理与模式识别技术来自动获取交通流量，车辆类型以及车辆速度成为近年 来研究的热点。 计算机视觉作为智能交通系统中的一项重要技术基础，受到越来越多的研 究和重视。计算机视觉即是用各种成像系统代替视觉感官作为视觉信息输入手 段，由计算机来代替大脑完成处理与解释。计算机视觉不仅能使机器感知环境 中的几何信息，包括位置、大小、形状、运动等，还能对它们进行描述、解释 和理解。采用基于计算机视觉的机动车视频测速方法对交通状况进行速度监控 能够克服其它测速方法所产生的许多问题和不便，具有技术和经济优势。并随 着人工智能、神经网络、遗传算法、模糊数学等理论、方法与图像处理技术的 联系日 趋紧密，各种图像处理方法不断丰富，算法效率和可用性不断提高，车 辆视频检测技术在达到以往准确性、时效性和可靠性要求的基础上，越来越多 的新的车辆检测方法和跟踪方法被提出，视频测速系统正朝着自 学习、自 适应 和智能化的方向发展。 利用摄像机拍摄路面视频，在视频上利用图像处理、计算机视觉与模式识 别技术来测量汽车速度或其它交通参数已经成为车辆测速系统乃至构建智能交 通系统一个热点。 其中涉及到的图像定位、运动目 标检测和跟踪等领域的知识， 在本文的第二章将会做简单介绍。 第 1 章 引言 1 .2 论文的主要工作 本文将在分析和比较各种已 有的机动车测速相关的图像处理和计算机视觉 技术基础上，研究机动车测速的方法和模型，并提出一种可行的机动车视频测 速系统的设计方案。课题的主要研究内容包括: . 图像定位方法，即建立图像位置和真实场景位置的联系，使测速系统能 够方便地从物体在图像上的位置推出该物体在真实场景下的位置。在路边单杆 摄像机条件下，本文提出了一种基于高速公路道路标线检测的图像定位法，直 接通过图像中标线位置，和已知的标线长度和标线间隔长度，得到在道路方向 上图像位置和真实场景位置之间的联系，为视频测速系统中的距离的精确测量 服务。 . 道路标线的检测技术，提出了 基于闭值分割和边缘检测的路面标线检测 算法，检测出 道路上三条车行道标线的位置，同时提取出中间的车行道间隔标 线段的端点或远端标线的中心位置在图像上的位置，以 此作为图像定位的依据。 . 视频监控图像上的运动车辆的检测和跟踪技术，得到车辆在图像上的位 置及运动轨迹，结合图像定位技术得出车辆在真实场景下的位置和速度信息。 本文采用背景差分法对运动车辆进行检测。背景模型的建立采用了基于均值滤 波的背景初始化算法，提取出一段时间内每个像素的高频值的平均值作为初始 背景，并且用选择更新法对背景进行实时更新。 . 提出了一种基于边缘检测的阴影消除算法，利用阴影内边缘信息较少且 主要是道路自身的边缘，而和阴影相邻的车辆目 标却富含边缘的特点找到阴影 和车辆的分界线，一定程度上消除了部分阴影的千扰。 . 提出了一个基于卡尔曼滤波器的目 标车辆跟踪算法，以车辆的跟踪窗口 的位置，大小和车辆的速度和加速度作为车辆的特征进行预测和跟踪，从而得 到车辆在图像上的运动信息。 1 .3论文的章节安排 第一章简单介绍了车辆测速系统的研究背景和现有几种车辆测速方法，分 析了视频测速对于实现智能交通控制的目的、意义和研究现状，最后介绍了本 文的主要的工作和成果。 第 1 章 引言 第二章对视频测速问题进行了详细的介绍和分析，把视频测速问题分解为 两个问题:车辆行驶距离的测量和行驶时间的测量。而行驶距离的测量同样可 以分为两个问题: 建立z d图像坐标和真实场景的3 d世界坐标之间的映射关系， 和运动车辆在图像上的检测与跟踪。同时还列举出了视频测速系统在实际工作 中可能遇到的一些问题。第二节到第四节对上述问题的常用的解决方法和技术 包括图像的定位、运动目 标的检测、运动目 标的跟踪技术等做了简单介绍。 第三章就本文提出的新的图像定位法的原理，前提条件和要求作了深入的 介绍，并分析了该方法相对于摄像机标定法和非标定法的优势。并对该图像定 位方法的基础道路标线的检测技术作了介绍， 提出了一种基于阂值分割和 边缘检测的路面标线检测算法，检测出道路上三条车行道标线位置以及每段标 线的端点。 第四章提出了一个高速公路条件下的车辆视频检测和跟踪方法。对道路背 景特征进行了分析，采用背景差法提取运动车辆，并利用道路边缘信息和车辆 本身的边缘信息消除阴影的干扰。还利用卡尔曼滤波器对车辆目 标在图像上的 位置和状态进行预测和目 标跟踪。 第五章对视频测速系统进行了分析并给出了一种可行的机动车视频测速系 统的设计方案。 第六章总结和展望。对本文的工作进行了总结，并就系统中不完善的地方 和需要进一步研究的问题做出了展望。 第2 章 车视频测速问题分析及相关理论 第二章 车视频测速问题分析及相关理论 2. 1机动车视频测速问题分析 在分析视频测速问题之前，为了利于问题的解决， 减少不利因素的影响， 可以对交通场景、行驶车辆和图像采集设备做几点假设: 1 视频监视的路面是平坦的，可以认作或近似的看作平面，复杂的路面通 常无法从图像上对车辆进行有效定位; 2 .车辆基本沿道路伸展的方向行驶，不会突然转弯，故车辆行驶速度在垂 直于道路伸展方向上的分量较小，可以忽略不计; 3 ，摄像机相对于路面是静止的，摄像机移位将使车辆在图像上的位置发生 偏移，从而导致车辆定位偏差甚至错误。 根据物理学中速度的定义: v = 5 / t 二 s t 一 s t 一 1 / t z 一 t i 可以看出要实现车辆速度的检测需要对两个信息进行量测，一个是车辆行 驶所用的时间间隔t ，一个是车辆行驶的路程5 。这样可以将问 题划分为两个子 问题，一个是车辆行驶时间的测定，一个是车辆行驶路程的测定。 2. l i车辆行驶时间的测定 要 精确的 得 到 每帧图 像 信号的 采 集时 刻， 文献 3 根 据 其机理的 不同 将 其 分 为软计时 和硬计时两 种。 文献3 中 还提到w i n d o w s 操作 系统中 提供的 几种软件 计时方法和文献作者自己提出的硬计时方法:帧数时计时方法。帧数时指指图 像采集卡采集到某帧图像所对应的时刻。由于大多数性能良好的图像采集卡都 工作在硬实时模式下，其采样周期是稳定，利用这一点就可以利用图像采集设 备的图像采样频率进行硬计时。经过分析和实验比较，帧数时计时方法的精度 明显更优。本文也将采用这种方法来进行计时，来得到每帧图像的采集时刻。 第 2 章车视频测速问题分析及相关理论 2. 1 .2车辆行驶路程的测定 一般视频监控系统的路程测定方法如下: 1 .如果车辆驶入视频监控范围后，系统将尽快检测出这个车辆目 标，并在 一段时间内能够始终对其进行跟踪，并同时记录下它在每帧图像上的位置和采 集该帧图像的时刻。 2 .在得到车辆在被跟踪过程中的多个位置点后，用这多个位置点进行图像 定位，把车辆在视频图像上的位置转换为实际道路场景的位置。 3 .利用这些实际道路场景的位置点计算出车辆的运动路程。 因此如何将车辆在图像上的位置转化为实际道路上的位置，以及对车辆目 标进行检测和跟踪，是测速系统必须要解决的问题。这样就把测速系统中对于 路程的测量再划分为两个子问题: 建立z d图 像坐标和真实场景的3 d世界坐标之间的映射关系。 运动车辆在图像上的检测和跟踪。 : 对于问题一常用的解决方法是建立真实场景到摄像机成像平面的摄像机成 像几何模型。常用的方法有摄像机的标定。问题二属于图像处理和计算机视觉 中的运动目 标检测和跟踪的范畴。 2. l 3视频测速面临的一些实际困难 在测速方法研究过程中，笔者在浏览国内外资料和文献的同时，也与一些 视频测监控系统的使用者 ( 交通监控系统的相关管理人员) 进行过交流。交流 过程中发现，许多现有的视频测速系统在正式使用过程中会有各种问题影响系 统的正常工作，其中有部分问题是可以在设计阶段就考虑到并予以解决的。视 频测速方法的研究者在现有理论和方法的基础上应该充分考虑如何解决这些问 题。 1 方法适应性: 现有的各种基于图像处理和计算机视觉的测速方法中有的方法精度较高， 但是算法复杂，系统开销较大，实时性难以保证;有的方法在某种特定环境下 才能发挥作用，受环境和噪音干扰较大，不能广泛推广;有的方法需要的前提 条件较多，缺乏易用性。所以选取一种适合实际情况的视频测速方法是保证测 第2 章车视频测速问题分析及相关理论 计算机视觉常用坐标系采用右手准则来定义， 图2. 2 表示了三个不同层次的 坐标系统:世界坐标系、摄像机坐标系和图像坐标系 ( 图像像素坐标系和图像 物理坐标系) 。 图2 忍标定系统的坐标系 ( 1 )世界坐标系 ( x w，y w ，z w ) :也称真实或现实世界坐标系，或全局 坐标系。它是客观世界的绝对坐标，由用户任意定义的三维空间坐标系。一般 的3 d 场景都用这个坐标系来表示。 (2) 摄像 机坐标系(x oy):以 小孔摄像机 模型的聚 焦中 心为原点 ，以 摄像机 光 轴为zc轴建 立的 三维 直 角 坐 标系。 x ， y 一般 与图 像 物 理 坐标系的x f，y f 平 行，且采取前投影模型。 ( 3) 图像坐标系，分为图像像素坐标系和图像物理坐标系两种: 图像物理坐标系:其原点为透镜光轴与成像平面的交点，x与y轴分别平 行于摄像机坐标系的x 与y 轴，是平面直角坐标系， 单位为毫米。 图 像像素坐标系 ( 计算机图像 ( 帧存) 坐标系 ) :固 定在图像上的以 像素为单 位的平面直角坐标系，其原点位于图像左上角，图像平面的横坐标和纵坐标平 行于图 像物理坐标系的x和y轴。 对于数字图像来说， 横纵坐标的方向分别为 图像的行列方向。 根据三个坐标系的设定和针孔摄像机成像原理可建立世界坐标系与图像坐 标系变换关系: 第2 章车视频测速问题分析及相关理论 cx - xwyw孔1 几几1 几几几 几几q 口qq -一 mi mz x - ，胜十lleses.j xwyw孔1 t1 叽v01 0儿。 5 = q，c l:c 13c t4 0 x ， y 。 2 ， 1 (2 . 1 ) 其 中 ， u 。 ，vo 是 图 像 中 心( 光 轴 与 图 像 平 面 的 交 点 ) 坐 标 ，人 和几分 别 为 x 和y 方 向 的 等 效 焦 距 。 人、 刀 、 uo 和v 。 等4 个 参 数 只 与 摄 像 机 内 部 结 构 有 关 ， 因此称为摄像机内部参数。 式2 1 中的11参 数摄像机矩阵c可以 用最小 二乘拟合的 方法求出 141 ， 该方 法需要 至少6组数 据， 每组数据包括图 像点(u ， ， 从 ) 和对应被观测的3 d点 (x ， ， y ， 2 ， )o摄像 机的 标定 的目 的 也就 是为了 得到 这个11个参 数的 矩阵， 来 建 立 像素点在给定的摄像机的图像阵列中的位置与 3 d场景中要成像的实值点的关 系。 2. 2. 2其他图像定位方式 还有一些其他的非摄像机标定的图像定位技术也被用于实际的工作系统 中。 比 较常见的 有虚 拟 线圈 法， 还有文献【 10 中 作者构建 全景图 和外极面图 两种 二维时空图像的方法对所观测的路面进行标定，也达到了侧量车辆位置的目的， 而文献13 中 用简单直 观的视觉直接标定法用于图 像坐标的 定位， 在图像上 在道 路方向上设置两条虚拟检测线，以探测是否有车辆通过，并分别作为车辆的初 始位置和终点位置。事先已经确定好了这两条检测线在实际路面上的对应位置 和它们之间的距离，简单有效地获取车辆经过测速区域的行驶路程，从而将整 个交通场景图像的坐标定位的问题简化成对两条检测线的定位问题，但是要得 到两条检测线在实际路面上的对应的位置需要人工实地测量，而且如果出现摄 像机因震动而偏移或工作需要的调整，改变了摄像机的镜头方向 ( 实际上经常 发生) ，这两条检测线的实际位置就需要重新人工测量，系统的工作效率和实用 性不强。 第2 章车视频测速问题分析及相关理论 2. 3运动目 标在图像中的检测方法 运动目 标的检测算法根据运动目 标和摄像机的关系可分为静态背景下运动 目 标的检测和动态背景下运动目 标检测11 1 。静态背景下的 运动目 标检测就是指 摄像机在整个监视过程中没有发生移动，只有被监视目 标在摄像机的视觉范围 内运动，这个过程中只有目 标相对于摄像机的运动:动态背景下运动目标检测 就是摄像机在整个监视过程中发生了移动，这个过程产生了目标与摄像机之间 复杂的相对运动。 静态背景下运动目 标检测主要常用的三种方法是:帧间差分法、背景差分 法和光流法。光流法计算复杂，不适合实时处理:帧间差分法是将连续两帧进 行比较，从中提取出运动目 标的信息，这种提取出运动目 标的完整性较差，但 对动态环境有较好的适应性;背景差分法能够较完整地提取目 标点，但对场景 的动态变化 ( 如光照或外部条件引起的场景变化)较为敏感。 动态背景下运动检测由于存在着目标与摄像机之间的复杂的相对运动，所 有算法也要比静态背景下运动目 标检测算法复杂得多，常用的动态背景下运动 检测算法是匹配块法、光流估计法、图像匹配法以及全局运动估计法等。 2. 4运动目 标在视频序列中的跟踪方法 所谓目 标跟踪，就是在一段视频序列的每幅图像中找到感兴趣的运动目 标 所处的位置。目 标跟踪的作用非常重要，因为它是衔接运动目 标检测和目 标行 为分析与理解的一个重要环节，是计算机视觉、图像处理和模式识别领域里非 常活跃的课题。在实际应用中，目标跟踪不仅可以提供目标的运动轨迹和准确 的位置，也为进行场景中运动目标的运动分析和场景分析提供了可靠的数据来 源，同时运动目标的跟踪信息也反过来为运动目 标的正确检测以及运动目标的 识别提供了帮助。 常用的运动目 标跟踪方法有下列机几种: 1) 基于光流场的运动跟踪方法112 ， 131 2) 基于特征的 跟踪方法1 14 3 ) 基 于3 d 模 型 的 跟 踪 方 法 1， 5 16 ，1刀 第2 章车视频测速问题分析及相关理论 4) 基于主动轮廓 ( sna ke)的 跟踪方法 ( 基于变形模型的方法) 115 .19l 5 ) 基于区域的 跟踪方法12 0 6) 基于卡尔曼 滤波器的目 标跟踪121-24 2. 5小结 本章第一节对本课题所要解决的问题视频测速进行了详细的分析，把 测速问题分解为车辆的行驶时间测量和距离测量两个子问题，并且把重点定在 如何在图像上对车辆的行驶距离的进行精确测量。同时还把把行驶距离的测量 也分为两个子问题:建立z d图像坐标和真实场景的3 d世界坐标之间的映射关 系，以及运动车辆在图像上的检测跟踪。同时还对视频测速系统在实际工作中 可能遇到的一些问题进行了讨论和分析。 第二节到第五节对上述问题的常用的解决方法和技术包括摄像机的标定、 运动目 标的检测、运动目 标的跟踪等做了简单介绍。 第3 章 基于路面标线检测的图像定位方法 第三章 基于路面标线检测的图像定位方法 本文提出了一种基于道路标线检测的图像定位方法，不需通过摄像机的标 定检测出摄像头的各种内部参数和外部参数，直接通过图像中标线位置，和己 知的标线长度和标线间隔长度，得到在道路方向上图像位置和真实场景位置的 联系，为视频测速系统中的距离测量服务。 3. 1基于路面标线检测的图像定位方法 3. l i图像定位的已有解决方法分析 在 2. 2节问题分析中，我们已经知道要求得图像中的车辆目 标的行驶的路 程，首先要解决第一个子问题:如何建立z d图像坐标和真实场景的3 d世界坐 标之间的映射，常用的方法有摄像机标定方法或虚拟线圈法等。 摄像机标定一般需要在观测场景中标定n个参照点，现场测量这些点的精 确位置，然后利用插值算法确定像素与地球坐标的映射。在有些时候系统难以 放置有效的标定物作参照点。比如在高速公路上，不可能在路面位置放置特殊 的标定物，影响高速公路的交通，也不允许在路面上以某种固定形状和颜色的 标志作为标定物 ( 参见国家标准g b 5 7 6 8 一 1999 道路交通标志和标线 ) 。 用虚拟线圈 法实现距离的测量13，2” ， 就是通过人工测量或估计的 方法得到两 条图像上的虚拟线圈在实际道路上的距离，这种方法简单有效，测量精度也较 好。但在系统实际工作时，通过的重型汽车造成的震动偏移会使镜头方向产生 偏差，之前的人工测定的距离就失去了作用，需要重新人工测量或人工恢复摄 像机镜头的方向。同时受到检测线检测效果的影响， 如文献1 3中分析讨论虚拟 线圈精度问题时提到了同一车辆的两次 “ 撞线”时并不能保证刚好被摄像机拍 摄到，实际车辆的行驶距离会比线圈间距有一定的偏差，影响其测速性能。而 且其标定的距离也被固定了，只能是两条线圈之间的距离，所测量的速度也只 能是两条检测线间的平均速度，对图像中其他位置的车辆的速度无法进行测量。 于是本文提出了一种新的定位法，不需借助摄像机坐标系和普通的标定物 第3 章 基于路面标线检测的图像定位方法 的放置，而是利用摄像机的镜头的摆放使监控图像和实际道路坐标间具有易标 定的性质，只要获取相对较少的参数，使图像上的所有像素点坐标都可以方便 地计算出其在道路方向上的位置。通过对道路上的白色标线端点的检测来计算 图像定位所需的参数.这种方法可在道路边的单杆上安装，易于安装修理和调 校。 3. l 2本文的图像定位方法原理 本文研究的高速公路测速系统中的观测对象车辆在道路平面上的运动 可以看作是直线运动， 系统最需要的 信息实际上只有车辆在真实世界的3 d信息 中道路所在直线方向 上的位置信息。若设该道路所在直线为x轴，则对测速系 统来说， 最关心的是车辆在x轴上的位置信息， 另外z d的位置信息 ( y轴和2 轴)不是必要的。从这点出发，本文的测速系统中对图像定位问题进行了简化: 找到z d图像的位置坐标和世界坐标下道路方向上一维位置坐标 ( x轴上位置) 之间的关系，即可以从某物体的z d图像坐标得到其在道路方向上的位置。 基于路面路标线检测的图像定位方法， 是利用摄像机的镜头方向的摆放( 使 摄像机的横向感光元保持水平，同时镜头朝道路方向，即镜头光轴所在的竖直 平面和道路平行) ，使具有同一纵坐标的所有像素点相对应的世界坐标点在道路 方向上具有相同的投影位置，即世界坐标的x轴分量相同 ( 如果假设道路和 x 轴平行) 。 这样只要得到某一个像素对应的世界坐标点的x轴位置，同 一行的其 它像素也能得到同样的结果。如果我们每一行像素中都选取一个像素组成一条 竖直像素列，该象素列中每一个像素都可以代表同行其它像素对应的世界坐标 在x轴上的分量。只要找到该像素列的像素点和对应世界坐标点的x轴位置的 关系，就能得到所有像素和对应世界坐标的x轴的关系。这里我们设该像素列 为图像的竖直中线l o( 即通过图像的中心把图像两个相同的部分的直线，注意 在大多数的摄像机里图 像的中心就是摄像机的主点:光轴与成像平面的交点) 。 如图3 . 1 中场景中道路平面上某点p ， 在x轴上的投影点为p， 在图像平面 上的 投影 成像点 为q 。 而 道路 上 的 线 段p p 在图 像上的 投影 为 线段qq 。 显 然 qq， 所在的 一行像素 所对应的世 界坐标的x轴分量都是 一样的。 只要知 道经过 主点的竖直像素l o 和对应世界坐标系在x轴上的分量的关系， 就可以知道所有 像素和对应世界坐标系在x轴上的分量之间的关系。 从图像上看即要找到l o 和 第 3 章 基于路面标线检测的图像定位方法 x 轴的之间映射关系。 图像 平面 o 一 了 - 一 1 - 一 口 一 px .。月v 图像平面 、 勺 、 、 p x 一入 仁一 a)透视图a)俯视图 、-， c)图 像平面 像素示 意图 图3 . 1摄像头设置和图像特征示意图 为方便理解和计算，我们把世界坐标系的原点设为道路平面中间的车行道 分界 线上 某个端点 上， x 轴沿道路方向 与 汽车 前进方向 相反， y 轴为 道路延展方 向由单杆朝路面方向 ( 图3 .2 ) 。 一d 一 朋 一 、 一 t州 图3 之摄像机位置和道路场景的世界坐标系设置示意图 第3 章 基于路面标线检测的图像定位方法 这 样 如 果 我们 把x 轴(z= 0 ， y 二 0)， 和l o (u = uo， u 。 为l o 上 像素的 纵 坐 标)代入2. 1 得到: ( 3 . 1 ) cx r护卜卜七 c，4几1 几几几 仇几几 l u 。 i c ll 5 】 一 c ， t l l c 3 ， 整理后得到: ( 3 . 2 ) -!j 味几1 qqc3 r.esesesee且.1.l - -十lesesj uovl r.，esesesesl 了 这里 得 到的 是 在 世 界 坐标x轴上 点 ( x ， ， 。 ， 0) 和图 像 上l o 上的点 ( u 。 ，v) 之 见的 映 射 关 系。 其中“ 。 是 一固 定 值， 所以 我 们 可以 从式3 .2 可以 得到: 二 = 兰 丛 二 兰 .( 3 .3 ) c 3 l v 一 c z i 这样我们把式2 1 中n个参数的摄像机矩阵简化为了3 个参数的转换方式。 只 要得 到 这 三个 参 数q 1 c 24 q ， ， 就 可以 找到l 。 的 点 和x 轴上的点 之间 的 映 射 关系，同样也就得到了图像上所有像素对应世界坐标系在 x轴上的分量之间的 关系。 要 找 到 这 样的 关 系 需 要 求 得 三 个参 数q : 几 c3， 的 精 确的 值， 我 们可以 用设 立参 照 点 的 方 式 求 得 它 们的 值。 对 每 个lo上的 点， ， 及 其 对 应 世 界 坐 标点 的x 轴 分量戈， 记为 以，戈 ) ， 从式3 .3都 可以 得到 一 个线 性方 程: x ， ，1 ， ，一v， ( 3 . 4 ) u， 一一 几味q 理 论 上 只 要得 到 三 组数 据 (v ， x ， ) 的 坐 标就 可以 得 到 三 组线 性方 程组 求出 这 三个参数， 但是由于测量噪声， 数据并不能完全精确的和式3 .3对应。 我们采用 对给定n 组的 数据 (n3) 进行最小 二 乘拟 合文献 4 的 方式求得这三个参数， 提高 参数的精确性。先将n 组数据带入3 .3得到方程组: 第3 章 基于路面标线检测的图像定位方法 ( 3 . 5 ) 干!，!lesj ul叭uh reseseseswe.es.l ，.111j 陌凤一风 ，.se.!几1.esesj vl咋气 ，-xl，-xz; 1，1，1， 队匡|卫氏 这 是 个 超定 系 统， 不 存 在 满 足 所有 方 程的 参 数向 量 q ; ， c z 。 ， q， 。 用 最小 二 乘法解方程的方法求得三个参数，使实测图像坐标与经摄像机矩阵预测的坐标 之间的差平方和最小。 得到三个参数后就可以通过式3. 3 从 l o 上的像素点的坐 标 (u 。 ， ， ) 计 算对 应的 在x轴 上 点 (x，0， 0) ， 同 样 也 可 从图 像 上 任何一 像 素 点的 坐 标 ( u ， v) 计算出 该像素对 应的 世界 坐标的 位置在x轴上的 分量x(图3 . 1) 。 从上文的分析我们可以看出式 3 .3不但适用于 l o ，而且适用于计算整个图 像平面上的 任意 像素点 ( u ， v) 和对应的 在x轴上点 (x ，0， 0 ) 即 道路位置的 关系。 只 要在图 像中 得到 三组以 上的 数据(v ， ， x : ) ， 就可以 得 到这 三个参数。 3 . l 3基于路面标线检测的图像定位法 前 面 我 们知 道 只 要 得到 三 组以 上的 数 据 ( u ， ， x ， ) ， u ， 为图 像 上 某像 素点的 纵 坐 标， x ， 为 该 像素点 对 应的 道 路 场 景 上的 点的 世 界 坐 标的x 轴 位置( 即 道 路位置) 。 就可以计算出式3 .3 中的三个参数， 并可以 用于道路位置和图像坐标位置之间的 转换.这里我们可以 在图像上找到道路上固有的白 色标线的端点 ( 如图3 ，3) 作 为参照物计算出这三个参数。 二 二 充 二 二 二 免 皿二.凡 卜l-1-.卜!卜 vgvt竹铭竹 三 一 二一 飞 。!f-。卜。1尸。 匆们竹 一 1 一一一一 飞 vvo 图3. 3把标线的 端点做为参照点 从图 像下 方 第一 个 检测 到的 标 线段 端点 像素 ( u 。 ， vo ) 开 始， 所 有的 检测 到的 端点像素的v 轴坐标为: l 6 第4 章 车辆目 标在视频中的检测及跟踪 第四章 车辆目 标在视频中的检测及跟踪 4. 1基于背景差法的机动车目 标的检测 第二章介绍了智能交通系统中使用视频监控装置对交通道路上的交通状况 进行监控，绝大部分的情况下属于静态背景， 采用背景差方法i35 ) 对交通场景内 的运动车辆进行检测和跟踪是最常用和最方便的方法. 背景差法的一般工作流程如图4 . 1 所示: 图4 . 1 背景差法基本流程 只 (x ， y):l 关 (x ， 力一 取x ， 州 只是 在经 过尽和厂 (x ， y)做差 分 操 作 之后 得到 差 分图 像( 式4 ， 1)， ( 41 ) 其中双是 用来 减除的 背 景图 像，厂 (x ， y)指当 前 采集 到的 视 频图 像， 进一步 进 行目 标分 割 二值化后得到前景点集，进行形态学处理消除内部空孔，得到比 较完整的目 标 区 域凡， 最后 用连 通性 分 析得到 完整的 某 车辆目 标， 并由 某种 准则 进行 判别 它 是否 是要找的 运 动目 标。 这里 准确描 述 真实 静态 背景 的 背 景图 像尽显得 非常 重 要。 而我们指的所谓静态背景，指的是背景像素的灰度在时间轴上无剧烈变化. 然而，在实际中 “ 静止”背景的像素灰度有可能由于环境光照变化、摄像机抖 动以及小物体或噪声的干扰等因素而发生变化，从而影响检测和分割精度。所 第4 章 车辆目 标在视频中的检测及跟踪 以如何根据实际情况选取合适的精确可靠的背景模型是背景差法的关键。对于 于长时间的目 标检测来说，背景的光照必然时随时间变化的，必须采用自 适应 地初始化和更新当前背景的方法35 ，犯 ，371 。 4. l i常用的背景的初始化方法 静态摄像机由于场景在整个视频序列中近似静止，故背景对应的时间轴上 的低频信息可以通过对视频序列进行时间轴上低通滤波来估计静止背景。一般 基于时间轴的背景估计的形式如式4. 2 。 其中， hi为滤波器， n为滤波器的长度。 凡= 艺气 厂 (x ， 力 ( 4 . 2 ) 背景 建立常 用的 滤 波器有均值滤波， 中 值滤波、 高 斯滤波1l 刘、 多 模高 斯滤 波135 加 】 、 rls滤波i3v l和卡尔曼 滤波137 1 等等。 在系 统实现时 要考虑到系 统应用的 实际情况，种种条件限制，选取比较适合实际图像特点的方法，即能保证系统 所要求的检测的正确率和检测精度，也能兼顾系统的实时性和可行性等。 4. l 2高速公路监控视频图像特征分析 本系统研究的是高速公路道路上视频测速，高速公路上视频监控图像我们 可以认为有下列特点: . 摄像机位置方向及焦距固定，保证摄入的图像的背景是静止的。 . 背景的内容始终不变。主要以路面和路边的景物为静态的背景，一般在 道路上没有背景物被移出背景，也没有新的目 标停在背景区造成背景区域短时 间内改变较大。 . 高速公路视频所要监控的是道路上的车辆行驶区域，系统可以只检测两 条道路边缘线内的道路情况，减少了背景的复杂度。 . 在自 然的条件卜 ，大气系统是一个时变但变化平缓的系统，也就是说在 短时间内光照条件的变化是缓慢的，不考虑有光照突变的情况。 基于上面的假设，监控视频的背景多数时间都是暴露在镜头之下的，长时 间内背景可能会发生变化，变化的原因主要有这么几种: 1 .汽车目 标车辆通过造成幅度较大的亮度变化。 2 .光照条件的变化造成图像灰度在整体上提高或降低一个比较小的值。 第4 章 车辆目 标在视频中的 检测及跟踪 3 .比较随机和孤立的噪声影响。 基于以上分析，高速公路监控视频图像的背景情况比较简单，可以用针对 简单背景的较为快速的方法来快速检测车辆。 4. l 3背景初始化和更新方法 考虑到高速公路视频测速系统对精度和实时性的要求，本文提出一个基于 统计的背景初始估计算法和更新算法，用于对缓慢变换光照条件下和较为简单 背景的条件下的车辆目 标检测和它在图像上的定位。 1)背景模型初始化算法 从高速公路视频监控视频下的静态背景的分析中，我们可以知道该背景模 型可以 不用考虑背景中 某个象素点的值呈多峰分布135 j6的情况， 并且基于高速公 路视频监控视频中的背景图像大部分时间内是暴露在视频监控镜头里的假设， 本文提出了一个基于统计的背景初始化算法，利用均值滤波对连续数帧图像中 某个位置的像素灰度值进行比较， 找出该位置上的像素最可能出现的灰度值( 或 者说过去一段时间内出现频率最高的灰度值)来对背景进行估计。 背景的初始化算法如下: 1 .采集n帧 连 续图 像， 计 算图 像 上 某 位 置 (x ， y) 的 所 有 像素的 灰 度值的 均 值 p(x， y ) ， 并 计 算 该 位置 上 所 有象 素 和p 的 差 值的 均值6 (x ， y) 。 艺 关 ( x ， ， ) “ (x， 力 = 型 万 了 一 口 ( x ， 夕 ) = 习关 (x ，力 一 川 n ( 4 . 7 ) 2. 用每 一帧图 像上该 位置的 像 素灰 度值 和p (x ， 刃 进 行比 较， 剔除 掉 像素 灰 度值差。 (x ， y) 大的 像素， 把 保留 下来的 像素 再 次 计 算 均 值协 和6 值。 3 .若剩下的像素的数量多于一定的比例 n % ( 比如40%) ，则对剩下的像素 重复步骤 1 2 ，直到剩下的像素数量比例低于 n %。用以 近似该位置的像素出 现频率最高的灰度值。 4. 用最后得到的 均值p(x， y ) 构 建背景图 像。 第4 章 车辆目标在视频中的检测及跟踪 4. 2基于卡尔曼滤波器的机动车跟踪方法 目 标跟踪一般有以 下几个步骤: 1) 视频序列中检测到新的 运动目 标及运动区域; 2) 对检测到的目 标提取特征并建立目 标匹配模板; 3) 确定目 标在下一帧中的搜索范围; 4) 在确定的搜索范围内， 寻找最佳的匹配位置， 如果在确定的范围内 未找到 目 标时需要进行例外处理; 5) 利用匹配到的目 标图 像， 更新被跟踪目 标的 模板数据。 按照以上步骤反复进行，就可以完成对目 标的跟踪。 本文的目的是为了 检测出经过视频监控区域的目 标车辆的速度，就要在上 一节对目 标车辆进行精确检测的结果的基础上，实现对该目 标跟踪以记录车辆 的行驶轨迹，通过车辆的行驶轨迹和帧图像之间的时间间隔以及图像定位技术， 得到该车辆在实际道路平面上的行驶速度，为交通监控部门提供必要的特定车 辆目 标的速度信息。本节将提出一种基于卡尔曼滤波的车辆目 标跟踪方法。 4. 2. 1卡尔曼滤波器模型简介 卡尔曼滤波122 刀 泌 解 ，45 是由“ 消息过程” 、 “ 测量过程” 和 “ 滤波过程” 组成 的，是一套线性无偏最小均方误差的递推公式。可以证明，在一定条件下，在 最小均方误差准则下得到的最佳线性系统是所有系统中的最佳者。 . 消息模型 ( 状态转移方程)就是对连续信号的采样 乓“ 人 一 x*-. + 凡 _ . 八一( 4. 11) 式中凡为n 维向 量， 八为r 维 随 机动 态噪 声 . 量测模型就是测量机构的输出和相应的状态变量的关系 儿= q乓+ 叭( 4. 12) 式中儿， 叭都 是m 维 向 量 ， 叭是 测 量 带 来 的 噪 声 。 . 滤波模型，即进一步预测，就是要寻找x的线性估计式 第4 章 车辆目 标在视频中的检测及跟踪 凡= 艺 凡 为 + dk ( 4 . 1 3 ) 式中峨为n 维 的 常 值向 量。 通过上面三个模型可以 求得