（交通信息工程及控制专业论文）视频检测系统中的车速检测技术研究.pdf

摘要 基于视频图像处理的交通信息检测系统因其简单、方便、实时性好越来越受到重视， 近年来成为国内外研究的一个热点，有着广阔的应用前景。车辆速度检测是交通信息检 测的一个重要组成部分。 本文对车辆速度检测所涉及的摄像机标定和基于图像匹配的测速算法进行了研究。 主要内容包括： ( 1 ) 摄像机标定。在传统的线性模型基础上，提出了一种新的摄像机标定方法。 首先通过线性透视关系，用几何推导的方法对一维坐标进行标定，然后将其扩展至二维 以提高标定精度，为了解决二维标定计算量大的问题，经过对二维标定的简化得到一个 计算量小、稳定的标定算法。 ( 2 ) 基于图像匹配的测速算法。在图像匹配的基础上，将虚拟线圈和图像匹配算 法结合起来，根据线圈位置选取合适的模板，在预先设定的范围内，按照最佳匹配准则 进行滑动匹配，得出车辆像素位移，以模板波形谷值点为特征点，得到匹配前后车辆绝 对像素位置。 本文设计出了一种实用的车速检测方法，能够实现车辆瞬时速度的实时检测。隧道 实测数据的实验表明：能够比较准确地检测出车辆经过时的瞬时速度，在实际应用中的 测量精度达到9 5 以上。初步应用表明：本设计可以满足实际应用的要求，可应用于隧 道中的速度检测、车速调查等方面。 关键词：智能交通系统，交通参数检测，车辆速度检测，摄像机标定 a b s t r a c t t r a 伍ci n f b r m a t i o ns u r v e i l l a l l c es y s t 锄b a s e do nv i d e oi i l l a g ep r o c e s s i n gi sb e c o m i n g m o r ea n dm o r ei m p o r t a n tb e c a u s eo fi t ss i n l p l e ，c o r 觚e n t a n di i lr e c e n ty e a r s ，al o to f r e s e a r c h e sf o c u so ni t v e i l i c l e s p e e dd e t e c t i o ni s av e r yi n l p o r t a l l tp a r ti nt h e 们f 丘c i n f o n n a t i o ns u r v e i l l a n c es y s t e m h lt l l i sp a p e r ，c 锄e r ac a l i b r a t i o n 锄di m a g e - b 嬲e dm a t c l l i n ga l g o r i m m sa r es t i l d i e d m a i l l c o n t e n t sa r ei l l c l u d e d ： ( 1 ) c 锄e mc a l i b m t i o n np r o p o s e san e wm e m o do fc 锄e mc a l i b r a t i o nb 勰e do nm e 仃a d i t i o n a lp i n - h o l em o d e l - f i r s t l y o n e d i m 肌s i o n a la 1 9 0 r i t h mi sc a l c u l a t e do u tw i t l lm e g e o m e t r i cm e t l l o d ，a n dt h e i le x t e n d si tt 0 俯。一曲= i l e i l s i o n a li no r d e r t 0e 1 1 l l a n c em ea c c u r a c yo f c a l i b r a t i o n 。f i n a l l yt h et 、o d i m c n s i o n a lc a l i b r a t i o na l g o r i t l l i i li ss i m p l i f i e df o rr e d u c i n gt h e c o m p u t a t i o n a lc o l l l l p l e x i 够 ( 2 ) h i l a g e - b a s c dm a t c h i i l ga l g o 枷珊f i r s t l y ，m ep o s i t i o no ft 锄p l a t ei s 丘x e da c c o r d i n g t 0t 1 1 ep o s i t i o no fv i r h l a ll 0 0 p 1 1 l e l lm a t c h e st h et e m p l a t ew i m 叩t i i i l a ln 1 1 ei nn e 盯a r e ao f t l l en e x t 丘锄e f i l l a l l 弘t l l em i i l i m 哪i i lt 翎叩l a t e sw a v ei ss e l e 曲e d 鹤f e a ：t u r cp o i n tt 0 c a l c u l a t eo u tm ev e l l i c l e sa b s o h n ep o s i t o ni np i x e l ap r a c t i c a lv e h i c l es p e e dd e t e c t i o na l g o r i m mi sd e s i 印e di i l 廿l i sp 印i tc 趾d e t e c t v e m c l e si n s 伽t a l l e o u ss p e e di i ir e a l t i i i l e t h er e s u l t so fe x p 耐m c i l ti 1 1t u l l n e ls h o wt l l a t ：i t c a i ld e t e c tv e m c l e s 缸s t a i l t a l l e o u ss p e e da u c c u r a t e l y ，i np r a c t i c c ，t l l ea c c u r a c yo fm e 猫i l r 锄饥t i sm o r em 孤9 5 e 砌y 印p l i c a t i o n si 1 1 d i c a t em a t ：t h ea 1 9 0 d m m sc a l lm a c hm er c q u i r 锄锄t s o fp r a c t i c a la p p l i c a t i o n s ，i tc 粕b eu s e d ：i i lt u r h l e l i nv e k c l es p e e dd e t e c t i o n ，s p e e ds u 】e ye t c k e y w o r d s ：i t s ，t m 伍ci n f o n i l a t i o ns u r v e i l l a l l c e ，v 砌c l es p e e dd e t e c t i o n ，c 锄e r ac a l i b r a t i o n 论文独创性声明 本人声明：本人所呈交的学位论文是在导师的指导下，独立进行研究 工作所取得的成果。除论文中已经注明引用的内容外，对论文的研究做出 重要贡献的个人和集体，均已在文中以明确方式标明。本论文中不包含任 何未加明确注明的其他个人或集体已经公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名：吾靶袷 p 7 剧朋 论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属学 校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权 利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成 果时，署名单位仍然为长安大学。 ( 保密的论文在解密后应遵守此规定) 论文作者签名： 导师签名： 亍枷 、 、 j q zt 7 年月，日 、1 年月，口日 长安大学硕士学位论文 1 1 研究背景 第一章绪论弟一早珀i 匕 国外智能交通系统( i t s ) 的发展始于2 0 世纪6 0 年代，目前国外r r s 的研究、开 发和利用主要集中在城市交通和高速公路两个方面。r r s 总的发展趋势和竞争领域主要 集中在一下几个方面：一是美日欧竞相开发智能交通系统体系结构。它是历届i t s 世界 大会的一个主题。美国国家s 体系结构的研究始于1 9 9 2 年，采取自上而下的模式推 进i t s 体系结构的开发。二是美日欧日益重视智能交通系统标准化研究。r r s 是先进的 信息技术、通信技术、电子技术和交通运输管理系统相接合的大系统，其最基本的特征 是“集成”，而标准化是系统集成的重要基础。目前，美日欧正在竞相向国际标准化组织 提出r r s 的系统方案，以便使之成为标准，从而在争夺i t s 国际市场中占据有力位置。 三是智能交通系统出现了从单一的道路运输智能化向综合运输智能化发展的趋势。目前 世界t i s 的发展主流是道路运输的智能化，但是，要从根本上解决交通运输问题，必定 要实现整个综合运输系统的智能化。良好的智能交通系统需要大量准确的反馈信息，因 此离不开高质量的交通信息的检测，否则，该控制系统不可能具备良好的性能【l 】。 我国己有成套的动态车速信息采集设备，对于安装g p s 定位设备和车载计算机的 车辆，可以实时监视车辆的运行状况，动态记录下车辆在各个路段的行驶速度。然而， 国内在基于视频图像处理技术的交通信息采集方面的研究起步较晚，在交通迅猛发展的 今天，随着经济的发展和科技的进步，越来越多的科研机构和公司开始进行这方面的研 究，并取得了一些成绩。目前，我国对于实时车速采集算法和实时交通数据检测的研究 还比较少，实时交通数据的扩展应用和相关软硬件的开发还比较薄弱，随着我国交通工 程智能化水平的不断提高和道路交管部门的自动化水平的不断改善，基于视频图像处理 的实时交通流信息采集系统必将有广阔的前景【2 】。 视频交通信息采集技术是一种便于使用、信息量大，功能全面的新型检测手段，代 表了交通流信息采集技术的发展方向，随着人们对它认识的进一步增加和它本身技术的 不断完善，视频交通信息采集技术将逐步取代现有的其他方法，起到交通信息采集技术 主体的作用。 目前实践上已经有不少视频检测产品v 口s ( v i d e o i m a g ep r o c e s s i n gs y e t e m ) ，按工作 原理可分为两类：虚拟线圈法( t r i p w i r es y s t e m s ) ( 或虚拟检测线法) 和车辆跟踪 第一章绪论 法，下面介绍这两种方法的工作原理【3 】。 1 虚拟线圈法 早期大部分视频检测技术是采用是虚拟线圈法，如a 1 月o s c o p e 、c c a t s 、t a s 、 m 卜冲a c t s 、1 r a m c c 锄等，其工作原理类似于地埋式线圈检测器。用户在图像上定义 检测线位置( 以一条或多条直线代表道路断面) ，系统通过计算检测线变化强度来判断车 辆的经过，从而计算交通参数。该方法的优点是大大减少了数据处理时间( 只需一行或 几行的图像数据) ，在满足实时要求的前提下完成流量、速度的检测。由于交通场景象 素值与路面( 背景) 象素值作差分比较仅仅可得到有无车辆通过采样线位置这一唯一的特 征值，而丢失了包括车辆长度、宽度和运动轨迹等特征，所以降低了系统的可靠性，同 时也未能充分利用图像信息。 2 车辆跟踪法 通过识别出交通场景图像中符合车辆特征的象素，进行图像分割，并依据提取出的 特征来匹配前后帧中车辆，从而计算交通参数。c m sm o b i l i z e r 、e l i o pe v a 、p e e k v i d e 0 t r a l 【、n e s t o rt m m cv i s i o n 都属于这一类型，也称为“第三代v 口s 。理论上，车辆跟踪 法比虚拟线圈法更为严谨，所以更能代表发展的趋势。但是该方法的难度在于特征的提 取和特征的跟踪：首先，特征必须有代表性，图像中的车辆都具备该特征且各不相同； 其次同一车辆在不同帧图像中特征应该具有相关性，能够有较好的对应关系。根据跟踪 方法的不同可以分为以下几类【4 】： ( 1 ) 3 d 模型跟踪：用3 d 车辆模型来匹配图像中车辆。该方法的实现有赖于大量 几何数据和实际车辆外形尺寸相似的汽车模型，事实上很难保证。 ( 2 ) 区域跟踪：图像二值化后，寻找连通区域，实现跟踪。由于一段时间内拍摄 图像所处环境光线条件变化很小，相邻帧的图像可以认为与背景几乎相同，所以对比相 减后结果，可以反映出车辆运动的轨迹。该方法的特点是较好地解决了气候、光线和周 围环境条件对视频图像的影响这一难题。其缺点在于二值化后车辆图像经常并不连通， 而是分为不连续的几块，导致检测错误。同时确定二值化阈值、动态更新背景和寻找连 通区域过程中算法复杂，计算量大。 ( 3 ) 动态轮廓跟踪：该方法基本思想是通过滤除图像中的静止物体，而仅保留运 动物体来实现跟踪。该方法计算量相对区域跟踪较小，但是无法检测静止车辆，而且其 检测效果受车辆运动速度的影响，过快或过慢的车速都可能导致检测错误。 ( 4 ) 特征跟踪：为解决不同车辆图像重合的难题，该方法着眼于车辆的局部特征， 2 长安大学硕士学位论文 如较亮的点或线，以此实现车辆跟踪。该理论相信即使图像部分重合，车辆的另外一些 特征仍然存在。问题在于由于图像受周围环境( 如建筑阴影、路灯) 的影响，车辆在路段 不同位置的特征不能保证相同。 可以看出，各国研究者对视频检测技术做了很多有意义的工作并取得了相当的成 果。但是由于利用视频图像获取实时交通参数的特殊复杂性，以及图像工程用于交通领 域历史不长，目前该技术仍处于不断完善中。 本论文是基于视频交的通事件和交通参数检测系统的一个模块，重点研究实时车速 检测算法以及涉及到的如摄像机标定等相关内容和算法，其目的是改进实时车辆速度的 检测方法，为交通管理提供更为有效的依据，提高交通管理的智能化、自动化水平。系 统的结构采用d s p 处理器为软件实现平台，利用软件技术实现了交通信息的实时检测。 除了能应用于实时车速的检测之外，本论文的研究将为图像处理技术的其他应用开发积 累经验。 1 2 常用车速检测方法 目前，国内外常用的车速检测技术有雷达、红外、激光、超声波、磁性测速等【5 】。 其中，以形状感应为检测对象的超声波式和光电管式车辆检测技术，以电磁感应为检测 对象的环型线圈式和地磁式车辆检测技术，以及由多普勒雷达发展起来的微波车辆检测 技术，这三大技术已逐渐成为交通信息采集的主要手段。近年来，随着视频处理技术的 发展和成熟，其方法也开始广泛应用于车速检测，视频车辆检测技术将是未来实时交通 信息采集和处理技术的发展方向【6 1 。 1 雷达检测技术 这是最早接触和使用的检测技术，检测设备称为雷达测速器( 或多普勒雷达) 。其 原理是通过向运动着的物体( 如车辆) 发射一定频率的无线电波，并检测物体反射回来 的电波频率与发射频率的差别，利用这个差别，来计算运动物体的速度，实现对车速的 检测。雷达对运动目标速度的测量是依据多普勒原理，具体见参考文献 7 】。 一般雷达测速仪的测速范围大约在( 2 4 1 9 9 ) l ( i 】讹，测速范围比较大，精确度也相当高， 固定测速误差为士11 ( 1 i l l l ，运动时测误差为士2l ( i 】肌。 2 红外检测技术 红外检测技术有两种类型：第一种是主动式红外检测器【8 1 。原理和微波雷达检测器 一样，但是发射频率更高( 较短的波长) ，它可以检测车辆存在、车速、流量、占有率和 第一章锗论 车型信息，适用于白天和黑夜的情况；它易受到天气条件的影响而发生散射。第二种是 被动红外检测器，它本身不发射能量，而是检测目标发射的能量；通过检测道路和车辆 发射能量之差，可以确定车辆存在；还可以测量流量、占有率和车辆存在信息等，但一 般不用于车速测量，而且天气对测量有负面影响。 3 激光检测技术 激光测速是继激光器出现以后发展起来的一门集物理、电子学和计算机知识于一体 的现代科学技术。利用激光测量仪可测量物体的线速度，常用的激光测速仪主要有参考 光束型和脉冲半导体型两种。由于激光为点测量行为，无论是通过多普勒效应还是激光 高速测距来实现车辆的检测，从理论上讲是可行的并且检测精度过程都相当高，但激光 检测中的激光束对人体主要是人眼的伤害是极为严重的问题。 鉴于激光测速的原理【叭，激光检测器应用中有一些要求：激光光束必须要瞄准垂直 与激光光束的平面反射点；激光测速器不可能具备在运动中使用，只能在静止状态下应 用；激光测速仪的取证能力远远大于雷达测速仪，因而受到全世界广泛的认可和推广。 4 超声检测技术 超声波测速测距的基本原理是利用其反射【l o 】特性。超声波发生器发射一定频率的超 声波遇到障碍物后产生反射波，超声波接收器接收到反射波信号，并将其转换成电信号， 测量发射波与回波之间的时间间隔t ，并根据公式照t v ) 2 计算距离( v 为超声波传播 速度) ，再根据距离变化量与两次测量时间间隔之比计算车辆运动速度。 超声波的特点是：方向性好；功率大；对雨、雾、雪的穿透能力强，可以在恶劣气 候条件下工作，系统制作简便，成本低。因此，可应用于车速测量中。其主要缺点是测 量反应时间长，误差大，波束发散角大，分辨率低，衰减快，有效测量距离小。 5 地磁式检测技术 地磁式检测技术是在地面埋设感应线圈( 或感应棒) ，通过感应车辆的电磁信号来换 算出其速度。这种方法比较经典，检测效果也不错。该检测方法的缺点是在于地面埋设 感应线圈的施工量大，路面变更后亦需重埋线圈。以电磁感应为检测对象的方法还有环 型线圈式车辆检测技术。 采用地感线圈作为车速检测的基本原理【l l 】：速度的计算公式为v = s t ，其中s 为两 个线圈之间的距离，t 为车辆通过两个线圈的时间差。由于两个线圈之间的距离s 在埋 设线圈时已经确定，所以通过测量车辆离开两个线圈的时间差t ，即可测得车速。 地感线圈检测具有以下优点：使用简单；灵敏度高；可靠性高；成本低。与雷达检 4 长安大学硕士学位论文 测、超声波检测、红外线检测相比有成本低的优势。 6 视频检测技术 该方法是通过闭路电视系统或数字照相机、摄像机来进行现场数据采集，采用视频 识别技术和数字化技术分析交通数据。通过对连续视频图像的分析，跟踪超速车辆行为 过程。此种检测方法对检测路口的光线变化较敏感，因此图像的算法优略是影响检测效果 好坏的根本【1 2 】。一些成熟产品的检测效果是相当不错的，其性能价格比也较好，因此国 内外应用此种检测方法的系统占主流。 按照是否需要输入人工参照信息，可将现有视频检测车速的方法划分成两类：需要 对视频图像进行标定的测速方法和无须对视频图像进行标定的测速方法【1 3 1 。 另外，基于视频的检测技术包括线式检测法和面式检测法【1 4 1 。 所谓线式检测法，即在图像要检测的车道上选定一条线作为检测线，利用这条检测 线的灰度变化( 只要有车辆经过，检测线的灰度就会发生某种程度的变化) ，来检测是否 有车辆通过。线式检测法数据运算量小，噪声干扰少，因此运算速度快，实时性强，识 别精度较为稳定，成为近期较多采用的算法。但是线式检测法在提高检测线的自适应性 和系统对光线变化的鲁棒性等方面，均受到较大的限制。 面式检测法是在图像上设置一定的区域作为检测依据的方法。这种算法能够有效地 克服线式检测方法的不足，具有良好的应用前景。 本文结合了线式检测法和面式检测法两种方法来进行车辆速度检测。 1 3 本文的主要研究内容及结构安排 本论文是基于视频的交通事件和交通参数检测系统的一个软件模块的算法设计，本 文的重点在于基于视频的交通参数检测中的车辆速度检测。主要研究内容如下： 第一章绪论 综述代表性的智能交通系统的国内外发展现状，及交通参数检测的有关技术。 第二章基于视频的交通事件和交通参数检测系统 介绍了基于视频的交通事件和交通参数检测系统的软硬件构成、设计思想及系统功 能等。 第三章摄像机标定 首先介绍了传统的线性模型标定方法，提出了一种适合本系统的标定方法，通过实 验结果证明此方法具有较好的稳定性和较少的计算复杂度，标定精度达到9 4 以上。 5 第一章绪论 第四章车速检测方法 首先在车辆计数的结果上找到模板位置，根据实际的车道线走向确定目标模板的表 示，然后在一定的范围之内根据不同的匹配准则进行全局匹配，最后找匹配谷值点，计 算出速度值。 第五章现场实验结果 通过在上海复兴路隧道和贵阳龙景隧道进行现场实验，大量的实验数据证明：本文 设计具有较高的正确率和较好的稳定性。 最后对全文工作进行总结和展望，并给出本应用的发展方向。 6 长安大学硕士学位论文 第二章基于视频的交通事件和交通参数检测系统 目前国际上交通视频监控系统的主流产品为c i t i l o g 视频交通分析系统，以该产品为 参照，并要在系统架构、功能指标和适应中国实际应用环境方面进行提高和突破，制定 了基于视频的隧道交通事件和交通参数检测系统的研究方案。 系统在架构、软件和算法设计等方面充分考虑了系统在公路和城市交通等应用环境 中的适应性和可扩展性。采用先进的数字视频处理与模式识别技术，对视频图像中的目 标进行识别、跟踪，并描述其运动轨迹，根据车辆的运动轨迹得出车辆的运动状态，从 而实现对道路交通突发事件的实时检测，并在第一时间内自动报警。同时采用自适应技 术，以充分适应各种气候状况和不同光照的环境。以具有自动交通事件检测，交通参数 测量，火灾检测和交通状况分级等功能。 基于视频的隧道交通事件和交通参数检测系统，其主要研究内容如下： ( 1 ) 交通事件检测及报警：逆行车辆、停驶车辆、行人检测、抛落物、慢行车辆、 交通拥堵、火灾检测、交通事故； ( 2 ) 交通参数检测：车流量、车速、道路占用率、车头时距、车型类别： ( 3 ) 交通状况分级，如畅通、饱和、拥堵等； ( 4 ) 自诊断功能：信号丢失、设备故障等； ( 5 ) 异常事件录像； ( 6 ) 远程系统参数配置功能等； ( 7 ) 采用高性能d s p 及嵌入式实时操作系统，比现在有的p c 斗州n d o w s 操作系统稳 定可靠，体积小功耗低，机架插卡式结构紧凑，易于扩展。将大大降低系统成本，以提 高市场推广的竞争优势。 2 1 系统的硬件架构 基于视频的交通事件和交通参数检测系统在实际监控系统中的简单应用示意图如 图2 1 所示。 7 第二章* 十税额的文通事件和交通参数检测系统 圈2 1 基于视频的交通事件和变通参皴检测系统应用示意图 其中虚线框内的视频交通事件检测器、管理服务器和百兆以太网交换机共同构成基 于视频的交通事件和交通参数检测系统。 视频交通事件检测器是本系统的核心部分。它对输入的视频信号进行分析处理，并 将交通事件和交通参数等分析结果上报给管理服务器和其他需要该信息的计算机。 管理服务器负责视频交通事件检测器内各单板的配置、管理和监控，并统计管理交 通事件和交通参数，存储交通事件录像，进行数据库管理等。 视频交通事件检测器、管理服务器和其他管理终端之间通过百兆以太网交换信息。 22 系统的软件模块 系统软件主要分为五个模块。软件模块的流程图如图22 。 长安大学硕士学位论文 图2 2 软件模块流程图 1 图像预处理 通过视频采集的图像经过预处理，处理成7 2 0 宰2 8 8 像素的灰度图。采集速度为2 5 帧每秒，即每帧4 0 毫秒。 图像坐标取左下角点为( 0 ，o ) ，右下角坐标为( 7 2 0 ，o ) ，左上角坐标为( o ，2 8 8 ) ，右 上角坐标为( 7 2 0 ，2 8 8 ) 。本文中对图像进行处理时都采用此坐标系。并且把图像分割成 9 0 宰4 8 个块，每块大小为8 奉6 像素，如图2 3 。 9 筇= 带拈 视频的盘通书件自交通参数幢潮系统 左上伯 ( 0 ，2 8 8 1 像桑 “0 ，4 8 愀 右上 蕊 7 2 0 ， 9 0 ， 秉 左下角：( 0 ，0 )右下角：( 7 2 0 ，o ) 像素，f 9 0 ，o ) 块 囤2 3 图像坐标示意图 2 背景提取与更新 根据有车辆运行的图像得到无车辆的道路背景，称为背景估计。同时，为了和实际 场景相符提高识别的精度，保证系统长时问正常运行，就需要综台当前的光线、阴影、 洒落物等各种因素，不断实时更新背景图。 3 目标区域二值化分割m 。7 l 将目标从背景中分割出柬，是系统实现设计功能的关键步骤。需要用图像二值化柬 实现目标与背景的分离。准确的二值化信息对计算车辆速度等参数是一个重要前提，并 且在背景更新的作用f ，线圈跗近的二值化效果没有大面积的杂点。 4 交通事件检测陋1 7 】 二值化后恢复出车辆的灰度信息，然后对车辆进行跟踪，描绘出车辆的行驶轨迹， 从而分析是否有交通事件。交通事件是指公路( 高速公路) 上的偶发性事件，如逆行、行 人、变通事故、故障停车、货物散落、超速等。 5 交通参数检测 根据虚拟线圈q 的二值化信息，可以计算出时间占柯翠，以及统计出交通流量在 削断h 有一辆乖经过线嘲时，计算f l j 车头时距、车型类型，并且开始对车辆进行速度测 量，根据计算出来的速度值和时问占有率信息可以得到交通状况分级( 畅通拥挤或堵塞 等) 。交通参数检测还包括不同时问段内各个车道的的交通流量、各个车道的不通类型 车辆的流量、平均车速，r 均车头时距等一段时i i j 内的平均参数。 2 _ 3 基于视频的车辆速度检测 本文主要针对系统中交通参数检测部分的车辆速度检测模块，对其所涉及的摄像机 长安大学硕士学位论文 标定和基于图像的匹配测速算法进行了研究和分析。 1 由于处理视频信息得到的只是车辆在视频上所移动的像素距离，而非世界坐标系 中以米或其它单位的距离，所以需要一个视频坐标和世界坐标的转换关系，即进行摄像 机标定。 摄像机标定有着已成型的几种算法，但这几种典型算法不能够精确的适用于所有情 况。在实际应用中，需要根据现场实验的情况进行适当的一个改进或者调整，以减少标 定误差，减少算法计算量。 本文在传统的线性模型基础上，提出了一种新的摄像机标定方法。首先通过线性透 视关系，对一维坐标进行标定，然后将其扩展至二维以提高标定精度，为了解决二维标 定计算量大的问题，经过对二维标定的简化得到一个计算量小、稳定的标定算法。 2 由于常规的虚拟线圈测速方法只能应用于摄像头架设位置较高，视频图像上车辆 较小，并且车辆大小近似的情况。本文结合线式检测法和面式检测法的优点，提出了一 种设置虚拟检测区域和图像匹配法相结合的算法来检测车速。选定用虚拟线圈作为检测 线，来检测车辆的存在信息，然后在线圈附近划定一个特定的面来检测车辆的位移，从 而得到车辆的像素级位移。 从系统流程图2 2 中可以看出，由于车流量计算模块用的是虚拟线圈的检测方法， 一旦车辆经过线圈，车流量计算模块可以为速度计算模块提一个准时的信号此帧车 辆刚好经过线圈。当已知一辆车出现，并且刚好车尾部已经过线圈时，开始在线圈附近 划定一个面，进行图像匹配计算。基于图像的匹配算法需要解决的几个关键问题分别包 括：模板位置的确定、模板的表示、滑动搜索范围的划定以及匹配准则的选取。确定了 车辆位移( 其单位为像素) 后，需要使用摄像机的透视关系来计算出车辆的实际位移， 从而得到瞬时的车速信息。 长安大学硕士学位论文 第三章摄像机标定 由于处理视频信息得到的只是车辆在视频上所移动的像素距离，而非世界坐标系中 以米或其它单位的距离，所以需要一个视频坐标和世界坐标的转换关系，即进行摄像机 标定。 计算机视觉的基本任务之一是从摄像机获取的二维图像或图像序列恢复场景的三 维信息，并由此重建和检测物体。真实场景中点的位置与图像中对应点的位置之间的几 何关系是由摄像机成像几何模型决定的，这些几何模型参数称为摄像机参数。摄像机参 数包括内部参数和外部参数，其中，外部参数是指摄像机相对于世界坐标系的位置和方 向，内部参数表示摄像机的光学本质特性，包括摄像机的主心( 图像的中心) 、焦距、径 向镜头畸变、偏向镜头畸变以及其它系统误差参数。内部参数和外部参数通常是不知道 的或者发生变化的，因此必须通过实验和计算确定这些参数，这个过程被称为摄像机标 定【1 8 】。 本章首先介绍了传统的标定方法中的线性模型，然后根据实地场景的特性，用几何 的方法，推导出一维标定算法，然后针对一维标定的缺点，扩展至二维标定，最后简化 二维标定，达到提高标定精度，减小计算量的效果。 3 1 传统的标定方法 已有的的标定方法大体上可分为两种类型：线性标定和非线性标定。摄像机模型是 光学成像几何关系的简化，其中最简单的模型为线性模型，或称针孔模型( p n h o l e m o d e l ) 。当计算精度要求较高，尤其是当摄像机的镜头是广角镜头时，线性模型不能准 确的描述摄像机的成像几何关系，这就需要用到摄像机的非线性模型【1 9 】。 由文献【1 8 】可知：线性模型下，3 d 场景中的一点p 经摄像机的光心投影到像平面的 p 点上，光轴是来自光心并垂直于点o 的一条射线，f 是摄像机的焦距，即光心到像平 面的距离。以摄像机的光心。为原点，以经过光心且相互垂直的三条) 【c 、y c 、z c 为坐标 轴，建立摄像机坐标系o x 。，y c ，z c ，其中z c 和光轴重合。取经过像平面中心且互相垂直 的两直线为坐标轴，建立像平面坐标系o x y ，如图3 1 所示。 1 3 第三章摄像机标定 图3 1 摄像机坐标与图像坐标 设点o 同时也是像平面的中心，令p 点在摄像机坐标系下的坐标为( x 。，y c ，z c ) ，对应 的图像点p 在像平面坐标系下的坐标为( x ，y ) ，用齐次坐标( x ，弘1 ) 表示，则： 旯 i f l = lo i l o l ( 3 1 ) 其中，九是常数因子，( ) 【o ，y o ) 是摄像机光轴与像平面交点与像平面中心的偏移量。 通常情况下，摄像机采集的图像在计算机中存储为m n 数组，即m 行n 列。假 设离散化的像素点在x 和y 方向上的物理宽度为d x 和d y 。在图像上定义离散化直角坐 标系( r ，c ) ，在此坐标系下，每一个像素的坐标就是该像素在数组中的行数和列数。如图 3 2 所示，若离散化像素的横向与纵向分别平行与x 轴和y 轴，离散前后的坐标变换为 x = d x c 和y = d y r ，则摄像机坐标系中点( x 。，y c ，z 。) 和它的用像素坐标表示的像点“c ) 的关系 厂厂d 工 l 10 i io l o 于f dy o 1 4 唯 ( 3 2 ， 1 _ j lz c - j c c c x y z 。l1，j o o x y 1 0 ，o o 以o 疋o o 。l1j c c c x y z 。l1j 工 y 口口 l o o 石 y 1，j c r 1 。l 为 五 长安大学硕士学位论文 c 广 r1 l o r ( r o ，c o )x 1r 此时，公式可以简写为：= k x 其中，爷踟x ，嗍，c o = 州x ，r o - = y 棚y ，矩阵k 称为摄像机内参数矩阵，通常被 称为4 参数模型。通常，d x = d y ，此时& = s = ，被称为等效焦距。 由式3 3 可以看出，m 代表像素坐标，x 代表世界坐标系的实际坐标，九是常数因子， k 取决于相机内部参数。 3 2 本文提出的标定方法 3 2 1 基于线性模型的一维标定算法 由于本文算法是在无法得知摄像机内部参数的情况下进行设计的。所以本文在基于 线性模型的基础上，不考虑摄像机的内部参数，利用摄相机的透视关系，几何推导出了 摄像机的外部参数，即图像坐标与世界坐标系的转换关系式。 如图3 3 所示，视频图像中，选定等距离的几个点作为参照物。由于中间车道线的 白色虚线间隔是等距的，通过实际测量得到其距离为6 米，选定这个等距的白线作为参 照物。用鼠标在6 米等距的地方分别进行点击，以十字标号显示，并且至少要点出三个 十字。 第三章拦像机标定 b e u nq p e t 啦 e 抟k 揸上毡鲁。 一 茧 图3 3 一维标定算法的透视关系设置界面 本文提出的一维标定算法的几何推导方法如下： 首先考虑第一种情况，透视关系几何推导图如图34 所示，o 点相当于摄像机的焦 点，n c 代表的是中问车道线，m f 为摄像头镜头投影面，也就是视频图像上所显示的 面。有摄像机镜头的成像原理可知，m 靠近图像下方，f 靠近图像上方。 nabc 图3 透视关系几何推导圈 其中d 、e 、f 三点分别为视频上用鼠标单击的三个点，其所对应的实际道路路面 为a 、b 、c ，即a b = b c = 6 米。在视频上找一个点m ( 这是第一种情况，m 点位于d 点右侧) ，m 点所对应的路面上的点为n ，所以，关键问题就是要找出视频图像中像素 距离m d 所对应的实际距离n a 。 首先做两条辅助线，n h 和a g ，平行于m f 。 则已知条件分别为： a b = b c ，并且a b 和b c 都已知； d e 和e f 的像素距离己知； 长安大学硕士学位论文 m d 阴像素距禹已知； m f 价m a g ( 表示平行，表示三角形) 。 求：n a 的实际距离。 求解方法如下： 由栅，得出等= 篙= 器，可以得出脬= 气竽，妒= 等铲 由删，得出尝= 嚣，可以得出觚= 竽 将n p 、q h 、a k 代入下面两式： 由心g 相似于伽h ，得出篙= 篙，即羔= 器 由衄k 相似于q ，得出篙= 篙棚志= 旒 可以得到：羔= 若筹蓦畿 a bd e d e x g 一= = ：一 a b + n am d 七d 卧e f p q 此时，两个关系式中只有两个变量，n a 和篙，解此二元一次方程式得： m ： 兰：丝：竺：丝 ( 3 4 ) m = 一 i j 4 j e d e d e d e 七m d d e m d e 卜 同理，求出其它几种的情况的结果： 第二种情况，m 点在f 点左边：m = 瓦面去告面而( 3 5 )匕卜u 匕u 匕u 匕七n l u u b 一l u 匕r 第三种情况，m 点在。f 之间：删= 瓦面意告笔篇而面( 3 6 ) 第四种情况，m 点在e f 之间：删= 瓦面斋瓮笔面面 ( 3 7 ) 匕f 【，匕七也p 匕p m 1 ) u 匕一m u 匕r 根据这四个关系式，可以得到2 8 8 行像素中到第o 行的实际距离，用一个2 8 8 大小 的数组来表示，如m 印p e d d i s 1 2 0 】7 0 8 是指从第0 行到1 2 0 行的实际距离为7 0 8 厘米， 即m 印p e d d i s 1 2 0 】m 印p e d d i s o = 7 0 8 。由此可以得出任意两行像素之间的实际距离。 3 2 2 由一维扩展至二维的标定算法 1 一维标定笪法存存的问题 1 7 第= 摄像目l 标定 卜节中叫个关系式都是山摄像机几何透视关系推导出来的，是比较理想情况f 的标 定。由于标定是按照r i | | t q 车道线为参考进行殴置的，所以当摄像头刚好位于t p 问车道线 的正上方。并且车辆从中问车道线上经过时，标定精度很高，并且计算量小使用简单。 而实际情况中，摄像头不可能正好位于车辆的正上方，都有一定的角度偏差，或者 偏左，或者偏右，即不仅在行上需要标定，在列上也需要标定。如果车辆刚好从中间车 道线上经过，测量出来的结果比较精确，但是一旦车辆从左车道或者右车道经过，必然 会产生一定的偏差，车辆偏离中问车道线越远，标定产生的偏差也就越大。如图35 所 示，两条直线之间纵向相隔5 9 像素但是a b 之间的实际距离并不等于e f 之闻的实际 距离，而是e f 的实际距离明显要大于a b 的实际距离。上节的标定算法没有考虑这种 情况，也就是说在摄像头的标定中，需要根据不同的场景给予一定的角度补偿。 一 、 ；： f b 、 。 i j 一”? “j 曦6 踺篮啉晰。 图3 s 补偿前的标定示意图 维标定中，在点击了几个等距的点后，默认为水平方向上等像素的点a b 、e f 实 际距离也是相等的。而实际情况并非如此。如图36 所示两条直线不是水平方向的直 线，只是近似于平行线此时a b 、e f 的实际世界坐标系距离才是相等的。 。p 一闷 廖l 两直线问纵向相隔5 9 像素 。上上b i ! l 实际情况r ： l 实际距离a b l = e f b 7 一 蔷蕊画赢 h 辩上嘛 图36 补偿后的标定示意图 显然，a b 和a 1 b 虽然都纵向相隔5 9 像素，但他们的实际距离是不相等的。由于透 长安大学硕士学位论文 视关系，距离越远的路面，同样的像素间隔所对应的实际距离就越大，所以a b 的实际 距离肯定要大于a t b 啪实际距离。 2 二维标定算法 从图35 和图3 6 中可以看出，在实际应用计算时，需要按照路面的斜率计算一个 补偿关系。方法如图37 所示，进行参数设置时，除了点击中间车道线上等距的几个点 之外还需要点击出右车道线上与中间车道线对应的点，从而拉出实际等距的儿条非平 行线。 图3 7 二维标定算法的透视关系设置界面 补偿后的标定效果示意图如图3 8 所示。 图置8 补偿后的标定效果示意圈 图38 中，每条直线上的值都是相等的，直线s 与中间车道线相交于o 点以这条 线作为基准0 点，也就是说这条线上透视关系值都为o ，直线s 下方这一部分的值未处 第= 章摄像机标定 理，也都为o 。直线h 上的值都等于m 印p e d d i s m ，直线t 上的值都等于m 印p e d d l s n 】。 从图38 中可以看山，点m 和点n 所在的两条直线，卜任意两点的距离为m 和n 的 距离，即等于m 8 p p e d d i s 【嗍一m 8 p p e d d i s n 】。 二维标定算法的数据结构必须有所改变，从2 8 8 大小变为7 2 0 + 2 8 8 大小。本文中使 用二维数组m a p p e d d i s 7 2 0 】 2 8 8 】来实现。例如m a p p e d d i s 【2 1 8 【1 4 3 - 8 7 0 ，表示点( 2 1 8 ， 1 4 3 ) 的标定结果为8 7 0 。 323 = 维标定算法的简化 虽然二维标定算法的精度比一维标定有着很大的提高，系统在工控机上运行时，二 维标定计算量以及内存的增加，不会影响整个系统。但在d s p 环境中运行时，由于d s p 可以分配给测速模块的内存较小，无法满足二维标定所需要的存储空间。所以需要对二 维标定算法进行简化，不但能对摄像机角度偏差做一个补偿，而且能减少一定的计算量 以及存储空间。 由于图37 中所画的斜线都是近似平行的，所以把这些直线看做平行线。如图39 所示，只需要画一条斜线。 圈3 9 二维标定算法简化后的透视关系设置界面 通过这条斜线，就可以计算出斜线的斜率来，也就是说，可咀计算出这条斜线与水 平轴线的夹角。如图31 0 ，这里假设直线a e 和直线b 下是平行的，首先做一条水平辅 助线，那么此水平辅助线和直线a t e 的央角就是已知的。通过对e 、f 两点做一+ 个角 度为n 的投影，那么我们自然可以得到、b 两点的坐标，通过计算a 、b + 两点的透 视关系，计算出一个比较精确的速度值，从而达到对偏离中间车道线的车辆在透视关系 上的一个补偿效果。 。步，巍：阄嚣 c 一一p “ 求掣 fb ，l 一 。 。一一一一i 一一2 3 3 标定算法实现及结果 3 ，3 1 腑班 璃 筹一 删 卿 瑟蒯 适位 渊 虾蝴刷 刺 ! 螽_ 删舢 黼 脚础俐 椒 一姆一熟一 磐一 第三章摄像机标定 击车道线位置，用黑线显示。三个车道信息采用2 8 8 3 的二维数组来存储，设数组为 l a l l e m 冰【2 8 8 】【3 】，l a i l e m 酞【1 5 0 】 1 】指的是中间车道线在1 5 0 像素位置的横坐标。从图 中可以看到，左车道线越往下越偏左，直到偏出视频可见范围，所以初次点击车道得出 的l a i l e m 破 1 0 】 0 】等靠下的车道线坐标都为o 。如图3 1 2 ( a ) 所示，而所需要的左车道线 见图3 1 2 ( b ) 。所以测速前，必须先计算出左边车道线延长线的正确坐标，使之成为图 3 1 2 ( b ) 理想状况下的样子。这是摄像头偏右的情况下，如果摄像头偏左的话，则需要计 算最右边车道线的延长线，如图3 1 3 所示。矩形框代表视频图像，斜线代表车道线。 ( a ) ( b ) 图3 1 2 摄像头偏右时车道线( a ) 延长前彻延长后 ( a )( b ) 图3 1 3 摄像头偏左时车道线( a ) 延长前( b ) 延长后 3 设置透视关系：即摄像机标定技术中所需要用到的设置。本视频图像选定中间车 道线的白色虚线做为等距参照物，在距离相等( 世界坐标系) 的地方点击，用十字显示； 按照3 2 3 节所描述的方法，在右车道线附近点击与最下边的十字标号等距的点，显示 为一条通过最下方十字标号的斜线；最后设置透视关系下的编辑框里输入两点之间的实 际距离( 单位是米) ，如输入6 米，再点击设定按钮。透视关系用一个2 8 8 大小的数组 来表示，如m a p p e d d i s 【1 5 0 】= 1 0 9 9 表示第1 5 0 行像素到第o 行像素的距离是1 0 9 9 厘米， 从而得出，1 2 0 到1 5 0 像素的距离，等于