（信号与信息处理专业论文）视觉交通检测技术的研究.pdf

摘要 目前，交通信息的实时监控及分析，对于加强城市交通管理能力起到了越来 越重要的作用。为了能够实时地收集交通信息，通过视频检测的方法进行交通 检测正在受到越来越多的重视，通过对放置在公路上的摄像机所采集到的路面 视频图像的处理，可以获得诸多交通参数，这些参数对于道路交通的自动化管 理有着重要的意义。视频交通检测技术已逐渐成为交通信息采集领域的主流技 术，具有很好的应用前景。 根据市场需求及掌握先进技术的需要，本文研究了视频检测的主要技术， 并在此基础上提出了基于d s p 的视频交通检测方案。该方案中，对摄像机定标 技术进行了深入地研究，并最终确定重建方案，完成了图象坐标系到世界坐标 系的转换。同时，使用了基于虚拟检测线的视频检测方法来实时检测车辆，它 使用背景差分的原理，将车辆从背景中分割出来。为了提高检测精度，提出了 一种新的时空图像序列分析的技术，并将其补充到背景算法中。根据本方案建 立的视频交通检测系统采用了c s 结构，客户端完成数据的采集处理，在服务 器端完成数据的集中管理功能。在系统硬件方面，使用了基于d s p 的视频检测 卡加工控机的硬件解决方案，d s p 视频检测卡使用了1 1 公司的c 6 0 0 0 系列高性 能d s p 作为核心处理芯片，可完成模拟信号到数字信号的a d 转换，图象处理 等功能。相应地，视频交通检测软件由三部分组成：底层软件、下位机软件、 上位机软件。文中介绍了几个重要的软件模块的流程。 最后开发出的视频交通检测系统经过对实际路面的试验结果表明，该视频 检测系统具有较高的检测精度。 关键词：视频检测，摄像机标定，背景更新，数字信号处理器，虚拟线 a b s t r a c t t r a f f i cm o n i t o r i n gi so f m a j o ri m p o r t a n c ef o re n f o r c i n gt r a f f i cm a n a g e m e n tp o l i c i e s t o c o l l e c tt r a f f i ci n f o r m a t i o n ，v e h i c l ed e t e c t i n gb a s e do ni m a g ea n a l y s i st e c h n i q u e sh a sb e e nt h o u g h t h j g h l yo f m o r ea n dm o r e av i d e oc a m e r ap l a c e do nap o i n to f t h er o a dc o i lo b t a i nv a r i o u st r a f f i c p a r a m e t e r s ，w h i c hi st h ek e yp a r to f t h ea u t o m a t i z a t i o no f t r a f f i cm a n a g e m e n t s ov i d e ov e h i c l e d e t e c t i o nh a sb e e nam a j o rt e c h n o l o g yi nt r a f f i ci n f o r m a t i o nc o l l e c t i n ga r e aa n dh a sam a r k e tw i t h g r e a tp o t e n t i a l a c c o r d i n g t ot h ed e m a n do f m a r k e ta n dt h en e e dt og r a s pa d v a n c e dt e c h n o l o g y ，m a j o rv i d e o v e h i c l ed e t e c t i n gt e c h n o l o g i e sa l er e s e a r c h e da n das o l u t i o nb a s e do nd s pi sp r e s e n t e d i nt h i s p a p e rc a m e r ac a l i b r a t i o na l g o r i t h mi sd e t a i l e da n dt h r e e - d i m e n s i o n a lr e c o n s t r u c t i o ns o l u t i o ni s a d o p t e dw h i c he n a b l e st oc o n v e r ti m a g ec o o r d i n a t e st ow o r l dc o o r d i n a t e s a tt h es a m et i m et h e s o l u t i o ne x p l o i t st h ea l g o r i t h mb a s e do nv i r t u a ll o o p st od e t e c tv e h i c l e si nr e a lt i m e ，w h i c hu s e s t h eb a c k g r o u n dd i f f e r e n c i n gm e t h o dt os e g m e n tv e h i c l e sf r o m i m a g e f u r t h e r m o r ean o v e l t e c h n o l o g yc a l l e ds p a t i o - t e m p o r a li m a g es e q u e n c e sa n a l y s i si sa p p l i e dt ob a c k g r o u n dd i f f e r e n c i n g t oi m p r o v ed e t e c t i o na c c u r a c y t h ev i d e ov e h i c l ed e t e c t i n gs y s t e mb u i l d e do nt h i ss o l u t i o ni s c o n s l r u c t e dw i t hc ss t r u c t u r e ，i nw h i c hc l i e n ti si nc h a r g eo f t r a f f i cd a t ac o l l e c t i n ga n d p r o c e s s i n ga n ds e r v e rb e c o m e sam a n a g e m e n tc e n t e r t h e nt h eh a r d w a r ei m p l e m e n t a t i o no n 锄 i m a g eb o a r dp l u sc o m p u t e ri sd e s c d b e di nd e t a i l a n dt h ei m a g eb o a r dw i t ht h eh e a r to f t h et e x a s i n s t r u m e n t s6 2 11 d s p c h i ph a st h ea b ! l i t yo f a dc o n v e “i o na n dv i d e op r o c e s s i o n o nt 1 1 ea s p e c t o f s o f t w a r e ，t h es y s t e ms o f t w a r ei sm a d eu po f t h r e el e v e l s ：d s ps o f t w a r e ，l o w l e v e ls o t t w a r ea n d h i g h - l e v e ls o f t w a r e t h ef l o wc h a r to f t h e s es o f t w a r ec o m p o n e n t sa r ed e s c r i b e di nt h ep a p e r t h ef i n a lv i d e ov e h i c l ed e t e c t i n gs y s t e mi st e s t e do nr e a l w o r l ds c e n e sa n de x p e r i m e n t r e s u l t si l l u m i n a t e st h a tt h es y s t e mc a na c h i e v er e a l - t i m ed e t e c t i o no f i m a g e sa n dah i g h d e t e c t i n g a c c u r a c y k e yw o r d s ：v e h i c l ed e t e c t i o n , c a m e r ac a l i b r a t i o n ，b a c k g r o u n du p d a t i n g , d i g i t a ls i g n a l p r o c e s s o r ( d s p ) ，v i r t u a ll o o p 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得鑫盗盘芏或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示了谢意。 学位论文作者签名：粹铲字隰 9 蚌卫月日 学位论文版权使用授权书 本学位论文作者完全了解盘注盘鲎有关保留、使用学位论文的规定。 特授权垂注盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：谛泰两 导师签名： 签字日期：2 出劈月f 日 粕移 签字日期：勿鲈曰月叫日 第一章绪论 1 1 本课题提出的背景及意义 第一章绪论 交通是国民经济的基础产业，是社会发展和人民生活水平提高的基本条件。交 通运输的发达程度是衡量一个国家现代化程度的标志之一。随着高速公路建设的发 展，如何高效、安全地使用高速公路成为亟待研究的问题。由于建造各种公路等物 理设施的能力是有限的，所以单纯地依靠修建更多的道路、扩大路网规模等这样的 措施仅仅能解时之需，并不能从根本上解决日益增长的交通需求。因而需要运用 高新技术，如现代信息与通讯技术等手段，来改造现有的道路运输系统及其管理体 系，只有通过这种提高交通管理的效率的方法。才能大幅度地提高现有路网的通行 能力和服务质量，从根本上解决交通拥堵的问题，改善交通状况。正是基于这种需 要，于是提出了智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，简称i t s ) 的概念。 1 1 1 智能交通系统简介。4 ”1 智能交通系统( i t s ) 是指将先进的信息技术、数据通讯传输技术、系统工程技 术、计算机处理技术等应用于交通运输，提高交通运输系统的运行效率和服务水 平，增强系统安全可靠性，实现各种交通信息管理现代化的交通管理方法和技术。 它是对传统交通运输管理系统的一种革命，代表了交通运输发展的方向，也是解决 交通运输瓶颈的关键措施。当i t s 出现的时候，就预示着一种新的交通管理方式的 到来。 目前，智能交通系统的研究已在世界范围内受到广泛关注，美国、日本、欧盟 等一些发达国家分别在i t sa m e r i c a 、v e r t i s 、e r t i c o 的协调组织下，纷纷投人 巨资和人力进行i t s 的研究与开发。i b m ，l g ，西门子，松下，目立等国际知名 巨头纷纷迸军i t s 市场。据美国交通部估计，智能交通系统的应用将消除大约每年 1 2 0 万的交通事故，挽救上万人的生命，节省2 6 0 亿美元因交通堵塞及交通事故所 造成的损失。在未来2 0 年里，美国智能交通相关产品及服务市场容量将超过4 2 0 0 亿美元，相关项目将超过6 0 万个。 中国对i t s 的研究与应用也非常重视，在“十五”期间，国家关于i t s 的目 标包括：在8 1 0 个典型城市进行i t s 工程示范，力争使示范城市行车平均速度 第一章绪论 提高l o 公里4 , 时，事故造成延误时间减少3 0 ，乘客平均出行时间减少2 0 ； 同时，选择卜一2 条交通量较大的高速公路，试点建设跨省国道主干线联网收费与 结算系统、综合管理系统、主线不停车收费系统，争取实现跨省收费一卡通；此 外，还要扶持若干具有良好产业发展前景的i t s 高科技企业，开发智能交通领域 的关键技术，探索发展具有中国特色的i t s 。 i t s 的目标是应用现代的计算机及通讯技术保证交通系统的顺畅运行，提供交 通安全性，i t s 本身涵盖了范围很广的产品及服务，按美国“国家智能交通系统项 目规划”，它包括了七大领域： 先进的交通管理系统：负责自动调节车流，使车辆在路面上顺畅的通过。 公共交通运营系统：负责通过各种交通模式将乘客方便地运输到目的地。 出行信息服务系统：如路线导航系统，乘客信息等。 先进的车辆控制系统：如智能巡航系统等。 应急管理系统。 电子收费系统。 商务车辆运营系统。 应该说i t s 作为一个新兴的事业形态和先进的交通管理模式，随着计算机技 术，视频处理技术，自动控制技术等相关领域技术的发展而不断发展，其市场前景 是极为光明的。 1 1 2 交通监控系统的研究及比较 在i t s 这个综合系统中，交通流量信息采集是极其重要的一个环节，信息的提 取是以后其他系统对信息处理的前提，i t s 中的交通管理系统，出行信息发布系 统，电子收费系统，乘客出行系统，以及应急管理系统等都需要建立在交通信息数 据的基础上，可以说交通流量的信息采集是i t s 的基础。为了能够准确实时获得各 种交通信息数据，国内外很早就开始了相关的研究，传统的检测技术主要有以下几 种： 磁频感应系统 包括感应( 环形) 线圈检测器、磁性检测器、地磁检测器、微型线圈检测器、磁 成像检测器和摩擦电检测器等。目前使用最广泛的环型线圈车辆检测器，通过流过 线圈的电流产生磁场，车辆在上面通过时金属部件干扰磁场，由检测器的电子装置 测量出这种变化，从而检测出车辆的存在或通过。但由于需要埋设在地下，所以极 易被损坏，且会对路面造成严重地损害，所以安装、维护都很困难。 第一章绪论 雷达检测系统 雷达检测器是根据多普勒效应原理工作的。通过传送和接收信号同的频率差异 和车速之间的比例关系，即可换算成所需的交通参数，如车速、存在等。它适合各 种气象条件，但无法检测静止或速度较慢的车辆。 超声波检测系统 超声波传感器的工作原理是由传感器发射一束能量到检测区，然后接受反射回 来的能量束，通过有关的换能装置，将能量束转换成所需的数据依据此数据判别 被检测物是否存在或与传感器豹相对位置等。可检测车辆存在及计数。优点是结构 紧凑，安装方便，但易受温度及大气扰动影响。 红外检测系统 红外传感器使用发射、接收器，发射光束并接收反射光束：通过反射频率的变 化进行对所需数据的检测。其优点是雾天穿透能力强，但不适应雨天及雪天。 可见咀上几种检测方式都存在着工作寿命、使用环境及可靠性等问题，且其最 大的缺陷在于它们只能提供少量的信息，而无法满足现代交通管理的需要。随着现 代计算机技术及视频处理技术的发展，一种通过图像分析的方式获取交通数据的设 备视觉交通检测系统，近年来获得飞速发展。 1 1 3 视频交通检测技术“” 视频交通检测的概念最初由美国加州的j e tp r o p u l s i o n 实验室于1 9 7 6 年提出 的，它是将视频处理技术与交通控制技术相结合，其基本原理是：将摄像机架设在 道路上方进行拍摄，摄像机所采集到的视频信号经过一系列图象处理算法的处理， 从而通过视频处理的方法判别出车辆，车速以及其他地交通参数。图1 1 是视频交 通检测系统的结构示意图。由圈可见，作为信息采集处婵的核心，视频监控系统输 出的交通信息数据可通过网络送入中央监控中心，也可直接控制交通信号灯系统或 信息发布系统的工作。同时在监控中心也可实时控制视频检测系统的工作状态。 信息发布系统的工作。同时在监控中心也可实时控制视频检测系统的工作状态。 第一章绪论 图1 1 视频监视系统示意图 与其他检测技术相比，视觉交通检测具有其他检测技术所不可比拟的优势： 检测范围大，可以进行多点监视。一台摄像机即可监控几十至几百米的范 围，且在摄像机的视野内可设定多个检测区域。 检测的灵活性强，安装调试方便。无需破坏路面，只需对摄像机的参数作 出修改，从而不影响路面的正常交通，并且可以通过网络进行远程设置，方便 快捷。 可提供丰富的交通信息，适合于实时监控。可提供车流，车速，占有率， 车流密度等多种交通参数，同时由于使用的是视频处理的方法，所以可对路面 情况进行实时监视。 检测精度高，受外界影响因素小。 正是由于视频监控系统有着这样诸多的优点，从9 0 年代开始，欧美和日本等 发动国家都开始不约而同地采用视频及图象处理技术取代原来所使用的各种探测 器。因为视频检测涉及图像处理，计算机技术，信息技术，电子技术，交通技术等 诸多领域，是一项技术含量很高的工作。目前，主流的视频检测产品的生产厂家还 都是欧美厂商，市场也基本被这些国外厂商所垄断。 近些年来，我国也正在加大相关技术的研发力度，国内的一些高校，科研院 所，企业也开发出一些类似产品，如浙大，清华紫光等。但总的来说，都没有形成 产业规模。我们自行设计的视频交通检测系统，在研究了国内外相关产品的基础 第一章绪论 上，自行设计了电路及相关的视频检测软件，提出了自己的视频交通检测方案，这 有助于掌握自主核心技术，提高我国的交通管理水平。 1 2 研究与应用现状嘲9 1 ”0 3 川坦删埘 国外早在7 0 年代的时候就已经开始视觉提取交通参数的研究，并且针对不同 的应用条件提出了许多相应的算法，比如k e t o e t a 通过车灯确定隧道中的车辆； j s o h ，b t c h u n ，m w a n g 提出使用追踪的方法统计车流；j b a d e n a s 和f p l a 提 出利用区域跟踪进行分割的算法，纠正在分割中出现的错误；r c u c c h i a r a 给出了 基于视频数据推导的方法在城市交通检测车辆的方法。 目前，世界上在视频车辆检测领域最著名的公司是美国的i s s ( i m a g e8 e n s i n g s y s t e m ) 和p e e kt r a f f i cs y s t e mi n c 两家公司，它们代表了视频交通领域的最高 水平，其产品覆盖了大部分的市场份额。其中i s s 的a u t o s c o p e 系列以及p e e k 的 v i d e ot r a c k 系列都是智能交通领域比较成熟的产品。 由于这两种产品都是采用美国明尼苏达大学交通工程系的视频检测算法，下面 以a u t o s c o p e 为例谈谈国外视觉交通检测器的发展情况。 美国i s s 公司对a u t o s c o p e 视频车辆检测技术的研究始于八十年代初期，第一 代原型机诞生于1 9 8 7 年，其后于1 9 8 9 年正式推出了用于外场车辆检测的 a u t o s c o p e2 0 0 2 视频车辆检测系统。1 9 9 2 年，i s s 公司生产出a u t o s c o p e2 0 0 3 ， 产品的各项性能趋于成熟，实现了全天候检测。1 9 9 5 年，i s 8 公司又推出了软件基 于w i n d o w s9 5 n t 操作系统的a u t o s c o p e2 0 0 4 ，除了性能的改进之外，其结构更 为紧凑，完全符合新一代工业标准。 a u t o s c o p e 系列的最新产品也是目前最受业界好评的产品，a u t o s c o p e 2 0 2 0 采 用最新的车辆检测算法，可同时处理4 路视频信号，主要用于车辆存在检测，事故 检测，和交通数据的采集，其主要特点是能够支持p a l 制或n t s c 制式的视频制 式：采用r s 一2 3 2 或是r s 一4 8 5 通信接口，支持基于t c p i p 的网络互联，来自不同区 域的信息可综合地进行逻辑分析( 与，或，非等逻辑运算) ，除了完善的交通检测 功能外，还可自动进行事故检测，其w i n d o w s 环境下的s c o p e s e r v e r 软件开发包更 能简便，适用，低成本地让客户开发和定义各种功能。 我国的视频检测系统是在世界智能交通热的推动下逐渐发展起来的。目前，国 内的哈工大交通电子技术有限公司，浙大电信研究所，北京清华紫光股份有限公司 等几家企业也进行了一些视频检测产品的开发研究，如清华大学的v i s a t a r a m 系统 第一章绪论 通过分析两幅2 d s t ( s p a t i o t e m p o r a l ) 来获取车流车速等交通参数，等等。但 是，相对国外产品，国内厂商在视频监控技术的研究基础方面比较薄弱，尤其是视 频检测技术的核心一图象处理和模式识别技术的研究滞后与国外。为了能够跟上国 际的脚步，研制适合我国国情的视频检测系统，同时推动相关技术领域的发展，当 前大力开展视频交通技术的研究，具有十分重要的现实意义。 1 3 论文的主要任务及内容 课题来源于天津市科委的科技发展项目。主要致力于视觉交通检测的研究，其 目的是改善交通流参数的采集手段，为道路交通管理提供更为有效的依据。 围绕这一目的，在项目的前期工作中，我们对现有产品进行了充分地调研，现 场勘查了同类产品，并对国内外的多种解决方案进行了比较：以美国a u t o s c o p e 为 代表的相关产品，其经过多年发展，已有较成熟的产品，但这些产品价格昂贵，同 时可扩展性差；而国内的绝大多数产品主要了采用视频采集卡加计算机执行视频检 测算法的方式，其检测无法达到实时性的要求，检测精度比较低。我们在详细分析 了系统总体需求的基础上，提出了自己的总体设计构想。 系统的总体结构采用主机客户端的结构，分为上位机及下位机两部份，它们 之间通过局域网进行通讯。上位机位于监控中心，可对下位机的工作参数进行现场 地设定，同时接收来自下位机的交通数据，进行集中的处理；而视频信息检测部分 主要由下位机完成，下位机由工控机+ d s p 视频检测卡的结构组成，其中视频检测 卡使用的是t i 公司的t m s 3 2 0 c 6 2 1 定点d s p 数字处理芯片，其强劲的数字信号处 理能力足以完成交通视频图象的实时处理工作，同时外加s a a t l l 4 解码芯片及 c p l d 完成时序控制等功能，视频检测卡与工控机之间通过p c i 总线相连，以完成 数据通讯功能。 为了完成系统定标工作，本文系统地研究了摄像机标定的理论及算法，在分析 了现有的各种摄像机标定算法的基础上，结合交通检测的实际情况，选择了直接线 性变化法完成摄像机标定工作，推导了直接线性变换成像模型，同时加入了平面约 束条件，以简化求解过程，并且编写了摄像机标定算法，以完成图象坐标系与世界 坐标系的转换工作。 在视频检测算法方面考虑到视频处理的高数据带宽处理需求，及检测实时性方 面的原因，本系统使用了基于背景差分的检测算法，同时利用了虚拟检测线的方法 第一章绪论 减少检测的运算量，使用了加权背景更新算法完成背景更新，并且提出了时空图象 序列分析的方法以提高系统的检测率。 本文的主要内容安排如下： 第一章，介绍了智能交通系统的概念，通过与其他检测方式的比较，指出 视频检测对智能交通的重要地位，进而通过研究国内外视频检测技术的发展状 况，提出了我们自己基于d s p 的视频检测方案。 第二章，从摄像机的几何模型出发，介绍了坐标系变换的原理，详细研究 了摄像机的定标问题，推导了直接线性变换的成像模型，并加入了平面约束条 件以简化运算，同时讨论了提高标定精度的方法及措施，完成了图象坐标系与 世界坐标系之间的转换。 第三章，介绍了交通检测过程中需要量测的交通参数，分析了已有的视频 检测的方法，并在此基础上通过采用基于虚拟线的方法进行车辆及车速的量 测，研究了背景建立，背景更新，提出时空图象分析算法以提高检测精度。 第四章，在前面研究的车辆量测及参数计算的基础上详细阐述了系统总体 结构，分为软件及硬件两部分进行说明。 第五章，对全文进行了总结，并对其中的问题进行了讨论。 第二章摄像机定标 2 1 引言 第二章摄像机定标 视频交通检测是从摄像机获取的图象出发，计算道路上的交通参数，如车流， 车速，占有率等情况。在实际检测的过程中，需要建立图象平面上象素点的位置与 实际道路上位置点之间的对应关系，这些位置的相互关系，是由摄像机成像的几何 模型所决定的。而模型中的参数必须通过必要的摄像机标定过程来决定，以实现图 象上的每一点和实际道路平面上每一点的一一对应，进而计算车速，车流等信息。 在求解这些参数的过程中，目前存在多种解法，如求解参数闭解法，两步法，直接 线性变换等，其中直接线性变换通过迭代的方法求解摄像机模型的参数，具有可考 虑摄像机的多种类型的畸变，精度较高，算法简单等优点，所以它是目前摄像机定 标过程中使用的最为广泛的一种解法。 在视频交通检测的过程中，考虑到实际工程中，一般情况都需通过在路面上放 置一些特征点或利用路面上现有的一些交通标线的方法计算摄像机模型参数，所以 很多情况下无法提供过于特殊的标定点拓扑，所以本视频检测方案使用了直接线性 变换的方法进行摄像机的定标工作。 本章通过对摄像机成像模型的建立，论述了直接线性变换的理论及使用方法， 并且结合实际道路情况，提出了适合于交通检测的摄像机模型，给出了图象坐标系 与道路坐标系之间的转换关系。 2 2 直接线性变换( dif e e tlin e a rt r a n s f o r m a ti0 1 3 ) 1 5 叭1 7 1 为了建立从实际的世界坐标系到图象坐标系之间的映射关系，就必须建立摄像 机的成像模型，成像模型能否正确反映实际的坐标对应情况，对于坐标转换的精度 有着直接的影响，传统的方法要至少使用1 7 个参数描述三维空间中的约束关系， 所以在定标的时候也就需要大量的定标基准点以求解这些参数。直接线性变换的方 法作为一种对传统方法的简化模型，它建立在针孔成像模型的基础上，只需求解 1 1 个参数，即可建立成像模型，完成坐标转换工作，同时在加入非线性畸变时， 使用直接线性变换的方法也非常方便。对于视频检测工作来说，需要一种计算简 第二章摄像机定标 单，而精度又可以满足量测要求的方法，所以本系统中，使用了直接线性变换的方 法完成坐标转换工作。 2 2 1 坐标系的建立与针孔模型 摄像机定标模型实际上是光学成像模型的一个简化，在实际空间中的点投影到 摄像机焦平面的过程中，主要经历的如下的两种投影过程，图2 1 及图2 2 分别展 示了这两种投影过程： 啉：蜘点i 埴 图2 1 实际空间点到摄像机焦平面投影示意图 如图2 1 所示，实际空间中的物点0 通过摄像机的透镜被投影到摄像机的焦平 面i 点上。由于现在的绝大多数摄像机都使用了c c d 的数字成像方式，所以其最 终成像坐标都采用了象素的方式进行表示，所以为了适应图象数字化的要求，还需 进过第二次的投影，如图2 2 所示，最终图象被投影到图象平面的i 点。 图2 2 数字坐标映射示意图 根据小孔成像的原理，上述两个映射过程可归结为一个投影过程，如图2 3 所 示，图中建立了两个坐标系： _ 手 、 氟 、 ， 骂 聃 w、岁 一兮 过 第二章摄像机定标 世界坐标系：代表实际物体物理空间位置( x ，y ，z ) 。 图象坐标系：代表摄像机图象空间的( u ，v ，w ) ，其中w 应与摄像机光轴平 而u ，v 应与图象的x ，y 轴平行且与摄像机光轴垂直。 z 图2 3 小孔成像模型 物点0 使用的是世界坐标系坐标 x ，y ，z ，而物体在图象平面上的像点i 则使 用图象坐标系坐标 u ，v ，0 表示，n 则代表了摄像机的光心，其位于摄像机的光轴 上，光轴垂直于摄像机的图象平面。因为空间中任意一点的成像位置都可以使用针 孔模型( p i n h o l em o d e l ) 近似表示，所以物点0 ( 世界坐标 x ，y ，z ) ，其在图象 上的投影点i ，及光心n ( 世界坐标 x 。，y 。，z 。 ) 应该位于一条直线上，即共线条件， 使用矢量a 表示这条从光心n 到物点0 的矢量，可以表示为 x x o ，y - y o ，z z o 。 共线条件作为直接线性变换的基础，是今后推证的理论依据。 2 2 2 线性定标模型”9 1 如果定义图象平面与摄像机光轴的交点为p ，即为光心n 在图象平面上的投 影，称为摄像机的主点，其图象坐标系坐标为 u 。，v 。0 ，一般情况下p 点应该位于 图象的中心处，但由于摄像机制造方面的原因，也可能会偏离，这样光心n 及点p 的连线应垂直与图象平面( 因为n ，p 点都位于摄像机光轴上，而摄像机光轴与图象 平面垂直) ，如图2 4 所示，d 即为摄像机焦距，所以光心n 的图象坐标为 u 。，v 。d ，b 为从光心n 到像点i 的矢量，由矢量运算，可表示为 u u o ，v v 。，一d 。 由前推出的共线条件，即物点0 ，像点i ，及光心n 共线，所以矢量a 与矢量b 其实位于一条共同的直线上，由此共线条件可由公式( 2 一1 ) 给出， b = c a ( 2 一1 ) 1 0 第二章摄像机定标 其中c 是矢量间的缩放因子，由前矢量a 使用的是世界坐标系坐标，而矢量b h l - - 圈象平面 a e ，= 1 - ，。+ a c 。，= i ! i ii1十jlc。， c 2 i 二9 u n o = c r l l ( x - x o ) + r 1 2 ( y y o ) + r 1 3 ( z z 0 ) 】 v v o = c r 2 1 ( x x o ) + 1 2 2 ( y - y o ) + 1 2 3 ( z - z o ) ( 2 - 3 ) 一d = c r 3 1 ( x x o ) + 1 2 ( y - y o ) + r s s ( z z o ) 】 所以 c = 面j 丙石- d 而i 两 ( 2 - 4 ) 将c 反代入式( 2 3 ) 9 ，消去c ，得到式( 2 5 ) ，如下所示， 。一。：一d 望! ! ! ：竺2 望! ! ! ：塑2 旦! ! ! ：竺! r 3 1 ( x 。x o ) + r 3 2 ( y 。y o ) + r 3 3 ( z 。z o ) ( 2 - 5 ) v - v o ：dr 2 1 ( x - x o ) + r 2 2 ( y - y o ) + n s ( z - z o ) r 3 l ( x x o ) + r s 2 ( y y o ) + r 3 3 ( z z o ) 由前所知，在式( 2 5 ) 中，u ，v ，u 。，v 。使用的都是图象坐标系中的长度单位，如 毫米等，而实际的视频检测图象中使用的单位是以象素为单位的，在将实际的长度 第二章摄像机定标 单位转换为图象中的象素单位时，需要引入横纵方向上的两个尺度因子 。， ， 引入尺度因子的原因是由于摄像机c c d 感光平面上的象素并不是正方形的，一般来 说其象素的形状为长宽不等的长方形，所以通过尺度因子的引入表征了图象象素的 长宽不等性，引入尺度因子后式( 2 5 ) 演化为式( 2 - 6 ) 所示， 在式( 2 - 6 ) 中，u ，v ，u 。，v 。可以使用任何形式的长度单位，而 。， ，通常是不 相等的。 由于式( 2 - 6 ) 的形式不利于计算，所以对式( 2 - 6 ) 进行表示形式的变换，引入新 的参数，得到最终的直接线性变换模型，如式( 2 7 ) 所示， “= 瓦l i x + 五l 2 y 而+ l 3 z 忑+ l 4 ，v = 等l 9 x 等l l o y 兰l 等1 1 2 1 ( 2 ，) 工9 x + l l o v + 三l l z + 1 + 通过定义陆，训s l 丢，丢l ，。；一( x 0 r 3 1 + y o r 3 2 + z o r 3 3 ) ，l t l t 一共1 1 个参数与 式( 2 6 ) 中参数的对应关系如式( 2 - 8 ) 所示， ，= 字，上：= u o r 3 2 r - - d u r l 2 ，三，= z 0 r 3 3 f - - d u r l 3ddd f 苎苎! ! = ! ! 尘1 2 竺! 鱼! ! 二兰! ! ! 1 2 1 1 ! 望生! ! 二! ! ：! 尘! ! d 三5 ：v 0 r 3 1 - - d v r 2 1 ， d 上6 = v o r 3 2 - d v r 2 2 ， d三，= v 0 7 3 百3 - - d v r 2 3 三。= ! 型：坐! 二! ! ! ! ! ! 兰! ! 型! 翌二! ! ! ! 1 2 1 1 ! 型! 兰二! ! 兰! ! 型 d 工，= 詈，h = 詈，厶一号 ( 2 - 8 ) ddd 一一一一一一 第二章摄像机定标 式( 2 7 ) ，式( 2 - 8 ) 是直接线性变换的基本公式，它反映的是世界坐标系与图象坐 标系之间的映射关系，只要求出了式中l 1 l 1 l 共1 1 个参数就可以通过某点的世界 坐标求出其图象坐标，也可已知图象坐标求出相应的世界坐标。 2 2 3 非线性定标模型叫1 在实际应用中，由于摄像机镜头在制造过程中的缺陷以及在装配过程中的定位 误差等原因，使得上述的线性模型并不能够精确地描述几何成像的关系，必须在其 中引入非线性畸变分量，为了校正畸变误差，就需要分析产生畸变的原因，并对其 在图象平面上产生的效果建立数学模型。 由于非线性畸变一般是几何畸变，其效果是使得被拍摄的图象点与理想拍摄点 的位置有个偏移量，可通过下式来表示， l i x + l 2 y + l 3 z + 上d 三9 z + 工1 。j ，+ 三1 1 z + 1 ( 2 - 9 ) x + l 6 v + l t z + l g v 一v = - _ 一 l 9 x + l l o p + 工l l z + 1 其中u ，v 为实际图象坐标，u ，v 是由于畸变引起的畸变误差，这两个畸 变误差取决于相应点在图象上的坐标，为了校正误差，必须首先分析畸变所产生的 效果，并建立相应的模型。 第一种畸变是径向畸变，它是由于镜头在制造的过程中的磨制工艺造成的，其 效果是使得其作用的图象点从理想的成像位置产生一个向内或者向外的偏移，这种 类型的畸变产生的主要原因是由于透镜的径向弯曲曲率不精确所造成的，同时它又 可分为两种类型：枕形畸变，它使得远离图象中心的图象点分散开来；桶形畸变， 这种畸变使得远离图象中心的图象点会聚在一起， 通常这种畸变可由下式表示： u = k ；r 2 。av = kq r 2 其中， e ，n = u u o ，v - v o ，r 2 = l2 + n 2 ( 2 1 0 ) ( 2 1 1 ) 第二种畸变是所谓的偏心畸变，因为实际的光学系统总是存在一定程度的偏 心，所以产生的畸变，可用下式表示， a u = p 。( r z + 2e2 ) + p 2eq ，v = p l ；q + p 2 ( r 2 + 2n2 ) ( 2 - 1 2 ) 第二章摄像机定标 第三种畸变是薄透镜畸变，产生畸变的原因是镜头在设计和制造的过程中的缺 陷，以及相机在装配过程中的定位不精确等原因，这类的畸变可以看成是在光学系 统前放置了一个薄透镜所产生的额外的径向畸变及切向畸变，它们可以通过下式表 示， u = s 。( 毛2 + r i2 ) ， av = s 2 ( 毛2 + n2 ) ( 2 1 3 ) 上面讨论了几种畸变模型，并给出了相应的表达式，一般情况下，上述模型中 并不是所以的畸变都考虑进去，由于在考虑非线性畸变时需要考虑非线性优化算 法，实验表明，选用过多的非线性参数不但不能提高精度，反而会引起解的不稳 定。通过实验，及综合考虑各种情况，最终选用了如下的非线性模型， au = ll 2 毛r 2 + l 1 3 ( r 2 + 2 毛2 ) 十l 1 4 毛q av = l 口n r 2 + l 1 3 已n + l 1 4 ( r 2 + 2n2 ) ( 2 - 1 4 ) 由( 2 1 4 ) 式可以看出，对于直接线性变换是非常容易引入非线性畸变修正的， 通过引入的畸变修正，可以将线性模型中没有考虑到的非线性补偿问题引入到线性 约束方程中，所以直接线性变换方法实际上也包括非线性的因素存在，在进行摄像 机定标的过程中需要使用非线性的方法求解方程。同时可以看到，前面讨论的三种 类型的畸变都包括在( 2 一1 4 ) 的多项式中，且其系数是相关的，也可以这样理解这一 问题：定标问题的实质就是通过实际标定出的基准点坐标拟合式( 2 9 ) 的过程。 2 3 摄像机定标模型的求解2 帅3 1 2 3 1 基于平面的三维定标 对式( 2 - 9 ) 进行格式变换，可以得到如下的表示形式 肛如h 厶”“4 乩一厶旷厶” 喙= l ( l s x + l 6 y + l t z + l s - l 哪- 厶删山，w ) + 加 其中，r = l 9 x + l l o y + l i i z + 1 将( 2 一1 5 ) 式写成矩阵的形式，如下所示 ( 2 1 6 ) 第二章摄像机定标 ! 卜 ：一1 。y zloooo 。瓣妙。比乒2 矗( r2 + 2 孝2 ) r 争雄 r l v jr 10000 xyzi w v y wr r 2 rf 似( r 2 + 2 r 2 皿 ( 2 - 1 7 ) 要求解式( 2 1 7 ) 中的1 4 个l 参数，至少需要7 个基准点进行定标。在实际交 通参数的采集过程中，需要采集的信息主要是道路地面的信息，如路面的路标，斑 马线等信息，这时候，为了简化摄像机标定的过程，我们可以在式( 2 - 9 ) 的基础 上，引入平面约束的信息，从而简化三维定标模型。在实际建立世界坐标系的时 候，为了简化模型方程，通常规定地面所在的平面其世界坐标系的z 坐标为零， 即， 笔耻。 陋 式( 2 一1 8 ) 表示了地面的平面方程，将上式代入式( 2 - 9 ) 中，得到规定了平面条件 的二维直接线性模型，如式但一1 9 ) 所示， 譬甏 ( 2 1 9 ) 其中，u ，v 是实际图象点坐标，而x ，y ，z 是物点在世界坐标系下的坐标。将 ( 2 1 4 ) 式中的u ，v 代入上式中，可以得到式( 2 2 0 ) ，如下式， 上卜 ：上j 。y 1ooo w 一砂乒2 r ( r 2 + 2 f 2 ) r 芋袒 r l v jr 00o xy1 一w - v yo r 2 r 口r( r2 + 2 口2 ) r ( 2 2 0 ) 厶血厶 h h rllll，iillllll 厶如厶 “ rl，lqiiijlllll 第二章摄像机定标 r = l 7 工+ l 8 v + 1 ( 2 2 1 ) 如( 2 2 0 ) 式所示，通过引入平面条件，模型中需要求解的系数l 的个数减少到 1 1 个，这样可以减少标定时需要的基准点的个数，从而大大减少了计算的复杂 性：同时由于标定时，所选用的基准点的坐标都需要人工量测，难免会引入系统误 差，由于减少了基准点的个数，也就降低了标定信息的不确定性；再者通过计算方 法的简化，系统处理时间也大为减少，更适合于实时性处理。 2 3 2 最t j x - - 乘法求解模型脚2 ”儿卸 由于引入了非线性参数，所以在求解式( 2 - 2 0 ) 的直接线性变换模型时，需要利 用非线性拟合的方法，目前使用最为广泛的是最小二乘法拟合的方法，通常可以得 到令人满意的结果。 因为式( 2 2 0 ) 中共有三一厶。共1 1 个参数需要求解，而在实际标定过程中，每 个标定基准点可以建立两个方程，所以至少需要6 个标定基准点，以建立1 2 个方 程求解参数，而在实际定标的过程可以根据需要增加标定点的数量，用以增加定标 精确度，将定标点坐标代入式( 2 2 0 ) 中，可以得到下面矩阵形式的方程组， 兰旦一1 ooo 代lr 1 1 00 0 旦一y l 一1 r tr t r l ： ： 兰旦一1 0o0 品此品 00 0 兰兰一1 - u _ l x l - u = l y l 细2 ( r 一2 + 2 备2 ) 孝，纳 扁r l 。、。7。 - 。- l x l 二警 。z 细。( r 。z + 2 们z ) r lr l 。 7、 ： - u f a x a 了- z “y 细2 ( t 0 2 + 2 品2 ) 乒珈 凡 届 77 7 1 了- i h l h 了- v n y 珈h 2 参枷( r n2 + 2 珈2 ) 尼凡 。、。