（交通信息工程及控制专业论文）基于视频的车辆速度检测技术研究.pdf

t e c h n o l o g yo fv e h i c l e s p e e d d e t e c t i o nb a s i co nv i d e o ad i s s e r t a t i o ns u b m i t t e df o r t h ed e g r e eo fm a s t e r c a n d i d a t e ：h u ，f a n g f a n g s u p e r v i s o r ：p r o f s o n g ，h u a n s h e n g c h a n g a nu n i v e r s i t y , x i a n , c h i n a 本人声明：本人所 究工作所取得的成果。 做出重要贡献的个人和 包含任何未加明确注明 本声明的法律责任 论文作者签名：硐袁磊 撕年石月夕日 论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属 学校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利 等权利。本人离校后发表或使用学位论文或与该论文直接相关的学术论 文或成果时，署名单位仍然为长安大学。 ( 保密的论文在解密后应遵守此规定) 论文作者签名：硎菥 导师签名： 乒勉 知f 口年月日 加c j 年多月6 日 摘要 基于视频的交通信息采集技术是当前交通领域的研究热点，检测车速是其中的一 个重要环节。本文提出的视频车速检测方法主要分为四个步骤：投影、特征值、查表、 拟合，而映射关系是查表的基础和测准速度的关键。在现有研究成果的基础上，提出 了以下改进的方法： l 、建立了基于二维模型的映射关系，在原有的线性填充的基础上提出了更为简 单易行的临近值填充法，而且不同于原有的从距离寻找像素的方法还根据从像素寻找 距离的方法，提出另外两种不需要填充空白像素的建立二维映射表的算法。 2 、在最小值法、最大值法、平均值法、谷值法的基础上提出了基于动态均值法 和最大值比率法的特征值提取算法，提高了图像处理的适应性和抗干扰性。 3 、根据最小二乘法的原理，利用特征值查表得到的值作为抽样值，在多项式拟 合的基础上提出了线性拟合算法，并且用均大于或小于一次拟合结果的数据再进行二 次拟合，算法简单，计算量少，提高了测速的精度和效率。 本论文提出的视频测速的方法在某隧道和某市外环路上的实验结果表明该算法 能及时的测出车辆经过时的速度，准确率达到9 0 以上。而且小批量样机使用结果表 明该算法可以满足实际应用的要求，不仅适用于隧道车速检测，而且同样适用于高速 公路、城市外环路等场景下的车速检测。 关键词：基于视频的交通信息采集技术、映射关系、视频测速、特征值、最小二乘法 a b s t r a c t v i d e ot r a f f i ci n f o r m a t i o nc o l l e c t i o nt e c h n o l o g yi sah o tr e s e a r c hf i e l dt o d a y , s p e e d d e t e c t i o ni so n eo fi t sk e yp o i n t s t h i sp a p e r ss p e e dd e t e c t i o nm e t h o di sd i v i d e s di n t of o u r s t e p s ：p r o j e c t i o n ，e i g e n v a l u e ，l o o k - u pt a b l e ，f i t t i n g m a p p i n gr e l a t i o n s h i pi st h eb a s eo f l o o k - u pt a b l ea n dt h ek e yt os p e e dd e t e c t i o nw i t hh i g ha c c u r a c y t h i sp a p e rp r o p o s e st h e f o l l o w i n gi m p r o v e dm e t h o d so nt h eb a s i so fp a s tr e s e a r c h i n g ： 1b u i l dt w o d i m e n s i o n a lm a p p i n gr e l a t i o n s h i p ，p r o p o s ef i l l i n gt h ee m p t yp i x e lw i t h t h en e a r b yv a l u e ，t h i si sam o r es i m p l ea p p r o a c ho ff i l l i n gw h i c hi sd i f f e r e n tf r o mt h e o r i g i n a ll i n e a rm e t h o d ，a n dc o m p a r i n gw h t ht h eo r i g i n a li d e at h a tl o o k i n gf o rp i x e l sf r o ma d i s t a n c ep r o p o s ean e wi d e af i n d i n gt h ed i s t a n c ef r o mt h e p i x e l ，o f f e ra n o t h e rt w o a r i t h m e t i c sw h i c hd on o tn e e dt of i l le m p t yp i x e l st oe s t a b l i s h t h et w o d i m e n s i o n a l m a p p i n gt a b l e s 2o f f e rt h ed y n a m i ca v e r a g ev a l u em e t h o da n dt h em a x i m u mv a l u er a t i om e t h o df o r 目录 第一章绪论1 1 1 研究背景1 1 2 常见的车速检测方法2 1 3 本论文的主要研究内容及结构安排4 第二章基于视频的交通事件和交通参数检测系统7 2 1 主要研究内容。7 2 1 1 硬件系统设计7 2 1 2 软件系统设计7 2 1 3 算法软件实现的难点8 2 2 软件系统流程图8 2 3 视频测速的预备工作8 第三章映射关系的构建1 1 3 1 图像变换背景知识1 l 3 1 1 普通照片的图像变换。1 1 3 1 2 常见的空间几何变换1 2 3 1 3 简述视频图像和路面之间发生的变化1 5 3 2 基于一维模型的映射关系1 7 3 2 1 图像预处理1 7 3 2 2 摄像机成像的几何抽象模型1 7 3 2 3 行到距离的映射关系1 7 3 2 4 距离到行的映射关系2 1 3 3 基于二维模型的映射关系2 2 3 3 1 像素到距离的映射关系。2 2 3 3 2 基本的距离到像素的映射关系2 4 3 3 3 简化的距离到像素的映射关系2 5 3 4 映射表的实验结果2 8 3 4 1 一维映射实验结果2 8 3 4 2 一维映射实验结果误差分析。2 9 3 4 3 二维映射实验结果误差分析3 2 3 4 4 比较一维和二维映射表3 3 第四章构建二维映射关系的改进算法3 5 4 1 依据距离寻找像素3 5 i i i 4 1 1 求解等距离线3 5 4 1 2 线性填充法3 8 4 1 3 临近值填充法4 1 4 2 依据像素寻找距离4 2 4 2 1 最接近比率法l 一4 2 4 2 2 最接近比率法2 4 4 4 2 3 两种最接近比率法的比较一4 7 第五章基于视频的车速检测4 9 5 1 基于视频的车速检测软件模块4 9 5 2 目标车辆投影序列的提取4 9 5 2 1 背景法提取投影序列5 0 5 2 2 帧差法提取投影序列一5 2 5 3 投影序列特征值的提取5 3 5 3 1 最小值法5 3 5 3 2 最大值法5 4 5 3 3 平均值法5 4 5 3 4 动态均值法5 7 5 3 5 谷值法。5 8 5 3 6 最大值比率法5 8 5 4 查找映射表5 9 第六章基于最小二乘法的车速拟合算法6 1 6 1 简述最小二乘法6 1 6 2 基于最d , - - 乘法拟合多项式6 2 6 2 1 求解多项式拟合曲线6 2 6 2 2 验证实验结果6 5 6 3 基于最d , - - 乘法拟合一元线性函数6 6 6 3 1 求解线性拟合直线6 6 6 3 2 验证实验结果6 8 6 4 基于视频的交通事件和交通参数检测系统整体实验结果7 l 结论一7 3 参考文献7 5 攻读硕士学位期间参与的科研项目7 7 致谢。7 8 长安大学硕士学位论文 1 1 研究背景 第一章绪论 通过对摄像机采集回来的交通视频图像的各种分析和处理，来得到相关的交通事 件、交通参数和交通状况等交通信息，这种基于视频的交通信息采集技术是当前交通 监控领域的一个新的热点话题。相比较与传统的交通信息采集技术它有很多优点，这 种技术主要是通过软件来实现的，因此它只要利用现有的已经安装好的摄像机，而不 需要另外增加其他的硬件设备，在很大程度上降低了硬件设备的成本和维护代价；也 因为它是利用软件来实现的，所以处理的信息量大，实现的功能也多，改变了传统的 交通监控依靠大量人力的缺点，推动了交通信息采集向更智能化、无人职守的方向发 展。随着人们不断的研究和试验，这种技术不断成熟，在检测性能和系统可靠性方面 也更有优势，它有着广泛的应用前景，不仅适用于高度公路，同样适用于隧道、国道 和城市外环路等，在不久的将来，它必将为交通信息采集领域带来巨大的飞跃。 国外的许多专家都倾注心血在研究，其中法国的c i t i l o g 系列视频交通事件检 测产品、美国的a u t o s c o p e 虚拟线圈交通检测器以及比利时的t r a f f i c o n 视频交通参 数和交通事件检测器等是国外最具代表性的产品。 国内的专家也在积极与这些国际品牌的研究机构进行学术交流和技术借鉴，努力 开发适合我国特殊交通环境的具有自主知识产权的国内品牌。比如上海交通科技股份 有限公司正在开展的基于视频的交通事件和交通参数检测系统这一项目，本论文就是 在该项目的基础上完成的。 目前实践上使用的视频检测产品按工作原理可分为两大类：车辆跟踪法和虚拟线 圈法。下面介绍这两种方法的工作原理： l 、车辆跟踪法 利用交通视频图像中每一帧里面符合车辆特征的像素，进行前后帧的匹配，从而 识别出车辆，计算各项交通信息。c m sm o b i l i z e r 、e l i o pe v a 、p e e kv i d e ot r a k 、 n e s t o rt r a 伍cv i s i o n 都属于这一类型。 从理论上来讲，车辆跟踪法比较严谨，所以更能代表发展趋势。但是这种方法的 难点在于特征的提取与跟踪。首先，选取的特征必须具有代表性，图像中的车辆都具 备该特征而且各个车辆的该特征的值又不相同；其次，同一车辆在不同帧图像中的特 l 第一章绪论 征应该具有相关性，能够有较好的对应关系。根据跟踪方法的不同大致分为以下四类 1 1 】：3 d 模型跟踪、区域跟踪、动态轮廓跟踪、特征跟踪，这四种方法都着眼于不同 的提取特征，匹配车辆的方法，有的利用的是车辆模型，有的利用的是二值化后的连 通区域，有的利用的是背景滤波法，有的利用的是局部突出特征的方法，总之各有优 缺点，实际中根据具体场景的特点，可以选择相对适合的方法。 2 、虚拟线圈法【2 。8 j 这种方法类似于地埋式线圈检测器，用户在视频图像上设定检测线位置( 以一条 或多条直线代表道路断面) ，系统算出检测线区域各种参数变化的强度就能判断是否 有车辆的经过，进而计算各种交通信息。 这种方法只对一行或几行的视频图像数据进行处理，所以大大节省了时间，在满 足实时要求的前提下可以完成流量、速度的检测。但是同样的，也由于这种方法只处 理了一行或几行的视频图像数据，并没有充分利用整幅图像的灰度信息，所以只能得 到有无车辆通过采样线位置这一个特征值，而不能检测出包括车辆长度、宽度和运动 轨迹等其它重要信息，因此这种系统的可靠性不高。早期的大部分视频检测技术都是 采用是虚拟线圈法，如a u t o s c o p e 、c c a t s 、t a s 、i m p a c t s 、t r a f f i c c a m 等。 督效用。 第一种方法受到线圈必须固定的限制，如果道路改造需要重新铺设线圈，不够灵 活。 第二种方法不能克服雷达器件本身的不足。因雷达波是沿直线发射和反射的，如 果放置不当，会使目标车辆的读数被其他车辆的速度代替。由于车辆的大小形状各不 相同，所以对雷达波的反射强度也不相同，当一辆大卡车处于被测目标车辆的后方时， 虽然它距离巡逻车辆比目标车辆远，但其反射强度却大于目标车辆，这种情况便会导 致所识别的车牌不一定对应被测目标车，另外，如果周围有无线电波，会使雷达受到 干扰，导致目标车辆的读数不稳定。 第三种方法利用车辆通过两个激光设备的时间差计算车速，这种方法简单易行， 设备维护方便，抗干扰性强，具有较高的性价比，但激光检测中的激光束对人体主要 是人眼的伤害是极为严重的问题。 为了克服以上测速方法的缺点，车辆测速有了新的发展方向视频测速。这是 基于视频的交通事件和交通参数检测系统研究的重点内容之一，也是本论文的最核心 的研究部分。 视频测速【1 1 1 8 1 的优点在于可以利用现有的已经安装好的摄像机采集回来的视频 图像进行速度的测量，而不必增加冗余的硬件，这样不会受到硬件有缺点的限制，又 减少成本，还可以保证超速车辆和牌照识别的车辆为同一辆车，在违章处理过程中可 以作为法律依据，而且也不会像激光那样对人体有伤害，并且它是利用软件同时处理 多路视频，大大减少了人力资源等等：难点在于测准车速，本论文将在第五章着重讨 论几种解决这个难点的方法。 本论文是基于视频的交通事件和交通参数检测系统这个项目的一个模块，重点研 究车辆速度检测算法以及测速时要用到的一个重要的基础数据量：摄像机摄取的视频 图像与路面上的实际距离之间的一一对应关系，在本论文下面的论述中都将这一关系 简称为映射关系，将根据这一关系建立起来的实际距离和像素之间的数据简称为映射 表。 本论文在现有的研究成果的基础上，对这两部分内容都提出了新的思路和方法， 在一定程度上改进了实时车辆速度的检测方法，提高- j 澳t j 速的准确率，并为其他交通 第一章绪论 参数和交通事件的检测提供了一个较为可靠的参量，从而提高了整个系统的可靠性。 1 3 本论文的主要研究内容及结构安排 本论文是基于视频的交通事件和交通参数检测系统的一个软件模块，主要研究车 速检测，涉及视频图像与路面的映射关系、特征值的寻找、抽样值拟合等。具体各章 节的主要内容如下： 第一章绪论 本章概述视频交通信息采集技术的优势、国内外发展现状、相关技术产品以及本 论文的研究重点。 第二章基于视频的交通事件和交通参数检测系统 本章从整体上介绍了上海交通科技有限公司正在进行的这个有关视频交通信息 采集的项目基于视频的交通事件和交通参数检测系统。主要介绍项目的总体要 求、重点研究内容、相关技术难点等方面的内容，使读者对这个项目有个宏观上的认 识。本章最后还介绍了有关车速检测的一些准备工作，为第五章的视频测速做好铺垫。 第三章映射关系的构建 本章根据图形图像变换的相关原理，抽象出视频图像与路面之间变换的数学模 型，利用各种几何关系推导出映射关系，建立基于行或像素的查询表，主要包括基于 一维模型的映射表：行到距离的映射表、距离到行的映射表和基于二维模型的映射表： 像素到距离的映射表、基本的距离到像素的映射表、简化的距离到像素的映射表。其 中行到距离的映射表是基础，其它的映射表都是在这个表的基础上衍生出来的。 第四章构建二维映射关系的改进算法 本章在第三章的基础上着重讨论像素到距离的映射关系即二维映射，提出几种改 进的算法，提高了表的精度，减少了不必要的误差。之所以要把二维映射单独作为一 章重点讨论是因为这个表的准确性直接关系到本论文的另一个重点视频测速的 精度。 第五章基于视频的车速检测 本章是本论文的另一个重点内容，视频测速技术。本章阐述了本论文提出的视频 测速的基本原理和步骤，对各步骤分别进行讨论，针对不同的场景提出适当的算法。 对于投影，提出了背景法和帧差法；对于寻找特征值，在最小值法、最大值法、平均 4 长安大学硕士学位论文 值法、谷值法的基础上提出了动态均值法和最大值比率法；对于查表，按照车尾占车 道的比率查找像素到距离的映射表。 第六章基于最d , - 乘法的车速拟合算法 本章主要讨论第五章提出的视频测速的方法的最后一个步骤拟合，利用第五 章最后查表的结果得到一组距离和时间的数据，可以把这组数据当做抽样值，根据最 小二乘法的原理，进行线性拟合，并在一次拟合的基础上选取部分数据进行二次拟合。 比起多项式拟合，本章提出的线性拟合法不仅计算量小而且准确率高，已经得到贵阳 隧道和上海外环大量实验数据的证实。 最后对全文工作进行总结，并指出需要改进的地方。 检测系统 该项目旨在研究开发用于隧道、高速公路、国道及城市干道的交通事件自动检测 和交通参数采集系统，实现整个交通状况的一种智能化监控和管理。具体要求如下： l 、自动实时地检测出隧道、高速公路、国道和城市干道的重要区域或路段的交 通事件情况，提供事件类型和地点信息，并进行实时报警。交通事件主要包括停车事 件、跨道事件、逆行事件、抛落物事件、行人等。 2 、实时提供各项交通参数，如车流量、排队长度、车型、车速、平均速度、车 头距、车道占有率、是否畅通或拥堵等。 2 1 主要研究内容 2 1 1 硬件系统设计 图2 1 硬件系统模块图 图2 1 所示为系统的硬件模块图，其中用虚线框起来的部分就是该项目，基于视 频的交通事件和交通参数检测系统。 2 1 2 软件系统设计 l 、背景估计和跟踪算法研究及软件设计； 2 、抖动去除算法研究及软件设计； 3 、交通事件检测算法研究及软件设计； 4 、交通参数检测算法研究及软件设计； 5 、车型、交通状况细分类算法研究及软件设计； 6 、上述软件向d s p 处理平台的移植和算法优化。 7 第二章基于视频的交通事件和交通参数检测系统 2 1 3 算法软件实现的难点 算法和软件设计将分算法研究、算法设计和d s p 软件设计实现3 个阶段进行， 其中d s p 软件实现部分是一个难点。 算法研究和算法设计这两个阶段是在v c + + 环境下对各个软件模块进行研究和 实验的，d s p 软件设计阶段的主要工作是将v c + + 环境下的软件移植到d s p 平台上， 并进行录像带测试和现场试验。该阶段工作的重点是设计适应于d s p 平台的算法和 软件优化，并同时在d s p 平台上进行算法调整和修改。而难点就在于，系统兼有交 通参数、交通事件等功能，算法模块多、复杂度大，因此提高d s p 的处理效率是关 键。因此在算法设计时要充分考虑多个算法模块的数据共享，尽可能避免数据的重复 访问和处理，并且仔细规划设计各个算法模块的数据接口和数据流，以最大限度减少 不必要的计算，同时编程时也要充分考虑计算量的问题，做到规范化，尽可能的提高 计算效率。 2 2 软件系统流程图 图2 2 是系统的软件实现流程图，图中清楚地显示了系统的各功能模块，其中采 图、图像预处理、初始背景估计、背景更新都是一些前期的基础工作，这些都是为后 面的事件检测和参数估计做准备的；事件检测又主要分为三个模块，一个是在跟踪的 基础上做的跨道和逆行的事件检测，一个是行人的事件检测，还有一个是停车和抛落 物的事件检测；交通参数是在计数和车辆检测的基础上先计算出车速，然后再进行车 型分类、平均速度等参数的计算；还有一个交通状况模块，分析出整个路况是畅通还 是饱和，并计算出排队长度。对于检测到的事件及时报警，给出事件的地点和类型， 对于提取的交通参数及时传给上位机数据库，进行统计分析，使交通管理人员能实时 了解各路段的交通状况，掌握各种信息，及时做出正确的指挥，这就提高了交通管理 的质量，降低了交通安全的隐患【9 1 。本论文研究的重点内容就是图2 2 中黑色加重的 部分，即测速这个功能模块。 2 3 视频测速的预备工作 要想获得各个车速，首先得确定有没有车经过，所以车辆检测和计数是基础。对 虚拟线圈区域内在一定时间范围内的经过的车辆进行计数，确定有车辆经过了，再找 8 图2 2 软件系统模块流程图 主要有以下几个方面： 图2 3 虚拟线圈区域 9 工作要做， 第二章基于视频的交通事件和交通参数检测系统 1 1 虚拟线圈设置 在处理好的的视频图像上的适当位置点击设置虚拟线圈【1 9 之1 】区域，如图2 3 所示， 用两条( 绿色) 横线显示。将这两条线与车道上下左右边界所围成的区域作为目标区 域。车辆检测的算法就针对这个区域进行计算。设定了虚拟线圈之后就可以根据图像 的透视变换关系进行计数找车尾位置等。 2 ) 车道信息和映射关系的上位机标定 如图2 4 所示，图中标定了车道线和几组点，根据这些线和点，利用第三章和 第四章讨论的映射关系的算法算出映射表，为视频测速提供一个重要的参数。 i 曼! ! if i ；i 慧：一 开始演示i | l1 蛇1 i 4 5 兰：三苎量l i p p 。r t 一 估计背景i 珊 三兰薹薹i 净频信宣= 一 i 口： i ；：型錾重墓：l 帧r 频, - i - ；。0y ； _ _ - _ l _ o - _ _ _。n n 汁数参数设置l 运行：0 5 。_ 一 珈载计数参数l l 一r = 值化控制 型删 二值伽喊l 墨堡型l堡生型堕| 交通参数列表 当前流量 r 一辅 速度列表c h ，h ) 图2 4 上位机标定图 l o 一 型i j 刻型型 一一一一|一一一一瑚一一 长安大学硕士学位论文 第三章映射关系的构建 本论文的研究基础是视频图像处理项目，重点研究如何通过对视频图像的处理提 取车速。映射关系是影响视频测速精度的一个关键的基础问题，也是本章和下一章讨 论的重点( 本章说明映射关系时采用的视频图像和实验数据都是贵阳左洞的场景下提 取的) 。 3 1 图像变换背景知识 3 1 1 普通照片的图像变换 j 强 l 凶一泸 r 图3 1拍照前的车辆 高速公路上的一个摄像机他所能摄取的视野范围有可能是几百平米，也就是几百 万平方厘米，但摄像机的像素远远达不到那么高，将采集回来的视频处理成一帧一帧 的图像之后，一幅图像的像素最高是7 2 0 * 5 7 6 ，也就是几十万的像素。也就是说不可 能将路面上的每一个平方厘米都对应图像上的一个像素( 这里假设把路面以l c m 为 间隔分成以平方厘米为单位的网格) ，因此路面的实际形状和图像中的路面的形状会 有一定的压缩形变，路面上的几个平方厘米可能对应图像上的同一个像素位置。就像 拍照片一样，拍摄的对象可能有几十平方厘米的大小，但拍出来的照片只有大家常见 的，一寸照、二寸照，五寸照、七寸照等。比如，一辆车的高度假设大概是l o o c m 如图3 1 所示，可是一般情况下，拍出来的照片上的车高却只有2 - 3 c m 如图3 2 所示， 也就是说照片和实物之间存在一定的变换，可以用y = 兀) 来表示这种变换，这里 假设y 是车辆实际的高度，y 是变换后车辆在照片上的高度，同理在宽度上也有同 l l 第三章映射关系的构建 样的变换x = 六g ) 2 2 1 。总之，照片把实际的车辆的大小压缩了好多。那么，高速公 路上用摄像机采集回来的视频图像理论上也应该满足这种变换，但事实上并非如此。 不管车辆的大小在照片上怎样压缩，照片上的车辆还是现实中的车辆的几何模 样，车轮还是圆的，车窗还是方的，它并没有变形扭曲，也没有变成其它模样，就只 是大小有些变化而已，所以照片的横轴和纵轴的两个变换六和兀都应该是线性变换， 即满足式( 3 1 ) x = 正g ) = qx + 以 y = ) = 口yy + b yj ( 3 1 ) 。 但是摄像机摄取的图像不仅仅是缩小了路面的大小，而且路面的形状也发生了变 长安大学硕士学位论文 这种对应关系叫做l - i n i 的平行投影。a 与a ，b 与b ，c 与c 、为平行投影下 的对应点，显然平行投影与d 有关。两平面间的平行投影具有以下重要性质：点变点； 直线变直线；点与直线的结合关系不变；共线三点的简比不变。从图3 3 中可以看出 a 、b 、b c = a b b c ，其中a 、b 、c 分别是共线三点a 、b 、c 的对应点，平面兀 上的两条平行线f g 和a d ，对应着平面n 、上的两条直线f g 和a 、d 也是平行的。 图3 3 平行投影不葸图 当把经过一系列平行投影，最后仍变n i 本身的一一变换，就是一个仿影变换。 在此情况下，上述性质也是保留的。将平行投影的概念加以推广，即得到下面的重要 概念。 两平面间的一一对应，如满足共线三点的对应点仍是共线三点，则此一一对应， 叫仿射对应。如果两平面重合，就叫平面到它本身的仿射变换。因为仿射变换之积， 仍是仿射变换；任一个仿射变换的逆，仍是仿射变换，故平面内所有仿射变换的集合 成群，叫做仿射变换群。它是射影变换群的子群。类似地可定义空间的仿射变换及仿 射变换群。 2 ) 仿射性质与仿射不变量 按照依变换群将几何学分类的观点，图形在仿射变换群下的不变性质和不变的量 叫做仿射性质和仿射不变量。 基本的仿射不变性有：同素性( 点变成点，直线变成直线) ；结合性( 点在线上 或直线通过点) 。 1 3 第三章映射关系的构建 基本的仿射不变量：简比。例如，二直线的平行性、平行线段的比、封闭图形面 积的比等。 3 ) 仿射变换的代数表示 p 图3 4 仿射坐标系 如图3 4 所示，设给定平面上一个仿射坐标系 o ，e ，e ： ，仿射变换将点p 变 为点p 、，并将坐标系 o ，e 。，e ：) 变为坐标系 o 、，e ：，e ： 。 若令o e x = e 。、o e y = p ：、倒= p ：、= p ：，则p 。、p ：、p ：、p ：分别为新旧 两坐标轴上的坐标向量。如果要求出p 与p 坐标间的关系，由于仿射变换保持平行 性，故0 、p x p p y 仍为平行四边形，又由于仿射变换保持简比不变，所以p 、在 0 ， p i ，p ：) 下的坐标仍为( p x ，p y ) 。根据向量的加法及向量的坐标表达，则有： 而= 丽+ 而= ( 口1 3e l + 口”p 2 ) + ( xe i + yp ：) = ( a 1 3e l + 口2 3p 2 ) + x ( a i l 巳+ 口2 lp 2 ) + y ( 口1 2 巳- i - a 2 2p 2 ) ( 3 2 ) 又因为 而= x e l + j ，、p 2 ( 3 3 ) 比较式( 3 2 ) 和式( 3 ) 得3 x 2 a l lx + a 1 2y + 口1 3 y 2 a 2 lx + a 2 2y + 口2 3 由于e ：，e ：不平行，故又有 1 4 ( 3 4 ) 长安大学硕士学位论文 i 口l l 叫o ( 3 5 ) 1 1 2 1 a 2 2 , i 则满足式( 3 5 ) 的式( 3 4 ) ，就是仿射变换的代数表示式。利用仿射变换的代数 表示，对问题的解决将有很大的方便，同时也便于将它推广到高维空间。 投影变换没有仿射变换条件严格，这里简单的将这三种刚性变换的定义和关系总 结如下： a 、如果直线映射成直线后只保持了平行性而没有保持垂直性，则这种坐标变换 是仿射变换。 b 、若直线的平行性也不能保持，则仿射变换蜕变为投影变换。 c 、非线性变换则把线性映射成非线性，所以非线性变换既不保持平行性也不保 持简比性。 非刚性变换，顾名思义，图像不仅仅发生坐标轴的平移，而且发生了形变，变换 前后不一定保持平行关系和等距离关系，可见非刚性变换比刚性变换复杂的多。 3 1 3 简述视频图像和路面之间发生的变化 根据上面有关常见的空间几何变换的介绍，下面主要分析高速公路摄像机采集的 视频图像属于哪种变换2 4 1 。 在真实的路面上如图3 5 a 所示，截取a b c d 这样一个矩形区域，对比它在视频 中的图像进行分析如图3 5 - b 所示。 路面上的a b c d 原本是一个长方形如图3 6 a 所示，满足a b c d 、a d b c 、 a b = c d 、a d = b c 如果是发生仿射变换，那么根据仿射性质和仿射不变量，平行关系 等比关系应该保持，即仍然保持a b c d 、a d b c 、a b = c d 、a d = b c ，只是发生了 一些平移和旋转如图3 6 - b 所示，可是视频图像3 5 - b 里面的a d 与b c 并不平行，所 以不是仿射变换。再放宽条件分析是不是投影变换，投影变换要保持共点三线的简比 不变，即b e b c = i 2 的比率不变( 这里e 是b c 的中点) 如图3 6 c 所示，但在图 3 5 - b 里b e e c 的比率显然小于1 2 ，所以也不是投影变换。剩下非线性变换，非线 性变换也是刚性变换所以要求相同距离的两条线段在变换之后保持距离相等，即 a d = b c 如图3 6 - d 所示，但从图3 5 - b 明显可以看出a d b c ，所以也不是非线性变 换。 综上所述，视频图像和实际的路面之间，平行性、等距离性、简比性等条件特性 1 5 第三章映射关系的构建 图3 5 - a 真实的路面图3 5 - b 视频图像中的路面 d a c b 图3 6 - a 路面上的原形图3 每b 仿射变换后的路面 d 图 ( o ，2 8 7 ) ( o ，0 ) a c b a c r “”“” ”“ 、 _ _ _ ， 7 图3 7 路面视频图像坐标系 1 6 面 ( 7 1 9 ，2 8 7 ) ( 7 1 9 ，o ) 长安大学硕士学位论文 都不保持，所以它们之间不是一种简单的刚性变换，而是更加复杂的非刚性变换。利 用图像变换的基础知识再结合摄像机成像的原理抽象出图3 8 a 所示的几何模型来研 究它们之间的变换关系。图3 8 a 是基于一维模型建立的映射关系，简称一维映射， 即把路面看成维的，图像上的路面距离只在纵向高度上有变化，本论文把基于这种 模型建立的映射表也叫做一维映射表。一维映射的精度有限，所以本论文中还将讨论 基于二维模型建立的映射关系，简称二维映射，即把路面看成二维的，图像上的路面 距离不仅在纵向高度上有变化，而且在横向宽度上也有变化，本论文把基于这种模型 建立的映射表也叫做二维映射表。本章下面将分别就这两种模型建立的映射关系进行 讨论。 3 2 基于一维模型的映射关系 3 2 1 图像预处理 将摄像机采集的上海外环视频图像经过预处理，处理成7 2 0 * 2 8 8 像素的灰度图 2 5 】。图像坐标取左下角点为( 0 ，0 ) ，右下角坐标为( 7 1 9 ，o ) ，左上角坐标为( 0 ，2 8 7 ) ， 右上角坐标为( 7 1 9 ，2 8 7 ) ，如图3 7 所示，算法中对图像进行处理时都采用此坐标系， 图中用( 红色) 虚线表示左中右三条车道线。 3 2 2 摄像机成像的几何抽象模型 图3 8 a 中a 拌、b 拌、c 撑、d 拌表示视频图像上4 个不同的求解区域；一粗 线表示车道线；细线表示光线；m ，n 表示视频图像上的两个像素段，这两个 像素段对应的实际距离相等，假设都是a ；在区域a 撑里，l 表示在视频图像上以n 的下端点为基准向下伸展的像素；在区域b 撑里，l 表示在视频图上以n 的下端点为 基准向上伸展的像素；在区域c 拌里，l 表示在视频图上以m 的上端点为基准向下伸 展的像素；在区域4 里，l 表示在视频图上以m 的上端点为基准向上伸展的像素；k 表示根据1 1 1 ，n 这两段相等的实际距离，当l 移动时对应的实际距离的变化量。 将图3 8 a 和图3 8 b 对比起来分析这个模型的抽象过程。从图3 8 b 上可以清楚 地看到m ，n 所代表的实际距离相等，这里假设它就是a ，那么l 变化的同时k 也跟 着做相应的变化，即l k 这个函数关系是求解最终的映射表的基础。 3 2 3 行到距离的映射关系 在视频图像里，获得的只是一个个有灰度值的像素，两段实际上相等的距离在视 1 7 第三章映射关系的构建 频图像上并不一定相等，这里最终希望得到的是当像素高度变化时实际距离的变化量 如图3 8 b 所示( 假设实际距离为0 的位置是视频图像上的中间车道的最下面的那一 个像素，那么视频图像上与这个像素具有相同的实际距离的像素位置都可以置为0 ) 。 车道线上建立 离肯定在这个 长安大学硕士学位论文 区域a 撑： k ：孥丝 m n + 刀+ n l m l 区域b 撑： k ：孥丝 m n + 刀+ m l n l 区域c 撑： k ：挈丝 m n + m + n l m l 区域d 稃：先将m ，1 1 的值进行交换然后带入下面的公式 k ：型丝 m n + n + n l m l 这四个公式其实都符合一个函数模式 y ：导 ( a o ，b 0 b u ，c ! = o ) y = 一 【a u ，c ! = w 6 + c x 式( 3 7 a ) 可以变形为 ( 3 6 a ) ( 3 6 b ) ( 3 6 c ) ( 3 6 一d ) ( 3 7 - a ) 口6 i 棚2 詈一彘 7 - b ) 当c o 时，式( 3 7 - b ) 的函数如图3 9 a 所示，当c 0 ，a c = 2 a m ( n m ) 若m a ，一般情况下m n 3 ，所以a c a ，当l = n ( m + n ) ( 3 m - n ) 时，k = a 。所以在区域 鲥里l 的取值范围是( 0 ，o d ) ，函数是单调递增的，函数值k 的范围是( 0 ，2 a m ( n - m ) ) 。 对于式( 3 6 - b ) ， k ：翌丝 m n + n + m l n l a = 2 a m ，b = m 玎+ 拧2 ，c - - t r l - n ，c m ，所以 第三章映射关系的构建 b c n ，当l = n 时，k = a ，而在第二个区域b 群，l 的取值范围正好是( 0 ，n ) ，所以 在区域b 群里函数是单调递增的，函数值k 的范围是( 0 ，a ) 符合实际情况。 ，j a z c ，一 b e 。f 0 x 。， o) b c a e 厂 x 图3 9 - ac o 时的映射函数图3 9 bc 0 时的映射函数 同理可以分析式( 3 6 c ) 和式( 3 6 d ) ，这里省略。 由此可见，如果只把一整幅视频图像划分为四个区域，如图3 8 一b 所示，那么有 可能区域础的范围过大，当区域a 拌的实际距离大于a c = 2 a m ( n - m ) 时，这时候用式 ( 3 6 a ) 求解的结果有一定的误差，因此实际应用时将一整幅图像划分为多个递推的 四区域如图3 1 0 所示，以减少这些因为函数的极限问题带来的误差。 图3 1 0 多级映射区域的划分 按照图3 1 0 的划分方法，利用四个公式求出整幅图像中间车道线上的每一个像素 所代表的实际距离。即( 注意，这里类似m = 5 6 这样的表达表示式( 3 6 ) 里的m 的 取值为图3 1 0 中像素5 和像素6 之间的距离) 利用式( 3 6 一a ) 求出图3 1 0 上像素7 以下各像素的映射距离，此时m = 5 6 ；n = 6 7 ； 利用式( 3 6 - b ) 求出像素6 和7 之间的各像素的映射距离，此时m - - - 5 6 ；n = 6 7 ； 利用式( 3 6 - b ) 求出像素5 和6 之间的各像素的映射距离，此时m = 4 5 ；n = 5 6 ； 2 0 长安大学硕士学位论文 利用式( 3 6 - b ) 求出像素4 和5 之间的各像素的映射距离，此时m = 3 4 ；n = 4 5 ； 利用式( 3 6 - b ) 求出像素3 和4 之间的各像素的映射距离，此时m = 2 3 ；n = 3 4 ； 利用式( 3 6 b ) 求出像素2 和3 之间的各像素的映射距离，此时m = 1 2 ；n = 2 3 ； 利用式( 3 6 c ) 求出像素1 和2 之间的各像素的映射距离，此时m = 1 2 ；n = 2 3 ； 利用式( 3 6 d ) 求出像素1 以上的各像素的映射距离，此时m = 1 2 ；n = 2 3 ； 至此就得到了一个行到距离的映射表( 这里先假定图像上同一行的各像素的实际 距离都相等，所以用一个一维数组就能表示整个图像每个像素的实际距离，这里将这 个一维的数组称作行到距离的映射表) ，本论文下面都用h d y 】- s 来表示行到距离的 映射表。 图3 1 1 - a 定位一组等距离的像素位置图3 1 1 b 根据两点确定一条等距离直线 3 2 4 距离到行的映射关系 在实际应用中，有时已知一个实际距离，需要知道这个实际距离对应的是图像上 的哪一行? 这就需要建立一个行到距离的反查表，即距离到行的映射表，本论文以下 都用d - h s = y 代表距离到行的映射表。已经有了行到距离的映射表，建立距离到行 的映射表相对容易很多。 给定一个距离s ，然后在行到距离的表h - d y = s 里搜索哪个值与这个实际距离s 最接近，就用这一行值代表该距离所在的行值，即d - h s = y 。例如， 已知h d 5 0 = 15 m ， h - d 5 1 = 1 5 5 m ， h d 5 2 = 1 6 2 m ， h - d 5 3 = 17 1 m ， 如果要求出s = 1 6 m 在哪一行，因为1 6 m 介于1 5