硕士论文-高速公路自主驾驶汽车道路检测技术研究.pdf

分粪号 3 1 1 4 U D C 1 7 1 8 9 3 们叶 瞻8 2 j 一 学号0 2 0 3 0 0 3 1 密级 工学硕士学位论文 高速公路自主驾驶汽车道路检测技术研究 硕士生姓名 型剑塞 学科专业 控剑盟堂曼王猩 研究方向 搓盎望别生蟹篷歪红 指导教师 萤这揠一熬撞 国防科学技术大学研究生院 0 0 四年十一月 国防科学技术大学研究生院学位论文 摘要 本文研究了高速公路自主驾驶汽车车道检测问题 实现了透视道路图像到世界坐标系 的逆投影 提出并实现了在投影后图像中进行道路标志线检测的算法 在车载摄像机拍摄的道路图像中 呈现强烈的透视效果 本文分析了摄像机模型 通 过逆透视变换方法将道路图像变换到世界坐标系 消除了图像透视效果 能将道路的结构 特征显现出来 本文提出了针对道路标志线结构特征的底层处理算法 根据标志线的特征和投影后图 像质量特点 设计了标志线边缘检测算予 提出了对标志线增强及分段阈值化处理方法 本文分析了道路的结构模型 使用多项式曲线来表示道路结构 在此基础上 提出了 标志线提取算法 该算法通过三个步骤提取道路标志线 先运用统计方法从道路图像中估 计道路宽度 然后使用搜索模板完成了对标志线的跟踪 最后通过引入道路模型的拟合对 跟踪结果进行了修正 使得提取结果具有较高的可靠性 作为对本文研究工作的验证 本文建立仿真实验环境对算法进行了检验 给出了实验 结果 关键字 道路标志线自主驾驶汽车逆透视变换车道检测 第1 I I 页 里堕型兰垫垄盔堂堑窒竺堕兰垡垒塞 A b s t r a c t V h i sd i s s e r t a t i o nh a sr e s e a r c h e dO nL a n eD e t e c t i o nt e c h n o l o g yf o rA H V A u t o n o m o u s H i g h w a yV e h i c l e i m p l e m e n t e d t h ei n v e r s ep e r s p e c t i v ep r o j e c t i o nf r o mp e r s p e c t i v er o a di m a g e t ow o r l dc o o r d i n a t e sa n dp r o p o s e dL a n eD e t e c t i o na r i t h m e t i cf o rp r o j e c t e di m a g e As i m p l i f i e dc a r f t e l ap r o j e c t i o nm o d e lh a sb e e nr e s e a r c h e d T h i sp r o j e c t i o nm a p st h e p e r s p e c t i v er o a di m a g ei n t op r o j e c t e di m a g e a n dr e m o v e si n t e n s ep e r s p e c t i v ee f f e c ti nt h ef o r m e r o n e I np r o j e c t e di m a g e t h es t r t l c t u r ec h a r a c t e ro f r o a di sh i g h l i g h t e d Al o w l e v e lp r o c e s sh a sb e e np r o p o s e da c c o r d i n gt ot h es t r u c t u r ec h a r a c t e ro fL a n e M a r k i n g G u i d e db yt h i sc h a r a c t e ra n dq u a l i t yc h a r a c t e ro fp r o j e c t e di m a g e aL a n eM a r k i n g e d g ed e t e c t i o no p e r a t o rh a sb e e nd e s i g n e d a n dam e t h o d f o rL a n eM a r k i n gp i x e l se n h a n c i n ga n d m u l t i s e g m e n tt h r e s h o l d i n gh a sb e e np r o p o s e d An o v e lL a n eM a r k i n gs e a r c ha r i t h m e t i ch a sb e e np r o p o s e db a s e d o nt h ep o l y n o m i a ll a n e m o d e lw h i c hr e p r e s e n t st h es t r u c t u r ec h a r a c t e ro fl a n e L a n eM a r k i n gC a nb ed e t e c t e db yt h r e e s t e p so ft h i sa r i t h m e t i c f i r s t l yc a l c u l a t i n gl a n ew i d t h w i t hs t a t i s t i c a lm e t h o d t h e nt r a c k i n gL a n e M a r k i n g 诚hs e a r c hm o d e lm e t h o d f i n a l l yc o r r e c t i n gt h et r a c kr e s u l tw i t hl a n em o d e l c h i v e f i t m e t h o dw h i c hi m p r o v e sr e l i a b i l i t yo f d e t e c t i o nr e s u l t s A sv e r i f i c a t i o n t h i sa r i t h m e t i ch a sb e e nt e s t e db ys i m u l a t i n ge x p e r i m e n tw h i c hh a sb e e n e s p e c i a l l yb u i l t a n dt h er e s u l t sa r ei n t r o d u c e d K e yw o r d s L a n eM a r k i n g A u t o n o m o u sH i g h w a yV e h i c l e I n v e r s eP e r s p e c t i v eM a p p i n g L a n e D e t e c t i o n 第l v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果 尽我所知 除了文中特别加以标注和致谢的地方外 论文中不包含 其他人已经发表和撰写过的研究成果 也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了晚确昀说躜并表示逡意 学位论文题目 直鎏金整自圭童壁遗主道整捡测量蕉赶壅 学位论文作者签名 墨E 剑塞日期 2 口眸年 f 月t O 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留 使用学位论文的规定 本人授权 国防科学技术大学可以保留并向国家有关部门或机构遥交论文的复印件和电子 文档 允许论文被查阅和借阒 可以将学位论文的全部或部分内容编入有关数据 库进行检索 可以采用影印 缩印或扫描等复制手段保存 汇编学位论文 保密学位论文在解密后适用本授权书 学位论文题目 逝速尘整自圭童壁遗主道壁撞测挂盎盟究 学位论文作者签名 墅剑塞 日期 7 o o 驴年 月 0 日 作者指导教师签名 一驾塑茎廑 日期 硝年 月 矿日 国防科学技术大学研究生院学位论文 第一章绪论 第一节课题研究的背景和意义 汽车的发明极大地扩大了人类的活动范围 促进人类社会的发展 随着信息时代的来 临 人类对交通工具快速性 安全性的要求不断提高 然而人类生理能力的局限性很大程 度上限制了人类的这种要求 这就必然导致了由机器人来代替人类驾驶员的自主驾驶汽车 出现 自主驾驶特指综合利用车辆自身所具有的感知 决策和操纵能力 独立地进行汽车 驾驶工作 而不需要人类帮助 一个理想的汽车自主驾驶系统应该像人类驾驶员一样 能 对车辆运动及环境变化做出实时的判断 及时地控制车辆运动 完成车辆驾驶任务 自主驾驶汽车集人工智能 图像处理 智能控制 信息处理 机械电子等多门专业的 于一体 跨计算机 自动控制 机械电子等多个学科 集中体现了计算机和机器人技术的 最高成果 成为当前智能机器人研究的热点之一 1 1 1 自主驾驶汽车研究概况 自主驾驶汽车的研究工作最早可以追溯到2 0 世纪6 0 年代 当时美国O h i o 大学的一些研 究工作者从改善汽车的操控性能出发 开始进行汽车侧向跟踪控制和纵向跟踪控制研究 该项研究持续了二十多年 取得了一系列研究成果 另一方面 二十世纪六十年代美国 S t a n f o r d 研究所在进行人工智能研究中 开发T S h a k e y 移动机器人 作为人工智能研究工 作的试验平台 1 9 7 3 到1 9 8 1 年间F h H a n s M o r a v e c 在S t a n f o r d 研究所领导的S t a n f o r d c a r t I 程则第一次实现了自主驾驶 进入二十世纪八十年代以后 美国军方试图将自主驾驶技术应用到军事上去 以提高 部队战斗力 先后组织了多项车辆自主驾驶的研究项目 其中包括D A R P A 的A L V 项目 D A R P A 的D E M O I I 计划 D E M O I I I 计划等 其它包括英国 法国 德国等在内的一些国家也都在 进行自主驾驶技术在军事应用领域的相关研究 这方面比较成功的成果是D E M O I I I 无人 驾驶装甲车 图1 1 其车型是专为无人驾驶而设计的 在公路上行驶速度可达4 0 公里川 时 第1 页 国防科学技术大学研究生院学位论文 图1 1D E M O I I I 相比之下 各个大型汽车公司则更加注重高速公路或高等级公路上汽车自主驾驶研 究 以期提高汽车安全性能 它们通过与大学合作的方式开展研究 其中比较成功的有 1 德国慕尼黑国防军大学所进行的V a M o R s 和V a M P 自主驾驶汽车研究 卜 图1 2 V a M o R s 自主车 该研究是由奔驰 B e n z 汽车公司和德国慕尼黑国防军大学 U B M 联合进行的 主要由 E D D i c k m a n n s 教授领导 其V a M o R s 1 2 自主驾驶汽车曾在1 9 8 7 年就创下T 9 6 公里 j 时 的自主驾驶纪录 经过几年的努力后 该自主车实现了在高速公路及条件较好乡间公路的 自主驾驶 他们接下来研制的第二辆自主车V a M P 自主驾驶速度更是达到了创纪录的1 6 0 公里 d 时以上 在高速公路上能够安全地进行车道跟踪 超车等驾驶动作 第2 页 国防科学技术大学研究生院学位论文 2 美国卡耐基 梅隆 C M U 大学的N a v l a b 系列自主驾驶汽车研究 6 1 0 卡耐基 梅隆大学1 9 8 1 年开始自主驾驶汽车的研究 先后在政府 军方 及汽车企业等 多方面的资助下 进行T N a v l a b 系列 图1 3 a 自主车辆的研制开发 其中N a v l a b 一5 图1 3 b 进行了横穿美国大陆的 长达4 5 8 6 公里的自主驾驶实验 整个行程中9 8 的路程由自主驾 驶系统完成 平均时速达N 1 0 1 公里 J 时 图1 3 a C M U 的N a v l a b 系列 b N a v l a b 5 3 美国加州理工大学的P A T H 研究群体 1 l l P A T H 在美国政府资助下进行高速公路自动化的研究 对多种高速公路自动化方案都进 行了详细的研究和评估 包括对自主驾驶技术所进行的大量细致的研究工作 这些工作对 于有关的研究是非常具有借鉴意义的 如车辆纵向控制 车辆运动建模等 4 意大利帕尔玛大学的A R G O 自主车样车 1 2 q6 1 A l b e r t oB r o g g i 教授领导了帕尔玛大学的A R G O 自主车研究 其开发的G O L D 视觉导航 系统能够完成高速公路的视觉导航 具有鲜明的特色 1 9 9 9 年该车进行了长达1 0 0 0 余公里 的自主驾驶试验 最高车速达到了1 1 2 公里 d 时 其它包括法国 日本等都在开展自主驾驶汽车的研究工作 国内关于自主驾驶汽车的研究 是二十世纪八十年代末期开始的 已取得了令人鼓舞 的研究成果 国防科学技术大学1 9 9 1 年研制的汽车自主驾驶系统实现了低速自主驾驶 2 0 0 0 年 以B J 2 0 2 0 为平台的自主驾驶汽车实现T 7 5 6 公里 4 时的高速公路车道跟踪实验 2 0 0 3 年 由国防科学技术大学和中国第一汽车集团公司联合开发的红旗车 图1 4 自主驾 驶系统实现了1 7 0 公里 d 时的高速公路车道跟踪驾驶 并具有了超车功能 该成果标志着 中国汽车自主驾驶技术已经达到了国际先进水平 第3 页 国防科学技术大学研究生院学位论文 图1 4 红旗自主驾驶轿车 清华大学智能系统实验室也在进行汽车自主驾驶技术研究 据报道 2 0 0 3 年其研制的 T H M R V 智能车进行了最高时速达到1 5 0 公里 小时的白线跟踪实验 其它包括吉林大学在 内的一些研究机构 也都在进行汽车自主驾驶技术的研究 1 1 2 自主驾驶汽车研究应用前景 进入二十世纪九十年代后 自主驾驶汽车的研究取得了飞速的发展 其在军事 交通 等方面有着广泛的应用前景 军事上 自主驾驶的作战平台可以代替士兵去执行危险的作战任务 比如战场排雷 敌后侦察 到核生化污染区域进行军事活动等 这可以在很大程度上减少人员伤亡 提高 部队机动性与战斗力 美国军方通过两次海湾战争 科索沃战争和阿富汗战争中对地面无 人作战平台的使用评估 提出了未来作战系统计划 要求将无人武器系统融入有人武器系 统 预计在2 0 1 0 年形成初步战斗力 届时每个作战旅无人车辆总数将超过全旅车辆总数的 1 3 交通运输方面 由于计算机具有快速 准确 不会疲劳等特点 自主驾驶汽车一方面 可以消除由于驾驶员疲劳或反应较慢等原因引起的交通事故 提高交通运输的安全性 另 一方面高速行驶的自主驾驶汽车将会大大提高公路的利用率 减少交通阻塞 极大的缓解 第4 页 国防科学技术大学研究生院学位论文 目前公路交通运输紧张的局面 现在一些汽车厂商已将自主驾驶的部分技术实用化 以提高车辆驾驶安全性和舒适性 等指标 增强自身产品竞争力 从自主驾驶技术衍生出了车道跑偏告警 自适应巡航控制 电子拖杆 自动泊车等多项汽车新技术 自主驾驶技术已经开始进入人们的日常生活 随 着今后的进一步发展 它将在更多方面发挥越来越重要的作用 第二节自主车视觉导航研究概况 目前各国进行的自主驾驶汽车研究中 在实现车辆感知外部环境方面 经过多方面的 探索之后 都无 例外地采用了以计算机视觉为主的环境感知方式 在自主驾驶领域中 视觉导航一般分成两个关键技术 1 道路检测 道路定位 确定车路相对关系 分析车辆偏航角 2 障碍物检测 确定障碍物的相对自主车的位置 当前比较有特色的研究成果有 1 美国卡耐基 梅隆大学的N a v l a b 系列自主车的R A L P H 视觉导航系统 图1 5R A L P H 导航系统 图1 5 为R A L P H R a p i d l yA d a p t i n gL a t e r a lP o s i t i o nH a n d l e r 系统工作示意图 该系 统使用自适应对齐并调整的模板匹配技术 将前方道路图像进行拉伸 转换成图1 5 左一F 第5 页 国防科学技术大学研究生院学位论文 角所示的3 0 3 2 像素图像 然后将此校正图像与各种不同道路条件下的模板相比较 选取 与当前图像相关系数最高的模板作为候选 最后计算狄度轮廓的投影偏移 指导车辆的前 进 系统能对道路图像的渐变做出相应的反应 能够处理前方7 0 1 0 0 米距离的图像突变 2 意大利帕尔马大学A R G O 自主车的G O L D 视觉系统 G O L D G e n e r i cO b s t a c l ea n dL a n eD e t e c t i o n 系统采用双目重投影方法 将道路图像 投影成道路平面的图像 然后对投影图像运用道路平行的特征 提取道路边缘 然后生成 一些小的线段 并通过某种预测方法连接起来 形成道路标志线 障碍检测方面使用双目 差分方法 提取障碍物的距离和大小信息 指导车辆避障 3 德国国防军大学V a M o R s 自主车的B W 视觉系统 B V V 系统在检测道路标志线方面使用弱方向性边缘算子检测车头附近的标志线线头 然 后根据线头提供的方向信息使用受控相关的强方向性算予检测边缘并进行链码跟踪 最后 采用几个给定方向的检测算子搜索远处的标志线 在高层图像理解方面力H A T K a l m a n 滤波 提高算法的准确性 整个算法结构简单 工作速率可达2 5 H z 此外还有其它一些研究机构在进行检测道路标志线的研究 总的看来 这一领域的研 究可分为两大类 一类是以B V V 为代表的直接对道路图像进行处理 他们根据道路图像在透视图中的形状 使用了多种模型进行了分析 如B V V 的回旋曲线 A R C A D E 的同心圆模型等 其优点是结构 简单 速度快 另一类是以R A L P H G O L D 为代表的先投影 再检测的方法 这一方法的优点是能够建立 更准确的道路模型 更充分地利用道路标志线在投影图像中的结构信息 本文的研究使用 的正是这一方法 第三节论文主要研究工作 本文以红旗自主驾驶轿车为背景 对高速公路上自主驾驶汽车的道路检测问题进行了 分析研究 在以下几个方面取得了一些研究成果 第6 页 国防科学技术大学研究生院学位论文 1 研究并实现了基于单目视觉的投影分析方法 该方法通过逆透视变换消除了车载 摄像机获取的道路图像中的透视效果 将道路标志线的结构特征显现出来 有利 于利用道路结构信息对标志线的提取处理 2 提出了在投影后的世界坐标系中提取道路标志线的算法 该算法充分利用了道路 标志线方向性 平行性等特点 具体而言又可分为底层处理和高层处理 分别对 应于边缘处理和道路标志线生成 3 在计算机上实现了上述算法 并通过仿真实验对算法进行了检验 本文的组织结构如下 第一章绪论介绍了自主驾驶汽车的相关研究背景 以及论文的主要贡献和组织形式 第二章分析了车载摄像机模型 实现了消除道路图像透视效果的逆透视方法 第三章根据 道路标志线的特点设计了图像底层处理方法 包括标志线边缘检测 增强 闽值化三个处 理过程 第四章分析了道路标志线的数学模型 并在此基础上实现了道路标志线提取算法 第五章建立仿真实验环境对算法进行了检验 给出了实验结果 第六章总结全文 并对下 一阶段的工作进行了展望 第7 页 国防科学技术大学研究生院学位论文 第二章道路图像投影变换 车载摄像机获取的道路图像 典型图像如图2 1 是一种人类视觉系统比较习惯于认知 的透视图 由于透视效果的存在 使得道路标志线在图像底部比较直 而在灭点附近成为 变化复杂的畸线 道路标志线之间简单的平行关系需要通过较为复杂的数学方程才能加以 描述 在文 1 7 J 中给出了三种不同情况下的标志线方程 在摄像机存在俯仰角与侧倾角的情 况下 用了七个参数描述了四个变量才给出了问题的近似表达 此外图像中各点所代表的 实际尺寸也不尽一致 使得近处和远处的路宽以及标志线线宽相差甚远 总的来说这对于 应用计算机视觉来解决道路检测问题是不利的 图2 1典型的透税道路图像 受R A L P H l 6 1 与G O L D l l 4 A 5 1 系统的启发 本文采用了逆透视投影变换方法来研究道路检测问 题 整个算法分为逆透视投影变换 图像底层处理 标志线提取三大模块 1 逆透视投影变换模块对车载摄像机的道路图像进行逆透视变换 消除其中的透视效 果 这样道路标志线之间平行的结构特征就能显现出来 有利于使用比较简单的道路模型 对问题展开研究 2 底层处理模块实现对道路标志线的边缘检测 3 标志线提取模块实现对标志线的理解 得到其参数表达 本章将对投影变换进行分析 但在此之前 本文将先简单介绍算法研究对象 道路 的类别及特点 第8 页 国防科学技术大学研究生院学位论文 2 1 1 我国高速公路分类 第一节高速公路结构简介 在我国的道路法规 1 8 中 根据道路所处的地区不同可以将道路分为公路 城市道路 厂矿道路 乡村道路等 而公路又分为五个等级 即高速公路 一级公路 二缴公路 三 级公路 四级公路 城市道路又分为快速路 主干路 支路等 这样的道路分类标准与车 辆自主驾驶对道路的分类方法难以相同 在汽车自主驾驶研究中通常按照道路的结构化程度及车道数目对道路进行分类 1 6 1 7 J 1 高度结构化的自主驾驶专用道路 这种道路中所有车辆都是自主驾驶的 因此每个 车辆行为都是可以预测的 道路导航设施齐全 大大降低了自主导航的难度 2 具有良好的车道标志线和其它道路标志 不同流向的车道之间具有物理隔离带 无 平面交叉的汽车专用高等级公路 包括现有的高速公路 一级公路等 3 无中间隔离带 但有中间分隔线 车道线 平交路口 交通信号等的一般结构化道 路 4 有或无中间分隔线 无车道标志线的非结构化乡间公路 5 无明显道路特征的越野道路 这五类道路对自主驾驶系统导航能力和智能水平的要求 随着结构化程度的降低逐渐 提高 这样分类与自主驾驶技术循序渐进发展是相适应的 高度结构化的自主驾驶专用道 路上的自主驾驶在技术上是比较容易实现的 但要建立这样的道路需要大量投入 特别是 要建设城际公路网需要巨额投资 在目前不可能实行 2 1 2 高速公路及其结构 本文的研究主要是针对准结构化道路 要求双向车流之间有隔离带 有明显车道线标 志 无平面交叉路口 目前的高速公路 一级公路符合这一要求 因此在本文中高速公路 和准结构化道路都是相同的概念 均指满足上述特征的公路 包括实际公路系统中高速公 路和一级公路这两种汽车专用公路 第9 页 国防科学技术大学研究生院学位论文 我国公路路线设计规范 中对高速公路及其线形有严格标准 1 高速公路为汽车专用公路 2 高速公路供汽车高速行驶 平原微丘区计算行车速度1 2 0 公里 J 时 重丘区1 0 0 公里 d 时 山岭区6 0 或8 0 公里 d 时 3 高速公路全部控制出入 即 只准符合行车要求的汽车进入公路 其它车辆一律 禁入 必须是四车道或四车道以上的公路 必须设置中央分隔带 与其它公路相交处设嚣 立体交叉 设置禁入栏 4 高速公路的车道宽度一般为3 8 米或3 5 米 5 公路平面线形由直线 圆曲线和回旋线组合而成 其中圆曲线的最小半径为6 5 0 米0 2 0 公里 J 时 4 0 0 米 1 0 0 公里 小时 2 5 0 米 s o 公罩 J 时 1 2 5 米 6 0 公里 J 时 6 当圆曲线半径小于一定值对 应设置超高 但最大超高小于lO 7 高速公路的纵坡小于3 1 2 0 公里 J 时 4 1 0 0 公里 J 时 5 8 0 公里 J 时 纵坡变更处应设置竖曲线 半径晟小值2 0 0 0 0 米 1 2 0 公里 J 时 从以上的规范内容可以获知高速公路具有下列明显结构特点 a 具有明显的车道线标志 b 中间隔离带的存在使得路面上只有同向行驶的车辆 c 全部控制出入 使得路面上只有汽车在行驶 d 道路具有连续的曲率 且曲率控制在很小的范围 可以保证车辆高速行驶的需要 道路的结构是比较简单的 只用直线 圆曲线和回旋线就可以形成比较理想的模型 然而道路图像的透视效果使得车道标志线的在图像中的出现形式很复杂 为了合理的运用 这一模型 需要进行逆透视变换 下两节将对变换的原理与过程进行分析 第1 0 页 国防科学技术大学研究生院学位论文 2 2 1 车体坐标系 第二节坐标系关系 本文的研究过程中摄像机固联于汽车下体之上 为方便分析 定义车体坐标系 P z Y 如图22 所示 z r 图2 2坐标系小意图 坐标原点0 位于本体车辆的重心在车辆底盘所在平面上的投影点 x 轴垂直于本体 车辆纵向中轴线方向且平行于底盘所在平面 指向车辆正右方 耳轴平行于本体车辆纵向 中轴线方向 指向车辆前进方向 z 轴垂直于底盘所在平面向上 2 2 2 摄像机坐标系 摄像机安装在车体上 假定其安装位暨在汽车车体坐标系中为F d h 定义摄像机 坐标系为P x Y c 坐标原点只在摄像机投影中心 z 轴垂直于硅靶平面 指向摄像 机成像系统视线方向 即光轴方向 j 毛轴平行于摄像机成像靶平面的扫描行方向 指向 每一行扫描时像素增大的方向 墨轴垂直丁 与磊决定的平面 指向扫描行增大的方向 2 2 3 图像坐标系 图像坐标系e y z 是摄像机成像时的坐标定义 将原点 设在成像系统的像平而焦 点 物距无穷远处 轴平行于摄像机扫描行方向 指向每一行扫描时像素增大的方向 第1 1 页 国防科学技术大学研究生院学位论文 y 轴垂直于摄像机扫描行方向 指向行增大的方向 2 2 4 图像缓存坐标系 图像缓存坐标系是内存中图像的存储形式 坐标原点匕设在图像左上角 C 轴平行于 摄像机扫描行方向 指向每一行像素增大的方向 胄轴垂直于摄像机扫描行方向 指向行 增大的方向 2 2 5 坐标系变换 由三维的世界坐标系 本文中即为车体坐标系 到计算机图像缓存坐标系的变换 是完 成坐标变换的核心内容 在文 中指出这一变换可以由下面三个步骤来描述 1 本体车辆坐标系到摄像机坐标系的变换 这是一个包括平移和旋转的线性变换 P R P F 2 1 其中 P 指摄像机坐标系下的坐标 P 指车体坐标系下的坐标 R 定义为使本体车辆 坐标系的坐标轴与摄像机坐标轴中X Y Z 轴方向分别对应一致时 本体坐标系应进行的旋转 变换 采用欧拉角表示的侧倾角l I f 俯仰角五 旋转角妒来定义旋转变换 定义 R R r R x 五 R z 2 2 的旋转顺序 实现本体车辆坐标系到摄像机坐标系的旋转变换 图2 3 坐标变换示意图 0 七 第1 2 页 国防科学技术大学研究生院学位论文 2 摄像机坐标系到图像坐标系的透视投影变换 采用针孔摄像机模型的前投影模型 并在实际应用中有 f 为摄像机的焦距 X I 生 y f y c 3 图像坐标系到图像缓存坐标系的放缩和平移交换 s P 卜 L0虬 川I P l 一8 2 3 2 4 2 5 其中 0 是图像坐标系的原点B 在图像缓存坐标系8 鼻 下的坐标值 虬和 分别 对应图像坐标系单位长度所对应的图像缓存区的像素列数和行数 在具体应用中 文 1 7 中将模型进行一些简化与近似 特别是本体车辆坐标系到摄像机 坐标系变换的旋转变换部分 对旋转角泓 使用了三角函数的一阶近似 带来了一定的误 差 而且多次转换也大大降低了处理的效率 针对本文问题的应用背景 本文对上述变换 进行了简化 得到了将车体坐标系直接转换到图 像坐标系的方法 设摄像机安装位置在汽车车体坐标系中为 F d h d h 意义如下 d 对应摄像机中心偏离车体坐标系原点B 的 距离沿x 轴方向分量 对应摄像机中心偏离 辟沿E 轴方向分量 h 对应摄像机的安装高度 图2 4 摄像机安装示意圈 第1 3 页 国防科学技术大学研究生院学位论文 摄像机其它参数如下 0 摄像机光轴Z c 偏离o O 平面的角度 摄像机光轴Z c 在o O 平面的投影偏离巧轴的角度 t 2 摄像机水平方向视角范围 口 摄像机垂直方向视角范围 R 摄像机水平方向分辨率 R 摄像机垂直方向分辨率 图2 5 摄像机安装中角度关系 此外摄像机可能绕光轴Z c 旋转一定的角度国 偏离平衡位置 这一偏差可以通过摄像 机安装控制在很小的范围内 在本文的讨论中近似认为彩 0 将车体坐标系中的点P x Y 投影到图像坐标系中时 可以从沿Z 方向投影和垂 直于乙与e x y z 组成平面方向投影两个关系上分开讨论 第1 4 页 国防科学技术大学研究生院学位论文 1 沿z 方向投影在Z 0 平面 P x 图2 5 沿Z 方向投影示意图 事实上是由p x Y z 和摄像机之间的连线与z 的偏角西决定了P 点在图像坐标系 中的列位置 从这个方向的投影可以看出 此时点 嘴 X y v 一d 一y 2 7 故在图像坐标系中 磊刚辔 等H 铲鱼 1 止L 2 垂直于Z 与P x Y z 组成平面方向 2 8 投影后 将摄像机在z 0 平面上的投影点z 0 作为原点 将P x Y z 延长之与 z 0 平面相交 交于点P z y 0 连接Z o P 作为横轴 它与光轴方向4 在平面上投影 第1 5 页 国防科学技术大学研究生院学位论文 露夹角为歹 在投影点靠近磊轴且远离摄像机的情况下 可以将歹近似为口 愁策 图2 7 垂直方向投影示意图 Z c z A P 从这个方向的投影可以看出P x Y 毛 和摄像机之间的连线与掣的偏角以决定了P 点在图像坐标系中的行位置 埘疋一辔c 丽毒薏零M 在图像坐标系中 占 y 2 才 洲垃h 三 一0 洲以蕊4 x i 雨蠢卜 一d 2 J r D 2 从图像坐标系到图像缓存坐标系的变换主要由平移和放缩组成 c x O 5 瓜一1 2 9 2 1 0 2 一l I r Y J 0 5 x R y 一1 2 1 2 再由式 2 8 2 1 0 可得从车体坐标系到图像缓存坐标系的转换公式为 0 5 R x 一1 2 一1 3 第1 6 页 国防科学技术大学研究生院学位论文 r a r c t g 堕竺h z v 竖盟 一 0 0 5 砂 1 2 1 4 口 第一节介绍了高速公路在设计建设时对道路的起伏都有很严格的要求 设计时速1 2 0 公里 小时的高速公路 其凹形路面竖曲线最小半径为1 2 0 0 0 米 凸形路面竖曲线最小半径 为2 0 0 0 0 米 可以推算得道路1 0 0 米以内其平均坡度小于O 0 0 5 因此在变换时可以近似 忽略路面起伏的影响 认为z 0 可将 2 1 4 式简化为 吲竺 巫雾h三吣M 州 娟 口 由此可以推出图像缓存坐标系的点 c 投影到车体坐标系中的变换公式为 铲舡州器 o 5 枷 S i n 0 5 a Y 2 1 7 胪眦培 器 0 5 圳 c o s 器 o 5 州 f 2 1 8 第三节图像投影变换 在具体进行图像投影变换时 还要考虑以下几个问题 2 3 1 边界设定 人类驾驶员在驾驶汽车时具有广阔的视野 可以看到很远的地方 然而计算机视觉的 处理能力与特点决定了在进行车道识别时只能将重点放在汽车前方一定距离J D 内的道路 及其临近的区域 习惯上称之为A O I A r e ao f I n t e r e s t 鉴于图像的质量和处理实时性的限 制 本文研究工作将着力于D 丘 r c m P r c B r c 十肌 3 3 通过上述滤波算子的处理得到边缘图像O r c 至于m 的取值 根据 2 1 2 中的规定 高速公路上漆制的道路标志线宽度应为O 2 2 米 由 2 3 2 节所定义的分辨率 可得其在 图像中宽度为m 4 图3 4 给出了六种典型情况下的滤波结果 每种情况中上面一幅为滤 波前的图像 下面一幅为滤波后的图像 a 直道上 b 道路有起伏 c 左转弯道 d 右转弯道 e 岔道入口 f 岔道山口 图3 4 道路图像滤波结果 第2 5 页 Cr P JI L Cr Q 国防科学技术大学研究生院学位论文 由图3 4 可以看出道路标志线检测算子能够较好的将标志线像素与路面区分开来 所 有明显的标志线像素点都反映到了滤波图像中 由于本文在设计算子时已经充分考虑了道 路标志线的结构信息 算子大大减少马路牙子等干扰噪声的影响 图3 4 b d e D 中都出 现了不同程度的干扰 尽管检测结果中还是有相当数目的干扰点呈现与标志线同一级别的 灰度 但与原来相比 标志线以成为占主导因素的信息 干扰噪声得到了抑制 此外由于距离的变远使得远处的图像质量退化在检测结果中也得到了体现 图像底部 的检测结果具有较高的灰度值 体现出较高的可信度 相反 在图像上部的检测结果灰度 值明显降低 有时甚至低于马路牙子噪声的干扰点 如图3 4 e 中的上部 因此在进一 步的阈值化等处理中必须考虑这种退化带来的影响 第二节图像的增强与阈值化 由于在不同的光照条件下 如有阴影的存在 表征道路标志线的像素可能有不同的灰 度值 而上一节中提到了还存在退化带来的影响 因此只利用一个简单的阈值 很难获得 满意的图像阈值化结果 通过分析标志线之间的垂直方向特征并以此增强图像之后 可以 在一定程度上消除这种影响 进而得到较好的阈值化结果 3 2 1 图像的增强处理 滤波图像Q r f 中道路标志线在竖直方向上表现出较强的连续性 利用这种关系的可 以通过序统计滤波方法将道路标志线的像素的亮度值恢复到比较均匀的状态 B r o g g i 在文1 1 4 中提出了使用如图的二元结构来增 强前一步提取的道路边缘 滤波运算只运用到边缘图 像Q r c 中的非零单元上 将上述单元的值替换为模 板控制的邻域中的最大值 这样一方面可以增强道路 标志线 另一方面也抑制了其它点也被上述运算增强 的可能 f E r c 增强模板处理结果 O Q r c 0 Q c 0 OlO lll O1O 图3 5 B r o g g i 的增强模板 3 4 第2 6 页 国防科学技术大学研究生院学位论文 然而这一方法每次增强的范围很有限 仅限于邻近的像素 因此实际应用时需要迭代 3 次或更多才能取得较好的效果 考虑到实时性的要求 这样是很不划算的 B r o g g i 的方 法在A R G O 上实现时也是采用得了硬件加速的方法 结合本文所研究的系统的实际情况 可以使用一个较大的模板结构实现增强运算 f 一蔓照 图3 6 图像中斜率最大的切线示意图 根据 2 1 2 分析 最小曲率半径为且 6 5 0 米 由此可得沿道路距离车体为D 处道 路切线方向与车体方向的最大偏角 如图3 6 所示 为叩 D R 经计算得r l 9 然而考虑到 2 3 2 节所定义图像行与列方向上分辨率的4 倍的差距 在图像中有 叩一 3 1 6 在道路标志线上D 距离内任一局部区域 道路标志线切线方向与车体方向的夹 角小于叩一 则变换后的道路图像中 任取 d 段道路标志线 若其长度足够短的话 可 以认为它是一条短直线 且与竖直方向夹角小于J 7 根据上面的分析可以用竖直方向的模板控制增强 本文设计的模板如图3 7 所示 对 于每一个非零的Q r C 像素单元 搜索该模板所控制邻域的像素最大值 并以此最大值来 代替原来的值 可得到令人满意的增强结果 处理结果如图3 9 所示 图3 7 增强模板 图3 8 增强过程示意 第2 7 页 国防科学技术大学研究生院学位论文 a 直道上 b 道路有起伏 c 左转弯道 d 右转弯道 e 岔道入口 o 岔道出口 图3 9 增强处理结果 可以看出相对于原图标志线灰度值有了一定的提高 当然部分噪声点 如图像最左边 部分有马路牙子引起的噪声 的灰度值也变大了 但总的来讲 图像的信噪比得到了改善 另外通过模板的作用 相近的标志线上点的灰度值也趋于一致 保证了在下一步阈值化中 产生的结果的连续性 有利于进一步的标志线提取过程 第2 8 页 国防科学技术大学研究生院学位论文 3 2 2 图像的阈值化 由于存在距离引起的图像质量由近及远的不同程度的退化 图像由底及上过程中信噪 比是逐步降低的 灰度值也逐步降低 因此使用常见的单门限阈值化方法不能取得良好的 效果 下图给出了一些不同门限T 下的闽值化结果 增强处理结果T 4 0T 5 0 T 7 0 图3 1 0 不同阈值T 下的阈值化结果 由图3 1 0 中可以观察到 当T 设置到6 0 以下时 对道路边上的马路牙子干扰未能很 好的消除 而当T 进一步加大时 道路图像中远处的部分标志线也被当作背景给去掉了 在T 7 0 时出现了即未完全消除噪声 又将部分标志线去掉的情况 考虑到实验情况下还可能出现光照条件变化 阴影干扰等图像质量变差的情况 本文 的阙值化必须使用非固定闽值方法 常用的非固定闽值方法包括 1 局部区域阈值化 选取局部区域的平均值或最大值的某个比例作为门限 2 直方图统计法 求出图像直方图 通过分析直方图中的灰度分布函数 选取最小误 差分类来确定最佳门限 第2 9 页 国防科学技术大学研究生院学位论文 3 多门限阂值化 针对直方图中的多蜂的情况 设立多个闽值将其分开 而分析增强后的图像 可以得到以下几个必须考虑的特点 1 道路标志线存在距离引起的图像质量由近及远的不同程度的退化 在同一距离上 退化程度相当 图像的对比度和灰度值相近 2 同一水平线上 标志线还是最明显的特征 根据上述特点以及常用的非固定阈值方法的思路 本文设计了如下的阈值化方法 将图像沿竖直方向分成若干段 使得每一段内 图 像因距离引起的退化差异不大 对于其中任意一段可以 根据段内灰度分布情况设立阈值进行划分 实际上由于 标志线是灰度值最大的像素点 可以将阙值设为最大灰 度值的某个比例进行阈值化图像 本文在处理时将图像 分为2 0 段 每段高度为2 5 个像素 对每一段取段内最 大值的1 2 作为阈值 提取结果如图3 1 2 图3 1 1 分段阀值化示意图 a 直道上 b 道路有起伏 c 左转弯道 d 右转弯道 e 岔道入口 O 岔道出口 图3 1 2 图像闽值化的结果 闷值化结果中图像底部的噪声得到了很好的抑制 标志线像素与背景能够很好的区分 第3 0 页 国防科学技术大学研究生院学位论文 越往图像上部噪声的干扰越大 在干扰物较少的情况下 上部的阙值化结果还比较准确 图 3 1 2 a b c 在出现强烈干扰情况下 部分线段出现了断裂 图3 1 2 e 甚至有少 数情况下标志线丢失 图3 1 2 d 这些情况下的进一步处理将在下一章的研究予以解决 第三节本章小结 对世界坐标系图像的底层处理需要将道路标志线像素提取出来 在对标志线的结构和 特点进行分析之后 本文设计了一种处理方法 通过基于黑一白一黑的变换完成边缘检测 然后使用序统计滤波方法对图像进行增强 最后通过分段的阈值化完成对标志线像素的检 测 这一方法对本文所得到的世界坐标系图像具有较好的处理结果 第3 l 页 国防科学技术大学研究生院学位论文 第四章道路标志线提取 第一节高速公路车道模型分析 根据 2 1 2 中的标准和规范 我国高速公路的平面线形设计使用了直线 圆盐线和回旋 线的组合 为便于对标志线模型进行分析 建立的瞬间车道坐标系如图4 1 所示 研究道 路在车体坐标系的底盘切平面中的出现形式 坐标斥原点为车体坐标系原点到车道切线方 向的垂线与道路中心线的交点 K 轴为车道中心线原点处切线 指向车辆前进方向 轴 垂直与该切线 指向车辆右侧 下面对各种情况下的车道进行分析 X v 图4 1 车道模型分析不意图 1 对于直线型车道 这是最简单的情况 道路的曲率p 一直为0 其变化率 即导数 因此也为0 2 对于圆形车道 这是一种较为简单的模型 在沿道路行进过程中 道路的曲率p 为 常数C 0 其变化率 即导数 因此也为0 3 对于回旋曲线 C l o t h o i d 车道 有些论文里称之为纯过渡弯道 P u r eT r a n s i t i o n L a n e 即道路的设计满足沿弧长方向曲率线性变化 5 设p 沿弧长曲率变化为 第3 2 页 国防科学技术大学研究生院学位论文 P k z k s 表示沿道路方向弧长 k 表示曲率初始值 k 表示曲率沿弧长 的线性变化率 4 1 综合上述三种情况 可以得到道路上各种情况下沿道路前进时 道路曲率可以表示为 P k 屯 对三种情况分别有 a 直道 b 圆形车道 k 2 0 k 3 0 k 2 0 k 3 0 c M 旋曲线车道 k s 0 k 0 在曲率较小情况下 沿弧长 切线为r z f p s 出 t 七 导岛 2 4 2 车体坐标系中以沿车向前的方向L 近似 得到车道在车体坐标系中方程为 Z 4 3 州 似岫 州 圭 2 l k s l 3 4 4 为方便表达 用常数c C h c C h 分别代表七o 七l 三七 i 1k 可得 V C h o C l q 2 2 C h 3 1 3 4 5 于是可用 4 6 来表达道路标志线曲线 X C n C M Y C h Y 2 C h Y 3 4 6 第二节道路标志线搜索方法 4 2 1 车道宽度信息估计 根据第二章变换方法的分辨率设置 从理论上讲 单个车道宽度3 8 米反映到图像上 应该是7 6 个像素左右 然而实际环境中绝对平坦的道路是不存在的 因此投影结果存在 第3 3 页 国防科学技术大学研究生院学位论文 较小的畸变 所以理论上计算的车道宽度与图像中的车道宽度总会有一定的偏差 道路起 伏越明显 偏差越大 图4 2 就反映了这一情况 为了能较为准确的提取道路标志线 本 文研究了通过道路图像所反映的信息计算车道宽度的方法 图4 2 标志线投影存在畸变图4 3 典型的标志线像素图像 对于闽值化图像中出现的图形结构 图4 3 可以将其视为道路结构 即道路标志线 与干扰结构的叠加 考虑到在绝大多数情况下 干扰的影响并没有成为主导因素 因此可 以对道路标志线使用统计方法来估计路宽 如图4 3 所示 图中车道宽度基本保持不变 且左右两个车道的宽度也大致相等 因 此三条道路标志线上的点它们之间的间距必然能在某种程度上反映出车道宽度信息 虽然 干扰像素点反映的是错误的宽度信息 但其影响在大量标志线像素点的作用下 不会干扰 到正确的判断 本文对车道宽度的估计方法思路如下 在完全无干扰的图像中 若以P r c 表示第 行第C 列的像素 对于同一行上任意一 对非零像素P o r o C o P o r o c 其中 M 培叩一时能满足c 在 c 一占 C J 所选定的搜索范围内 依此类推搜索 直至结 束 将所得到的搜索结果序列连接起来可以作为对这条标志线的跟踪结果 鬈 琳 蕾 x 棋槭的搜索位置 图4 1 0 矩形模板匹配结果 第3 9 页 国防科学技术大学研究生院学位论文 在实验过程中可以看出在确定标志线水平位置时 矩形