汽车智能辅助驾驶系统中的计算机视觉技术.pdf

重庆大学 硕士学位论文 汽车智能辅助驾驶系统中的计算机视觉技术 姓名 周欣 申请学位级别 硕士 专业 控制理论与控制工程 指导教师 黄席越 20000501 重庆入学硕士学位论文 摘要 摘要 论文在充分研究国内外智能汽车系统各种导航方式的基础上 基于我 国公路和汽车的实际情况 考虑到视觉导航具有信号探测范围宽 目标信 息完整 价格相对便宜 特别是最符合人类感知方式等优点 提出了利用 计算机视觉技术在汽车智能辅助驾驶系统中实现视觉导航的方案 本系统 适用于高速公路上的汽车辅助驾驶 自动实现汽车防偏 防撞操作 论文主要介绍了汽车智能辅助驾驶系统中的视觉导航部分 其基本立 足点是利用计算机视觉技术 检测道路与障碍物 形成必要的信息以便专 家系统控制决策 7 在道路检测子系统中 解决了针对实际问题的模式分类算法和区域生 长的准则函数 在比较各种滤波算法的基础上 运用改进的变模板开运算 法平滑图象 取得了良好的处理效果 最后运用多项式拟合技术 准确地 重构了道路边缘 为障碍物检测与专家决策提供了完备确实的路面信息 在障碍物检测子系统中 基于投影几何原理 运用图象分割技术 提出了一种实时有效且易于实现的障碍物检测与识别算法 并运用卡尔曼 滤波技术实现了对障碍物的实时跟踪 在障碍物测距予系统中 分析了双目测距 三目测距等测距方法的 优缺点 基于投影几何原理 提出了单目测距算法 经验证满足系统要求 并大大节省了硬件开销 这是 个在理论和应用两方面都极具价值的新方 向 经过以上一系列处理 本视觉导航子系统能实时 准确地检测到车 道轨迹线以及真实障碍物的位置 这些信息将输入专家系统形成决策 为 辅助驾驶中的防偏 防碰提供保证 关键字 智能辅助驾驶系统计算机视觉技术透视投影图象分割 模式识别单目测距 蓦昼 i j 兰翌圭兰竺鲨三 兰 竺 a b s t r a c t t h i s p a p e rp r o p o s e d a n i n t e l l i g e n c e a i d s a f e d r i v i n gs y s t e m b a s e do n c o m p u t e rv i s u a lt e c h n o l o g yf o rp r a c t i c a l u s ei no u lc o u n w y a d v a n t a g e so f v i s u a ln a v i g a t i o ns u c ha sw i d er a n g eo f s i g n a ld e t e c t i o n i n t e g r a li n f o r m a t i o no f o b j e c t s r e l a t i v e l yc h e a p e rc o s t e t c a r ec o n s i d e r e da f t e ra n a l y z i n gt h er e a l i t yo f o l l rc o u n t r ya n db o t ht h en a t i v ea n di n t e r n a t i o n a lr e s e a r c hs t a t u si nt h i sf i e l d t h i ss y s t e mi sd e s i g n e df o rv e h i c l e so nt h eh i g h w a y i nt h eh o p et h a tak l n do f a u t o m a t i cs a f e d r i v i n ga n da n t i d e v i a t i o na n dc r a s hw i l lb er e a l i z e d t h i sp a p e rd i s c u s s e dt h ew o r ko f v i s u a ld i s p o s a ls u b s y s t e m c o n c e n t r a t i n go n h o wt og e ti n f o r m a t i o no fr o a da n do b s t a c l eu s i n gc o m p u t e rv i s u a lt e c h n o l o g y f o re x p e r ts y s t e mt om a k ed e c i s i o n i nr o a df o l l o w i n gs y s t e m w ed i s c u s st h ew a yo fi m a g es e g m e n tb a s e do n r e g i o ng r o w i n g t of o l l o w i n gt h ev e h i c l e sd r i v i n g w a ya r e aa n dp o i n to fi t st w o s i d e s o n es u f f i c i e n ta n dr e a lt i m em e t h o di nh i g h w a ys u r f a c es e a r c h i n ga n d f o l l o w i n gi sp r e s e n t e d i ta p p l i e dt h ep o l y n o m i a ld a t af i t t i n gt o f i n dt h eb o t h s i d e so ft h ed r i v i n g a r e a w i t hi th e l p i ta l s oc a l lf i g u r eo u tt h ew a ys t r e t c h i n g c o r r e c t l y t h e r e f o r e t h ev e h i c l ec a n s e l f a n t i d e v i a t i o n ho b s t a c l ed e t e c t i o ns y s t e m u s i n gp e r s p e c t i v ep r o j e c t i o nm o d e la n di m a g e s e g m e n t w eg e ta ne f f e c t i v ea n d r e a lt i m em e t h o dt os e a r c ho b s t a c l e t h e nw e u s e k a t m a n f i l t e r t o t r a c k o b s t a c l e s o w e c a ns i t e t h e t r u e o b s t a c l e o n i m a g e s a tl a s t w ea n a l y z et h eu s u a lc a l c u l a t i o nm e t h o do fd i s t a n c eb ym u l t i e y e a n dp r e s e n tar e a l t i m ea n de f f i c i e n tc a l c u l a t i o nm e t h o d w h i c hm a k e su s eo f c o m p u t e rv i s i o nt h e o r yt or e a l i z et h em e a s u r e m e n t o f t h ed i s t a n c eo f ao b s t a c l e i 1 1t l e1 1 i g hw a y b ys i n g l e e y e w ed i s c u s st h eg e o m e t r i c a li n t e r l i m i t e dr e l a t i o n o f e d g e sa n d t h eg e o m e t r i c a lm o d e lo fm e g hw a y a st h ee x p e r i m e n ts h o w t h e s y s t e m h a sa g o o d r e a l t i m e p r o p e r t y a n dh i g ha c c u r a c y a f t e rt h ep m c e s sa b o v e t h i sv i s u a ls u b s y s t e mc a l lf o l l o w i n gt h er o a da n d s i t et h eo b s t a c l eq u i c k l ya n da c c u r a t e l yi np r a c t i c a lu s e w h i c hs e tu pt h eb a s i s f o r t h e n e x t w o r k o f e x p e r t s y s t e m c o n t r o l d e c i s i o n k e y w o r d s i n t e l l i g e n c e a i dd r i v es y s t e m p e r s p e c t i v ep r o j e c t i o n p a t t e r nr e c o g n i t i o n c o m p u t e r v i s u a lt e c h n o l o g y i m a g es e g m e n t a t i o n m o n o c u l a rm e a s u r e m e n to f d i s t a n c e 重庆大学砌士学位论文 第一章绪论 第一章绪论 1 1 研究汽车智能辅助驾驶系统的意义 汽车作为一种快速 灵活而经济的交通工具 普遍受到人们的青睐 公路网建设的规模和速度及汽车生产的产量和质量已成为世界各国国民经 济基础产业是否发达的标志之一 并被放在优先发展的地位 随着汽车产 量的大幅度增加 人们越来越追求汽车驾驶的舒适性 安全性以及对环境 的适应性 解决此类问题的最佳手段就是信息技术 2 1 世纪汽车将进入一 个崭新的信息时代 主要发展趋势体现在汽车的智能化上 面向2 1 世纪的智能汽车系统是运用自动控制 通讯和计算机等信息技 术 使车和路高度智能化的系统 它主要用来控制交通流量 避免交通事 故 逐步实现高速公路上的自动安全行驶 但是全智能的无人驾驶系统目 前仍是一个美好的梦想 因此立足于现有技术 开发汽车智能辅助驾驶系 统是切实可行的 其目的就是通过使用当前正飞速发展的信息技术 有效 利用现有设施 使得车辆 道路和驾驶者和谐地统一起来 汽车智能辅助驾驶系统有很多优点 它不会疲劳 走神 反应迅速 能同时监视车辆的各个方向 因此不仅能大大降低交通事故的发生率提高 汽车的主动安全性 而且还能降低车辆的燃料消耗 减少排气污染 提高 公路的运输效率 同时该系统与驾驶员协调工作 使驾驶更舒适 方便 既减少了驾驶员的工作量 又保留了驾车的乐趣 一举两得 因此有广阔 的应用前景 1 2 汽车智能辅助驾驶系统概述 从广义上讲 汽车智能辅助驾驶系统是目前最为流行的智能交通系 统 i t s 的一部分 z 3 i t s 是智能汽车的课题来源 其总体目标是提出 智能汽车功能要求的依据 它将信息技术 数据通讯传输技术 控制技术 以及计算机处理技术综合运用于整体交通系统 使汽车 驾驶员 道路及 相关的服务部门相互联系起来 并使道路与汽车的运行功能智能化 综合 地看 智能型汽车是i t s 的主体 自动化公路系统 a h s 是智能型汽车的 载体 对于智能型汽车主要应实现车载通讯 环境探测 信息加工处理 辅助控制 含自动驾驶 四项功能 5 1 1 6 为实现这些功能应具备以下 几个要素 车载通讯装置 无线电 光 光束 图象 卫星 电磁引导 超声波等工具 实现线路范围内的移动通讯 多媒体信息输入输出装置 是人机接口 包括显示器 语音装 兰昼 丈兰竺 竺兰兰 釜 兰誊兰 置等 车载计算机 硬件和软件两部分 硬件包括微机 微机控制系 统和连接线缆等 用于数据加工处理 同时集成传统汽车电子控制部分的 数据处理功能 软件包括数据库和各种专用程序 车载探测装置 它为一系列传感器 分为两大类 车辆 驾驶 员检测装置用于检测车辆运行状态及驾驶员状态 环境检测装置利用激光 传感器 摄象机等检测车辆的行驶环境 辅助控制与自动驾驶装置 分为动力传动系统控制装置 辅助 驾驶控制装置 自动驾驶和自动跟踪行驶控制装置等 当然为实现智能汽车的基本功能 还必须有一定的技术支持 目前 与之有联系并受到普遍关注的技术领域有以下几方面n l 计算机技术领域 主要任务是提高车载计算机的处理速度和可 靠性 并向小型化 集成化和综合控制 智能控制方向发展 移动通讯技术领域 主要研究方向是无线电波的传输能力和通 讯设备的信息加载速率 现在在蜂窝电话网 单边频带通信 双向数字卫 星通信等领域非常活跃 它们能为获取交通状况信息和导航定位提供技术 支持 比如美国的第二代全球卫星定位系统 g p s 就由2 4 颗卫星组成 分 布在6 个轨道面上 轨道倾角5 5 度 卫星距地面2 0 2 0 0 k m 在地面任何 地区任何时间都可以至少同步接收四颗以上卫星的信号 实现全球 全天 候实时定位导航 传感器技术领域 主要关注高速行驶状态下车载探测装置的探 测精度 为了实现自动导航 提供行驶环境信息和目标探测 探针式 电 容式 电感式 力学传感器 雷达传感器 光电传感器等都在实际中有所 应用 目前采用最多的导航传感器是红外线和超声波传感器 而摄取环境 信息则多采用光电传感器 雷达传感器在距离测量方面有很大优势 i 塞度 快 精确度高 但缺点是不能反映被探测物的物理性质 超声波传感器具 有一定的局限性 表现在探测波视角过大 方向性差 不能提供目标的准 确边界信息 红外探测的情况与超声波传感器相仿 但由于其探测视角小 方向性强一些 测量精度也有所提高 但相应出现了容易丢失被探测物的 问题 由于高速行驶汽车的微小震动 光电传感器所得到的环境图象有时 也会发生较大误差 这些都是有待解决的问题 数值化与数据库技术领域 主要关注数据的采集与建立及数据 库中各种信息的压缩技术和读取速度 信息处理技术领域 致力于发展数字图象的处理与识别技术 人工智能技术 神经网络技术及模糊控制技术等有关基础技术 并开发相 应的算法 如运用光电传感器获取环境信息 数字图象的处理与识别技术 耋鉴奎兰竺圭兰鳘鲨兰 釜 耋兰鲨 是进行自主道路跟踪 道路识别与避障的关键技术 对装有多传感器的智 能汽车 研究基于信息融合的专家决策系统可以更正确 更全面地反映外 界环境的特征 提高决策的正确性和导航的鲁棒性 信息融合可在不同的 层次上进行 如像素级融台 特征级融合和决策级融合等 近年来 随着人工神经网络研究的深入 人们已将神经网络引入到智 能汽车系统的研究中 神经网络是一个高度并行的分布式系统 它不仅处 理速度快 还可以充分利用其非线性处理能力达到环境及目标辨识的目 的 应用中通过实例教学使网络收敛 学习完成后的网络 除了其固有的 并行特性外 还具有一定的容错能力 并且对学习中未遇到的情况 也能 进行一定的处理 智能汽车是一个实时性要求很高的非线性系统 人工神 经网络提供了解决这方面问题的可能性 此外 基于模糊控制技术的导航控制与局部路径规划应用也相当广 泛 模糊控制法不需要建立完整的环境模型 也没有复杂的计算和推理 对传感器信息的精度要求不高 对汽车的状态信息及周围环境信息的不确 定性不敏感 从而能使智能汽车的行为体现出很好的一致性 稳定性和连 续性 控制及伺服技术领域 重点提高控制及伺服机构的精度 灵敏 度 抗电磁干扰性能和功率密度等 这是智能汽车在执行级上的难点问题 解决不好 就不能在真正意义上实现辅助驾驶或自动驾驶 人机联系技术领域 开展高清晰度显示器 多媒体技术 虚拟 成像技术 语音识别及合成技术的研究 开发更友好 更实用的人机界面 最终实现驾驶和控制分离 人体机能学领域 以人的特性 视觉特性 躯体特性 驾驶疲 劳度 安全事故时人的失误机理等为目标 从生理学 心理学研究人的 认识 判断和动作 促进辅助驾驶系统实用化 狭义地讲 汽车智能辅助驾驶系统类似于轮式移动机器人 是一个 集环境感知 规划决策 辅助驾驶等多种功能于一体的综合系统 系统中 的传感器包括摄象机 雷达 激光 超声波等测量装置 相当于人的视觉 利用它们监视汽车周围的环境 获取必要的信息 车载计算机相当于人的 大脑 处理传感器获取的信息并形成决策 系统的执行系统包括报警装置 转向装置和制动装置等 当发现可能发生意外时 系统可采取减速 转向 或示警驾驶员等措施 脱离危险环境 避免发生交通事故 一个真正具有应用价值的汽车智能辅助驾驶系统必须同时具备实时 性 鲁棒性 实用性这三个技术特点 这也是智能汽车研究必须解决的三 个重点课题 实时性要求系统的数据处理必须与车体的高速行驶同步进 行 鲁棒性则要求智能辅助驾驶系统对不同的道路环境 如高速公路 市 重庆大学硕士学位论文 第一章绪论 区标准公路 普通公路 复杂的路面状况 路面及车道线的宽度 颜色 纹理 动态随机障碍与车流 以及变化的气候条件 日照及景物阴影 黄 昏与夜晚 阴天与雨雪等 均具有良好的适应陛 这是智能汽车系统研究 的难点所在 实用性要求智能辅助驾驶系统在体积与成本等方面能够为普 通汽车用户所接受 上述技术的要求构成了智能辅助驾驶系统研究所涉及 的传感器信息处理 车体精密定位 行为规划与决策 辅助驾驶与安全监 控 综合集成等主要关键技术 8 1 9 m 1 3 国内外现阶段主要研究成果 智能汽车除在公路交通运输中有广阔的应用前景外 还因其特殊潜在 的军用价值而受到各国的普遍关注 世界上的工业发达国家早在六十年代 就开始注意其相关内容的研究 进入九十年代特别是近几年来 西方发达 国家在智能汽车研制与开发方面更加大了投入 并且出现了一些引人注目 的变化 下面就世界几个主要发达国家和地区以及我国的一些研究动态与 成果作一简单介绍1 9 o 美国在6 0 年代就提出了电子导航系统计划 但由于种种原因未能完 全展开 直n 8 0 年代 美国感到了来自欧洲 日本的压力 开始以优惠政 策推动i t s 研究 1 9 9 0 年成立了美国i t s 协会 计划在1 9 9 2 年后2 0 年间投资 2 4 4 0 亿美元用于i t s 研究 至1 j 1 9 9 4 年其公共计划己达3 0 0 余项 在多达8 0 个 领域进行了实验 其中d a r p a 美国国防高级研究计划局 的研究较有代表性 立 n a v l a b 自主导航车 它的自动驾驶装置具有学习功能 只要人开车在一条道路上 走一遍 自动驾驶仪就可以不用驾驶员使车辆在此道路上行驶 车上装的 传感器有 电视摄象机 声纳 激光测距机 红外摄象机以及毫米波雷达 等 在1 9 9 2 年的实验中它以最高7 5 公里 小时的速度行驶了3 2 公里 目 前正加紧研究多传感器的信息融合技术 其缺点是系统极为庞大 且速度 较低 还有d a r p a 正在进行研制的t u g v 系统 其进展迅速 t u g v 系统分为 五种类型 d e m o a d e m o b d e m o c d e m o i i 和e t 该计划采用的关键 技术有 感知系统 计算机处理器 导航系统 路径规划 车辆控制 立 体视觉 地形理解及传感器技术等 d e m o a 阶段已于1 9 9 3 年结束 它演示 了自主公路导航 土石路导航及侦察监视和目标搜索能力 在该车的视觉 头上装有三台摄象机 控制部分分手动和自动两档 在公路上以5 0 公里 小时的速度行驶时两档转换自如 该车是通过神经网络进行路径自动跟踪 和避障的 d e m o b 于1 9 9 4 年夏季进行 重点是改进车辆本身 将装上地 图管理系统及先进的公路和越野导航感知系统 据称目前该车的研究工作 进展顺利 重庆大学硕士学位论文第一章绪论 美国的自动化高速公路的研究与智能汽车基本是同步的 1 9 9 7 年7 月 在洛杉矾和圣地亚哥之间开通了世界上第一段自动高速公路 它的路 面下面埋设了间隔1 2 0 厘米大小为2 3 平方厘米的磁片 而且在上面行驶 的十几辆汽车也是安装了计算机 摄象机 磁铁片 雷达等装备的半智能 汽车 美国政府计划在2 0 0 2 年之前开通一条全自动高速公路 在上面将由 公路 汽车电脑系统完全控制汽车的操纵 当然目前技术上的问题还 没有完全解决 而且更有许多非技术问题难以找到答案 欧洲早在6 0 7 0 年代就开始收集整理交通信息研究工作 7 0 年代后 期进行了车辆路线导行系统研究 8 0 年代欧洲大陆开展了广泛的i t s i 程 研究工作 得到1 8 个国家的积极响应 1 9 8 6 年开始了一项名为 欧洲高 效与安全交通规划 的合作研究项目 至e j l 9 9 4 年各国已为其投资9 亿欧元 欧洲还成立了技术委员会专门研究i t s 计划的标准化问题 1 9 8 9 年 欧洲以德国奔驰汽车公司为代表研制智能汽车 1 9 9 1 年首次 推出样车 主要由安装在汽车前 左 右两侧的红外线摄象机和安装在车 内的计算机 电子地图 光学传感器及有关执行机构构成 车内计算机系 统可根据采集的各种信息 自动选择最佳路线操纵汽车完成起步 行进 停车 转向 加速 减速等工作 事隔1 1 年了 虽然历经多次改进 但至 今还未产品化 奔驰公司更进一步的研究将把以下信息及条件均予考虑 本车与前车间距 前车速度 路面及气候条件阻确定制动时轮胎与路面的 摩擦因数值 前后车辆在行驶中 微波 激光或红外线测距时因多普勒效 应所带来的修正等 然后 通过计算机不断确定本车与前车是否超过警戒 距离 这距离是动态变化的 是电控系统自己随时智能化确定的 法国也研制了一个功能简单却颇具特色的智能车辆辅助导航系统 该项研究由p s a 标致 p e u g e o t 雪铁龙汽车公司提供资助 实验车采用 的是一辆标致型小汽车 全部计算系统仅为一块d s p 卡 传感器系统包括 摄像机和速度传感器 该系统的一个突出特点是硬件配置轻型化 据介绍 整个系统的运算处理部分都已集成在一块基于t m 3 2 0 c 5 0 的数字信号处理 卡上 因而对实验车几乎无需作任何改装 系统己在高速公路上进行了几 百公里不同路况的行车实验 最高车速达1 3 0 k m h 当车流稀少 车道线 清晰时 系统的误检率仅为o 1 当车流较多时误检率增至2 在路面 有少量的积雪的恶劣情形下 系统的误检率为8 左右 可见系统具有较 好的适应性 当然这仅仅是实验检验 存在的技术问题还很多 因此并不 见其推广 日本的相关研究工作并不迟于欧美 在 9 6 9 年由国家安全局制定 了一项交通安全设施改进计划 后改为五年计划 至1 9 9 6 年己进入第六个 五年计划 期间共投入了1 9 万亿日元 约合人民币1 3 3 0 4 l 元 用于基础 设施的改造 在美国倡导成立i t s 世界联合会的推动下 日本有关部门认 识到有必要成立全国性i t s 组织 于1 9 9 1 年3 月由国家安全局 邮电部及建 设部的主持下成立了 车辆信息和通讯系统促进会 于1 9 9 4 年改为 车 辆 道路和交通智能化推进协会 v e r t i s 目前日本的先进汽车控制 系统和自动化公路系统己走到前列 1 9 9 6 年东京至名古屋 东京至神户高 速公路已使用了信息通讯系统 世界三大i t s 组织 美国i t s 协会 欧 h e r t i c o 日本v e r t i s 在过 去几年旱已成功地举行了3 次i t s 国际会议 日的是召集各国专家 交流信 息 拓宽思路 加强国际合作 共同推进i t s 事业的发展 在第1 1 第1 5 届增强汽车安全性匡l 际会议上 i t s 相关论文数达到2 9 2 l 4 6 4 0 3 5 篇 根据美国国家标准学会的建议 i s 0 于9 9 2 年成立了t c 2 0 4 负责i t s 的 标准化工作 从以上介绍不难看出 目前在智能汽车领域的研究是空前活跃的 它的重要性不言而喻 国外在从事智能交通系统的研究与开发中 大多综 合了电子技术 机械工程 计算机及信息科学等高科技技术 这种多技术 相结合的研究思想和方法 在解决智能汽车这样的复杂问题是很适合的 而且反过来一切研究也必将推动这些学科自身的迅猛发展 但与此同时 现有系统硬件与软件都有价格昂贵 实用性不高的缺点 无论在袖珍性 通用性 还是用户的可承受性方面 仍需要进一步的改进 我国的智能汽车系统的研究开展较晚 但现在己开始注意i t s 系统的 发展 1 9 9 9 年1 0 月在北京举行的 9 9 国际智能交通 i t s 技术交流暨展 览会 上 中国科技部副部长徐冠华指出 中国政府高度重视i t s 的研究 开发与推广应用 并将作为未来交通建设与发展的优先领域予以重点支 持 目前我国正在进行i t s 总体发展框架的研究与制定 中国i t s 尚处于起 步阶段 但在国家 七五 八五 及 8 6 3 计划的推动下也取得了一 定的进展 如清华大学智能技术与系统教研室 上海复旦大学计算机科学 研究所都对智能移动机器人技术 计算机视觉 计算机视频处理技术进行 了深入的研究 取得了令人瞩目的成果 但离实用化水平还有一定距离 与欧美国家亦有一定差距 正因为如此 中国科技部决定今后将加强对国 内i t s 技术研究开发的组织和协调工作 2 0 0 0 年 由中国主办的第四届i t s 亚太地区年会将在北京召开 这将进一步推动中国i t s 的发展 1 4 本文的研究工作及成果 通过以上介绍看到 智能汽车系统的研究尽管有了长足发展 但离 期望的目标还有较大距离 基于对我国车路状况的深入考察 以及自身技 术力量的综合分析 结合目前国内外的研究现状 我们认为利用计算机视 重庆大学硕上学位论文 第一章绪论 觉和专家系统技术 开发研制面向现有高速公路和标准高等级公路的汽车 智能辅助驾驶系统是切实可行而且有很高学术意义的 尽管计算机视觉技术由于受到现有计算设备运算速度和存储容量的 限制而发展较慢 但随着计算机图像处理能力和技术的提高 加之视觉信 号具有探测范围宽 目标信息完整 价格相对便宜且更符合人的认知习惯 等优势 在深入研究图像处理与模式识别技术之后 我们认为基于计算机 视觉技术的视觉导航作为主动式汽车导航方式 将是今后的发展趋势 并 且它的成功与否直接决定了智能移动机器人的生存空间 所以我们的总体工作是围绕汽车智能辅助驾驶系统展开的 本文所 关心的是其核心部分 汽车智能辅助驾驶系统中的计算机视觉技术 运用 计算机视觉技术要解决车道跟踪 障碍物定位和障碍物距离测量三大功 能 为专家系统提供必要的环境信息 经过长期的努力 现在在理论与实 践两方面都取得了可喜的成绩 目前有了一套比较完整的算法 并且在实 验中得到了检验 在后面的章节中将分别详细加以介绍 1 5小结 本章从分析研究汽车智能辅助驾驶系统的意义入手 简要而精辟地介 绍了智能汽车系统的组成要素和技术支持 并且对国内外在理论与应用两 方面的研究作了历史性的回顾 在此基础上 结合我国实际情况论证了基 于计算机视觉技术的汽车智能辅助驾驶系统的学术意义和实际应用价值 为本文的主要工作 汽车智能辅助驾驶系统中的计算机视觉技术打下了坚 实的基础 重庆大学硕士学位论文第二章计算机视觉技术 第二章计算机视觉技术 2 1 计算机视党技术概述 人类通过眼睛与大脑来获取 处理与理解视觉信息 并进而认识世界 和改造世界 据统计 约有百分之七十五的信息是通过视觉系统获取的 信号处理理论与计算机出现以后 人们试图用摄象机获取环境图象并转换 成数字信号 用计算机实现对视觉信息处理的全过程 这样 就形成了一 门新兴的学科一计算机视觉技术 1 2 1 o 从图象处理与模式识别发展起来的计算机视觉技术 其主要目的是让 计算机能够利用图象和图象序列来识别和认知三维世界 最终目标是实现 利用计算机对于三维景物的理解 即实现人的视觉系统的某些功能 它要 达到的基本目标至少有以下几个 根据一幅或多幅二维投影图象识别目标物体 根据一幅或多幅二维投影图象计算观察点到目标物体的距离 根据一幅或多幅二维投影图象计算目标物体的运动参数 根据一幅或多幅二维投影图象恢复三维景物世界 它的基础包括射影几何学 图象处理与模式识别 概率论与随机过程 运 动学 人工智能等理论 为了达到计算机视觉的目的 有两种技术途径可 以考虑 第一种是仿生学方法 即从分析人类视觉过程入手 建立起视觉 过程的整体计算模型 然后用计算机系统实现 第二种是工程方法 即脱 离人类视觉系统的约束 利用一切可行的和实用的技术实现视觉功能 一 般做法是将人类视觉系统作为黑箱对待 实现时只关心对于某种输入 视 觉系统将给出什么输出 由于仿生学的进展缓慢 现在通用的是工程方法 计算机视觉技术的研究具有双重意义 其一 为了满足人工智能的需 要 即用计算机实现人类视觉系统的功能 这些成果可应用于各种机器人 技术 使机器人具有 看 的能力 其二 视觉计算模型的研究结果反 过来对于进一步认识人类视觉系统本身也具有相当的参考意义 综合了数 学 计算机科学 生物物理学 生理学等学科的计算机视觉作为 1 3 独立 的学科因为其在自动导航 生产自动化 医学图象处理 多媒体技术 三 维场景建模与显示等方面的应用正受到广泛的重视 但目前由于对人脑与 人视觉系统缺乏深入的理解 由于现在的计算机体系结构与人的神经网络 的巨大差异 也由于运动场景的信息量极其巨大 所以其进展比较缓慢 广泛应用仍面临困难 不过我们相信 随着视觉计算理论 认知神经科学 等基础科学的发展 随着计算机性能的不断提高 随着对机器视觉需求的 不断增加 计算机视觉技术将得到飞速发展 成为2 l 世纪高科技产品中的 兰鉴釜 翌 竺鲨銮 釜三耋生耋当翌耋兰銮 重要组成部分 2 2 计算视觉理论框架 虽然对计算机视觉的研究很早就开始了 但对其理论结构上的探讨 一直没有共识 8 0 年代初 m a r t 首次从信息处理的角度系统综合了图像 处理 心理物理学 神经生理学等方面己取得的成果 提出了一个较为完 善的视觉系统框架 虽然并不尽如人意 但至今仍是计算机视觉研究者所 接受的基本框架 计算机视觉这门学科的形成亦与这一理论框架有密切关 系 本文的工作也是在这一理论框架下进行的 1 3 1 2 2 1 视觉系统研究的三个层次 m a r t 从信息处理系统的角度出发 把视觉过程看作一个信息处理的 过程 并分为三个不同的层次 计算理论层次 表达与算法的层次 硬件 实现层次 计算理论层次要解决的问题是 回答系统各个部分的计算目的与计 算策略 亦即各部分的输入输出是什么 为什么由这个输入可以求得输出 或者说 输入和输出之间存在哪些内在的约束 使得我们可以由输入求得 输出 表达和算法层次应给出各部分的输入 输出和内部的信息表达 以 及实现规定目标的算法 对于同一目标不同的表达会有不同的实现算法 m a r t 认为表达与算法是比计算理论低一层次的问题 不同的表达与算法 在理论层次上可以是相同的 硬件实现层次要解决的是在物理上如何实现这种表示和算法 区分三个不同的层次 既要看到它们之间的联系 又要看到它们之 间的区别和相对独立性 例如 人的视觉和计算机视觉在 硬件实现 的层次上是完全不同的 前者用的是由神经元组成的庞大神经网络 后者 用的是由半导体器件组成的电子计算机 但在计算理论和表达与算法的层 次上 特别是在计算理论的层次上 人类视觉和计算机视觉是密切相关的 它们之中任一方面的进展都可以促进另一方面的发展 2 2 2 视觉信息处理的三个阶段 m a r t 从视觉计算理论出发 将系统自上而下分为三个阶段 即视觉 信息从最初的原始数据 二维图象数据 到最终对三维环境的表达经历了 三个阶段的处理 视觉信息处理的第一阶段 由输入图像而获得要素图或基元图 视 觉的这一阶段也称为早期视觉 所谓要素图主要指图像中强度变化剧烈处 的位置及其几何分布和组织结构 基元图由二维图象中的边缘点 直线段 曲线 顶点 纹理等基本几何元素或特征组成 这一阶段的目的在于把原 始二维图像中的重要信息更清楚地表示出来 视觉信息处理的第二阶段 由输入图像和要素图而获得2 5 维图 称 为对环境的2 5 维描述 视觉过程的这一阶段也称为中期视觉 所谓2 5 维图指的是在以观察者为中心的坐标系中重建三维物体的三维形状与位 置 可见表面的法向 大致的深度以及它们的不连续轮廓等 由于2 5 维 图中包含了深度的信息 因而比二维信息要多 但还不是真正的三维表示 所以得名2 5 维图 按m a r r 的理论 这一阶段是由一系列相对独立的并 行处理模块组成的 包括 立体视觉 运动分析 由灰度恢复表面形状等 视觉信息处理的第三阶段 由输入图像 要素图 2 5 维图而获得物 体的三维表示 视觉过程的这一阶段 也称为后期视觉 它是物体完整的 三维描述 而且必须是物体本身某一固定坐标系下的描述 其实就目前的发展现状来看 简单地说 计算机视觉可以看作从三 维环境的图象中抽取 描述和解释信息的过程 它可以划分为六个部分 感觉 获取图象的过程 预处理 分割 将图象划分成若干个有一定含 义的过程 描述 为了进行识别而从物体中抽取特征的过程 识别 一 种标记过程 解释 视觉系统对其环境具有的更高级的认知行为 再根 据实现上述各种过程所涉及的方法和技术的复杂性将它们归类 可分为三 个处理层次 低层视觉处理 中层视觉处理 高层视觉处理 虽然各层没 有明确的界限 但是这种划分对于将计算机视觉系统的固有处理过程加以 分类提供了一种有用的结构 而且我们也可以从每个部分的功能出发选取 相应的技术 比如图象分割 模式识别等来加以实现 2 3 本系统中的视觉技术 汽车智能辅助驾驶系统应具有 防偏 和 防撞 两大功能 要实 现这两个功能 需要获取两个信息 一是道路信息 即车道的边缘线轨迹 二是汽车前方障碍物的位置和距离信息 为了实时准确地获取这两个信 息 我们主要运用了计算机视觉技术中的透视投影方法 图象分割技术与 模式识别来处理通过摄象头获得的景物图象 现把几种方法的原理介绍如 下 在以后的章节中就将直接引用相关内容 2 3 1 透视投影 图象系统捕获一个时变的三维场景的二维投影 对于用眼睛 摄象机 或其他许多成象设各所作的变换过程来看 单点投影是基本的模型 为了 说明这个问题 这里介绍一下透视投影模型 1 透视投影使用一种基 重庆大学硕士学位论文 第 章计算机视觉技术 于几何光学原理的理想小孔摄像机来反映图像形成 因而 所有的从实体 出发的光线均通过投影中心 它对应于透镜中心 因此 它又称为中心投 影 当投影中心位于实体和图象平面之间时 透视投影如图2 1 所示 图像平面 x x l y l 2 0 夕 1f o 歹 歪镜和0 7 y 图2 1 透视投影模型 1 z z 其中p 点为物点 q 点为其投影所得的像点 如果把投影中心o 透镜中 心 作为全局坐标的原点 o 为图像原点 则有下面的透视变换代数关 系 x l f x l z l 且 y l z 1 2 1 其中 厂表示投影中心至图像平面的距离 像距 在本文中把z 轴 z 轴 称为光轴 2 3 2 图象分割概述 目前国内外在处理景物图像时一般采用的都是基于图象分割的处理 方法 6 为了对物体进行特征的提取和识别首先需要将物体从背景中 划分出来 我们把图象分割处理定义为将数字图象划分成互不相交 不重 叠 区域的过程 1 5 1 1 9 1 其形式定义是 根据某种均匀性 或一致性 的 原则将图象分成若干个有意义的区域 使得每一区域都符合某种一致性的 要求 而任意两个相邻区域的合并都将破坏这种一致性f l l 区域是像素的 连通集 在一个连通集中可以跟踪在任意两个像素间的连通路径而不离开 这个集合 有两种可供选择的连通性准则 如果只依据旁侧相邻的像素 上 下 左 右 确定连通 称之为四连通 任意一个像素只有4 个邻 点可以与它相连通 如果再加上对角相邻的 4 5 度邻点 像素也被认为 是连通的 就得到8 连通 处理中任意一种都可以用 只要具有一致性即 重庆大学硕士学位论文第二章计算机视觉技术 日j 图象分割的数学定义是 对于图象f 若存在不相交的非空子集f f f 使碍 i u f f u f 表示e 的并集 i i 每一个f i 是4 连通或8 连通域 i i i 对每一个f i 来说都满足某种均匀性 或一致性 的要求 任何数目的相邻子集之和都不满足上述均匀性 或一致性 的要 求 则称限 f o f m 是f 的一种分割 当人们观察景物时 在视觉系统中对景物进行分割的过程是必不可 少的 使用数字处理亦必须设法分离图象中的物体 它是图象处理和分析 的经典课题之一 精确的图象分割是一项重要而又困难的工作 由于图象 的种类很多 因此目前还没有一种分割技术可以说能对所有的图象进行精 确的分割 而往往是需要同时采用多种分割技术才能较好地完成图象的分 割任务 每一幅图象都有不同的图象特征 图象的特征是指图象场中可用 作标志的属性 它可以分为图象统计特征和图象的视觉特征 图象的统计 特征是一些人为特征 需要通过某种变换才能得到 如图象的直方图 矩 频谱等 而图象的视觉特征是指人的视觉可以直接感受到的自然特征 如 图象区域的亮度 轮廓以及纹理等 利用这两类特征可把图象分解成一系 列有意义的区域 图象分割是为了对图象中的景物进行识别 分析以及测 量等 它在机器视觉 生物医学 工业测量 军事 航空与航天等领域有 着极其重要的作用 图象分割可以采用两种不同的原理来实现 基于区域的和基于边缘 的分割方法 在利用区域的方法时 把各像素划归到各个物体或区域中 在边缘方法中 则先确定边缘像素并把它们连接在一起以构成所需的边 界 这两种方法使要解决的问题更具体 它们是互补的 在一定程度上也 可结合起来 运用这两种原理 具体可归纳出以下几种常见的分割技术 闽值分割技术 边缘检测技术 区域生长法 分别叙述如下 阈值分割技术啪l 2 1 1 它对物体与背景有较强对比的景物的分割特别有效 计算简单 而 且总能用封闭而且连通的边界定义不交叠的区域 当使用阈值规则进行图 象分割时 所有灰度值大于或等于某阀值的像素都被判属于物体 所有灰 度值小于该阈值的像素被排除在物体之外 如果物体同背景的差别在于某 兰鉴土 竺 兰笙三釜三耋生兰 兰兰釜查 些性质而不是灰度值 如纹理等 那么 可以首先把那个性质转化为灰 度 然后 利用灰度闽值化技术分割待处理的图象 阈值分割的关键在于选择一个合适的闽值 闽值定得高会把目标点 当作背景点 如果定得低又会把背景点当作目标点 通常的确定阈值的方 法有 全局闽值 自适应阈值 双门限法 分水岭算法和模糊闽值法等 边缘检测技术 l 这种分割方法是基于物体和背景之间在灰度 或纹理 特性上存在 着某种不连续性 或突变性 的概念 特性上的这种不连续性是由于从物 体区过渡到背景区存在着区域边缘所引起的 从而利用边缘检测技术通过 提取区域边缘同样可以达到分割区域和检出物体的目的 边缘提取首先检出图象局部特性的不连续性 然后再将这些不连续的 边缘像素连成完备的边界 边缘的特性是沿边缘走向的像素变化平缓 而 垂直于边缘方向的像素变化剧烈 所以 从这个意义上说 提取边缘的算 法就是检出符合边缘特性的边缘像素的数学算子 边缘提取一般采用边缘 算子法 曲面拟合法和模板匹配法等 边缘算子法常用梯度算子 拉普拉斯算子和拉普拉斯一高斯算子 对于数字化的离散图象可用差分代替微分 简单的情况是仅考虑梯度幅值 的一阶差分梯度算子 i v f x y 1 i v 厂 x j 2 v 厂 x y 2j 2 x y 一f x y 1 2 f x y 一f x 1 y 2 2 实际计算中 通常可用绝对值近似代替求平方及开方 i v f x y lz f x 夕 一f x y l m l f x y 一f x 1 y i 或用求最大代替求和 v f x y em a d f x y f x y 1 1 i 厂 z y 一 x 1 y i j 此外 罗伯特交叉差分算子是另一种常用的梯度算子 定义如下 v x 力l z l f x y 一 x i y 1 l i x 1 力一f x y 1 1 或 1 v f x y z m a x 0 f x y 一厂 x 1 y 1 i l x l y 一f x l y 1 1 j 拉普拉斯算子是一种较高阶的微分算子 它是对f x y 求二阶微分 重庆大学硕士学位论文 第 章计算机视觉技术 耵2 r 一d 八x c 3 八x y j 一 反2 加2 同样也可用二阶差分近似地代替二阶微分 v 2 f x y f x 1 y f x 一1 y f x y 1 f x y 1 一4 f x y 梯度算子和拉普拉斯算子对噪声比较敏感 对此 一方面可在运用 这两种算子作边缘提取前 先用邻域平均法等作平滑处理 另一方面可先 用高斯形二维低通滤波器对图象进行滤波 然后再对图象作拉普拉斯边缘 提取 这就是所谓的拉普拉斯一高斯算子法 如果说用边缘算子法进行边缘提取存在 增强噪声 的缺陷 那么 曲面拟合法则可以在完成边缘检出的同时 较好地抑制噪声的干扰 其基 本思路是用一个平面或曲面去逼近一个图象面积元 然后用这个平面或曲 面的梯度代替点的梯度 从而实现边缘检测 常用方法是一次平面拟合和 二次曲面拟合 一次平面拟合就是用一次平面o x b y c 去拟合4 个相邻 像素组成的面积元 使其均方误差最小即可 二次曲面拟合就是用二次曲 面a x2 b x y c y 2 d x e y g 去拟合9 个 3 3 相邻像素组成的面积 元 使其均方误差最小即可 此方法运算量较大 一般很少采用 模板匹配法亦是一种常用的方法 模板是为了检测某些图象区域特 征而设计的阵列 模板元素和窗口像素之间的对应关系 以3 3 窗口为 例 定义如下 m i o m o o m i0 窗口灰度 f j 一1 k 一1 f j 一1 t f j 一1 k 1 1 p l 厂 k 一1 f j i k 1 1 l f j 1 k 一1 f j l f j 1 k 1 j 简单地 可用阻 m 和 f f j 聊 k n 表示 模板匹配过 程就是下式求卷积的过程 f g j k f j m k n m 1ll l j 舢胁盹 一 一 舢胁m l 一一 阻 兰塞查兰2 竺鲨兰兰三主盐兰垫鎏耋垫銮 式中f d 2 d 为窗口宽度 对3 3 窗口 f 一1 0