硕士论文-全景视觉泊车辅助系统研究.pdf

浙江大学信息与电子工程学系 硕士学位论文 全景视觉泊车辅助系统研究 姓名：丁鑫 申请学位级别：硕士 专业：信息与通信工程 指导教师：刘济林 20100101 浙江大学硕士学位论文 摘要 针对驾驶员在车位日趋紧张的城市里泊车困难等问题，本文提出了一种全景 视觉泊车辅助装置及其生成全景视觉图像的方法，能够实时提供驾驶员泊车所需 要的汽车全景图像，消除了车四周的视觉盲区，以帮助驾驶员更加精确的泊车。 本文首先介绍了全景视觉辅助泊车系统的标定方法，用安装在汽车四周的四 个广角摄像机获取图像；首先对所得图像进行去失真处理，得到矫正后图像，进 行对地面的单应性变换，得到以某一虚拟视点为坐标原点的俯视图；同时标记所 得矫正后图像公共视场中2 点，计算其在单应性变换后俯视图中的位置，以此两 点确定某条直线作为拼接缝隙并且进行拼接缝隙的全局优化处理；最后输出虚拟 鸟瞰坐标系下各个图像之间位置计算参数，生成全景虚拟鸟瞰图象查找表以供硬 件使用。 之后，本文介绍了整个系统的硬件方案设计和一些技术难点。采用t i 公司 的t m s 3 2 0 d m 6 4 3 芯片作为系统核心并利用c p l d 实现主要的逻辑控制，重点介绍 了各模块之间的连接关系。全景视觉泊车辅助装置包括视频采集器、图像同步处 理器、d s p 处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显 示器；生成虚拟全景图像的过程主要通过d s p 处理器根据预先存放在闪存中的虚 拟全景图像查找列表的参数进行寻址得到，所以计算复杂度低，能够满足实时性 要求。 最后一章对该系统进行了总结和展望。 关键字：全景图像；鱼眼标定；单应性变换；接缝优化 i l 浙江大学硕士学位论文 a b s t r a c t af l e x i b l ec a l i b r a t i o na l g o r i t h ma n dao m n i d i r e c t i o n a l v i s i o np a r k i n ga s s i s t a n t d i v i c ew e r ep r o p o s e dt og e n e r a t eav i r t u a lb i r d e y ev i e wi m a g et oa s s i s tt h ed r i v e r si n p a r k i n gi nt h ec r o w d e d c i t i e s f o u rf i s h e y ec a m e r a sw e r ef i x e da r o u n dt h ev e h i c l et oc a p t u r ei m a g e s a tt h e b e g i n n i n g ，f i s h e y ec a m e r ai sc a l i b r a t e dt oo b t a i nt h ep a r a m e t e r sa n dr e m o v e dt h e f i s h e y ed i s t o r t i o n , t h e nt h ev i r t u a lb i r d v i e wp o i n tp o s i t i o nw a ss e ti no r d e rt o t r a n s f o r mi m a g e si n t ob i r d - v i e wb yu s i n gh o m o g r a p h ym a t r i x s t i t c h i n gs e a mw a s l a b e l e di no v e r l a p p e da r e aa n da l s ow o r l dc o o r d i n a t e sf r a m ew e r ef i x e d ；w i t h s t i t c h i n gs e a mo p t i m i z e da n dm u l t i - b i r d - v i e wi m a g e sr e g i s t e r e d ，t h e c a l i b r a t i o n p a r a m e t e r sw e r eo u t p u tf i n a l l y a f t e rt h a t ，w ed e s c r i b e dt h ed e s i g na n di m p l e m e n t a t i o no ft h ew h o l es y s t e m at i t m s 3 2 0 d m 6 4 3w a ss e l e c t e da st h eh e a r to ft h a ts y s t e ma n dm o s to ft h ec o n t r o l l o g i c a lw a si m p l e m e n t e di nac p l dc h i p t h ec o n n e c t i o no fc h i p sw a sd e s c r i b e di n d e t a i li nt h ef o l l o w i n g t h ep a r k i n ga s s i s t a n ts y s t e mi n c l u d e dv i d e or e c o r d e r s ，v i d e o s y n c h r o n o u sp r o c e s s o r , d s pp r o c e s s o r ，e x t e m a lm e m o r y , l o g i cc o n t r o l l e r , o u t p u tf r a m e b u f f e r , v i d e oc o d e ra n di m a g ed i s p l a y t h ev i r t u a lb i r d e y ei m a g ew a sg e n e r a t eb yt h e d s pp r o c e s s o rw h i c hs e a r c h e dt h el o o k - u pt a b l eo ft h ev i r t u a lb i r d e y ei m a g e t h i s m e t h o dr e q u i r e so n l ys i m p l ec a l c u l a t i o na n dp r o c e s s e se a s i l yw h i c hh a sag o o d p r o s p e c to fa p p l i c a t i o n t h el a s tc h a p t e rd r e wac o n c l u s i o no ft h es y s t e ma n dm a d es o m es u g g e s t i o nt o t h en e x tv e r s i o n k e yw o r d s ：o m n i d i r e c t i o n a l - - v i s i o ni m a g e ；f i s h - e y ec a l i b r a t i o n ；h o m o g r a p h y m a t r i x ；s t i t c h i n gs e a mo p t i m i z a t i o n i i i 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝姿态鲎或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文 中作了明确的说明并表示谢意。 学位论文作者签名：了鑫 签字日期： 加。年3 月夕日 学位论文版权使用授权书 本学位论文作者完全了解迸江盘堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿态鲎 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： q - 彳金 签字日期：2 o o 年孑月7 日 新躲瑚独 签字日期：o ( 夕fp 一弓7i v 7 浙江大学硕士学位论文 致谢 在我做毕业论文期间，得到了许多老师和同学的无私帮助和有益启发，在此 表示衷心的感谢。 首先感谢尊敬的刘济林教授，在我经过的一次次考验面前，刘教授以周到的 考虑和清醒的头脑支持我鼓励我成长。当遇到难点时，刘济林教授以渊博的知识 和精通的专业技术从方方面面启发我克服困难。刘济林教授严谨的治学态度以及 在机器视觉领域深厚的基础和对新事物的理解与接受能力让我钦佩不已，使我从 中学到了很多东西。 谨此表示衷心的感谢! 还要感谢实验室里的各位师兄师姐，是他们为我创造了一个良好的学 - - j 和工 作氛围，对我的提问从不厌倦，对答如流。其中特别要感谢雷杰师兄对我的帮助， 因为我在这方面知识薄弱，入门较慢，雷杰师兄不厌其烦的给我讲解基础知识， 手把手的教我一步步做下去，直到我都明白为止。本人为能遇到这样以身作则， 专业扎实的学术牛人感到荣幸。 最后感谢我的父母，是他们一路风里雨里把我培养大，他们无微不至的关怀 和全方位的支持始终是我的最好动力。无论我遇到多大的困难和挫折，你们都会 无条件的支持我，我在这里想说谢谢您们! 最后对所有关心我帮助我的朋友说一声：谢谢! 浙江大学硕士学位论文 1 1 课题研究的背景 第一章概要 汽车作为现代人类的交通工具，改变了人们的生活方式，推动了社会经济的 发展和人类文化的进步，成为社会不可缺少的交通工具。中国是世界上汽车发展 速度最快的国家，近几年，汽车进入家庭的步伐特别迅速。目前中国民用汽车保 有量已接近7 0 0 0 万辆，超过德国，仅次于美国，与日本并列世界第二。但随着 汽车保有量的日益增加，汽车也带来诸如环境污染、能源消耗、交通安全等社会 问题。汽车发展过快的速度，使得中国人对汽车社会的到来准备不足，人们心态 普遍比较浮躁，不仅驾车人自觉遵守交通法规意识欠缺，行人也缺乏自我保护意 识。同时，中国人口众多，人1 ：3 密度很高，到处人满为患，车与车，人与车的矛 盾也特别尖锐，道路上事故频发，无论频率还是绝对数量，不仅大大高于发达国 家，也高于其他发展中国家。近几年我国每年道路交通事故死亡约1 0 万人，直 接经济损失达数十亿元。减少交通事故不仅要在主观上增强安全意识，客观上更 要提高汽车本身安全驾驶的可靠性。现存的各式各样的辅助驾驶工具就是为了解 决这个问题。汽车安全保障系统大体可以分为被动和主动系统，前者主要包括安 全带、安全气囊等，虽然能降低事故伤亡程度，但并不能防止事故的发生。后者 则主要利用各类传感器如，超声波、雷达、红外热传感器和摄像机等。它们能够 为驾驶员决策提供障碍物等路况信息。同时，主动安全保障系统也构成了智能交 通系统的重要组成部分。在上述所有的方法中，摄像机具有低成本、易维护和高 集成性等优点，因此得到了广泛的应用。 随着图像处理和计算机视觉的快速发展，越来越多的先进技术被应用到汽 车电子领域。传统的基于图像的辅助驾驶，只在汽车车尾安装倒车摄像头，只能覆 盖汽车周围有限的区域，而车两侧和前方的视觉盲区无疑增加了安全驾驶的隐 患。在狭隘拥堵的停车场，尤其是左右两边都已有车的情况下，容易出现碰撞等 事故。为了扩大驾驶员的视野范围，就必须感知汽车四周3 6 0 0 环境，这就需要 多个视觉传感器之间信息融合和配准。多个视觉传感器之间的相互位置和姿态关 系参数从特定的测量传感器获得，这就使融合配准的结果严重依赖于精确的位 浙江大学硕士学位论文 置和姿态参数。 1 2 现有技术及发展趋势 随着人类社会的不断发展，汽车作为主要交通运输工具，无论在发达国家还 是发展中国家，都越来越普及。人们对行车的安全性与舒适性也有了更高的要求， 近几年来，电子信息技术的飞速发展使得车载电子设备及电子系统越来越多的进 入到各种档次的车辆中。 汽车电子产品市场已经成为我国电子信息产品的一个新增长点。2 0 0 9 年，中 国成为全球汽车消费第一大国。全年，累计销售汽车13 6 4 4 8 万辆，同比增长4 6 。 根据中国汽车工业协会统计，1 - 1 1 月，全国汽车行业规模以上企业累计实现主营 业务收入2 8 0 5 4 3 3 亿元，同比增长2 1 ；累计实现利润总额1 9 8 8 2 7 亿元，同比增 长5 2 。快速发展的汽车产业为汽车电子产品提供了广阔的应用市场，中国汽车 电子市场随着中国汽车产业一起进入快速发展时期。在中国汽车产业高速发展的 直接推动下，2 0 0 9 年中国汽车电子市场发展势头不减，市场规模连续七年增长 率超过3 0 ，目前产业处于高速增长期，取得了跨越式的发展，已经初具规模。 其中，车载信息系统成了汽车电子市场增长的引擎，也是今后的热点。随着我国 经济的快速发展，人们的收入稳步提高，对中高档汽车的需求量将快速上升，而 中高档汽车在电子产品的配置方面不仅全面，而且越来越向智能化、系统化、多 功能方向发展，倒车雷达将成为整个系统中的一部分功能，而不再是一个单个的 产品或零配件，倒车雷达与多媒体、g p s 、各种传感器、电脑等电子产品、软件 系统的结合或集成成为主流。 倒车雷达，又称泊车辅助系统，或倒车电脑警示系统。通常，倒车雷达由超 声波传感器( 俗称探头) 、控制器和显示器( 或蜂鸣器) 等部分组成。系统采用超声 波测距原理，在控制器的控制下，由传感器发射超声波信号，当遇到障碍物时， 产生回波信号，传感器接收到回波信号后经控制器进行数据处理、判断出障碍物 的位置，由显示器显示距离并发出其他警示信号，得到及时警示，解除了驾驶员 泊车和起动车辆时前后左右探视所引起的困扰，并帮助驾驶员扫除了视野死角和 视线模糊的缺陷，提高驾驶的安全性。 浙江大学硕士学位论文 倒车雷达按提示方式可分为数码显示、液晶、后视镜、可视雷达、语言和声 音提示几种；目前使用较多的倒车雷是数码显示、液晶显示和语音三种提示功能 的倒车雷达。按信号的接收方式倒车雷达又可分为无线传输和有线传输两种。无 线倒车雷达是近年来随着无线传输技术的应用快速发展起来的新一代产品，就产 品本身功能上来说，与有线倒车雷达的基本相同，没有什么突破，但该类产品最 突出的卖点是在具有有线倒车雷达相同功能的前提下，在安装过程中避免了对汽 车内饰结构改动而导致的破坏，缩短等候时间，因此该类产品严格意义上来说是 一种意识创新、观念创新、服务创新的新产品。倒车雷达经过多年的发展，至今 已经过了几代的技术改良，不管从结构外观上，还是从性能价格上，每代产品都 各有特点： 第一代和第二代倒车雷达都是以声响报警为主要功能，汽车在倒车状态，即 没有语音提示，也没有距离显示，虽然司机知道有障碍物，但不能确定障碍物离 车有多远，对驾驶员帮助不大，价格便宜，已基本退出市场。 第三代数码波段显示 可以显示车后障碍物离车体的距离。如果是物体，在1 8 米开始显示；如果 是人，在0 9 米左右的距离开始显示。这一代产品有两种显示方式，数码显示 产品显示距离数字，而波段显示产品由三种颜色来区别：绿色代表安全距离，表 示障碍物离车体距离有0 8 米以上；黄色代表警告距离，表示离障碍物的距离只 有0 6 - 0 8 米；红色代表危险距离，表示离障碍物只有不到o 6 米的距离，你必 须停止倒车。该代产品由于比较实用，价格不高，中低档车和车铃超过三年的 车安装使用较多，但安装在车内不太美观。功能单一。 第四代液晶荧屏显示 这一代产品有一个质的飞跃，特别是荧屏显示开始出现动态显示系统。不用 挂倒档，只要发动汽车，显示器上就会出现汽车图案以及车辆周围障碍物的距离。 动态显示，色彩清晰漂亮，外表美观，可以直接粘贴在仪表盘上，安装很方便， 目前已逐渐成为高档车安装使用的主流产品。不过目前国产的液晶显示器外观虽 精巧，但灵敏度较高，抗干扰能力不强，所以误报也较多。 浙江大学硕士学位论文 第五代魔幻镜倒车雷达 结合了前几代产品的优点，采用了最新仿生超声雷达技术，配以高速电脑控 制，可全天候准确地测知2 米以内的障碍物，并以不同等级的声音提示和直观的 显示提醒驾驶员。魔幻镜倒车雷达把后视镜、倒车雷达、免提电话、温度显示 和车内空气污染显示等多项功能整合在一起，并设计了语音功能，是目前市面上 比较先进的倒车雷达系统，部分进口的高档车已有安装使用。因为其外形就是一 块倒车镜，所以可以不占用车内空间，直接安装在车内倒视镜的位置。而且颜色 款式多样，可以按照个人需求和车内装饰选配。 第六代可视雷达( 简称t f t ) ： 第六代产品除了具备第五代产品的所有功能之外，还整合了高档轿车具备的 影音系统，可以在显示器上观看d v d 影像。采用摄像头配有专用显示器以影 象形式显示倒车情况，价位很高客户很少接受，是专门为高档轿车生产的。 代表着高档车未来几年的配置趋势。 1 3 项目开发内容与技术关键 从上述汽车倒车雷达发展历史可以看出，早期的汽车倒车雷达多以音频作为 主要的辅助手段，由安装于车辆的后保险杠上的传感器来探测车辆的后部物体， 通过不同节奏的音频来提醒驾驶者车辆后面的状况。倒车雷达依靠回音探测距离 并以通过不同频率的声音来对驾驶员进行提示，但是仅仅凭借声音提示显然没有 视觉来得直观，而且对声音的判断也必然会存在误差。其后经过多年的发展，汽 车倒车雷达系统已经升级了技术，改良了性能，不管从结构和外观上，还是从性 能价格上，都有很大的发展和提升，目前使用较多的是数码显示、荧屏显示和视 频实时显示这三种方式。其中，数码显示通过一个小小的显示器，其上有倒车雷 达探测到的数据，来实时显示后方障碍物与后保保险杠的距离。荧屏显示则就更 进一步，它在车辆全身布置多个的传感器，然后通过平面图象，实时显示车辆周 围障碍物与车辆之间的距离。但这样的图象多为计算机绘制，且传感器的精度不 能做到非常逼真的水平。因此就出现了视频实时倒车系统，即倒车影像监视系统。 该系统让驾驶员在倒车时，可以清楚的观察车后的状况，因此更加直观可视，对 4 浙江大学硕士学位论文 于倒车安全来说是非常实用的配置之一。当挂倒车挡时，该系统会自动接通位于 车尾的高清摄像头，将车后状况清晰的显示于液晶显示屏上，并在显示器上通过 电脑合成“ - 3 前方向盘的转动角度所对应的车辆行车路线，从而准确而直观地把握 车后的状况。显然，倒车影像监视系统比起全方位的倒车雷达更加直观和实用。 此后随着汽车技术的进一步发展，人们已经不再仅仅满足于看到汽车后面的 实时影像，对于其他盲区如车身侧面、前保险杠以及转弯时的死角等，都有了进 一步探寻的需求。 因此，本文提出了一种全景视觉泊车辅助装置及生成全景视觉图像的方法， 帮助驾驶员能够清楚了解并掌握车辆周围的环境和其余行人及车辆等物体，以完 成安全和精确的车辆操作。车身的鸟瞰视野由分布于车前、左右外后视镜和车尾 的4 个广角摄像机来提供，这四个摄像头分别采集了汽车车身前后左右四个区域 的实时画面，然后通过全景视觉泊车辅助装置合成为一个虚拟的鸟瞰全景图象， 显示在屏幕上。 为了实现实时提供给驾驶员泊车所需要的汽车全景图像，消除了车四周的视 觉盲区，来帮助驾驶员更加精确的泊车的目标，生成全景视觉图像的算法主要包 含去鱼眼失真、平面投影映射和图像合成。 对于实现全景视觉泊车辅助系统图像的硬件装置，需要能够满足在实际应用 中的实时性要求，主要通过d s p 处理器根据预先存放在f l a s h 中的虚拟全景图像 查找列表进行寻址操作得到虚拟的全景图像。 1 4 本文主要内容 本文解决的主要问题是：通过在车的四周各安装广角摄像机，使得所有摄像 机能够覆盖汽车周围的区域，并且对于任意相邻的两个摄像机，它们相互之间有 一定的公共视场；然后对标定模板进行一系列计算，获得表示汽车四周摄像机之 间拼接关系的参数，根据这些参数，产生虚拟的全景鸟瞰图像，从而最大限度扩 大了驾驶员的视野范围。 具体来说，第二章主要介绍摄像机标定和鱼眼相机模型，并且详尽介绍了图 浙江大学硕士学位论文 像单应性变换的实现和虚拟乌瞰图像的合成，并给出实验结果。第三章将对系统 硬件结构进行整体的规划，并在其基础上描述全景泊车辅助系统硬件的工作流程 和技术关键。在论文的最后，给出了总结和展望。 6 浙江大学硕士学位论文 第二章系统软件设计 2 1 软件总体结构框架 图2 - 1 全景视觉泊车辅助系统的算法流程图 如图2 - 1 所示，线框内为生成虚拟汽车全景图像的算法流程。为了得到全景 视觉泊车辅助系统的标定参数，本算法首先对所用鱼眼广角相机的模型参数进行 建模，计算相机的内部参数和鱼眼镜头的失真系数；然后根据所得参数对图像进 行去失真处理，得到去失真矫正图像；同时在摄像机的非公共区域内沿地面平铺 标定模板，指定每块模板坐标系( 世界坐标系) 的坐标原点和五，方向；计算汽 车的长和宽，确定虚拟鸟瞰相机对地面垂直投影的位置，测量该位置在4 个摄像 机的世界坐标系下的相对位置；然后计算从原始相机位置到虚拟鸟瞰位置的单应 性变换矩阵；利用该矩阵，将之前得到的无失真图像变换到虚拟鸟瞰相机视角， 得到虚拟鸟瞰视角的图像；之后，利用非线性寻优技术计算最优化的拼接缝隙方 向，对虚拟鸟瞰视角图像进行旋转和平移变换，直到得到满意的金景拼接图像记 录此时的平移参数。最后输出标定参数：相机内部参数，鱼眼镜头失真系数，单 应性矩阵，优化拼接缝隙和平移参数。 浙江大学硕士学位论文 2 2 鱼眼摄相机标定 2 2 1 摄像机模型 机器视觉的基本任务之一是从摄像机获取图像信息并计算三维空间中物体 的几何信息，以由此重建和识别物体。摄像机通过成像透镜将三维场景投影到摄 像机二维像平面上，这个投影可用成像变换( 即摄像机成像模型) 来描述。对于具 体的摄像机几何模型的描述，可分为线性模型和非线性模型两类。 1 ) 针孔模型 针孔模型( p i n - h o l em o d e l ) 属于线性摄像机模型，该模型能够比较好地描 述大多数的摄像机。 ， 图2 - 2 针孔摄像机模型 针孔摄像机模型由一个投影中心c 和一个图像平面咒所组成。世界坐标系的 任意一个三维点w = x ，y ，z 】r 投影到图像平面的点，z = 【“，v 】r ，历是连接和c 点 直线与图像平面的交点。这种透视投影关系可由矩阵声表示。 旆：砧( 2 1 ) 式( 2 1 ) 中，s 是任意尺度因子，而和影分别为历和的齐次坐标表示： 浙江大学硕士学位论文 而稍访= x 】厂 z 1 ( 2 2 ) 因此，摄像机模型可采用透视投影矩阵声( p e r s p e c t i v ep r o j e c t i o nm a t r i x ， 简称p p m ) 表示，且可以分解为： p = a i rf 】 矩阵a 包含了摄像机的内参数信息，可表示为： r 口。 彳- - 1 0 10 l yu o 口v v o1 01i - i ( 2 3 ) ( 2 4 ) 这里o f 。= 一成，口，= 一弦，分别是图像平面口轴和矿轴的尺度因子，7 为图像 坐标轴的倾斜因子，( ，) 为图像中心点( p r i n c i p a lp o i n t ) 坐标，定义为光 轴与图像平面的交点。 2 ) 鱼眼摄像机模型 针孔摄像机模型适用大部分的长焦镜头甚至一些广角镜头n 2 3 1 ，但是对于 鱼眼镜头却不适用。鱼眼镜头的视角覆盖整个前面半球形视场，视野的角度达到 1 8 0 度，不能简单的用透视投影模型来处理。对于鱼眼镜头的去失真处理，前人 提出过一些模型，主要思路是把鱼眼镜头模型通过一定的计算转变成针孔相机模 型。 针孔相机的模型符合下式r = f t a n9 ，其中护为镜头中心轴和入射光线的角 度，r 为图像点与中心点的距离，f 为镜头的焦距。一般来说，鱼眼镜头的投射 关系式可修改为以下形式h 5 们： ，= 2 f t a n ( o 2 ) ( s t e r e o g r a p h i cp r o j e c t i o n ) ( 2 5 ) ，= 2 f s i n ( a 2 ) ( e q u i s o l i da n g l ep r o j e c t i o n ) 9 ( 2 6 ) 浙江大学硕上学位论文 ，= f s i n ( 0 1 ( o r t h o g o n a lp r o j e c ti o n ) ，= f o( e q u i d ist a h o ep r o j e c ti o n ) 其中最常用的为e q u i d i s t a n c ep r o j e c t i o n 模型。 将上述模型泰勒展开，可以得到下式： r ( o ) = k 1 0 + 后2 03 + k 3 05 + k 4 臼7 + k s o9 + 2 2 2 摄像机标定 ( 2 7 ) ( 2 8 ) ( 2 9 ) 空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是 由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。这些参数 可以通过一定的实验与计算得到，而这个过程就被称为摄像机标定。摄像机标定 的目的是利用给定物体的参考点坐标( 五月z ) 和它的图像坐标( 以矿) 来确定摄 像机的内部的几何和光学特性( 内部参数) 以及摄像机在三维世界中的坐标关系 ( 外部参数) 。标定过程精确与否，直接影响了立体视觉系统测量的精度。因此， 只有做好了摄像机标定工作，后续工作才能正常展开。 此前，从照相测量法到计算机视觉，已发展出了很多种摄像机标定方法。我 们可以将这些方法大体分为三类“ 1 ： 1 ) 照相视觉标定法( p h o t o g r a m m e t r i cc a li b r a ti o n 聃1 ) 。 这是一种高效的标定方法，需要预先知道标定物体在3 d 空间的几何特 性。标定物体一般由二到三个平面相互正交组成。有些情况下，这种标定 方法也采用一个平面来进行，这时我们需要精确的知道平面的平移方式。 而这需要昂贵的标定仪器和事先的精细设计作为保障。 2 ) 自标定方法( s e l f - c a l i b r a t i o n 一1 ) 。 自标定方法不需要使用任何标定物，只要在一个固定的场景中移动摄像 机即可。仅通过图象信息，场景的刚性由一个摄像机的位移为摄像机的内 部参数提供两个约束条件。因此，如果所有的图象都是由一个摄像机拍摄 的，即使用相同的内参数，三幅图片所提供的对应性已经足够我们得到重 l o 浙江大学硕士学位论文 建3 d 结构所需要的内外参数。因为需要估计的参数数量很多，所以，不 是每次都可以得到精确可靠的结果。自标定方法还可细分为以下四类方法 1 1 0 1 ( 1 ) 基于主动视觉的白标定法 所谓主动视觉系统，是指摄像机被固定在一个可以精确控制的平台上，且平 台的参数可以从计算机精确读出，只需控制摄像机作特殊的运动来获得多幅图 像，然后利用图像和已知的摄像机运动参数来确定摄像机的内外参数。其代表性 的方法是马颂德提出的基于两组三正交运动的线性方法，后来杨长江，李华等人 提出了改进的方案，即分别是基于4 组平面正交以及5 组平面正交运动并利用图 像中的极点信息来线性标定摄像机参数。此种自标定方法算法简单，可以获得线 性解，不足之处在于必须有可以精确控制的摄像机运动平台。 ( 2 ) 基于k r u p p a 方程的自标定方法 f a u g e r a s ，l u o n g ，m a y b a n k 等提出的自标定方法是直接基于求解k r u p p a 方程 的一种方法，该方法利用绝对二次曲线像和极线变换的概念推导出k r u p p a 方程。 基于k x u p p a 方程的自标定方法不需要对图像序列做射影重建，而是对两图像之 间建立方程，这个方法在某些很难将所有图像统一到一致的射影框架场合会比分 层逐步标定法更具优势，但代价是无法保证无穷远平面在所有图像对确定的射影 空间里的一致性，当图像序列较长时，基于k r u p p a 方程的自标定方法可能不稳 定。且其鲁棒性依赖于给定的初值。 ( 3 ) 分层逐步标定法 近年来，分层逐步标定法已成为自标定研究中的热点，并在实际应用中逐渐 取代了直接求解k r u p p a 方程的方法。分层逐步标定法首先要求对图像序列做射 影重建，再通过绝对二次曲线( 面) 施加约束，最后定出仿射参数( 即无穷远平面 方程) 和摄像机内参数。分层逐步标定法的特点是在射影标定的基础上，以某一 幅图像为基准做射影对齐，从而将未知数数量缩减，再通过非线性优化算法同时 解出所有未知数。不足之处在于非线性优化算法的初值只能通过预估得到，而不 能保证其收敛性。由于射影重建时，都是以某参考图像为基准，所以，参考图像 浙江大学硕士学位论文 的选取不同，标定的结果也不同相。 ( 4 ) 基于二次曲面的自标定方法 t r i g g s 是最早将绝对二次曲面的概念引入自标定的研究中来的，这种自标 定方法与基于k r u p p a 方程的方法在本质上是相同的，它们都利用绝对二次曲线 在欧氏变换下的不变性。但在输入多幅图像并能得到一致射影重建的情况下，基 于二次曲面的自标定方法会更好一些，其根源在于二次曲面包含了无穷远平面和 绝对二次曲线的所有信息，且基于二次曲面的自标定方法又是在对所有图像做射 影重建的基础上计算二次曲面的，因此，该方法保证了无穷远平面对所有图像的 一致性。 3 ) 其他标定方法。不标定正交方向上的点，仅标定旋转方向上的点。 2 2 3 张正友标定法简述 张正友方法n 介于照相视觉标定法( p h o t o g r a m m e t i cc a l i b r a t i o n ) 和自标 定法( s e l f - c a li b r a t i o n ) 之间。这是一种适合应用的新型灵活方法。该方法要求 摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和2 d 平面靶标都可以 自由移动，且内部参数始终不变，假定2 d 平面靶标在世界坐标系中的z = o ，那 么，通过线性模型分析就可计算出摄像机参数的优化解，然后用基于最大似然法 进行非线性求精。在这个过程中得出考虑镜头畸变的目标函数后就可以求出所需 的摄像机内、外部参数。张正友方法提高了标定的精确性；与自标定方法相比， 得到了更高阶数的鲁棒性，是3 d 计算机视觉走出实验室，应用于真实世界的重 要进展。张正友标定法基本步骤包括： 1 ) 模型平面和图象间的单应性 假设模型平面是在z = o 的世界坐标系上，且用t 表示i 列旋转矩阵见由式 2 4 可得： 廿叱， x 】厂 0 1 - x = 么【，护l 【1j ( 2 10 ) 浙江大学硕士学位论文 空间中任一点m = i x ，明7 1 ，z 恒等于0 。由此可得庸= i x ，y ，1 r 。所以，空 间中任一点m 和他在图象上的投影点m 由h 联系起来： s 历：n t( 2 1 1 ) 其中，h = 4 吃f 】。 至此，我们可以用透视投影矩阵h ( p p m ) 来表示摄像机模型。 2 ) 内参的约束条件 给定实物平面的一幅图象，可以计算出一个透视投影矩阵h ，表示成 日= 7 j l 坞缟r 的形式。由式2 1 1 ，我们可以得到： 7 j l 吃缟】= r 2t 】 ( 2 1 2 ) 五为任意标量。已知吃是正交的，我们得到： h l r ，a - r ，a - 1 h 2 2 0 ， ( 2 13 ) 矸彳一7 a 一啊= 酵彳一r a 。1 红 即对于内参数，给定一个h ，存在两个基本约束条件。 3 ) 畸变模型 针孔成像模型是对常规摄像机几何成像的描述，在高精度三维测量中，需要 准确地描述成像几何关系。由于摄像机光学系统设计和加工存在误差，获取的图 像包含了各种几何失真。针对鱼眼镜头，采用等距离投影模型，考虑失真为： f 瓯= x 0 ( 1 + k 1 0 2 + 七2 0 4 + 屯口6 + 岛口8 ) 卜却+ k 1 8 2 + k 2 0 4 + k 3 8 6 + k 3 0 s ) 其中，= x 2 + y 2 ，0 = a r c t a n ( r ) 。 4 ) 标定 先初步求解摄像机的内外参数，然后考虑镜头的径向畸变和离心畸变，将求 得的内外参数作为迭代的初始值，采用最大似然估计进一步求解摄像机内外参数 和畸变系数。优化代价函数为： 浙江大学硕士学位论文 r l i v tl l 聊驴- k ( a ，毛，k ：，屯，k 。，r ，f ，m 刊1 2 ( 2 1 5 ) i * lj = 1 其中刀是模板的图像数，腰是每幅图像中的定标点数。 而( 彳，k 。，k 2 ，k 3 ，r t ，m ，) 表示膨点在第州岳图像上的投影。对式( 2 15 ) 以前 面求得的尼t 为初始值，非线性畸变参数初始值为0 ，采用l e v e n b e r g - m a r q u a r d t 算法，可以求解出尼t 和k 1k 2 ，k ，k 4 。 2 2 4l e v e n b e r g m a r q u a r d t 算法 l e v e n b e r g m a r q u a r d t n 2 1 算法( 简称l m ) 广泛应用于非线性最小化问题，它是 高斯一牛顿算法的变形。它介于牛顿法与梯度下降法之间，对于参数化的问题不 敏感，能够有效的处理冗余参数问题，使代价函数陷入局部极小值的机会大大减 小，这些特性使得l m 算法在计算机视觉等领域得到广泛应用。 l e v e n b e r g - m a r q u a r d t 算法( l m ) 与最小二乘法( l s ) 关系密切，l m 算法的本质是 在迭代过程中，把原问题化为多个l s 问题来求解。 在高斯一牛顿算法n 加中，基本等式j 7 1 ，= 一j r 占，在l e v e n b e r g - m a r q u a r d t 算 法中被替换为增广等式( j7 1 j + a i ) a = 一j r g ，其中，式中j 为雅克比矩阵，旯为引 入的变量，随着迭代的进行而不断变化；i 为单位距阵。 2 2 5 标定鱼眼摄像机的相关参数 由于本项目中采用鱼眼摄相机，所以，需要首先标定鱼眼相机相关参数。 鱼眼镜头摄像机拍摄的图像具有非常严重的变形，如果我们想利用这些具有 严重变形图像的投影信息，那么就需要将这些变形图像校正为人们习惯的透视投 影图像。所以在本项目中鱼眼相机模型近似用针孔相机模型表示， 其中置=z0羔v00 0 1 为相机内部参数， 其中置= i 工i 为相机内部参数， li ( 2 16 ) 和f 为用图像行和列像素表示的 浙江大学硕士学位论文 相机焦距，编，为投影中心，0 【为倾斜度；j 为世界坐标系中的三维点；1 1 和， 为世界坐标系到相机坐标系的旋转和平移；口矿为j 对应的图像点坐标。就大 多数摄像机而言，像素的形状接近完美的长方形，所以倾斜因子o 【一般可以近似 为0 。像素的大小和偏歪角度对于每个摄像机都是固定的，在制造过程中可以测 量得到。 鱼眼镜头的径向和切向失真则用高阶径向模型近似，可表示为： u d i 醴= “+ ( “u o ) 医1 ，2 + k 2 r 4 + k 3 ，6 + k 4 ( ，2 u + 2 “) 】 1 ，妇= v + ( v v j ) 陬1 ，2 + k 2 ，4 + k 3 ，6 + k 5 ( ，2 v + 2 v ) ( 2 1 7 ) ，：而 其中盔，血，岛为径向失真系数，厶，鼻为切向失真系数。 然后分别拍摄标定模板不同姿态的一系列图像( 本实验中采集了1 0 帧图像， 每帧图像上取l o x l o = 1 0 0 个点) ，标记世界坐标系中模板三维点4 ：以及在每个 图像上的对应点a ：，( 此处，与表示图像序列数目索引与每个标定模板上点的 个数索引) 。采用与张正友相似的方法，计算相机内部参数局和鱼眼镜头的失真 系数丘= 盔，血，岛，厶，血】；根据标定模板在图像上的投影点与实际图像中的 对应点之间的欧式距离最短原则，用非线性寻优技术l e v e n b e r g - m a r q u a r d t 计算 最优解。如下式所示： k 蒯g 爱粤荟1 0 孙2 5 ；一甲( 彳揖酬 ( 2 其中、王，为三维到二维的投影函数。 由此得到摄像机的内部参数k 和失真参数岛= 孟，血，岛，厶，岛】。 然后，对所拍摄的汽车四周的图像厶( i = l ，4 ) 进行去除失真处理，得到 失真校正后图像f 耐h 。 浙 学硕学位论文 2 3 图像单应性变换 2 31 单应性矩阵及d l t 算法 圉2 3 标定赦果对比圈 平面单应矩阵在摄像机标定和三维重建方面有重要作用，世界坐标系的x y 坐标平面与图像平面之问的单应矩阵可以提供关于摄像机内参数的2 个现行约 束。单应矩阵在视频图像分析、视觉测量等领域中得到了广泛应用。一般来说， 单应矩阵包含2 方面意义，第一，空间上的点产【x ，y ，z 1 到图像平面上的点m ( 齐次坐标) 之间的映射关系，第二，2 幅图像中对应于同一空问平面的图像对 应点之间的映射关系。 在实际环境中选择一小基准坐标系来描述摄像机的位置，并用它描述环境中 任何物体的位置，该坐标系统称为世界坐标系。它由x ，y ，z 轴组成。设定 摄像机坐标系q 一鼍圪z ( ，设定图像直角坐标系( “r ) ，每一像素的坐标“r 分别是该像素在图像中所处的行数与列数。图像坐标系与摄像机坐标系的关系可 以表示为： 料置目 摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵月与平移向量t 来描 述。空间中的某一点p 在世界坐标系与摄像机坐标系下的齐次坐标分别为( x ， r ，z ，1 ) 和( 五，y f ，五，1 ) ，它们之问的关系可以表示为： 浙江大学硕士学位论文 墨 ki = 【尺，】 l 忍j x 】， z 1 将式( 2 。2 0 ) 改写成图像坐标与世界坐标系的关系式。得到下式， 料中1 x 】， z 1 ( 2 2 0 ) 即得到图像坐标系与世界坐标系的关系。 令刀为空间中某一平面的场景环境，使相机分别从两个不同的角度拍摄图像 得到厶，乞，令u = ( “，1 ，1 ) r ，u f - ( “，1 ，1 ) 7 厶是任意一对对应点对应于同一 - t - n 场景点x = ( x ，y ，z ) r ，如果矩阵h 使得下式成立： u = w 删( 2 2 2 ) 则称h 为图像对( 五厶) 关于平面场景万的单应矩阵。其中，w 为非零常数 因子。 单应性矩阵可由下列计算推导求出n 卅： 设刀的平面方程为： 元7 x = d( 2 23 ) x = ( x ，y ，z ) 7 为万上的任意一点，元r 为万的单位法向量，d 为世界坐标系原 点到万的距离。设x 在各摄像机坐标系下的坐标为( 疋，y c i ，乙) 7 1 ( i = 1 ，2 ) 。设两 个摄像机坐标系相对于标准世界坐标系的旋转矩阵为3 3 的足= ( i = 1 ，2 ) ，三维 平移向量为t ，( i = 1 ，2 ) 。 设平面场景点z = ( x ，y ，z ) 7 对应的摄像机坐标系下的坐标为( t ，艺，乙) r ，由 ( 2 2 1 ) 可知，平面场景点x = ( x ，】，z ) r 投影到图像上一点u = ( “，v ，1 ) 7 ，则有： 浙江大学硕士学位论文 料郴t ， u 却儿矿= 去础t ( 础，z ，1 ) r 1 乙k ( 触+ f ) 考虑平面场景点x = ( x ，】，z ) r 在图像和厶上的投影点u 和u ，则由( 2 2 4 ) 婀得：u = ( 州，1 ) r 2 瓦1 k ( 墨x + 小因为平面场景中的所有点满足平面方程 1 元r x = d ，所以元7 x 之= 1 ，则( 2 2 4 ) 式可写成： 口 u = ( ，l 卜云1k ( 墨x + l t l 元7 x ) 2 乏1 k ( 墨+ l t l 厅丁虹 同理可得： u = ( 儿儿1 卜1 z c ：k ( r 卅l t 2 翻2 乏1 k ( 恐+ l t 2 枷 由( 2 2 5 ) 式可得x = z c 。( 蜀+ - s 1q n 钉) 。1k u ，将其带入( 2 2 6 ) 式得： “ 肚乏砒+ 妣+ l t , 朔卅u 乏为一个非零常数因子，因此，单应矩阵可表示为： h = k ( 恐+ 吉如元7 ) ( 尾+ l t l 元r ) 。1 k 。 当摄像机仅作平移运动，即马= 足= j ，可得： 日= 州+ 吉啊顶，+ 吉矿) - 1 当摄像机仅作旋转运动，即t 。= t ：= o ，可得： h = k ( r ) ( 墨) 卅k 1 军此推导h 了单虑锥阵的表示公武。 在本实验中，仅仅考虑不同相机的平移运动，而不考虑它们的旋转运动，所 1 8 n p 巨 r_j x y z 浙江大学硕士学位论文 以参照式( 2 2 9 ) 计算原始相机位置到虚拟鸟瞰位置的单应性变换矩阵。 当摄像机斜向下拍摄水平地面上的物体时，物体在图像中的影像会发生形 变，为了得到物体的真实形状，需要对获得的图像进行校正，使其相当与摄影机 在物体的正上方俯视拍摄该物体获得的图像。a b d e l - a z i z 和k a r a r a 于1 9 7 1 年 提出的d l t ( 直线线性变换：d i r e c t1i n e a rt r a n f o r m a t i o n ) 法n 5 1 是一种较为 常用的方法。d l t 模型最初是专为解决非量测摄像机的无框标问题而研究的数 据简化方法，其基础是建立在图像坐标直接变换至物方空间坐标的概念上。该方 程式针对三维定标，它的特点是其基本关系式从透