（测试计量技术及仪器专业论文）车辆辅助驾驶全视角成像关键技术的研究.pdf

车辆辅助驾驶全视角成像关键技术的研究 摘要 随着科技的日新月异，越来越多的电子信息技术应用到汽车上来帮助驾驶 员轻松地停放自己的车辆，如倒车雷达、倒车影像系统等。其中，一种车辆辅 助驾驶全视角成像系统近年来受到人们的高度重视，该系统在汽车周围架设能 覆盖车辆周边所有视场范围的6 台鱼眼镜头摄像机，对同一时间采集到的6 幅 图像处理成一幅车辆周边3 6 0 度的景物俯视图，最后在中控台的屏幕上显示， 让驾驶员可得知车辆周边是否存在障碍物及了解障碍物的相对方位与距离，帮 助驾驶员轻松停泊车辆。 本文对上述车辆辅助驾驶全视角成像系统提出了具体的实现方法，深入研 究了实现该系统需要解决的关键技术。主要研究内容有以下几个方面：( 1 ) 在车 辆周围建立系统摄像机模型，将车辆周围6 台摄像机拍摄的侧视图转换成俯视 图的射影变换公式。( 2 ) 研究快速、准确、校正后仍保持图像完整性的算法。( 3 ) 研究图像的快速无缝拼接，和基于特征曲线的鱼眼图像拼接算法。( 4 ) 搭建平台， 编写相应的程序进行试验仿真。 实验表明，本文研究的鱼眼镜头校正算法与图像拼接算法简单快速，处理 的结果都比较理想，能满足该系统的需要。 关键词：全景拼图；摄像机标定；鱼眼图像；畸变校正；特征曲线 k e yt e c h n i q u e so fw i d ev i e wi m a g es y s t e mf o rv e h i c l e a s s i s t a n td r i v i n g a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y , m o r ea n dm o r ee l e c t r o n i c c o m m u n i c a t i o nt e c h n i q u e sa r ee q u i p p e di nv e h i c l et oh e l pt h ed r i v e rt os a f e l ym a n e u v e r h i sv e h i c l e ，s u c ha sp a r k i n gd i s t a n c ec o n t r o l ( p d c ) a n dp a r k i n gv i d e os y s t e m 。r e c e n t l y , aw i d ev i e wi m a g es y s t e mf o rv e h i c l ea s s i s t a n td r i v i n gi sa t t r a c t i n gp e o p l e 7 sa t t e n t i o n i nt h es y s t e m ，6f i s h e y e l e n s e sc a m e r a sa r ef i x e da r o u n dw h i c hc a nc o v e rw h o l ea n g l e o ft h ev e h i c l e t h e6i m a g e st o k e nb ye a c hc a m e r aa tt h es a m et i m ec a nv i e wt h ee a r t h a r e aa r o u n dt h ev e h i c l ew i t h3 6 0 。v i e wa n g l e ，a n dt h e na r ed i s p l a y e do nt h es c r e e n p a n e ii nf r o n to ft h ed r i v e r t h i ss y s t e mc a na s s i s tt h ed r i v e rt oe a s i l ys e ei ft h e r ea r e o b s t a c l e sa r o u n dh i sv e h i c l e t h i sp a p e rc o n c e n t r a t e so ns t u d y i n gt h ei m p l e m e n t a t i o nm e t h o do ft h ew i d ev i e w i m a g es y s t e ma n di t sk e yt e c h n i q u e s ，w h i c hi n c l u d e ：( 1 ) t os e tu pam o d e lo ft h e c a m e r a s s y s t e m ，w h i c hc o n v e r tt h e6s i d ev i e wi m a g e si n t ot h eb i r dv i e wi m a g e so ft h e v i r t u a lc a m e r ah a n g e do v e rt h ev e h i c l e ，( 2 ) t od e v e l o pt h ea l g o r i t h mo ff i s h e y el e n s d i s t o r t i o nc o r r e c t i o n ，( 3 ) t om o s a i ct h e6b i r dv i e wi m a g e s ，a n d ( 4 ) t ob u i l dt h e e x p e r i m e n t a ls e t u pf o re x p e r i m e n t s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tb o t ht h ea l g o r i t h mo ff i s h e y el e n s e sc o r r e c t i o n a n dt h ea l g o r i t h mo fi m a g em o s a i ca r ee f f e c t i v ea n dt i m e s a v i n g k e yw o r d s ：p a n o r a m am o s a i c s fc a m e r ac a l i b r a t i o n lf i s h e y el e n s e si m a g eid i s t o r t i o n c o r r e c t i o n ，c h a r a c t er s t i cc u r v e i i 插图清单 图卜1 倒车雷达工作原理框图2 图卜2 倒车雷达的车内显示图2 图卜3 驻车影像系统显示图3 图卜4 车辆辅助驾驶全视角成像系统效果图4 图卜5 国内外研制的样品4 图2 1 图2 2 图2 3 图 图 图 图 一4 5 6 7 整个系统的框架结构6 车辆周边摄像机的架设6 鱼眼镜头实物图7 鱼眼镜头拍摄的图片7 不同视场角的鱼眼拍摄图7 相邻摄像机拍摄的重叠区域示意图8 空间仿射变换9 图3 1 欧氏空间坐标变换过程1 0 图3 2 摄像机坐标系与世界坐标系1 1 图3 3 图像坐标系与计算机坐标系1 2 图3 4 摄像机坐标系仿射变换示意图1 4 图3 5 一维射影变换15 图3 6射影变换结果比较图1 6 图4 一l 一幅室内鱼眼图像，存在严重畸变18 图4 2 鱼眼镜头成像1 9 图4 3 径向桶形畸变19 图4 4 球面坐标定位展开2 0 图4 5 标准圆半径的求取2 0 图4 6 ( a ) 待校正鱼眼图片( b ) 球面坐标定位法校正效果图2 l 图4 7 ( a ) 待校正鱼眼图片( b ) 5 阶多项式坐标变换2 2 图4 8 鱼眼成像示意图2 2 图4 9 ( a ) 一幅鱼眼图像( b ) 对应的球面投影图像2 3 图4 1 0 球面点到大圆的球面距离示意图2 4 图4 一l l 球面透视投影模型校正后的结果2 5 图4 一1 2 经纬展开原理图2 6 图4 1 3 鱼眼图像校正结果比较图2 8 v 图5 1 三维空间的仿射变换与射影变换3 2 图5 2 相同摄像机拍摄图像的拼接3 9 图5 3 不同摄像机拍摄图像的拼接4 0 表格清单 表4 一l 系统配置表2 7 v i l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得 金目曼些厶堂 或其他教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签名：宝翟 i l 签字日期：d 勺 年仙刁日 学位论文版权使用授权书 本学位论文作者完全了解金月巴工些r 大堂有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权业 工些叁堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 摹秒 l 签字嗍气年午月叼日 学位论文作者毕业斤去向： 下作单位： 通讯地址： 导师签名： 专洮 签字眺。歹年印月伽 电话： 邮编： 致谢 本文是在导师卢荣胜教授的悉心指导下完成的，而本人也是在他的精心指 导和严格要求下成长起来的。卢荣胜教授有着渊博深厚的学识底蕴，有着斐然 的学术成果，而更让我敬仰的是他严谨务实的治学态度，这也不仅在这三年研 究生求学期间深深影响了我，而且在以后的学习、工作、生活都会使我受益匪 浅。在此，我首先向我的导师表示最衷心的感谢和最诚挚的敬意。 真诚感谢仪器科学与光电工程学院的全体老师，他们的指导为本文的研究 提供了理论基础，并创造了许多必要条件和学习机会。 感谢博士生李琪、史艳琼、夏瑞雪、刘宁，硕士生操虹、王骏武、于妍妍 在科研学习上的相互促进与共同进步，感谢光机电研究所的所有兄弟姐妹。 在此还需感谢我的家人，对他们在精神上，经济上和生活上给予我全力的 支持表示深深的谢意。 最后，非常感谢百忙之中为本论文审稿的专家、学者和所有曾经帮助和关 心我的人，祝他们一切顺心! 作者：马程 2 0 0 9 年4 月 第一章绪论 1 1 车辆辅助驾驶系统的背景 随着我国经济的飞速发展，交通运输车辆的不断增多，由此产生的交通问 题越来越成为人们关注的问题。我国每年因交通死亡人数在1 0 万人左右，占全 世界的五分之一。死亡人数和伤者相比一般是1 ：5 ，也就是说车祸直接影响1 8 0 万个家庭、大约9 0 0 万人的幸福生活! 这些交通事故中又以倒车事故发生的频率 为最。 倒车事故发生的原因是多方面的，倒车镜有死角、驾驶者目测距离有误差、 视线模糊等原因造成倒车时的事故率远远高于汽车前进时的事故率，尤其是非 职业驾驶员以及女性更为突出。倒车事故很少会引起严重的交通事故，但经常 会给车主带来许多的麻烦，如撞上别人的车、消防水龙头，如果撞到老人或小 孩，那后果更是不堪设想。因此需要研制一种车辆辅助驾驶装置来降低倒车事 故率，解决驾驶人员的后顾之忧。 车辆辅助驾驶系统是一种汽车泊车安全辅助装置，它以声音或者视频图像 的方式告知驾驶员周围障碍物的情况，解除驾驶员泊车和启动车辆时因前后左 右探视所引起的困扰，并帮助驾驶员克服视野死角和实现模糊的缺陷，提高驾 驶的安全性【l ，2 ，3 4j 。 1 2 车辆辅助驾驶系统的现状 关于车辆辅助驾驶系统，目前采用最多的是倒车雷达，一些高档轿车上配 备了更加先进的驻车影像系统。下面简单概述一下这两种系统的基本原理与存 在的问题，以便能从中得到有益的启示。 1 倒车雷达 倒车雷达( p a r k in gd is t a n c ec o n t r 0 1 ) ，英文简称p d c ，能以声音或者更 为直观的显示告知驾驶员周围障碍物的情况，解决驾驶员泊车和启动车辆时前 后左右探视所引起的困扰，并帮助驾驶员扫除了视野死角和视线模糊的缺陷， 提高驾驶员的安全性。倒车雷达由超声波传感器( 俗称探头) ，控制器和显示器 ( 或蜂鸣器) 等部分组成。感应器一般装在后保险杠上，以4 5 。角辐射检测目标， 能探索到那些低于保险杠而驾驶员从后窗又很难看见的障碍物并报警。倒车雷 达一般采用超声波测距原理，在控制器的控制下由传感器发射超声波信号，当 遇到障碍时，产生回波信号，传感器接收到回波信号后经控制器进行数据处理， 判断出障碍物的位置，由显示器显示距离并发出其他警示信号，从而达到安全 泊车的目的。图1 1 为倒车雷达的工作原理框图。 圈1 - i 倒车雷达工作原理框图 r 1 5 。8 i i 日 1 塾! 曼划 7 莛 圈1 2 倒车曾达的车内显示圈 擐初的馏车雷达系统是轰鸣器。倒车时，如果车后1 8 米一l5 米处有障碍 物。轰鸣器就会开始工作，轰鸣越急，表示车辆离障碍物越近。没有语音提示， 也没有距离显示，虽然司机知道有障碍物，但不能确定障碍物离车有多远，对 驾驶员帮助不大。 第二代倒车雷选可以显示车前后障碍物离车体的距离。如果是物体，在l8 开始显示：如果是人，在o ，9 米左右的距离开始显示。这一代产品有两种显方 式数码显示产品显示距离数字，而波段显示产品由三种颜色来区别：绿色代 表安全距离，表示障碍物离车体距离有0 b 米以上：黄色代表警告距离表示 离障碍物的距离只有o6 o 8 米；红色代表危险距离，表示离障碍物只有不到 06 米的距离，你必须停止倒车。图1 2 所示就是这种第二代的倒车雷达，也是 目前汽车上装备最多的一类倒车雷达。 第三代用液晶荧屏显示，特别是荧屏显示开始出现动态显示系统。不用挂 倒档，只要发动汽车，显示器上就会出现汽车图案以及车辆周围障碍物的距离。 该雷达动态显示，色彩清晰漂亮，外表美观，可以直接粘贴在仪袭盘上，安装 很方便。不过液晶显示器外观虽精巧，但灵敏度较高，抗干扰能力不强，所以 误报也较多。 第四代魔幻镜倒车雷达，采用了最新仿生超声雷达技术，配以高速电脑控 制可全天候准确地测知2 米以内的障碍物，并以不同等级的声音提示和直观 的显示提醒驾驶员。魔幻镜倒车雷达把后视镜、倒车雷达、免提电话、温度显 示和车内空气污染显示等多项功能整合在一起，并设计了语音功能，是目前市 面上最先进的倒车雷达系统。其外形就是一块倒车镜，所以可以不占用车内空 间，直接安装在车内倒视镜的位置。 倒车雷达尽管经历了4 代的改进，但它不够直观和方便的缺点一直没有得 到改善和提高。特别是第三代和第四代的产品只是对第二代产品的外形和美观 方面做了改进，实质性的问题一点都没有解决。在拥挤的交通环境中，前后两 辆车之间的距离小于1 米的情况再正常不过了，倒车雷达则会持续的发出声音 报警，严重干扰车内驾驶员与乘客的情绪。 2 视觉驻车辅助系统 为了直观地反映车辆后方的状况一些豪华轿车如b m wx 5 与a u d iq 7 等装备了后视摄像机来辅助驾驶员倒车。图i - 3 是b m w x 5 上的后视摄像机拍 摄到的图像效果图。 叁赡鬯x 壁垂 圈i 3 驻车影像系统显示图 该系统的主要原理是在汽车牌照灯的下方安放一台鱼眼摄像机，当挂上倒 车档后，摄像机自动启动，将车后的影像传到中控台，为驾驶员提供比如目标 停车空间是否有障碍物或移动的物体、停车空间是否足够车辆停泊等信息，较 好地辅助驾驶员停泊车辆。 该装置存在一定的局限性：驾驶员在倒车时只能看到后面的环境信息，无 法同时观察到侧面与前面的情况，仍然存在安全隐患。 1 3 车辆辅助驾驶全视角成像系统的背景及研究意义 车辆辅助驾驶全视角成像这个概念最早是由k a t o 等4 人在i m a g es y n t h e s i s d i s p l a ym e t h o da n da p p a r a t u sf o rv e h i c l ee a m e r a 一文中率先提出，并委托 m a t s u s h i t ae l e c t r i ci n d u s t r i a lc o ，l t d 。j a p a n ( 1 3 本松下电器产业株式会社) 作为 代理申请了美国专利 i 。该方法提出后，引起世界各大汽车厂商和科研院所的 普遍关注和广泛兴趣。 该技术旨在为驾驶员提供车辆周边3 6 0 度的景物俯视图，让驾驶员可得知车 辆周边是否存在障碍物及了解障碍物的相对方位与距离。即使在许多障碍物的 复杂环境中，如停车位、窄巷，驾驶员也能轻松操控其车辆。 图1 4 是车辆辅助驾驶全视角成像系统的效果图，可以看出，该装置具有倒 车雷达和视觉驻车辅助系统无可比拟的优点，比倒车雷达更直观、方便地了解 车辆周围障碍物的相对方位和距离，呈现的是周边3 6 0 。的全景图像。无任何死 角，并且以俯视图的方式在车辆中控台上显示，为驾驶员提供立体方位感的车 辆周边景物图。 固 留i 4 车辆辅助驾驶全视角成像系统效果图 本课题的研究至少有下面几点意义： ( 1 ) 提升驾驶员行车的安全以及操控停车的便利性。 ( 2 ) 能将环场俯视影像储存起来，可作为还原车辆事故现场的 黑盒子 ， 理清肇事责任。 ( 3 ) 如对特种车辆实现视频信息+ 无线传输+ g p s ，则在控制室可以监控车辆 的一切行为。 ( 4 ) 为未来无人驾驶汽车的研究提供技术铺垫。 1 4 车辆辅助驾驶全视角成像系统的国内外状况及趋势 车辆辅助驾驶全视角成像系统这个观点的提出大约才有5 年的时间，该系统 综台了光学、图像图形学、机器视觉和通信等多个学科的理论知识，是各大汽 车厂商和研究所的商业机密。不可能对外公开。如图卜5 ，目前在国外有 m a t s u s h i t a 公司做了相关样品，效果不好。国内只有台湾交通大学在r 本样品 的基础上改进后做了样品，但效果还是不理想。内地到目前为止还未见相关论 文的发表或产品的生产。 m a t s u s h i t a 公司的样晶台湾变通人学的样品 图】一5 国内外研制的样品 随着产品的不断完善，将来车辆辅助驾驶系统的趋势应该是全视角的视频 信息与声音报警的合成系统。这样驾驶员在倒车时可以对自己车辆周围的所有 情况都能了如指掌，在靠近障碍物过近时会在屏幕上的具体方位闪烁并发出警 报声，帮助驾驶员轻松安全地操控车辆。 寄希望于本论文的出版能为国内的汽车厂家提供一点借鉴意义。如果将该 技术在低成本的基础上成功开发出来并装备到汽车上，那对驾驶员来讲行车安 全将能提升一个很大的台阶。 1 5 课题来源与主要研究内容 本课题来源于合肥工业大学“机器视觉及成像技术 创新群体基金项目的 内容。 论文针对车辆辅助驾驶全视角成像系统提出了实现方法并解决了实现该系 统需解决的若干关键技术，研究了能将侧视图转换成俯视图的空间射影变换； 研究了图像的快速无缝拼接；在总结和研究了国内外鱼眼镜头畸变校正的基础 上，创新性地提出了一种快速、准确、校正后仍保持图像完整性的算法；最后 搭建平台，编写相应的程序进行试验仿真，为进一步的科研工作奠定基础。论 文的结构及主要内容如下： 第一章：绪论。介绍了车辆辅助驾驶系统的研究背景，现有的2 类车辆辅 助驾驶系统：倒车雷达和视觉驻车辅助系统，对车辆辅助驾驶全视角成像系统 的背景、研究意义、国内外状况以及未来的趋势做了概述。 第二章：车辆辅助驾驶全视角成像原理。设计了车辆辅助驾驶全视角成像 的框架图，然后介绍了实现该系统需要解决的若干关键问题。 第三章：空间射影变换。介绍了空间坐标系与几何变换的概念，提出空间 射影变换的公式，利用该公式就能将汽车的侧视图转换成俯视图。 第四章：鱼眼镜头图像变形校正算法。对鱼眼镜头畸变校正算法的国内外 研究现状做一个综合性的整理和描述，介绍各类典型算法思想以及效果并总结 了它们的适用性和优缺点，最后创新性地提出了一种快速准确、校正后仍保持 图像完整性的算法。 第五章：图像拼接的理论和方法。对图像拼接及其相关技术进行了深入研 究和总结。分析了各种方法的适用性、优点和不足。针对本课题的要求选取了 基于特征曲线的图像拼接方法。 第六章：总结与展望。 第二章车辆辅助驾驶全视角成像原理 2 1 车辆辅助驾驶全视角成像系统的设计 车辆辅助驾驶全视角成像系统的框架如图2 1 所示，首先在车辆周边根据 鱼眼镜头的视场角计算出能覆盖车辆周围3 6 0 度的6 个摆放点，如图2 - 2 所示， 在这些位置放置6 台鱼眼摄像机，然后对这些鱼眼镜头摄像机进行参数标定和 畸变校正，下一步将这些侧视图转换成俯视图，最后将这6 幅图像进行无缝拼 接后在车辆中控台的屏幕上显示。 架设数台事先标定好的鱼眼 摄像机于车辆周边 1 r l 摄像机模型的标定 r i 鱼眼摄像机的畸变校正 1r i 将侧视图转换成俯视图 r 6 幅图像的无缝拼接后在车 辆中控台的屏幕上显示 图2 1 整个系统的框架结构 图2 2 车辆周边摄像机的架设 通过上面的分析，可以得出车辆辅助驾驶全视角成像系统需要解决的主要 6 技术难题有3 个：侧视图向俯视图的射影变换、鱼眼镜头的畸变校正和摄像机视 场交界区域的处理。 2 2 鱼眼镜头畸变校正 鱼眼镜头是一种焦距极短并且视角接近或等于1 8 0 。的镜头。1 6 m m 或焦距更 短的镜头，即视场角在1 4 0 。2 2 0 。的镜头通常即可认为是鱼跟镜头。它的视场 角范围比人眼还大，是一种极端的广角镜头。为使镜头达到晟大的视场角，这种 摄影镜头的前镜片直径且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，“鱼 眼镜头”因此而得名”7 1 。 图2 3 是鱼眼镜头的实物图，图2 4 所示是用鱼眼镜头拍摄的一幅图片：在北 京奥运会的开幕式卜为了将中国的国旗、鸟巢体育馆以及庄严的国旗卫队的身影 全部拍摄到一张照片中，鱼眼镜头摄像机足最好的选择。通过这张图片让我们认 识鱼眼镜头和领略鱼眼镜头的优点。 图2 3 鱼眼镜头实物图图2 4 鱼跟镜头拍摄的图片 众所周知，焦距越短，视场角越大，因光学原理产生的变形也就越强烈。图 2 - 5 是视场角从9 0 1 8 0 镜头拍摄的效果图。可以看出，为了达到18 0 度左右 的超大视角，牺牲了鱼眼图像的成像质量，带来极其i ，= 重的桶形畸变。 9 06 视角1 2 06 视角 1 5 0 。视角1 8 0 。视角 蚓2 5 不l 司视场角的鱼眼拍摄图 在本课题中，如果用普通镜头的摄像机实现对车辆周边所有范围的覆盖，普 通镜头的视场角在4 0 4 5 。之间，那大约需要1 5 2 0 台摄像机，这显然是不合适 的，因此我们选用超大视场角的鱼眼镜头摄像机。在第四章中对鱼眼镜头畸变校 正作详细的介绍。 2 3 摄像机视场交界区域的处理 在拍摄时，相邻两个摄像机拍摄的区域肯定有重叠区域，如图2 - 6 ，如何处 理摄像机视场重叠区域是本课题另一个主要研究内容。 图2 6 相邻摄像机拍摄的重叠区域不葸图 在前面所提到的m a t s u s h i t a 公司申请的美国专利一文中提出这样的解决方 法：对于无重叠的区域还是按原来的图像，对于重叠区域图像的亮度值是使用 两张影像的平均值。这种方法会使得有高度的物体因为由不同视点的摄像机拍 摄而产生鬼影。另外，对于拍摄范围内有高度的物体，在整合后的画面中看起 来有倒向一边并且变形的情况，这会使得看到的俯视图像看起来不真实，不能 得到物体确切的距离感和外观。因此本文采用图像的无缝拼接技术来解决这一 难题。 图像拼接问题是计算机视觉、图像处理中的基本问题，有两种对应的问题原型： 一是两副( 或者多幅) 来自不同采集设备或者不同视角的图像需要对比，经过拼接步骤 可以得出两副图像的差别所在；二是根据一幅已知的模板图像在另外一幅图像中搜索 类似模板的结构【引。这两种基本需求在多个领域的很多实际问题上都有所反映：如， 不同传感器的信息融合：不同时间、场地条件下获得图像的差异检测；成像系统和物 体场景变化情况下获得的图像的三维信息获取；图像中的模式或目标识别等等。 简单来说，图像拼接就是将同一场景的不同图像“对齐 或进行广义的匹配，以 消除存在的几何畸变。对同一场景使用相同或不同的传感器( 成像设备) ，在不同条件 下( 天候、照度、摄像位置和角度等) 获取的两个或多个图像一般都会有差异。同一场 景的多次成像的差别可以表现在：不同的分辨率、不同的灰度属性、不同的位置( 平 移和旋转) 、不同的尺度、不同的非线性变形等等。多种成像模式产生的图像( 称之为 多模态图像) 会表现出不同的分辨率、不同的灰度属性等等差异。图像拼接的主要目 的是消除几何上的差异，因此用图像无缝拼接的技术对于校正本文中处理摄像机视 场重叠区域再适合不过了。 8 2 4 侧视图转换成俯视图 我们将6 台鱼眼镜头摄像机架设在车辆的四周，拍摄到的是车辆周围环境的 侧视图，为了让驾驶员更加直白地看清车辆周围的情况，需将侧视图投影变换 转换成俯视图，使得图像效果就像是一台摄像机从汽车正上方拍摄的俯视图， 汽车上方的拍摄点是假想的，但对摄像机的标定需要用到该点，我们称之为虚 拟摄像机的中心点。这种空间几何变换的过程叫做射影变换。 景平面映射到水平的图像平面上。以( 而，m ) ，( x 2 ，y ：) 分别表示场景平面与图像 料鞋捌 p ， 2 5 本章小结 本章设计了车辆辅助驾驶全视角成像原理的框图，提出了实现该成像系统 需要解决3 大关键问题：空间射影变换、鱼眼镜头的畸变校正和相邻图像间的无 缝拼接。简单分析了上述3 种问题的基本原理与实现方法，为下面章节的详细叙 述做了铺垫。 9 第三章空间射影变换 空间几何变换是研究机器视觉的重要数学工具之一。空间几何变换主要包 括射影变换、仿射变换、比例变换和欧氏变换【i 。在本系统中，我们最终呈现 给驾驶员的是车辆周边的俯视图，需将每台摄像机所拍摄的侧视图投影转换成 同一平面的俯视图。因此第一步就是要求取车辆周围6 台摄像机到汽车上方的虚 拟摄像机的空间转换关系，也就是空间的射影变换关系。因此，本章先介绍欧 氏空间中刚体的变换性质和空间坐标系的选取，然后介绍了摄像机的线性模型， 最后得出空间2 台摄像机间的空间射影变换公式。 3 1 刚体变换 在欧氏空间中，物体可以被看作理想的刚体，不论是该物体的位置和方向 发生变化，还是在不同的坐标系观察同一物体，物体的长度、角度都保持不变， 因此，其形状和大小均保持不变，并且都可以看出是刚体坐标的变换。 假设在欧氏空间有一点尸，其在两个坐标系中的坐标分别是p = ( x ，y ，z ) 7 和 p 7 = ( x r , y ，z ) r ，如图3 1 所示，那么有变换公式： p = r p + t ( 3 - 1 ) x 图3 1 欧氏空间坐标变换过程 式( 3 1 ) 表明p 点在第二个坐标系中的坐标p 是由其在第一个坐标系中的坐标p 通过旋转和平移变换而得到。其中，= ( l ，t y ，t ：) r 是一个三维向量，称为平移向量， 表示第一个坐标系原点在第二个坐标系上的坐标。r 是一个3 3 的正交矩阵且 它的行列式值等于1 ，表示旋转变换，即 吃吒 r = ir 4r 5 l ( 3 - 2 ) l 吩吃吩j 旋转矩阵r 有9 个参数，但并不是互相独立的，满足以下的6 个约束条件： 1 0 2 + 吒2 + 巧2 = 1 _ 2 + 吩2 + r 6 2 = 1 2 + 2 + 吩2 = 1 ，i ，：i + ，2 吩+ r 3 r 9 = 0 ，= i 巧+ 吩+ 吩= 0 ，= i ，i + 吃+ 吩吩= 0 ( 3 - 3 ) 实际上，式子( 3 3 ) 描述的是第一个坐标系到第二个坐标系的转换过程，即旋转 第一个坐标系，使其方向与第二个坐标系方法一致，然后再将第一个坐标系平 移到第二个坐标系的位置上，则两个坐标系完全重合。 3 2 图像坐标系、计算机坐标系、摄像机坐标系与世界坐标系 图3 2 摄像机坐标系与世界坐标系 z 坐标系 摄像机成像几何关系可由图3 2 所示。其中d 点称为摄像机光心，x 轴和y 轴 与图像的工轴和】，轴平行，z 轴为摄像机光轴，它与图像平面垂直。光轴与图 像平面的交点即为图像坐标系的原点，由点0 与x 、y 、z 轴组成的直角坐标系 称为摄像机坐标系。d d i 为摄像机的焦距。 由于摄像机可以安放在环境中的任意位置，在环境中选择一个基准坐标系 来描述摄像机的位置，并用它来描述环境中任何物体的位置，该坐标系称为世 界坐标系。它由、圪、z 0 轴组成。摄像机坐标系与世界坐标系之间的关系 可以用旋转矩阵r 与平移向量t 来描述。因此，空间中某一点尸在世界坐标系 与摄像机坐标系下的齐次坐标如果是x = ( 。，z ，1 ) 7 与x = ( x ，y ，z ，1 ) 7 ，于是存 在如下的关系： = 瞄 x w 昂 z 咿 1 = m 2 x w z w l ( 3 - 4 ) 其中，r 为3 3 正交单位矩阵；t 为三维平移向量；0 = ( 0 ，0 ，o ) 7 1 ；m 2 为4 x4 矩 阵。 摄像机采集的图像以标准电视信号的形式经高速图像采集系统变换为数字 图像并输入计算机。每幅数字图像在计算机内为mx n 数组，m 行列的图像 中每一个元素( 称为像素，p i x e l ) 的数值即是图像点的亮度( 或称为灰度) 。如图3 3 所示，在图像上定义直角坐标系u 、1 ，每一像素的坐标( “，v ) 分别是该像素在 数组中的列数与行数。所以，y ) 是以像素为单位的图像坐标系坐标。由于( “， ，) 只表示像素位于数组中的列数与行数，并没有用物理单位表示出该像素在图像 中的位置。因此需要再建立以物理单位( 如毫米) 表示的图像坐标系。该坐标系 以a 为原点，x 轴与】，轴分别与u 、 ，轴平行。其中( “，v ) 表示以像素为单位的 图像坐标系的坐标，( x ，】，) 表示以毫米为单位的图像坐标系的坐标。在x 、】，坐 标系中，原点d l 定义在摄像机光轴与图像平面的交点，该点一般位于图像中心 处，但由于很多原因，也会有些偏移。若q 在u 、v 坐标系中坐标为( ，v o ) ，每 一个像素在x 轴与】，轴方向上的物理尺寸为d x 、d y ，则图像上任意一个像素 在两个坐标系下的坐标有如下的关系： 一0 d l o ，1 ，o ) 1r 1 ， 17 ， 图3 3 图像坐标系与计算机坐标系 为以后计算方便，用齐次坐标与矩阵形式将式( 3 - 5 ) 表示为： i ： = 1一 0 z 靠 拟 ” 1 0 二v n d l ， ” 0o 1 1 2 ( 3 - 6 ) 门一 + + x一样y一订 i i i i 逆关系可写成 ixil 捌0 一捌l i 】，l = 1 0 d y - v o d yl ( 3 - 7 ) l lj lo o1 j 摄像机成像几何关系可由图3 2 所示。其中d 点称为摄像机光心，x 轴和y 轴 与图像的x 轴和j ，轴平行，z 轴为摄像机光轴，它与图像平面垂直。光轴与图 像平面的交点即为图像坐标系的原点，由点0 与x 、y 、z 轴组成的直角坐标系 称为摄像机坐标系。d a 为摄像机的焦距。 由于摄像机可以安放在环境中的任意位置，在环境中选择一个基准坐标系 来描述摄像机的位置，并用它来描述环境中任何物体的位置，该坐标系称为世 界坐标系。它由x w 、昂、z 轴组成。摄像机坐标系与世界坐标系之间的关系 可以用旋转矩阵r 与平移向量t 来描述。因此，空间中某一点p 在世界坐标系 与摄像机坐标系下的齐次坐标如果是x = ( 勘，z 0 ，1 ) r 与x = ( x ，y ，毛1 ) 7 ，于是存 在如下的关系： = r x w 昂 z w l = m 2 x w z w l ( 3 - 8 ) 其中，r 为3 x 3 正交单位矩阵；t 为三维平移向量；0 = ( 0 ，0 ，o ) r ；m 2 为4 x4 矩 阵。 3 3 针孔成像模型 针孔成像模型又称为线性摄像机模型。大部分摄像机坐标系成像可以用此 针孔成像模型近似表示。空间中任意一点尸在图像中的投影位置为光心d 与尸 点的连线o p 与图像的交点。这种关系也称为中心射影或透视投影( p e r s p e c t i v e p r o j e c t i o n ) 。由比例关系有如下的关系式： x ：f x z 】，：f _ y z ( 3 - 9 ) 其中，( x ，】，) 为p 点的图像坐标：( x ，j ，z ) 为空间点尸在摄像机坐标系下的坐标， 厂为砂平面与图像平面的距离，一般称为摄像机的焦距。用齐次坐标和矩阵表 示上述透视投影关系： 蚓 ：p ly iz i1 ( 3 - 1 0 ) 门一 0 厂0 厂0 0 _。l = 1一 x y p。，。l f 其中，j 为一比例因子，p 为透视投影矩阵。将式( 3 6 ) 与( 3 8 ) 带入式( 3 - lo ) ，得 到以世界坐标系表示的尸点坐标与其投影点p 的坐标( z ，v ) 的关系 件 1 = 0 “n d x 。 一1 0 v n d y ” oo1 i。：lloooo,o o t r ：1 l ：孑三uv000 0 0 三 ；：i 1 i l x w 珞 z w l x w 昂 z w l = m l m 2 x 矿= m x ( 3 1 1 ) 其中，a x = f l a x 为“轴上尺度因子，或称为“轴上归化焦距；q = f d y 为， 轴上尺度因子，或称为v 轴上归一化焦距；m 为3x3 矩阵，称为投影矩阵：m 由q 、a y 、决定，由于a x 、a y 、u o 、只与摄像机内部参数有关，称这 些参数为摄像机内部参数：m ：由摄像机相对于世界坐标系的方位决定的，称为 摄像机外部参数。 3 4 空间射影变换 图3 - 4 所示是摄像机坐标系射影变换示意图，为方便说明，这里只给出 汽车上方的虚拟坐标系和车辆周边任意一个摄像机坐标系。本系统需将车辆 周边摄像机拍摄的侧视图转换成虚拟坐标系拍摄的俯视图，这个变换也就是 空间射影变换过程。 拟摄像机坐标 ( 世界坐标系) 车辆周边某一 摄像机坐标系 图3 4 摄像机坐标系仿射变换示意图 射影变换( p r o j e c t i v et r a n s f o r m a t i o n ) 是一个最为广义的线性变换。一维射 影变换如图3 - 5 所示，过o 点的直线束分别交直线厶与厶于彳、b 、c 、d 和 1 4 、b 、c 、d 。对于厶上的任意一点，例如，点a 总可以在厶上找到其对 应的点彳，彳7 为o a 射线与厶的交点。当侧与厶平行时，则定义0 曜与厶的交 点a 为厶上的无穷远点。实际上这种几何关系给出了厶与厶之间的一个一一 对应的变换，称之为一维中心射影变换。同样，厶上的点列爿、d 又可以通过以另外一个点o 为中心的一维中心射影变换为厶上的点列a 。、 艿”、c 、d 。以上两个中心射影变换的积就表示了厶到厶之间的变换关系， 于是我们就称由有限次中心射影变换的积定义的两条直线间的一一对应变 换为一维射影变换。 图3 5 一维射影变换 珂维射影空问的射影变换可以用代数表示为p y = t x ，其中p 为一比例因 子，x 与y 分别为变换前后空间点的齐次坐标，x = ( 薯，x 2 ，+ ，) 7 ， y = ( 为，托，儿+ ，) r ，瓦为满秩的印+ 1 ) x 印+ 1 ) 矩阵。射影变换由t 矩阵决定， 矩阵l 有加+ 1 ) 2 个参数，但l 与g r , 表示同一变换( 因等式两边都是齐次坐 标) ，故r 的独立参数为+ 1 ) 2 一l 。 以一维射影交换力例写宙上述变换： 由式( 3 1 2 ) 得： 也搬m 2 2 j 心l x 2 p 埘 p 鲫y 2 黧m 2 1 x 1 ：嚣 净啪 【 。 + 2 屯 、 将以上两式相除，并取歹；m y 2 、x = x l x 2 ，得到变换前后点的非齐次坐 标的关系： 歹。娩彗鱼( 3 1 4 ) 掰2 i x + m 2 2 由式( 3 1 4 ) p - 知，射影变换中用非齐次坐标表示的变换关系是非线性的。 一般地r 维射影变换的矩阵等式中包含了n + 1 个方程，取消口后，得到变换 前后非齐次坐标的”个方程。 在三维射影中间，射影变换矩阵l 可以表示为： f 3 15 1 式( 3 15 ) 中，t p 为4 4 可逆矩阵，它有1 6 个参数，但可以用一个非零的 比例因子归一，因此，有15 个自由度。 如果系统精度要求不高，直接采用摄像机理想透视模型，采用直接线性 变化法求取以上1 2 个参数；如果系统要求比较高的精度则可以考虑引入 摄像机畸变修l 下模型对摄像机进行参数的非线性标定。求出上述1 2 个参数 后，利用公式( 3 1 5 ) 就能将侧视图转换成俯视图。 35 实验结果 为验证射影变换的结果，我们对实验平台分别拍摄了侧视图和俯视图， 如图3 - 6 ( a ) 与( b ) ，图3 - 6 ( c ) 是将图3 - 6 ( a ) 用公式( 3 一1 5 ) 转换后的结果圈，将处 理后的结果图与原俯视图进行比较后可以证明：利用射影转换公式可以很好地 将侧视图转换成俯视图。 i 旦堕j 苦占戊吕如舀r ；滔釜 障面粕糙隆匣钰稚舀 图3 6 射影变换结果比较图 m 儿几 乩善风 艮如 n n 见n _ l = p 3 6 本章小结 本章首先介绍了刚体变换过程，证实了欧氏空间中两个坐标系能够通过一 个旋转矩阵与一个平移矩阵相互转换；然后对图像坐标系、计算机坐标系、摄 像机坐标系与世界坐标系做了定义并介绍了它们之间的位置关系；接着介绍了 摄像机的线性模型；接着较为详细地介绍了射影变换公式；最后给出实验结果， 证明射影变换能够将车辆周围的侧视图转换成俯视图。 1 7 第四章鱼眼镜头图像变形校正算法 鱼眼镜头畸变主要是由镜头自身引起的光学变形、镜头光学系统存在加工 误差和装配误差，导致物点在像面上的实际成像点与理想像点之间存在偏离而 产生的。对于鱼眼图像变形技正，虽然很多领域如视频监控、虚拟现实、立体 视觉等都运用到该技术，但大都涉及到商业机密，所以相关的理论研究没有公 开且比较分散。本章先对鱼眼镜头成像原理作简单的分析，然后对鱼眼图像变 形校正算法的国内外研究现状做一个综合性的整理和描述，并对各类典型算法 做出分析和比较”，晟后提出一种针对全视角车辆驾驶辅助系统提出一种快速 准确的校正方法。 4 1 鱼眼镜头成像原理 鱼眼镜头是一种超广角镜头事实证明，对于大视角的应用场合，鱼眼镜 头是十分有效的。因为它能够提供大约1 8 0 。的视场范围。当镜头到物体的距 离很小时，鱼眼镜头仍可以提供对物体的完整视图，这是其他镜头无法做到的。 图4 - 1 是视场角为l5 0 。的鱼眼图像。 图4 i 一幅室内鱼眼图像存在严重畸变 众所周知，理想镜头的成像为薄棱镜成像，其成像规则为：空间一条直线 在像平面上成像为一条直线。但鱼眼镜头等价于半球体成像，如图4 2 所示。 半球体镜头的厚度是无法忽略的，根据光学成像特点，空间直线4 8 经过透镜 成像后为一曲线b 。这样不可避免地产生成像原理误差。对于鱼眼镜头来说， 这种成像原理误差主要导致了图像发生桶形畸变，如图4 - 3 所示。这种畸变会 引起图像点沿径向移动，离中心点越远，变形量越大。镜头与摄像机的组装时， 成像面与光轴可能不完全垂直：镜头光学系统在组装时，多个光学镜头的光轴 不可能完全共线，各个镜头的光学中心发生偏移等，从而引起偏心畸变。上述 所有因素都是使得鱼眼镜头拍摄出来的图像产生严重畸变的原因。 图4 2 鱼眼镜头成像图4 3 径向桶形畸变 4 2 鱼眼畸变校正算法概述 根据目前对国内外资料阅读的基础上，可以从两种方式来总结鱼眼图像校 正校正算法。 第一种从2 d 和3 d 空间进行鱼眼图像变形校正展开： ( 1 ) 2 d 鱼眼图像变形校正，该方法不设计到空间点信息，直接确定变形图像 与待校正图像上对应点坐标变换，然后进行像素灰度插值。该类方法包括有球 面坐标定位法【1 引，多项式坐标变换法及其改进【1 3 , 1 4 , 15 1 ，射影不变性【1 6 i 以及通过 极坐标映射法来校正鱼眼畸变1 1 7 ，1 8 】。球面坐标定位法最早由t n a t h a n m u n d h e n k 在论文【1 2 】中提出来的，后来经