（控制理论与控制工程专业论文）移动机器人视觉信息提取与路径规划研究.pdf

中文摘要 摘要 自主式移动机器人技术近年来得到了迅速的发展，移动机器人是具有感知、 决策和运动能力的智能机构，该技术体现了信息技术和人工智能技术的发展水平。 移动机器人首先需要像人类一样建立周围环境地图模型，然后根据所建立地图模 型来确定到达目标位置的最优路径，并对自己的运动做出合理的规划，即路径规 划问题。视觉是人类获得绝大部分环境信息的源泉，本文通过对单目和双目视觉 信息的提取来获得周围环境信息并在环境模型已知的条件下获取机器人运动的最 佳路径。 摄像机标定是计算机视觉研究的基础，摄像机内外参数标定的准确性直接影 响移动机器人定位的精度。第二章根据实际的应用背景舍弃了常规的以三维立体 模板为基础的线性透视投影摄像机标定方法，采用了张正友提出的标定方法。该 方法采用平面棋盘标定模板，工程上易于实现并且能够获得摄像机的畸变参数。 在第三章地面轨线跟踪实验中，利用单目摄像机来提取导航线信息。为了有 效地解决目标和背景分离过程中由于周围环境等因素仍然存在大量的噪声信号问 题。我们采用了接近人眼的h i s 颜色模型，融合了二值化、滤波、腐蚀、膨胀、 h o u g h 变换等各种图像手段，最终从视觉图像中提取了较好的导航线信息。 现实世界是立体的三维世界，摄像机在获取图像的过程中丢失了环境的深度 信息是摄像机来提取导航线信息过程中所存在的问题之一。为了真实地复现世界 中客观存的三维信息，第四章采用了双目摄像机恢复环境的深度信息方案。 路径规划是移动机器人智能化的体现。本文最后一章阐述了多种路径规划算 法，分析了各种算法优缺点。在总结前人经验的基础上，对可视图方法进行了改 进，大大降低了可视图的复杂性，减少了机器人对最优路径的搜索时问，提高了 路径规划的实时性。 关键词：移动机器人；摄像机标定；轨线跟踪；立体视觉；路径规划 英文摘要 r e s e a r c ho nv i s i o na n dp a t hp l a n n i n gf o rm o b i l er o b o t a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o na n da r t i f i c i a li n t e l l i g e n c et e c h n o l o g y ，t h e t e c h n o l o g yo fa u t o n o m o u sm o b i l er o b o tw i t hp e r c c v d o n , d e c i s i o na n dm o v e m e n t f u n c t i o n si sa l s od e v e l o p e dq u i c k l y p a t hp l a n n i n gi sak e ys t e po fm o b i l er o b o t , t h a ti s t ob u i l du pam a pa r o u n de n v i r o n m e n t , a n dt h e nb a s e do nt h em a p , a no p t i m a l r e a s o n a b l em o v i n gt r a j e c t o r yi se s t a b l i s h e d t h ev i s i o ni so n eo fm a i nw a yt h a th u m a n l e a r na r o u n de n v k o n m e n t a st h es a n l ea sh u m a n se y e s ，t h ec a m e r a sw i t hm o n o c u l a r0 1 b i n o c u l a ra r et a k e na so n eo fm a i nv i s o a lm s t m m e mt ok n o wa r o u n di n f o r m a t i o n , a n d b a s e d0 1 1t h ek n o w ne n v i r o n m e n tm o d e l ，a l lo p t i m a lp a t hp l a n n i n gc a nb eg i v e n s i n c et h ea c c u r a c yo fc a l i b r a t i o np a r a m e t e ri n f l u e n c e sp r e c i s i o no fm o b i l er o b o t a l l o c a t i o nd i r e c t l y , t h ev i s u a ls y s t e mc a l i b r a t i o ni so n eo fk e yt e c h n o l o 西部i nm o b i l e r o b o tv i s i o ns y s t e m a c c o r d i n gt os p e c i a la p p l i c a t i o nb a c k g r o u n do f m o b i l er o b o t , z y z h a n g sc a l i b r a t i o ns p p r o a c hi su s e di n s t e a do ft r a d i t i o n a ll i n e a rp e r s p e c t i v ep r o j e c t i o n s c h e m es ot h a ti ti sm o r ee a s yt oo b t a i nt h ed i s t o r t i o np a r a m e t e ro ft h ec a m e r a s o m e a n a l y s i sa b o u tt h i si sg i v e ni nc h a p t e r2 t a k i n ga c c o u n to f al a r g en u m b e ro f n o i s es i g n a l sf r o me n v i r o n m e n ti nt h ep r o c e s s t os e p a r a t et a r g e ta n db a c k g r o u n d ，t h eh i sc o l o rm o d e la n ds y n t h e s i z e se r o s i o n , f i l t e r ， d i l a t i o na n dh o u g ht r a n s f o r mi m a g ep r o c e s s i n ga l g o r i t h m sa r eu s e ds ot h a ts a t i s f a c t o r y n a v i g a t i o nl i n ei n f o r m a t i o ni so b t a i n e d b a s e do ns o m en a v i g a t i o nl i n ei n f o r m a t i o n f r o mam o n o c u l a rc a m e r a , s o m el i n e a rt r a j e c t o r yt r a c k i n gt e s t sa l ed o n e ，a n dt h e s u c c e s s f u lt e s t i n gr e s u l ta r es h o w ni nc h a p t e r3 t h er e a l i s t i cw o r l di sas t e r e o s c o p i c3 dw o r l d ，i ti so f t e nh a p p e nt ol o s ed e p t h i n f o r m a t i o ni nt h ep r o c e s so f g e t t i n gi m a g e f o rr e f l e c t i n gat r u l ys t e r e o s c o p i c3 dw o r l d , as c h e m e ，w h i c hab i n o c u l a rc a m e r ai su s e dt og e ti m a g ew i t hd e p t hi n f o r m a t i o n , i s p r e s e n t e di nc h a p t e r4 t h eb o t l lo fa l g o r i t h mo fc h a r a c t e r i s t i cp o i n t se x t r a c t i o na n d m a t c ha r ep r o p o s e di nt h i sc h a p t e r p a t hp l a n n i n gi st h es y m b o lo fm o b i l er o b o ti n t e l l i g e n c e t h el a s tc h a p t e r r e p r e s e n t sv a r i o u sp a t hp l a n n i n ga l g o r i t h m sa n da n a l y z e st h o s em e r i t sa n dd e m e r i t s t h ev i s i b i l i t yg r a p hm e t h o di si m p r o v e db a s e do nt h ef o u n d a t i o no f p e o p l eo f t h ep a s t s e x p e r i e n c e t h a tr e d u c e st h ec o m p l e x i t yo ft h ev i s i b i l i t yg r a p ha n dt i m eo fs e a r c h o p t i m a lp a t h i ta l s oi n c r e a s e sr e a l - t i m eo f p a t hp l a n n i n g k e yw o r d s ：m o b i l er o b o t ；c a m e r ac a l i b r a t i o n ；t r a c i n go f l a n e ；s t e r e ov i s i o n ； p a t hp l a n n i n g 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成硕士学位论文：整塾扭墨厶视觉信息握塑皇路径趣型班究：。除论文中已 经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均己在文中以 明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体己经公开发 表或未公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名：勰绿干7 纠年罗月砷日 学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连海事大学研究生学位论文提交、 版权使用管理办法”，同意大连海事大学保留并向国家有关部门或机构送交学位 论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将 本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或 扫描等复制手段保存和汇编学位论文。 论文作者签名：糊7 导师签名鸟么之 日期：咖7 年弓月2 徊 移动机器人视觉信息提取与路径规划研究 第1 章绪论 1 1 研究背景及意义 随着计算机和人工智能技术的发展，机器人不仅在工业制造方面，而且在军事、 民用、海洋勘探甚至在服务业等方面得到了广泛地应用。机器人种类繁多，分类 也很复杂，常见的机器人种类有工业现场机器人、深海勘探机器人、高空作业机 器人、智能移动机器人等等【l 】。智能移动机器人是机器人研究领域中的一个重要分 支，是一个年轻的领域，它的基础包括了许多工程和科学学科，涉及到人工智能、 自动控制、信息处理、图像处理、模式识别等多门专业技术，跨计算机、自动化、 通信、机械、电子等多门学科。 智能移动机器人研究最早开始于2 0 世纪6 0 年代，是由美国国防部高级研究 计划局发起，一些大学和公司的实验室开发了一些“具有高级推理和感知能力”的原 型系统 2 1 。目前移动机器人的研究范围已经扩展到水下、空中、地面、甚至太空和 行星表面等多种环境，如中科院沈阳自动化研究所研制的深海作业机器人，美国 无人车辆协会组织开展的自主式航空飞行器的研究，美国航天局研制的“勇气号” 和“机遇号”火星探测机器人。随着科学技术的发展，移动机器人技术必将更多 的进入到我们的日常生活，如家政机器人、盲人导航机器人等，移动机器人的发 展必将大大的方便我们的工作和生活。 在移动机器人研究中，智能移动机器人首先需要像人类一样建立周围环境地 图模型，然后根掘所建立地图模型来确定到达目标位置的最优路径，即路径规划 问题。如图1 1 所示1 3 1 。任何种类的机器人都需要利用传感器获取关于环境的信息， 用于机器人的传感器种类很多，声纳、激光是移动机器人也是研究中常见的传感 器m 。根据统计，人类接受的信息9 0 以上是来自视觉，人类视觉为人类提供了 关于周围环境最详细可靠的信息 7 1 。人类视觉所具有的强大功能和完美的信息处理 方式引起了智能研究者的极大兴趣，人们希望以生物视觉为蓝本研究一个人工视 觉系统用于机器人中，期望机器人拥有类似人类感受环境的能力。相对于声纳、 第1 章绪论 激光传感器，计算机视觉具有以下几个优点。首先，激光雷达和超声的原理都是 通过主动发射脉冲和接受反射脉冲来测距的，因此当多个机器人同时工作时，相 图1 1 移动机器人控制方案 f i g 1 1c o n t r o lp r o g r a mo f m o b i l er o b o t 互之间可能产生干扰，而视觉由于是被动测量，所以多个机器人相互之间的干扰 可以减少到最小。其次，视觉传感器能获取更多的环境信息，即使在丢弃了绝大 部分的视觉信息后，所剩下的关于周围环境的信息仍然比激光和声纳获取的信息 更多、更丰富。因此，应用视觉传感器能够建立较为全面、鲁棒性较好的周围环 境模型。对移动机器人而言，目标跟踪、避障、目标识别、三维场景重建等问题 是视觉应用的主要领域【 “】。机器人视觉的研究目标就是使机器人具有通过一幅或 多幅图像认知周围环境信息的能力，这种能力不仅使机器人能感知环境中物体的 几何信息，如其形状、位置、姿态、运动等，而且能对它们进行描述、存储、识 别与理解，计算机视觉理论的最终研究目标：赋予计算机以人类的视觉认知功能， 移动机器人视觉信息提取与路行规划研究 使计算机具有通过二维图像认知现实世界的能力。 路径规划是移动机器人技术中不可缺少的重要组成部分，它要求机器人根据 给予的指令及环境地图模型决定路径，避开障碍物，以最优路径到达目标。全局 路径规划可使所规划的路径达到最优，局部路径规划则可使机器人完成实时避障， 路径规划是移动机器人智能化程度的重要标志。在机器人硬件系统存在诸多缺陷 的情况下，这将在一定程度上改变移动机器人的导航性能，提高移动机器人的智 能水平，减少移动机器人在移动过程中存在的不确定性，提高移动机器人移动的 速度及灵活性。移动机器人是一个集环境感知、动态决策与规划行为控制与执行 等多种功能于一体的综合动态系统。 1 2 机器人视觉技术研究概述 视觉是人类观察世界和认知世界的重要手段，人类是通过眼睛和大脑来获取、 处理与理解视觉信息的。周围环境中的物体在可见光照射下，在人眼的视网膜上 形成图像，由感光细胞将其转换成神经脉冲信号，并经由神经纤维传入大脑皮层 进程处理与理解。视觉不仅指对光信号的感受，还包括对视觉信息的获取、传输 与理解全过程。人类从外部世界获得信息大部分都由视觉获取的，这说明视觉信 息量巨大，也表明人类对视觉信息有较高的利用率，同时又体现了人类视觉功能 的重要性。随着计算机技术和人工智能的发展，研究者越来越希望机器人能像人 类一样通过视觉来认识世界、理解世界。信号处理科学与机器人技术出现以后， 人们试图用摄像机获取景物图像并转换成数字信号，用机器人的大脑计算机 实现对视觉信息处理的全过程，从而逐渐形成了门新兴的学科，即计算机视觉1 7 j 。 计算机视觉是用计算机实现人的视觉功能对客观世界的场景的感知、识别、 理解。计算机视觉是在2 0 世纪5 0 年代从统计模式识别开始的，当时的工作主要 集中在二维图像分析、识别和理解上，如光学字符识别、航空照片分析与理解等 等。立体视觉的开创性工作是从6 0 年代中期开始的，美国r o b e r t 完成的三维景物 分析工作，把过去的二维图像分析推广到了三维景物，这标志着立体视觉技术的 诞生，并在随后的2 0 年中迅速发展成为门新的学科。7 0 年代末，麻省理工大学的 第1 章绪论 m a r 教授提出了不同于“积木世界”分析方法的计算机视觉理论_ m a r 视觉理论， 计算机视觉成为一门独立学科。8 0 年代中期，计算机视觉获得迅速发展，主动视 觉理论框架、基于感知特征群的物体识别理论框架等新概念、新方法、新理论不 断出现。而到了9 0 年代，计算机视觉在工业环境中得到广泛应用，同时基于多视 几何的视觉理论迅速发展【l “。 本文主要是利用计算机视觉理论进行机器人视觉信息的检测与提取。在移动 机器人导航研究中，利用视觉原理对地面导航线进行提取是机器人导航的一种最 简单的应用。如在自动化生产车间里，机器人沿着固定轨线完成搬运货物等重复 性的工作；在实验室里机器人充当常用资料的传递员等。机器人通过图像提取导 航线和路标信息，然后进行实时的控制。这种方式要求的图像处理较为简单，处理速 度快，控制的实时性好。考虑到这种导航方式的特点和系统构建的复杂性与性价比， 许多机器人采用单目视觉系统进行导航。本文将利用单目摄像机实时的获取地面 图像信息，通过图像处理和计算机视觉理论实时地对图像中的红色轨线信息进行 提取，完成机器人导航任务。在视觉理论实际应用中，我们往往希望通过图像获 得周围环境的三维信息，本文利用双目视觉原理【1 3 】来实现图像的三维信息还原， 立体视觉的基本原理是从两个( 或多个) 视点观察同一景物，以获取在不同视角下的 感知图像，通过三角测量原理计算图象素问的位置偏差( 即视差) 来获取景物的三维 信息，这一过程与人类视觉的立体感知过程是类似的。一个完整的立体视觉系统 通常可分为图像获取、摄像机定标、特征提取、立体匹配、深度确定等部分。通 过两幅图像，利用视差原理，实现双目摄像机立体视觉信息提取。 1 3 路径规划理论概述 路径规划技术【1 4 】是机器人控制技术研究中的一个重要问题，路径规划技术是 机器人研究领域中的一个重要分支。所谓机器人的最优路径规划问题，就是依据某 个或某些优化准则( 如工作代价最小、行走路线最短、行走时日j 最短等) ，在其工作 空间中找到一条从起始状态到目标状态的能避开障碍物的最优路径。机器人路径 规划的研究起始于7 0 年代，己相继提出了多种路径规划的方法，在自动化领域和 移动机器人视觉信息提取与路径规划研究 机器人领域，许多学者做了大量颇有成效的研究工作。移动机器人的分类方法有 多种，但最常见的是在层次上分为两种：一种是基于环境先验完全信息的全局路 径规划”】；另一种是基于传感器信息的局部路径规划”6 1 。后者的环境是未知或局部 未知的，即障碍物的尺寸、形状和位置等信息，必须通过传感器获取。路径规划 的第一步就是要建立适当的环境模型。任何一种规划算法都与某种特定的建模技 术相对应，对于静态己知的环境，己有不少成功的研究成果，其建模技术也相对 较为成熟。如可视图法、自由空间法，栅格法等。另一方面，部分己知或完全未 知环境下的路径规划问题一直没有得到完善的解决，其根本原因就在于难以建立 有效的环境模型，其主要方法有人工势场法、遗传算法、神经网络算法等等，对 未知环境建模的主要困难在于环境的分辨率与环境信息存储量大的矛盾。移动机 器人路径规划是移动机器人技术的主要研究内容之一，虽然已经有近四十年的研 究工作，即从不同的环境建模，针对不同的应用领域等提出了很多路径规划的方 法，但远远没有达到完全实用的程度，国内外研究者仍在继续探索，移动机器人 的路径规划问题仍是一个值得研究的问题。 1 4 论文主要工作及其内容安排 本文主要研究摄像机来获取周围环境信息，利用计算机视觉理论对获得视觉 信息处理和解释。本文利用单目视觉来提取二维地面信息，并最终实现移动机器 人对导航线的跟踪；本文也使用了双目摄像机来恢复和建立实际环境的三维模型。 在环境地图建立的前提下，本文对移动机器人路径规划理论进行了研究探讨。论 文主要框架如下： i 、第二章主要阐述了摄像机标定的理论，它是计算机视觉研究的第一步，目的是 确立图像坐标和世界坐标的对应关系。 2 、第三章主要阐述了单目视觉理论，通过腐蚀、滤波、二值化等多种图像处理方 法从噪音较大的环境中获取了导航线信息。 3 、第四章主要阐述了双目视觉理论，通过对左右摄像机获取的两幅图像进行匹配， 获取实际环境的深度信息。 第1 章绪论 4 、第五章主要阐述了路径规划理论，分析了可视图方法的优缺点并对其进行了改 进，提高了可视图方法的应用性能。 移动机器人视觉信息提取与路径规划研究 第2 章摄像机标定 2 1 概述 计算机视觉研究中，首先必须解决的任务就是摄像机标定。摄像机从获取的 图像信息出发计算出空间中物体的几何信息，并由此重建和识别物体，而空问物 体表面某点的几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几 何模型决定的，这些几何模型参数就是摄像机参数。摄像机标定就是指建立摄像 机图像象素位置与场景位置之间的关系，其方法是根据摄像机模型，由己知特征 点图像坐标和世界坐标求解摄像机的模型参数。摄像机参数包括内参数与外参数， 前者是摄像机坐标系与理想坐标系之问的关系，而后者表示摄像机在世界坐标系 中的位置和方向。内参数包含焦距、光学中心、不垂直因子等，外参数包含平移 矩阵t 和旋转矩阵r 【”l 。在机器人的视觉应用中，目标物体位姿信息的获取通常有 一定的精度要求，机器人视觉系统的性能很大程度上依赖于定标精度。不同的应用 背景对摄像机标定精度要求不同。在移动机器人定位等研究中，移动机器人必须 准确地知道其自身的位置，相对于某一参考坐标系的绝对定位精度就特别重要。 精确标定摄像机内外参数不仅可以直接提高测量精度，而且可以为后面的研究工 作打好基础。现有的摄像机标定技术大体可以归结为两类：传统的摄像机标定方 法和摄像机自标定方法。传统的摄像机标定方法是在一定的摄像机模型下，基于 形状、尺寸已知的标定参照物，经过一系列数学变换求取摄像机模型的内部参数 和外部参数；而不依赖于标定参照物的摄像机标定方法【1 7 1 ，称为摄像机自标定方 法。本文主要利用传统的方法( 张正友方法) 来完成摄像机的标定。 2 2 摄像机模型 2 2 1 透视投影模型 在一般三维计算机视觉的摄像机标定中广泛应用的一类模型是针孔模型，也 就是透视投影模型，如图2 1 所示。如果针孔可以缩小成为一个点的话( 当然在 物理上是不可能的) ，那么就只有唯一的一条光线穿过三个点：成像板的平面上 第2 章摄像机标定 的一个点、针孔以及景物中的某个点。在现实中，针孔总不是无限小的，成像平 面上的每个点收集的是具有一定角度的锥形光束的光线，因此严格说来理想化的、 极其简单的成像几何模型是不成立的。在加上实际相机一般都配备镜头，因此事 情更加复杂。透视模型在成像过程的近似程度往往是可以接受的。摄像机模型是 图2 1 针孔模型 f i g 2 1p i n e - h o l em o d e l 对景物成像到图像平面的物理过程的数学描述，依掘该模型，可以确切地掌握图 像所成的几何关系。它基本能够精确地反映摄像机成像的物理过程，其中两个最 重要的参数是有效焦距和光心位，l o ( x ，y ) 。该模型在物理上相当于薄透镜成像， 其最大优点为成像关系是线性的。针孔模型作为一种线性模型，虽然易于计算， 但是由于没有考虑实际成像过程中存在的透镜畸变因素，会使标定的精确性和可 靠性降低。 如果用p 点表示景物中坐标为( x ，y ，z ) 的一点，p 是它的图像，坐标为 ，y ，z ) 。 因为p 处在图像平面中，所以有z = 厶又因为p o p 三点共线，所以 i x ：丸x i ；：三三 争旯2 妻2 多2 号 ( 2 1 ) 五为某个常数，因此有 移动机器人视觉信息提取与路径规划研究 x ：厂墨 。z y = ，薹 根据摄像机透视投影模型，我们可以得到一下方程公式： x 甜2 口i + v ：善+ 二 ( 2 2 ) ( 2 3 ) 其中，甜，1 ，分别表示图像中点的横坐标和纵坐标，v o 为图像中心点坐标，口， 是分别以垂直和水平象素单位表示的焦距长度。 由于制造误差，摄像机坐标系可能会产生偏歪，即两个坐标轴不完全垂直。 在这种情况下，式( 2 3 ) 改为 令 则 将m 分解为： 2 口考一? 口三+ 。4 ， v = 盎+ ， h 埘= iv l ，w = 1 1 j s 埘= m w m = 4 陋j f l x 】， z 1 矩阵a 包含了摄像机的内部参数，表示为： 彳= 瞄矧 ( 2 5 ) ，j、l 第2 章摄像机标定 这里口= 厂屯，= ，t 以是分别以垂直和水平像素单位表示的焦距的长度。和 v o 为图像中心点坐标，为倾斜因子。r 是3 x 3 的旋转矩阵，f 是平移矢量。他们 组成摄像的外参数，描述了摄像机坐标系和世界坐标系的关系。世界坐标系和图 像坐标系关系可以用以下参数矩阵表示： 付 仪一a 喊e 哇+ 矗 去五+ v 矗 a a t - a c o t 9 l y 七u o t z 卫s i n 0 y 帆0 乞 z 乞 ( 2 6 ) 其中，r l r ，r f ，巧表示r 的三行，f ，t = 是向量t t 的坐标”3 】。 2 2 2 正交透影模型 当景物的深度与他们到摄像机的平均距离相比很小时，这个放大率可以看作 是一个常数，这种投影模型称为弱透视模型或按比例的正交。如果预先知道摄像 机到景物的距离大体保持常数，则可以近一步将图像归一化，这就是正交透影， 定义为 瞄 ( 2 ，) 这种情况下，所有光线与光轴平行，并与图像平面正交，尽管弱透视头投影在许 多成像条件下是可以接受的，但假设纯正正交投影是不现实的。正交透影模型是 图2 2 正交投影模型 f i g 2 2 t h em o d e lo f o r t h o g o n a lp r o j e c t i o n 移动机器人视觉信息提取与路径规划研究 透视透影模型的特例，如图2 2 所示【1 3 1 。 2 3 常见摄像机标定方法 2 3 1 摄像机标定方法分类 总的来看，现有的摄像机定标技术1 7 - 2 0 大体可以归结为两类：传统的摄像机定 标方法和摄像机自定标方法。从计算思路的角度上看，传统的摄像机定标方法可 以分成四类，即利用最优化算法的定标方法，利用摄像机变换矩阵的定标方法， 进一步考虑畸变补偿的两步法和采用更为合理的摄像机成像模型的双平面定标方 法。按照求解算法的特点将它分为直接非线性最小化方法( 迭代法) 、闭式求解方法 和两步法，也不失为一种好的划分方法【m 。在课题设计实验中，我们采用了摄像 机投影变换矩阵的定标方法。摄像机投影变换矩阵的定标方法刻画了三维空间坐 标系与二维图像坐标系关系的方程，一般说来是摄像机内部参数和外部参数的非 线性方程。如果忽略摄像机镜头的非线性畸变并且把透视变换矩阵中的元素作为 未知数，给定一组三维控制点和对应的图像点，就可以利用线性方法求解透视变 换矩阵中的各个元素。 2 3 2 传统线性透视投影方法进行摄像机标定 摄像机杯定的目的就是确定透视投影矩阵m 。矩阵m 含有1 1 个独立的参数： 其中外部参数包括围绕三个坐标轴旋转的角度和沿三个坐标轴的平移量；内部参数 包括图像的中心点坐标，像素的尺寸以及焦距。每个点w 和它的投影点m 可以产 生一个线性约束关系。当n l l 时，方程一般没有公共解，可以在最b - - - - 乘的意义 上找到解。这种方法进行标定需要分两步，首先要估计处投影矩阵，然后在根据 投影矩阵估计内外参数。由透视投影模型知： 可得： m 3 啊。 ，。l ，鸭，j x l ， z 1 ( 2 8 ) 啊 l = 1j 跚 肼 占 。l 第2 章摄像机标定 “( m n x + 啊2 y + 鸭3 z + 慨) = 码l x + 2 y + 玛3 z + 4 ( 2 9 ) v ( 鸭l x + 铂2 】，+ 鸭3 z + 行) = m 2 l x + m 2 2 y + 3 z + m 2 4 则所有n 个点的约束可以写成一个2 n 维的线性方程，通常为了提高精度，实际使 用n ( n 6 ) 组对应点，这样可以得到2 n 个方程，采用最小二乘法求解出m 。此标 定的第二个步骤就是从透视投影矩阵m 中分离出旋转矩阵r 和平移矢量t ，由于 透视投影矩阵m 可写成如下形式： m = 【a r i - a r t 】= k l b 】 ( 2 1 0 ) 式( 2 1 0 ) 中k 是3 * 3 的矩阵，b 是列向量。将k = a r 代a ( 2 1 0 ) 式，可得t = k b 。 图2 3 标定立方体 f i g 2 3c u b ef o rc a l i b r a t i o n 由于己知摄像机内特征参数矩阵为上三角阵，旋转矩阵为正交矩阵，通过矩阵的 o r 分解可将矩阵k 分解为二个子矩阵，其中一个是上三角阵，另一个为正交矩阵。 从而求得a 和r 。这种标定方法的优点是计算比较直接，精度也较高，在实际中 应用较广。但其存在的缺点是使用的模板必须是三维的立方体，如我们在实验中 发现，这样的模板结构在现场实施起来很不方便，不仅因为标定时必须使摄像机 能够同时看到这三个平面而对摄像机的视角有特殊要求，而且将导致样本数据集 中在图像的某个区域而使最小二乘法拟合的精度受到影响【”。 2 3 3 张正友平面模板摄像机标定方法 霉 移动机器人视觉信息提取与路径规划研究 传统的线性标定方法在实际应用中存在很多缺陷，由于采用三维立体标定模 板，在实际应用中不易操作；没有考虑镜头的非线性畸变、精度不高。张正友方 法1 2 1 1 2 2 l 采用平面黑白方格模板，标定模板制作简单，容易实现；此外，在标定过 程中考虑了镜头的畸变。 在张正友的方法中，定义模板平面落在世界坐标系的z = 0 平面上。用f 表 示r 的每一列向量，那么对平面上的每一点有： h， s l ”l = 川 【1 j 记五= 【x r1 r ，二= 【材v 1 】7 则： x y o l 叫，闭 眨 s m = 日肘，其中h = 4 n 吩f 】 ( 2 1 2 ) 式( 2 1 2 ) 在模板平面上的点和它的像点之间建立了个单应性映射h ，又称单应 性矩阵。如果已知模板点的空间坐标和图像坐标，那么就已知m 和m ，利用与传 统线性透视投影方法相似的最小二乘方法就可以求解单应性矩阵h 。给定模板平 面和图像，相应性可以估计出来。我们令单应矩阵为 月= 喃吃岛】 由式( 2 1 2 ) 得： 喃吃呜】= 觚h r 2 t 】 a 为一任意比例因子。由于，2 是正交的，则： 砰一。a 。1 呜= 0 ( 2 1 3 ) 矸4 4 a 。啊= 嘭彳4 a 。1 吃 ( 2 1 4 ) 式( 2 1 3 ) 和( 2 1 4 ) 提供了摄像机参数约束的两个方程。假设b = a r a - t 则： 第2 章摄像机标定 i 马 且： 马，1 b = l 岛最：垦，| - l 马- 马2b 3 3 j l 口 y 口2 r o y u o p 口2 1 ， 口2 口 ，。1 而十歹 一r ( v o r - u o p ) 旦 a 2 22 堡兰二丝旦 口2 口 一r ( v o r - u o p ) 旦 口2 22 等笋哆+ ，口2 21 2 。1 ( 2 1 5 ) 由式( 2 1 5 ) 知，b 是一个对称矩阵。令： 6 = 【骂，蜀：垦：局，马，马，r ( 2 1 6 ) 设h 矩阵的第i 列向量为吩= 【，曩：，r ，则： b h i = 吒b ( 2 1 7 ) 吩2 【鸟t 吩，囊- 勺：+ 吩：嘭- ，鸟z 勺：，吩，吩- + 吩- 吃，嘭z + 囊：q ，勺，r ( 2 1 8 ) 内参数的约束改成以b 为变量的方程为： k 珊一。 ( 2 1 9 ) 如果我们取n 幅平面模板图像，则v 是一个2 n + 6 矩阵。疗3 ，则可以列出6 个方 程，从而解出6 个参数。利用式( 2 2 0 卜式( 2 2 5 ) 可求得摄像机的各个内部参数： v o = ( 蜀：旦，一旦。岛，) “马。z k 一壤) ( 2 2 0 ) 五= 马，叫瑶+ v o ( b i ：蜀3 一旦。马，) 】马。 ( 2 2 1 ) t l - - - - 瓜 ( 2 2 2 ) = 历币瓦蕊) ( 2 2 3 ) c = 一旦2 口2 旯 ( 2 2 4 ) 移动机器人视觉信息提取与路径规划研究 = c a - b 1 3 口2 2 得到了摄像机的内参数后，进一步求出其外参数为： 吒= 2 a 。魄r 2 = 2 a 。吃 其中a = l ，1 4 。圳或1 州4 。1 吃0 。 f = 2 a 。魄 ( 2 2 5 ) 2 4 移动机器人摄像机标定实验 本实验的标定程序是在v c h 毛0 控制台环境下编译完成的，采用c + + 语言编 程实现的，并选择i n t e l 的o p e n c v ( i n t e l o p e ns o u r c ec o m p u t e rv i s i o nl i b r a r y ) 作 为整个系统的基础函数库。o p e n c v 是i n t e l 公司面向应用程序开发者开发的计算 机视觉库。其中包含大量的函数用来处理计算机视觉领域中常见的问题，例如摄像 机标定、运动分析和跟踪、人脸识别、图像处理、3 d 重建和目标识别等。目前我 们可以通过访问h t t p ：w w w s o u r c e f o r g e n e t p r o j e c t s o p e n e v l i b r a r y 免费获得 o p e n c v 库以及相关的资料。相对于其它图像函数库，o p e n c v 是一种源码开放式 的函数库，开发者可以自由地调用函数库中的相关处理函数。o p e n c v 中包含3 0 0 多个处理函数，具备强大的图像和矩阵运算能力，可以大大减少开发者的编程工 作量，有效提高开发效率和程序运行的可靠性。另外，由于o p e n c v 具有很好的 移植性，开发者可以根据需要在m s w i n d o w s 和l i n u x 两种平台进行开发。 本实验采用了张正友的标定方法。张根掘位于同一平面上的定标点可以建立 起关于摄像机内部参数的两个方程特点，提出可以根据通过不同位置和方向的几 个平面来求解内参数，然后再计算外部参数的方法。这样，我们能够获得投射投 影矩阵的实际值，是一个3 x 4 矩阵。因为导航线在水平面上，所以我们可以将z 坐标设为0 ，那么矩阵的第三列就可以去掉。我们可求出降维矩阵的逆。这样就可 以使地面上的点和图像中的点存在一一对应的关系。毛，岛，岛分别表示降维逆矩阵 3 行，一是s 的倒数。由方程( 2 2 6 ) 我们可以由图像的象素坐标得到地面实际的 坐标点，为后续的机器人运动控制提供了必要的输入。 第2 章摄像机标定 痧i ) ，l - ( 岛 i lj 、 岛岛jl ”l 1 1j ( 2 2 6 ) 本实验采用的标定模板是黑白方格片面模板，摄像机为一个云台s o n y 摄像 机，1 3 0 万象素，3 0 帧秒。利用此摄像机共采集了7 幅图片，在每张图片上选定 3 5 个点作为标定点，图片的分辨率的是6 4 0 x4 8 0 ，每幅图片相对与摄像机具有不 同的位姿。图2 4 是在实验中采用的标定图片其中5 幅和一幅标定模板原始图，图 图2 4 平面标定模板 f i g 2 4c a l i b r a t i o np a t t e r np l a t e 移动机器人视觉信息提取与路径规划研究 中红色的圆点为标定过程中选择的标定参考点。在第三章地面导航线跟踪实验中， 我们要选取的世界坐标系是地面坐标，所以最后一幅标定图片是在地面坐标中。 实验获得的内参数矩阵为： l5 6 7 5 5 8 0 0 0 0 0 l0 0 0 0 05 6 4 0 8 8 6 1 0 0 0 0 00 0 0 0 0 o 0 1 5 8 - o 3 4 4 5 3 0 2 5 2 9 0 0 0 0 0 0 9 9 9 9 0 0 0 8 o 0 1 3 9 0 0 0 0 0 - 0 0 0 2 8 0 9 3 8 8 0 3 4 4 5 o o o o o - 3 9 4 1 8 3 0 2 5 2 9 7 7 2 6 2 1 1 0 0 0 0 在第三章实验中，我们利用此标定结果进行视觉定位，实验表明利用本章获 得内外参数矩阵，我们可以比较精确物体位置，把通过内外参数计算获得位置和 实际测量的位置作差值平方计算，计算获得的误差较小，证明此标定结果是比较 可靠的，能够满足机器人自定位精度要求。 2 5 本章小结 摄像机标定是计算机视觉研究的基础，其目标是获取图像坐标系和三维空间 点的对应关系，即内参数和外参数矩阵。本章首先介绍了摄像机的数学模型 针孔模型，论述了摄像机标定中的两种常用方法：线性透视投影摄像机标定方法 和张正友平面模板摄像机标定方法。线性透视投影摄像机标定方法计算比较直接、 精度也较高，但其存在的缺点是使用的模板必须是三维的立方体，操作困难。张 正友平面模板摄像机标定方法使用黑白方格模板，在工程中实现很方便，并且能 纠正摄像机镜头畸变，但数学计算较为复杂。本章最后应用了张正友平面模板摄 像机标定方法对机器人上的s o n y 摄像机进行标定，获得了摄像机的内外矩阵参 数，第三章将利用实验获得的内外参数矩阵来实现地面导航线的跟踪。 1j 5 6 眦咖 仉m m 6 4 l 3 2 第3 章单目摄像机视觉信息检测与提取 第3 章单目摄像机视觉信息检测与提取 3 1 单目视觉信息检测作用与意义 在移动机器人定位、导航、跟踪等研究中，单目摄像机视觉信息的检测与提 取具有重要的意义和作用。在自主车视觉导航研究中，结构化道路自动识别的研 究越来越受到重视，这是因为基于结构化道路的视觉导航系统目前无论在军事还 是在民用方面都具有现实意义。如在高速公路上汽车司机的辅助驾驶系统中，我 们需要从摄像机获取的图像中提取出路面的标志线，在无干扰的理想图像中提取 道路边沿标志线是比较容易的。但在大多数情况下道路往往受光照、遮挡、周围环 境等情况的影响，使标志线提取过程中往往会带有大量的噪音信号【2 3 l 。在视觉跟踪 研究中，我们需要实时地将运动目标物体从图像中提取出来，同样，在e l 标和背 景分离过程中由于周围环境等因素仍然存在大量地噪声信号。因此，采取何种颜 色模型，采取何种图像预处理手段，对于单目视觉信息检测与提取的效果具有很 大的影响。本章中，利用移动机器人跟踪红色轨线，我们采用了接近人眼的h s i 颜色模型，利用二值化、滤波、腐蚀、膨胀、h o u g h 变换等各种图像手段，最终 从视觉图像中获取了较好的导航线信息阱之6 1 。 3 2 图像颜色模型及转换 3 2 1r g b 颜色模型 r g b 色彩模式是工业界的一种颜色标准，是通过对红( r ) 、绿( g ) 、蓝( b ) 三个 颜色通道的变化以及它们相互之问的叠加。r g b 即是代表红、绿、蓝三个通道的 颜色，称为三基色，其他颜色有这三种颜色合成，这个标准几乎包括了人类视力所 能感知的所有颜色，是目自口运用最广的颜色系统之一。三基色假设有三种视觉( 锥 体) 感受器，分别对红绿蓝三种颜色敏感，当光线同时作用在这三种感受器上时， 三个感受器产生的兴奋程度不同，不同兴奋程度的组合将产生不同的颜色感觉， 三种感受器处于等强度兴奋时，便产生白色的感觉。现代技术的发展充分证实了 三色假说的合理性，实践证明，光谱上的大多数颜色都可以用红、蓝、绿表示。 移动机器人视觉信息提取与路径规划研究 而与我们电脑相关的地方，就是目前的显示器大都是采用了r g b 颜色标准，这就 是为什么它对我们来说这么重要了。在显示器上，是通过电子枪打在屏幕的红、 绿、蓝三色发光极上来产生色彩的，目前的电脑一般都能显示3 2 位颜色，约有一 百万种以上的颜色。如果说它所显示的颜色还不能完全吻合自然界中的某种色彩 的话，那已经几乎是我们肉眼所不能分辩出来的了。这个模型基于笛卡尔坐标系 统，如图3 1 所示，原点对应黑色，离原点最远的顶点对应白色。在这个模型中， 从黑到白的灰度值分布在从原点最远顶点问的连线上，而立方体内其余各点对应 不同的颜色，可用从原点到该点矢量表示，我们规定r 、g 、b 取值的区问为o ，2 5 5 1 。 图3 1r g b 颜色模型 f i g 3 i r g bc o l o rm o d e l 白