（计算机软件与理论专业论文）双目立体摄像机标定技术在凹地障碍识别中的应用研究.pdf

摘要 随着计算机视觉技术的发展，立体视觉尤其是双目视觉被广泛应用于物体识别、 虚拟现实、工业检测、机器人导航和航空航天等领域。摄像机标定是立体视觉中的关 键技术之一，能否有效地解决该问题严重影响着立体视觉的发展。 将双目视觉技术应用于智能车辆系统，利用两个摄像机来模拟人的双眼，经过相 关图像处理算法来对凹地障碍的识别。双目立体视觉系统的摄像机标定和通过外极线 校正得到的深度恢复等技术的研究是论文的重点，利用透镜成像的物理原理建立了摄 像机的数学模型，在该模型中考虑了镜头的径向畸变和切向畸变，然后利用传统的摄 像机标定方法对摄像机进行标定，其中求取了两个摄像机的内部参数、外部参数和它 们之间的相对位置，最后通过对它们获取的立体图像进行了外极线校正，为深度恢复 提供了数据支持。 棋盘格角点的识别与定位是摄像机定标过程中的关键环节，而自动识别与定位则 是实现定标过程自动化的前提条件。利用棋盘格模板图像，实现了对棋盘格角点的自 动提取，在角点提取过程中无需手工干预，提高了角点提取的精度和方便了整个标定 操作过程。 关键字：摄像机标定外极线校正角点提取 a b s t r a c t a l o n gw i t ht h ec o m p u t e rv i s i o nt e c h n o l o g y sd e v e l o p m e n t ，t h es t e r e o s c o p i cv i s i o n b i n o c u l a rv i s i o nw i d e l yi sa p p l i e dp a r t i c u l a r l yi nd o m a i n sa n ds oo n o b j e c tr e c o g n i t i o n ，v i r t u a l r e a l i t y , i n d u s t r ye x a m i n a t i o n ，r o b o tg u i d a n c ea n da e r o s p a c e t h ec a m e r ad e m a r c a t i o ni so n ei n s t e r e o s c o p i cv i s i o nk e yt e c h n o l o g i e s ，w h e t h e rt os o l v et h i sq u e s t i o ns e r i o u si n f l u e n c e s t e r e o s c o p i cv i s i o nd e v e l o p m e n te f f e c t i v e l y t h i sp a p e ri n t r o d u c e st h ea p p l i c a t i o no fb i n o c u l a rr a n g i n gi nt h em e t h o do fa u t o m a t i c d r i v i n gp o s s i b l yb ye q u i p p i n gc e r t a i nv e h i c l e sw i t hap a i ro fc a m e r a st os i m u l a t eh u m a ne y e s d u r i n gt h ei m p l e m e n t i n gp r o c e s s ，ib u i l tac e r t a i nc a m e r am o d e lc o r r e s p o n d i n gt oi t sp h y s i c a l p r i n c i p l e ，i nw h i c hia l s oc o n s i d e r e dr a d i a ld i s t o r t i o na n dt a n g e n t i a ld i s t o r t i o n t h i sp a p e r f o c u s e so nt h ec o m p o n e n t so fb i n o c u l a rs t e r e ov i s i o n ：c a m e r ac a l i b r a t i o na n dt h ee p i p o l a r c o r r e c t i o nw i t hd e e pr e s u m p t i o n a n dt h e ni a d o p tt h et r a d i t i o n a lc a l i b r a t i o nm e t h o dt o c a l i b r a t et h ec a m e r a sa n dc a l c u l a t e dt h ec o r r e s p o n d i n gi n t r i n s i ca n de x t r i n s i cp a r a m e t e r s ，a n d a l s ot h et r a n s f o r m a t i o nm a t r i xa n dr o t a t i o nm a t r i xw h i c hc a nb eu s e dt om a p p i n go n ec a m e r a c o o r d i n a t et ot h eo t h e r f i n a l l y , ic o r r e c t e dt h ee p i p o l a ro ft h es t e r e oi m a g e p a i r su s i n gt h e p a r a m e t e r sc a l c u l a t e d ，w h i c hc a nb eu s e dt og e tt h ed e p t hm a p r e c o g n i z i n ga n dl o c a t i n gt h ei n t e r n a lc o m e r so fap l a n a rc h e c k e r b o a r dp a t t e r ni m a g ei s v e r yi m p o r t a n ti nc a m e r ac a l i b r a t i o n w h i l ed o i n gt h ec a l i b r a t i o n ，iu s e da ni m a g eo fac e r t a i n c h e s s b o a r da sc a l i b r a t i o np a t t e r n a n da l s oir e a l i z e dam e t h o dt oa u t o m a t i c a l l ye x t r a c tt h e c o m e r s ，w h i c hi m p r o v e dt h ep r e c i s i o no fc a l i b r a t i o na n dm a d ei tv e r yc o n v e n i e n tf o rt h e w h o l ep r o c e s s k e y w o r d s ：c a m e r ac a l i b r a t i o ne p i p o l a rc o r r e c t i o nc o r n e re x t r a c t i o n 长春理工大学硕士( 或博士) 学位论文原创性声明 本人郑重声明：所呈交的硕士( 或博士) 学位论文，双目立体摄像机标定技术 在凹地障碍识别中的应用研究是本人在指导教师的指导下，独立进行研究工作所取 得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发 表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明 确方式标明。本人完全意识到本声明的法律结果由本人承担。 作者签名： 年一月一同 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版权使用规 定”，同意长春理工大学保留并向中国科学信息研究所、中国优秀博硕士学位论文全 文数据库和c n k i 系列数据库及其它国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权长春理工大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学 位论文。 作者签名： 指导导师签名： 年月日 年月日 3 7 第一章绪论 1 1 课题研究意义 双目立体视觉是计算机视觉的一个重要分支。即由不同位置的两台或者一台摄像 机( c c d ) 经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得 该点的三维坐标值。 立体视觉是计算机被动测距领域中最重要的距离感知技术对立体视觉的研究开始 于上个世纪6 0 年代中期。美国m l t 的r o b e r t 完成的三维景物分析工作，把过去的二 维图象分析推广到了三维景物，这标志着立体视觉技术的诞生，并在随后的2 0 年中迅 速发展成一门新的学科。特别是7 0 年代末，m a r r 创立的视觉计算理论对立体视觉的发 展产生了巨大影响，现己形成了从图像获取到最终的景物可视表面重建的完整体系， 在整个计算机视觉中已占有越来越重要的地位。经过多年的研究，立体视觉在机器人 视觉、航空测绘、军事应用、医学诊断及工业检测中的应用越来越广双目立体视觉 是立体视觉的一个重要的分支。它直接模拟人类视觉处理景物的方式，可以在多种条 件下灵活地测量景物的立体信息【。所以对双目立体视觉的研究，无论是从视觉生理的 角度还是在工程应用中都具有十分重要的意义。 在此背景下，结合计算机双目立体视觉、图像处理和模式识别等人工智能理论和 技术，通过深入系统地研究车辆智能凹地识别技术，提出了一种基于双目立体视觉的 识别方法，为未来的智能交通做出了有益的尝试。 1 2 传感器及其特点 目前智能车辆系统中能用到的传感器主要有激光、微波雷达、超声波、红测距、 单目视觉系统等几种【2 1 。 1 2 1 激光雷达 目前在智能车辆上应用较广的激光测距系统可分为非成像式激光雷达和成像式激 光雷达，激光雷达测距有测量时间短、量程大、精度高等优点，但由于激光雷达测距 仪器工作环境处于高速运动的车体中，振动大，对其稳定性、可靠性提出了较高的要 求，其体积也受到了一定的限制，同时还要考虑省电、低价、对人眼安全等因素，另 外激光雷达在雨天或雾天之类恶劣气候条件、逆光状态或类似隧道出口处的光照条件 下性能降低。由于激光方式的视界受限，抗干扰能力一般，故此并不适合本课题研究 使用。 1 2 2 微波雷达 微波雷达是利用目标对电磁波反射来发现目标并测定其位置的。在汽车上应用微 波雷达测距有以下特点：探测性能稳定，环境适应性能好，但应用微波雷达测距，非 常容易受到电磁波的干扰，雷达彼此之间的电磁波和其它通信设施( 如手机) 的电磁波对 其测距性能都有影响。 1 2 3 超声波 超声波测距根据超声波反射时间来计算车与前方障碍物之间的距离。超声波测距 原理简单、成本低、制作方便，但应用有相当局限性，这是因为超声波的传输速度受 天气影响较大，不同的天气条件下传播的速度不一样；另方面是对于远距离的障碍 物，由于反射波过于微弱，使得灵敏度下降。故超声波测距一般应用在短距离测距， 最佳距离为4 5 米，所以一般只能应用在倒车防撞系统上。 1 2 4 红外线 车载仪器通过发射并接受前方物体反射回的红外线，依据信号的强弱及波长的不 同，同时分析时间差，可分析出前方物体与汽车的距离。红外线测距的优点是人类肉 眼感知不到，具有较强的隐蔽性，夜问同样不妨碍测距仪的工作，但是精度低，距离 近，方向性差，故一般只应用在一些特殊的场合及军用车辆上。 1 2 5 单目视觉系统 只使用一个c c d 摄像机的系统称为单目视觉系统，c c d 摄像机是一种用来模拟 人眼的光电探测器。它具有尺寸小、质量轻、功耗小、噪声低、动态范围大、光计量 准确、其线扫描输出的光电信号有利于后续信号处理等优良特性，在汽车行业也得到 了广泛的应用。但是利用单目视觉系统只能可获得被测视野的二维图像，却无法确定 与被测物体之间的距离。目前在汽车上主要用单目视觉系统检测车道和车道上前行车 辆，以控制雷达的方向，由雷达负责探测障碍物距离和相对速度。 1 2 6 多传感器融合技术 从上述可以看出，不同的传感器有着各自的优点，适用于不同的场合。但是光凭 单一的传感器信息源往往只能提供有关外部世界的部分信息，难以做出合理的判断， 而对于来自不同的传感器信息源的数据进行融合则往往能有效地利用不同传感器的优 点，同时弥补各自的不足。 因此，多传感器及先进的感知算法，将是在实现环境中实现具有高灵活性及高鲁 棒性行为的机器人的关键。采用多个传感器的优点是明显的：多个传感器可提供同 一环境特征的冗余信息；多个传感器可提供出现在环境中有关特征的互补信息； 2 多个信息可以并行快速地分析当前地场景；多个传感器虽然成本较高，但具有高鲁 棒性，可改善完成特定工作的指标；在某传感器发生故障的情形下，很快可以重组， 重新投入工作1 3 1 。 1 3 国内外研究现状 双目立体视觉系统目前主要应用于四个领域：机器人导航、三维测量、虚拟现实 和微操作系统的参数检测。目前国内外围绕着立体视觉这一课题进行了广泛的研究， 并且已经开发出了很多成型的立体视觉系统。 目前，国际上以计算机视觉为主题的国际会议有：国际计算机视觉会议( i c c v ) ， 国际模式识别会议( i c p r ) ，国际计算机视觉与模式识别会议( c v p g ) ，欧洲计算机视觉会 议( e c c v ) 与亚洲计算机视觉会议( a c c v ) 。以计算机视觉为主要内容之一的国际刊物也 很多，有i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ，i e e et r a n s o np a m i ，c v g i p ( c o m p u t e r v i s i o ng r a p h i c sa n di m a g ep r o c e s s i n g ) ，v i s u a li m a g ec o m p u t i n g ，u p r a l ( i n t e r n a t i o n a l j o u r n a lo fp a t t e r nr e c o g n i t i o na n da r t i f i c i a li n t e l l i g e n c e ) ，p a t t e r nr e c o g n i t i o n 等。在m a n 理论的框架下，取得了一大批科研成果，包括数据结构、算法层次上的各种算法和在 硬件实施方面的一些实验系统。但这些理论、方法、算法在实际应用中并没有产生能 完全取代人的视觉的系统。双目立体视觉目前主要应用于四个领域：机器人导航、微 操作系统的参数检测、三维测量和虚拟现实i z j 。r 本大阪大学自适应机械系统研究院 研制了一种自适应双目视觉伺服系统，利用双目立体视觉的原理，以每幅图像中相对静 止的三个标志为参考，实时计算目标图像的雅可比矩阵，从而预测目标下一步运动方 向，实现了对运动方式未知的目标的自适应跟踪1 4 五l 。该系统仅要求两幅图像中都有静 止的参考标志，无需摄像机参数，而传统的视觉跟踪伺服系统需事先知道摄像机的运 动、光学参数和目标的运动方式。同本奈良科技大学信息科学学院提出了一种基于双 目立体视觉的增强现实系统( a r ) 注册方法，通过动念修正特征点的位置提高注册精度。 该系统将单摄像机注腮( m 鼬与立体视觉注册相结合，利用m r 和三个标志点算出特征 点在每个图像上的二维坐标和误差，利用s r 和图像对计算出特征点的三维位置总误 差，反复修正特征点在图像对上的三维坐标，直至三维总误差小于某个阈值。该方法 比仅使用m r 或s r 方法大大提高了a r 系统注册深度和精度。日本东京大学将实时双 目立体视觉和机器人整体姿念信息集成，开发了仿真机器人动态行走导航系统。该系 统实现分两个步骤：首先，利用平面分割算法分离所拍摄图像对中的地面与障碍物， 再结合机器人身体姿态的信息，将图像从摄像机的二维平面坐标系转换到描述躯体姿 态的世界坐标系，建立机器人周围区域的地图；其次，根据实时建立的地图进行障碍 物检测，从而确定机器人的行走方向。日本冈山大学使用立体显微镜、两个c c d 摄像 头、微操作器等研制了使用立体显微镜控制微操作器的视觉反馈系统，用于对细胞进 行操作，对种子进行基因注射和微装配等1 5 j 。 麻省理工学院计算机系提出了一种新的用于智能交通工具的传感器融合方式，由 雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的目标深度信息，结 合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割，而传 统的目标分割算法难以在高速实时环境中得到令人满意的结果。华盛顿大学与微软公 司合作为火星卫星“探测者 号研制了宽基线立体视觉系统，使“探测者”号能够在 火星上对几千米内的地形进行精确的定位与导航。系统使用同一个摄像机在“探测者” 的不同位置上拍摄图像对，拍摄间距越大，基线越宽，能观测到越远的地貌。系统采 用非线性优化得到两次拍摄图像时摄像机的相对准确的位置，利用鲁棒性强的最大似 然概率法结合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差 计算图像对中各点的三维坐标。相比传统的立体视觉系统，能够更精确地绘制“探测 者 号周围的地貌和以更高的精度观测到更远的地形吲。 浙江大学机械系完全利用透视成像原理，采用双目立体视觉实现了对多自由度机 械装置的动态精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标， 信息量少，处理速度快，尤其适于动态情况。与手眼系统相比，被测物的运动对摄像 机没有影响，且不需知道被测物的运动先验知识和限制条件，有利于提高检测精度。 东南大学基于双目立体视觉，提出了一种灰度相关多峰值视差绝对值极小化立体 匹配新方法，可对三维不规则物体( 偏转线圈) 的三维空间坐标进行非接触精密测引。 哈尔滨工业大学采用异构双目活动视觉系统实现了伞自主足球机器人导航。火星 8 6 3 计划课题“人体三维尺寸的非接触测量”，采用双视点投影光栅三维测量原理，由 双摄像机获取图像对，通过计算机进行图像数据处理，不仅可以获取服装设计所需的 特征尺寸，还可根据需要获取人体图像上任意一点的三维坐标。 1 4 目标及关键技术 本项目是多传感器凹地障碍识别技术的子课题之一。 视觉是人类获取信息强有力而又最有效的手段，它不仅是指对光信号的感受，而 是包括对视觉信息的获取、传输、处理、存储与理解的全过程。计算机视觉就是用计 算机模拟人眼的视觉功能，从图像或图像序列中提取信息，对客观世界的三维景物和 物体进行形态和运动识别l lj 。计算机视觉是计算机科学研究领域的重要分支，其研究的 核心问题是从景物图像或序列图像求出景物的精确的三维几何描述，并定量的确定景 物中物体的空问性质，其过程是成像过程的逆过程。计算机视觉的研究目的：提供人类 视觉的计算模型；设计与发展某种真实的适度的视觉系统，并提供具有良好性能价格比 4 的专用系统。 1 4 1 研究目标 本课题的研究目标是通过对双目视觉系统的理论和相关算法的系统分析研究，完 成一套科学严谨的智能车辆障碍识别解决方案。使智能车辆系统可以达到无人驾驶的 水平。使其可以完成简单的任务指令。 1 4 2 关键技术 本课题关键技术在于： 1 、对摄像机标定方法的研究，主要研究的内容包括：摄像机模型研究，坐标系变 换；标定图像点位置算法；标定参数求解算法；外极线校正算法。 2 、对外极线校正技术的研究，主要研究的内容包括：外极线约束理论，外极线校 正算法。 3 、深度图恢复原理的研究。 2 1 棋盘格的原理 第二章角点检测技术 棋盘格模板图像是摄像机定标常用的模板图像，而且利用其内部角点与3 维空间点 的对应关系即可实现对摄像机的定标。图2 1 为一棋盘格模板图像。每个棋盘格模板内 部角点都是4 个黑白方格的交点。黑白方格构成纵横相交的两组栅格线。这两组栅格 线是两组平行线，由透视投影几何知，由于它们在图像上分别汇聚于两个不同的消失 点，因此，每个棋盘格模板图像的内部角点又都是栅格线的交点l 8 1 。 因为它的每一个方格都是正方形，而且整个棋盘的外形成正方形，所以比较容易提 取出它的边缘。又因为每个正方形都是黑白相间，在形成图像的直方图时形成两极分 化，很方便图像处理程序进行二值化处理。二值化处理后又因为图像的黑白正方形形 成鲜明对比，给轮廓提取提供了极大的方便。与此同时，在制作标定板的过程中，它 还有制作简单，方便使用等突出优点，因此在摄像机标定的过程中得到极广泛的使用。 2 2 角点的提取技术 图2 1 棋盘格示意图 2 2 1 图像二值化技术 在进行棋盘格角点自动提取的过程中，首先需要将获得的标定板的图像( 一般是 2 4 位r g b 真彩色图) 转换为厌度图( 8 位) ，然后再将此厌度图二值化( 也可以将它 转换为二值图像) 。使用二值化图像有如下好处： 计算二值图像特性的算法非常简单，容易理解和实现，并且计算速度很快。二值 视觉所需的内存小，对计算设备要求低。工作在2 5 6 个灰度级的视觉系统所需内存是 工作在相同大小二值图像视觉系统所需内存的八倍。如若利用游程长度编码等技术还 可使所需内存进一步减少。由于二值图像中的许多运算是逻辑运算而不是算术运算， 所以所需的处理时间很短。许多二值视觉系统技术也可以用于灰度图像视觉系统上。 在灰度或彩色图像中，表示一个目标或物体的一种简易方法就是使用物体模板( m a s k ) ， 物体模板就是一幅二值图像，其中1 表示目标上的点，0 表示其它点。在物体从背景中 分离出来后，为了进行决策，还需要求取物体的几何和拓扑特性，这些特性可以从它 的二值图像计算出烈9 。 一般来说，当物体轮廓足以用来识别物体且周围环境可以适当地控制时，二值视 觉系统是非常有用的当使用特殊的照明技术和背景并且场景中只有少数物体时，物 体可以很容易地从背景中分离出来，并可得到较好的轮廓，棋盘格图像就是这种情况。 对图像进行二值化的算法很多，但根据是否需要人工参与可分为人工设定阈值和 自动阈值两种。人工设定阈值时需要参照图像的灰度直方图来选择一个合适的阈值， 其中典型是双峰法。双峰法的原理及其简单：它认为图像由前景和背景组成，在灰度 直方图上，前后二景都形成高峰，在双峰之间的最低谷处就是图像的阈值所在。而自 动阈值则是根据最优化的方法程序自动选择一个阈值。自动阈值方法也有很多，包括 迭代法、大津法( o t s u ) 和改进的大津法等；其中用得比较多是的改进的大津法。 大津法由大津于1 9 7 9 年提出，对图像i m a g e 记f 为前景与背景的分割阈值，前景点 数占图像比例为，平均灰度为u 。；背景点数占图像比例为嵋，平均灰度为u ，。图像 的总平均灰度为：u = w o “。+ w 。“。从最小灰度值到最大灰度值遍历t ，当t 使得值 g = w o o 一“) 2 + w 1 l 一比) 2 最大时t 即为分割的最佳阈值【l o 】。 大津法可作如下理解：该式实际上就是类间方差值，阈值t 分割出的前景和背景两 部分构成了整幅图像，而前景取值“。，概率为，背景取值u ，概率为m ，总均值为 u ，根据方差的定义即得该式。因方差是灰度分布均匀性的一种度量，方差值越大，说 明构成图像的两部分差别越大，当部分目标错分为背景或部分背景错分为目标都会导致 两部分差别变小，因此使类问方差最大的分割意味着错分概率最小。 直接应用大津法计算量较大，因此我们在实现时采用了等价的公式： g = w o w tx ( “o u 1 ) 2 ( 2 1 ) 7 大津法算法流程如下图所示： 图2 2 大津法流程图 大津法得到了广泛的应用，但有人发现，大津法致命的缺陷是当目标物与背景灰 度差不明显时，会出现无法忍受的大块黑色区域，甚至会丢失整幅图像的信息。为了 解决这个问题，有人提出了灰度拉伸的增强大津法。这种方法的原理其实就是在大津 法的基础上通过增加灰度的级数来增强前后景的灰度差，从而解决问题。灰度增加的 方法是用原有的灰度级乘上同一个系数，从而扩大灰度的级数。当乘上的系数为1 时， 就是大津法的原型，因此，大津法可以看作是这种方法的一个特例【1 1 1 。 2 2 2 图像轮廓提取方法 图像边缘增强算法可以分为空间域和频率域中的处理。“空间域”是指图像平面本 身，这类方法是以图像的像素直接处理为基础的。“频域”处理技术是以修改图像的傅 氏变换为基础的，频域处理计算量大，速度较慢。考虑到算法实时性的要求，暂不考 虑频率域内的边缘增强算法。空间域边缘增强的算法很多，常用的有梯度法、s o b e l 算 子、p r e w i t t 算子、r o b e r t s 算子、高斯拉普拉斯算子、c a n n y 算子等1 1 2 1 3 1 4 1 。 ( 1 ) 梯度法 梯度法是图像边缘增强中常用的方法，设图像函数为f ( x ，y ) ，它的梯度可以定义 为如下式所示： g 啪叫鞴 仁2 ， 在点( x ，y ) 处的梯度，其方向是函数f ( x ，y ) 在点( x ，y ) 的最大变化率的方向，对于数 字图像而言，常用差分来近似微分，为了减少计算量，采用绝对差算法，典型的差分 算法如下式所示： c f ，y ) 】= if ( x ，y ) 一厂0 + 1 ，y ) i + i 厂 ，y ) 一厂 ，y + 1 ) i( 2 3 ) 从梯度公式可以看出，梯度值与相邻像素的灰度值成j 下比，在图像轮廓上，像素的 灰度值会发生突变，相对应的梯度值就很大。一旦梯度算法确认之后，就可以采取方 法使图像的轮廓突出【1 4 j 。 ( 2 ) s o b e l 梯度算子 s o b e l 边缘算子是一种一阶差分算子。它可以有效地消除道路图像中的大部分无用 信息。离散s o b e l 算法的定义如下： v ，厂( x ，y ) = 【，( x 一1 ，y + 1 ) + 2 ，( x ，y + 1 ) + 厂( x + 1 ，y + 1 ) 】一 【厂( x 一1 ，y 一1 ) + 2 厂x ，y 一1 ) + 厂( z + 1 ，y 一1 ) 】 v ，( x ，y ) = 【，( x 一1 ，y 一1 ) + 2 厂( x 一1 ，y ) + f ( x 一1 ，y + 1 ) 】一 【，( x + 1 ，y 一1 ) + 2 f ( x + 1 ，y ) + f ( x + 1 ，y + 1 ) 】 ( 2 4 ) 图像中点( x ，y ) 的梯度值大小可以通过下式得到： a ( x ，y ) 2 v ，2 + v ，2 其中在点( z ，y ) 梯度方向可按照下述表达式计算： t an 口=v ，厂x ，y ) v ，厂( x ，y ) ( 2 6 ) 为了编程容易实现，将s o b e l 算子转换成两个卷积核，分别为水平核与垂直核，图 像中的每个点都用这两个核做卷积，两处卷积的最大值作为该点的输出值，运算结果 即为经过边缘增强的图像。 ( a ) 垂直核( b ) 水平核 图2 3s o b e l 算子卷积核示意图 9 s o b e l 算子可以抑制图像中的噪声，并且可以得到图像中边缘轮廓的梯度方向信息， 在几种算子中，s o b e l 算子的计算量比较小，容易实现，对于实时性要求比较高的系统， 该算法有很大的优势。s o b e l 算子的缺点是得到边缘宽度比较大。 ( 3 ) p r e w i t t 算子 p r e w i t t 算子由下式给出： sp 2 d ，2 + d ，2 p r e w i t t 算子是3 3 模板。下图所示的两个卷积核d 。、d 。形成了p r e w i t t 算子。与 s o b e l 算子方法一样，图像中的每个点都用这两个核进行卷积，取最大值作为输出值。 p r e w i t t 算子也产生一幅边缘图像。 101 101 101 1 11 0 00 111 ( a ) 水平核( b ) 垂直核 图2 4p r e w i t t 算子卷积核示意图 ( 4 ) l a p l a c i a n 算子 l a p l a c i a n 算子是二阶微分算子，它由下式给出： 她d 邓地心h 佃湃舷刖 亿8 ) 其中，d 4 为像素点( i ，- ) 的四邻点。拉氏算子是线性算子，具有各项同性和位移不变性。 010 151 010 111 191 111 图2 5l a p l a c i a n 算子卷积核示意图 ( 5 ) c a n n y 算子 c a n n y 算子是一阶算子，该方法的实质是用一个准高斯函数做平滑运算。 正0 ，y ) = f ( x ，y ) g ，y )( 2 9 ) 然后以带方向的一阶微分算子定位导数最大值。平滑后l ( x ，y ) 的梯度可以用2 2 一阶有限差分近似表达式表示： p i ，】一( 。疋【f ，+ 1 】一六【f ，】+ l i + 1 ，+ 1 】一l i + 1 ，】) 2 1 n q f ，_ 】( 正【f ，j 卜正【f + 1 ，_ 】+ 正【f ，j + 1 卜六f + 1 , j + 1 】) 2 ( 2 1 0 ) 在这个2 2 正方形内求求有限差分的均值，便于在图像中的同一点计算x 和y 的 偏导数。幅度和方向角可用直角坐标系到极坐标系转化来计算： m i ，_ 】= 4 p i ，j 】2 + q p ，开 毗，】；a r c t a n ( q i ，j p i ，巾 f 2 1 1 ) m i ，_ 】反映了图像的边缘强度；0 i ，歹】反映了边缘的方向。使得m i ，】取得局部最 大值的方向角0 i ，_ 】，就反映了边缘的方向。 ( 6 ) l o g 算子 l o g 边缘检测是一种常用的先平滑后再求导数方法。l o g 先利用高斯函数对图像 进行平滑，然后再求导来检测道路图像边缘，其中高斯函数表达式如下式所示。 g 川) = 寺e x p ( 一等) ( 2 蚴 高斯函数是一个圆对称函数，表达式中6 是尺度函数，可以控制函数的平滑函数，随 着6 的增大，平滑的范围也相应增大，如果6 太大，虽平滑了噪声，但同时也平滑了 信号的突变部分( 即边缘点处的信号) 。将高斯函数与图像函数f ( x ，y ) 进行卷积运算，。 可达到平滑目的，具体表达式如下式所示。 g ( x ，y ) = g ( x ，y ，6 ) 木f ( x ，y ) ( 2 1 3 ) 图像中边缘点是图像中灰度值变化比较大的地方，图像函数的一阶导数在边缘点处产 生极值，等价于二阶导数在边缘点处产生一个零交叉点，由于梯度方向的二阶导数是 非线性的。为了避免计算复杂，m a r t 提出用最低阶各向同性的二阶微分算子零交叉点 作为边缘点，最低阶各向同性的微分算子正好就是拉普拉斯算子，即用下式的零交叉 点作为图像边缘点。下式就是l o g ( l a p l a c i a n o fg a u s s i a n ) 滤波器【1 5 l 。 v 2 9 ( x ，y ) = v 2 ( g ( x ，y ) 水厂( x ，y ) ) = v 2 ( g ( 石，y ，6 ) 术( x ，y ) ) v 2 g ( 础= 害+ 等= 嘉等叫e 砸一等，。2 m ， 该算法的优点是能够有效消除尺度小于尺度参数6 的图像变化，选择高斯函数来 平滑图像因为它在空域内是平滑的、定域的，因而引入原始图像中新变化的可能性比 较小，但是如果选择尺度参数6 是比较困难的。 2 2 3 角点提取算法流程图 2 3 实验结果 图2 6 角点提取算法流程图 为验证本文算法的效果，用多种摄像机所拍摄的棋盘格模板图像对本文算法进行 了实验。程序用m a t l a b6 5 编写，在w i n d o w s 平台下测试通过。程序处理结果是 一组内部角点数据，这些数据可以直接被相应函数用来计算摄像机的内外参数。 1 2 第三章摄像机标定技术 摄像机标定技术早就应用于摄影测量学。摄影测量学中所使用的方法是数学解析 分析的方法。在标定过程中通常要利用数学方法对从数字图像中获得的数据进行处理。 通过数学处理手段，摄像机标定提供了专业测量摄像机与非量测摄像机的联系。而所 谓的非量测摄像机是指这样一类摄像机：其内部参数完全未知、部分未知或者原则上不 稳定。摄像机的内部参数指的是摄像机成像的基本参数：如主点( 图像中心) 、焦距、径 向镜头畸变、偏轴镜头畸变以及其它系统误差参数。 对于计算机视觉研究而言，在利用计算机技术实现对三维景物的描述、识别和理解 这一任务时，c c d 摄像机是对物理世界进行三维重建的一种基本测量工具，这时摄像 机标定被认为是实现三维坐标空间立体视觉的基本又关键的一步。总体来说，其计算 方法与摄影测量学中所使用基本相同。这些问题在计算机视觉中得到了进一步研究， 这是因为计算机视觉中的问题与摄影测量学中的问题相比，有着显著不同的特点【1 6 】。 ( 1 ) 计算机视觉系统中使用c c d 摄像机作为价格低廉的非量测摄像机。摄像机参数 未知或者不稳定，从而导致成像过程不稳定，并且c c d 摄像机数字化图像分辨率低， 存在量化误差，存在较大的非线性镜头畸变。 ( 2 ) 计算机视觉中所测量的一般为近景。为了使系统小巧，两摄像机之间的基线长 度不可能e , q 伯n 长，从而使得系统计算误差较大。 ( 3 ) 在计算机视觉中，进行二维重建需要大数量的图像点，有时要求实时地处理数 据并给出结果此外，不同的应用背景也对标定技术提出了不同的要求。在立体计算机 视觉中，如果系统的任务是物体识别，则物体相对于某一个参考坐标系的绝对定位显 得并不特别重要，更重要的是物体特征点间相对位置的精度。举例来说，在一个基于 c a d 的物体识别系统中，所研究的物体上的特征的相对位置必须具有足够高的精度， 才能进行有效的匹配和识别。如果系统的任务是物体的定位，相对于某一个参考坐标 系的绝对定位精度就特别重要。例如，在一个自主车辆导航系统中，自主式移动机器 人必须准确地知道其自身的位置、工作空间中障碍物的位置、以及障碍物的运动情况， 才能有效地、安全地进行导航。c c d 摄像机的上述特点和应用问题的要求使得标定技 术、精度和实时性等问题的研究显得特别重要，同时也导致了研究成果的多样性【1 7 j 。 三维计算机视觉系统能从摄像机获取的图像信息出发，计算三维环境物体的位置、 形状等几何信息，并由此识别环境中的物体。图像上某一点的亮度反映了空i 、日j 物体表 面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有 关。这些位置的相互关系，由摄像机的成像几何模型来决定。该几何模型的参数称为 1 3 摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机标定。 摄像机标定问题包括外部定位问题和内部定位问题。这是因为建立图像像素坐标 系和绝对坐标系之间的关系，必须首先确定摄像机在绝对坐标系中的位置和方向，这 就是外部定位问题，而后再建立摄像机坐标系与图像像素坐标系之间的投影关系，这 就是内部定位问题1 1 & 1 8 j 。摄像机标定涉及到确定两组参数：一类是系统的固有参数， 另一类是系统的非固有参数。系统的固有参数又称内部参数，它只与摄像机的内部结 构有关；系统的非固有参数又称外部参数，是指系统与场景之间的几何关系。 3 1 摄像机标定的分类 从摄像机标定的过程和方法来看，摄像机标定可以根据不同的分类标准分为以下几 大类： 3 1 1 传统的标定摄像机标定方法和摄像机自标定方法 从计算思路的角度上看，传统的摄像机标定方法可以分成四类，即利用最优化算 法的标定方法，利用摄像机变换矩阵的标定方法，进一步考虑畸变补偿的两步法和采 用更为合理的摄像机成像模型的双平面标定方法。而按照求解算法的特点将它分为直 接非线性最小化方法( 迭代法) 、闭式求解方法和两步法，也不失为一种好的划分方法。 利用最优化算法的摄像机标定方法的优点是可假设摄像机的光学成像模型非常复 杂，包括成像过程中的各种因素，缺点是摄像机标定的结果取决于摄像机的初始给定 值，如果初始值给得不恰当，很难通过优化程序得到正确的标定结果。优化程序非常 费时，无法实时地得到标定结果直接线性变换方法是a b d e l a z i z 和k a r a r a 首先于1 9 7 1 年提出的。通过求解线性方程的手段就可以求得摄像机模型的参数，这是直接线性变 换方法的吸引力之所在。然而这种方法完全没有考虑摄像机过程中的非线性畸变问题， 为了提高标定精度，非线性最优化算法仍是不可避免的。d a i n i s 和j u b e r t s 在文中给出 了利用直接线性变换方法进行摄像机标定的结果闭，他们的系统是为了准确的测量机 器人的运动轨迹。该系统能够实时地测量出机器人的运动轨迹，但并不要求标定算法 对系统的标定足实时的。利用透视变换矩阵的摄像机标定方法的优点是不需利用最优 化方法来求解摄像机的参数。从而运算速度快，能够实现摄像机参数的实时的计算。 缺点是：标定过程中不考虑摄像机镜头的非线性畸变，标定精度受到影u l ；j ：线性方程中未 知参数的个数大于要求解的独立的摄像机模型参数的个数，线性方程中未知数不是相 互独立的。g a n a p a t h y 给出了一个由透视变换矩阵求解摄像机内部参数和外部参数的方 法，并对分解过程作了详细的分析。摄影测量学中的传统方法要使用最优化算法求解 未知参数，求解的结果常常取决于给定的初始值。如果初始值给定不合适，就很难得 到币确的结果。直接线性变换方法或者透视变换矩阵方法可以利用线性方法求解摄像 1 4 机参数，其缺点是没有考虑镜头的非线性畸变、精度不高。如果先利用直接线性变换 方法或者透视变换矩阵方法求解摄像机参数，再以求得的参数为初始值，考虑畸变因 素，并利用最优化算法进一步提高标定精度，这就形成了所谓的两步法。t s a i 的方法 只考虑了径向畸变，没有考虑切向畸变。在文中【9 j 同时考虑了切向畸变，并给出了相应 的算法，是对两步发的重要发展，此外，他的工作还提出了标定精度的分析方法。为 了寻求更合理的摄像机模型，使之更全面、更有效的表示c c d 摄像机实际成像过程， m a r t i n s 等首先提出了双平面模型( t w o p l a n e m o d e l ) 。该方法的优点是利用线性方法就 可以解有关参数：缺点是要求解大量的未知参数，存在过分参数化的倾向【1 9 2 0 1 。 三维计算机视觉系统应能从摄像机获取的图像信息出发，计算三维环境物体的位 置、形状等几何信息，并由此识别环境中的物体，图像上每一点的亮度放映了空问物 体表面某点反射光的强度，而该点在图像上的位置与空间物体表面相应点的几何位置 有关。这些位置的相互关系，由摄像机成像几何模型所决定，该几何模型的参数称为 摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机标定。 摄像机的模型是光学成像几何关系的简化，最简单的模型为线性模型，或称针孔模型 ( p i n h o l e m o d e l ) 1 2 。 3 1 2 线性标定方法和非线性标定方法 摄像机标定一般需要一个放在摄像机前的特制的标定参照物( r e f e r e n c eo b j e c t ) ，摄 像机获取该物体的图像，并由此计算摄像机的内外参数。标定参照物上的每一个特征 点相对于世界坐标系的位置在制作时应精确测定，世界坐标系可选为参照物的物体坐 标系，在得到这些己知点在图像上的投影位置后，可计算出摄像机的内外参数。线性 模型不考虑镜头畸变，准确性欠佳；对于非线性模型摄像机标定，考虑了畸变参数， 引入了非线性优化，但方法较繁索，速度慢，对初值选择和噪声比较敏感，而且非线 性搜索并不能保证参数收敛到全局最优解【2 2 2 3 2 4 】。所以这两种方法各有优缺点，而所谓 的二步法就是结合了这两种标定方法各自的优点。 3 1 3 从解题方法来分有解析法、神经网络法和遗传算法 空间点与其图像对应点之间是一种复杂的非线性关系，企图用一种线性方法来找 到这种对应关系几乎是不可能的。解析方法是用足够多的点的世界坐标和相应的图像 坐标，通过解析公式来确定摄像机的内参数、外参数以及畸变系数。解析方法不能够 囊括所有的摄像机畸变因素，只能选择几种主要的畸变，而忽略其它不确定冈素。神 经网络法能够以任意的精度逼近任何非线性关系，跳过求取各参数的繁琐过程，利用 图像世标点和相应的空间点作为输入输出样本集进行训练，使网络实现给定的输入输 出映射关系，对于不是样本集中的点也能得到合适的空问点的世界世标【矧。 3 2 摄像机标定中常用到的几种坐标系 摄像机采集的图像以标准电视机信号的形式输入计算机，经计算机中的专用数模 转换模块变换为数字图像。每幅数字图像在计算机内为m n 数组，m 行列的图像 中的每一个元素( 称为像素，p i x e l ) 的数值即为该图像点的亮度( 或称灰度) 。在图像 上定义如图3 1 所示的坐标系mxa r ，每一个像素的坐标 ，y ) 分别表示该像素在数组 中的列数和行数。所以， ，y ) 是以像素为单位的图像坐标系的坐标【2 6 1 。 r d i r 2 ( 3 7 ) ( x ，y ，z ) - ( x ，y ) 此种映射通常用到两种几何变换：透视投影和正交投影。 3 3 1 透视投影 透视投影( p e r s p e c t i v ep r o j e c t i o n ) 是最常用的成像模型，可以用针孔成像模型来 近似表示。它是从我们中学物理所做的实验蜡烛成像推导而来。 1