（电路与系统专业论文）双目立体视觉测距系统的研究.pdf

摘要 摘要 双目立体视觉距离测量系统在三维重构、非接触式精确定量测量和危险场景 感知等领域有着广阔的应用前景。本文研究了双目立体视觉测距系统的理论并将 系统在基于f p g a 的嵌入式平台上实现。 本文首先针对摄像机成像的特点，介绍了图像坐标系、摄像机坐标系和世界 坐标系，并在此基础上提出了双目立体视觉距离测量的理论。接下来本文研究了 标定算法，给出了标定实验的结果。最终提出了以人眼瞳孔为特征点，先定位人 脸区域，再定位瞳孔的方法，这样就可以利用标定结果和瞳孔图像坐标重构世界 坐标系下的瞳孔坐标。本课题选用基于f p g ac y c l o n ei ie p 2 c 2 0 f 4 8 4 c 7 的嵌入式 开发板d e l 作为嵌入式实现平台，辅以s d r a m 、拨码开关、l e d 和自定义外部 加速设备实现嵌入式双目立体视觉测距系统。鉴于嵌入式处理器n i o si i 处理速度 较慢，不能满足实时性需求，本文提出了两种提高处理速度的方法：硬件逻辑 实现i e e e 规格浮点数取整运算，将该模块作为自定义指令添加进a l u 。设计 图像处理加速外设，使用硬件逻辑完成边缘检测等功能，然后通过设计主设备和 从设备接口模块将外设挂载在a v a l o n 总线上，使n i o si i 可以调用该设备加速图 像处理。最终实验证明该方法使处理速度提高了约5 3 6 倍。 本文实现的嵌入式双目立体视觉测距系统具有操作简便和测量准确等优势， 适用于移动环境以及对成本和实时控制要求较高的场合。 关键字：双目测距嵌入式系统n i o si i 浮点数取整硬件加速 a b s t r a c t a b s t r a c t d i s t a n c em e a s u r e m e ms y s t e mo fb i n o c u l a rs t e r e ov i s i o ni s w i d e l yu s e di n d o m a i n ss u c ha st r i - d i m e n s i o n a lr e c o n s t r u c t i o n ，u n t a n g e n tp r e c i s em e a s u r e m e n ta n d s e n s eo fd a n g e r o u ss c e n e i nt h i st h e s i s ，t h et h e o r yo fd i s t a n c em e a s u r e m e n ts y s t e mi s s t u d i e da n dt h es y s t e mi sr e a l i z e di ne m b e d d e ds y s t e mw h i c hi sb a s e do nf p g a a tf i r s t ，b a s e do nt h ec h a r a c t e r i s t i c so fc a m e r ai m a g i n gm o d u l e ，r e f e r e n c ef r a m e s o fi m a g e ，c a m e r aa n dr e a lw o r l di si n t r o d u c e di nt h i st h e s i s ，t h ep r i n c i p l ea n dt h e o r yo n d i s t a n c em e a s u r e m e mo fb i n o c u l a rs t e r e ov i s i o ni s p u tf o r w a r du l t e r i o r l y t h e n c a l i b r a t i o na r i t h m e t i ca n de x p e r i m e n ti ss t u d i e d t a k eh u m a ne y ep u p i la sf e a t u r ep o i n t ， f i r s t l yt h i sp a p e rl o c a t eh u m a nf a c ea r e aw h i c hi su s e dt of i n dt h ec o o r d i n a t e so fe y e p u p i lb yd e t e c t i n gc i r c u l a r i t y o n c ew eh a v ec a l c u l a t e dt h ec o o r d i n a t e so fe y ep u p i li n i m a g ea n dc a l i b r a t i o nr e s u l t ，i t sp o s s i b l et or e c o n s t r u c t i o nt h ec o o r d i n a t e so fe y ep u p i l i nr e a lw o r l d i nt h i st h e s i s ，d e1w h i c hi sb a s e do nf p g a c y c l o n ei ie p 2 c 2 0 f 4 8 4 c 7 i st a k e na st h ee m b e d d e dp l a t f o r m a se m b e d d e dp r o c e s s o rn i o si ii st o os l o wt om e e t r e q u i r e m e n to fr e a lt i m ep r o c e s s i n g ，t h i sp a p e ri n t r o d u c e st w om e t h o d st oa c c e l e r a t e t h es y s t e m ：d e s i g nh a r dm o d u l et ot r a n s l a t ei e e ef l o a tn u m b e ri n t oi n t e g e ra n da sa c u s t o mi n s t r u c t i o n ，t h em o d u l ei sa d d e di n t oa l u ；d e s i g ni m a g ep r o c e s s i n gd e v i c eo f e d g ed e t e c t i n ge t ca n dm o u n ti to na v a l o nb u sb yd e s i g n i n ga v a l o nm a s t e ra n ds l a v e m o d u l ei no r d e rt om a k ei ta c c e s s i b l ef o re m b e d d e dp r o c e s s o rn i o si i e x p e r i m e n t s d e m o n s t r a t et h a tt h i sm e t h o di s5 3 6t i m e sf a s t e rt h a np u r es o f t w a r ei m p l e m e n t d i s t a n c em e a s u r e m e n ts y s t e mo fb i n o c u l a rs t e r e ov i s i o nh a sc h a r a c t e r i s t i co f p r e c i s em e a s u r e m e n ta n de a s yi m p l e m e n t i tc a nb eu s e di nm o b i l ee n v i r o n m e n ta n d o t h e rf i e l d sw h i c ha r es t r i c tw i t hc o s ta n dr e a l t i m eo p e r a t i o n k e y w o r d s ：b i n o c u l a rs t e r e ov i s i o n e m b e d d e ds y s t e mn i o si ih a r d w a r e a c c e l e r a t i n g 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 塞i 连垄嬖 日期 丝! 兰：! ! ! z 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 * a - 签g ：纠迂盈 日期丝! ! ! ! 。13 导师签名：五i 丛型! 刍 同期釜塑! ：211 翌 第一章绪论 第一章绪论 1 1 课题研究背景 视觉是人类观察世界、认知世界的重要功能手段，人类感知外部世界主要通 过视觉、触觉、听觉和嗅觉等感觉器官，其中8 0 的信息是由视觉获取的f lj 。计 算机视觉是人类利用计算机实现人的视觉功能对客观世界三维场景的感知、 识别和理解，计算机视觉是一个相当新而且发展迅速的研究领域。 在对生物视觉系统的研究中，人们早就注意到，几乎所有具有视觉的生物都 有两只眼睛。用两只眼睛同时观察物体，会有深度或远近的感觉，我们称之为视 差1 2 j 。因此在计算机视觉系统中，也常用两台或多台摄像机从两个或多个视点去 观察同一场景，从而获得在不同视角下的一组图像，然后通过同一场景点在不同 图像中的视差，推断出场景中目标物体的空间几何形状和位置，这种方法称为立 体视觉。它是计算机视觉的一个重要分支，也是计算机视觉的核心研究内容之一。 双目立体视觉理论建立在对人类视觉系统研究的基础上，通过双目立体图像 的处理，获取场景的三维信息，其结果表现为深度图，再经过进一步处理就可得 到三维空间中的景物，实现二维图像到三维空间的重构。m a r r 和p o g g i o 以及 g r i m s o n 3 l 最早提出并实现了一种基于人类视觉系统的计算视觉模型及算法。双目 立体视觉系统中，获取深度信息的方法比其它方式较为直接，它是被动方式的， 因而较主动方式适用面宽，这是它的突出特点。双目视觉是最接近于人类视觉的 三维数据恢复方式，也是计算机被动测距方法中最重要的距离感知技术。双目视 觉系统的工作原理是基于人眼视差的原理，它的构成包括硬件系统和软件系统两 方面。双目立体视觉技术越来越广泛的应用于各个领域，特别是在许多人类视觉 无法感知的场合，如精确定量感知、危险场景感知以及不可见物体感知等，计算 机立体视觉更显示出其无可比拟的优越性。由此可以看出，双目立体视觉属于影 像的重构技术，具有非接触性测量、实施简易的特点，在很多领域都有着广阔的 应用前景，对其基本理论的研究也具有重大的理论意义和实际意义。 1 2 国内外研究现状 虽然双目立体视觉经过二十多年的研究，其技术已经有了很大的发展。但无 论是从视觉生理的角度，还是从实际应用方面来看，现有的双目立体视觉技术还 处在十分不成熟的阶段。这不仅仅是理论发展与计算机硬件水平的原因，而且也 2 双目立体视觉测距系统的研究 与人类生理学有关。由于人类对自身的视觉机理的了解还十分有限，这无疑给计 算机视觉技术的发展带来了一定的限制。作为双目立体视觉核心的立体匹配，在 理论上和技术上都存在着很多问题。因此，双目立体视觉问题的彻底解决还有待 于对人类自身视觉机理的深入研究。当然，经过多年的研究，双目立体视觉己经 有了很大的发展，其性能不断提高，相关的理论不断地得到发展与完善，双目技 术也逐渐走向实用化。双目体视目前主要应用于四个领域：机器人导航、微操作 系统的参数检测、三维测量和虚拟现实【4 j 。 在国外，法国r o u e n 大学的a b e n s r h a i r 等人基于机器视觉系统就车辆检测提出 新的算法，该方法的检测效果可靠性更高，同时对摄像机获取的车辆之间距离的 计算更为准确【5 】。韩i n p o h a n g 科技大学在炼钢厂的无人驾驶起重机上安装视觉系 统，为起重机吊运钢卷提供目标物体的具体空间信息【6 j 。日本冈山大学使用立体显 微镜、两个c c d 摄像头、微操作器等研制了使用立体显微镜控制微操作器的视觉 反馈系统，用于对细胞进行操作，对种子进行基因注射和微装配等。麻省理工学 院计算机系提出了一种新的用于智能交通工具的传感器融合方式，由雷达系统提 供目标深度的大致范围，利用双目立体视觉提供粗略的目标深度信息，结合改进 的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割1 7 】。 在国内，中国科学院自动化研究所研究的三维重建技术，采用自动关键点匹 配、双目重建、表面三角化和三维点拼接技术，经过图像对提取，图像对关键点 匹配，图像关键点的重建，三角化以及数据融合生成物体完整的三维结构瞪j 。东 南大学电子工程系基于双目立体视觉，提出了一种灰度相关多峰值视差绝对值极 小化立体匹配新方法，可对三维不规则物体( 偏转线圈) 的三维空间坐标进行非 接触精密测量。哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。 火星8 6 3 计划课题“人体三维尺寸的非接触测量”采用双视点投影光栅三维测量 原理，由双摄像机获取图像对，通过计算机进行图像数据处理，不仅可以获取服 装设计所需的特征尺寸，还可根据需要获取人体图像上任意一点的三维坐标。 从当前的发展来看，其发展方向可归纳如下： ( 1 ) 以全面的观点将双目立体视觉系统的各个模块联系起来。 ( 2 ) 由传统的双目视觉向多目视觉、完全静态的视觉向动态视觉发展，通过 增加信息输入降低视觉计算的难度。 ( 3 ) 向智能化发展，建立基于知识的，模型的和规则的双目立体视觉方法。 ( 4 ) 算法向并行化发展，采用并行流水线机制和专用的信号处理器件，增强 双目立体视觉系统的实用性。 第一章绪论 3 1 3 双目立体视觉测距系统关键技术 一个完整的双目立体视觉测距系统通常可分为摄像机标定、图像获取、图像 预处理、目标检测与特征提取、立体匹配、三维重建等六个步骤【9 1 。双目测距整 体流程如图1 1 所示。 图1 i 双目测距整体流程 ( 1 ) 摄像机标定 摄像机标定是为了确定摄像机的位置、内部参数和外部参数，以建立成像模 型，确定世界坐标系中物体点同它在图像平面上像点之间的对应关系。 立体视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物 体的几何信息，并由此重建和识别物体，而摄像机成像的几何模型决定了空间物 体表面某点的三维几何位置与图像中对应点之间的相互关系，这些几何模型参数 就是摄像机参数。一般情况下这些参数必须通过实验才能得到，这个过程被称为 是摄像机标定。摄像机标定需要确定摄像机内部几何和光学特性( 内部参数) 和 相对一个世界坐标系的摄像机坐标系的三维位置和方向( 外部参数) 。在计算机视 觉中，如果使用多个摄像机，对每个摄像机都要校准。 ( 2 ) 图像获取 双目立体视觉的图像获取是由不同位置的两台或者一台摄像机经过移动或旋 转拍摄同一个场景，获取两幅不同视角的图像。双目立体视觉系统中，深度信息 的获得是分两步进行的。 ( 3 ) 图像预处理 二维图像由光学成像系统生成，包含了受环境影响各种各样的随机噪声和畸 变，因此需要对原始图像进行预处理，以抑制无用信息、突出有用信息、改善图 像质量。图像预处理的目的主要有两个：改善图像的视觉效果，提高图像清晰度； 使图像变得更有利于计算机的处理，便于各种特征分析。 ( 4 ) 目标检测和特征提取 目标检测是指从经过预处理的图像中提取待检测的目标物体。特征提取是指 从检测到的目标中提取出指定的特征点。由于目前尚没有一种普遍适用的理论可 运用于图像特征的提取，从而导致了立体视觉研究中匹配特征的多样性。目前， 常用的匹配特征主要有区域特征、线状特征和点状特征等。一般来讲，大尺度特 4 双目立体视觉测距系统的研究 征含有较丰富的图像信息，易于得到快速的匹配，但是在图像中的数目较少，定 位精度差，特征提取与描述困难。而小尺度特征数目较多，但所含信息较少，因 而在匹配时为克服歧义匹配和提高运算效率，需要较强的约束准则和匹配策略。 良好的匹配特征应具有稳定性、不变性、可区分性、唯一性以及有效解决歧义匹 配的能力。 ( 5 ) 立体匹配 立体匹配是指根据对所选特征的计算，建立特征之间的对应关系，将同一个 空间物理点在不同图像中的映像点对应起来。当空间三维场景被投影为二维图像 时，同一景物在不同视角下的图像会有很大不同，而且场景中的诸多因素，如景 物几何形状和物理特性、噪声干扰、光照条件和摄像机畸变等，都被综合成单一 的图像中的灰度值【1 0 1 。因此，要准确地对包含了如此之多不利因素的图像进行无 歧义的匹配是十分困难的，至今这个问题还没有得到很好的解决。立体匹配的有 效性有赖于三个问题的解决：寻找特征间的本质属性，选择正确的匹配特征及建 立能正确匹配所选择特征的稳定算法。 ( 6 ) 深度确定 当通过立体匹配得到视差图像之后，便可以确定深度图像，并恢复场景3 d 信息。影响距离测量精度的因素主要有摄像机标定误差、数字量化效应、特征检 测与匹配定位精度等。计算机视觉中实施三维空间的重构过程，是由几个主要的 技术环节组成的，每个环节都有主要的影响因素和关键性技术。根据本文的研究 对象和研究内容有如下几个方面：摄像机参数的标定方法、图像特征的选取、特 征点的提取和三维重构方法。 1 4 主要研究工作和论文内容安排 本文的主要任务是研究双目立体视觉中深度测量方法，以及相关算法的嵌入 式实现。在p c 平台实现了两个摄像头的联合标定，对左右摄像头采集到的数字 图像进行处理，提取出入的右瞳孔的图像坐标，代入投影矩阵计算出特征点在世 界坐标系中的坐标。最后使用友晶公司的嵌入式处理器n i o si i 开发板d e l 验证 了本课题。开发板的f p g a 型号为a l t e r ac y c l o n ei i2 c 2 0 ，辅以七段数码管和l e d 实现人机交互。同时在嵌入式实现过程中采用了自定义指令、硬件加速等方法优 化本设计，使之所占用的处理时间极大缩短，体现了n i o si i 处理器的优势。 本文内容结构安排如下： 第一章介绍了选题背景、研究现状以及双目立体视觉的关键技术。 第二章对双目立体视觉距离测量系统进行理论分析。简要介绍摄像机成像模 型，详细介绍了摄像机的标定原理和三维重构的原理。 第一章绪论 5 第三章阐述了获取目标物体特征点的思想。首先介绍了人脸检测的研究现状 和各种方法，重点介绍了机器学习、分类器检测的方法。然后简要介绍了o p e n c v 的应用。接下来在检测出脸部区域的基础上介绍了检测人的瞳孔以及定位瞳孔坐 标的方法。最后将瞳孔坐标代入第二章得到的结论，得到实验结果。 第四章首先简要介绍了所选用的嵌入式开发平台d e l 和s o p c 技术，然后介 绍了各个模块的功能结构。最后详细介绍了算法嵌入式移植和o p e n c v 库移植的 流程。 第五章简要对比了p c 机和嵌入式平台性能，详细介绍了使用自定义指令优 化浮点数取整等运算和边缘检测硬件加速器的设计，最后给出了仿真结果。 第六章对完成的实践工作做出总结，指出需要改进的地方和系统设计的前景。 第二章双目测距理论分析 第二章双目立体视觉测距理论阐述 在本章中，将首先简要介绍摄像机成像模型，然后论述摄像机标定算法和标 定流程，最后对双目立体视觉测距系统中的三维坐标重构进行了分析。 2 1 1 摄像机工作原理 2 1 摄像机模型 数字图像是计算机视觉的出发点，而摄像机是最常用的图像获取装置，它应 用对象广泛，有使用方便、灵敏度高、输入速度快等特点。摄像机通常由摄像镜 头、摄像器件、电源、放大电路、偏转电路、同步信号发生电路等部分组成。 按照摄像器件的组成，可将摄像机分为很多种。目前计算机视觉系统中常用 的是电荷耦合元件( c h a r g e c o u p l e dd e v i c e ) 摄像机，简称c c d 摄像机【l 。其工作 原理是在硅单晶片上生成很薄的一层二氧化硅，再于其上蒸发一层间距很小的铝 电极条。加电压于电极上后，电场穿透二氧化硅薄层，并排斥硅中多数载流子， 从而在电极下的硅单晶片上形成电荷耗尽层，又称势阱。当硅改变电极电压，使 势阱内的电荷从一个电极传送到另一个电极，取出这移动的电荷就形成输出信号。 扫描系统顺序扫描各像素，在一个扫描周期内，用较长的时间感光、积累电荷， 用极短的时间读耿图像信号。由于图像各处的光亮不同，耗尽层内“捕捉”的电 荷量存在差异，这就完成了图像的光电转换。 2 1 2 图像坐标系与世界坐标系 摄像机采集的图像经过模数转换变成数字图像。对于基于灰度值的图像，每 幅数字图像在计算机内为m x n 数组，m 行n 列的图像中的每一个元素的数值即是 图像点的灰度。在二维平面图像上定义直角坐标系u 、v ，坐标( u ，v ) 代表该像素在 数组中的列数与行数1 1 引。所以，( u ，v ) 是以像素为单位的图像坐标系的坐标。由于 ( u ，v ) 只表示像素位于数组中的列数与行数，并没有用物理单位表示出该像素在图 像中的位置，因而，需要再建立以物理单位表示的图像坐标系。该坐标系以图像 内某一点o 为原点，x 轴和y 轴分别与u ，v 轴平行。图像坐标系如图2 1 所示。 8 双目立体视觉测距系统的研究 o o 一 v 7 y u 图2 1 图像坐标系 在x ，y 坐标系中，原点0 定义在摄像机光轴与图像平面的交点，该点一般位 于图像中心处，但由于摄像机制作的原因，一般情况下会有些偏离。若o 在u ，v 坐标系中的坐标为( ，) ，每一个像素在x 轴与y 轴方向上的物理尺寸为d x ，d y ，则 图像中任意一个像素在两个坐标系下的坐标关系可表示为下面的公式： 甜= + u o 式( 2 1 )甜= 一十 a i z lj 1 ，= 姜+ v o 方 ” 我们用齐次坐标与矩阵形式将上式表示为式( 2 3 ) 以方便使用： 1 ，、 瓦。材。 】 0 v o 砂 oo l 式( 2 - 2 ) 式( 2 - 3 ) 摄像机成像几何关系可由图2 2 表示，其中o 点称为摄像机光心，置轴和 轴与图像的x 轴与y 轴平行，z c 轴为摄像机的光轴，它与图像平面垂直。光轴 与图像平面的交点即为图像坐标系原点。由点o 与鼍，艺，z c 轴组成的直角 坐标系成为摄像机坐标系。0 0 为摄像机焦距。 第二章双目测距理论分析 9 z c 图2 2 摄像机成像几何关系 摄像机的摆放角度和位置是任意的，因此摄像机坐标系在环境中并不固定。 我们需要在环境中选择一个基准坐标系来描述摄像机的相对位置，进而描述环境 中的任何物体的位置，该坐标系称为世界坐标系。它由x ，y ，z 轴组成。摄像机 坐标系与世界坐标系之间的关系可以用旋转矩阵r 与平移向量t 来描述【l3 1 。因此， 如果空间中某一点p 在世界坐标系与摄像机坐标系下的齐次坐标分别是 ( ，z 0 ，1 ) 7 1 与( 鼍，圪，z c ，1 ) r ，于是存在： x c 圪 z c 1 = 刚 x w z 1 = m x w 场 z w l 式( 2 4 ) 其中r 为3 3 正交单位矩阵；t 为三维平移向量，0 = ( o ，0 ，o ) r ；m 为4 x 4 矩阵。 2 1 3 线性摄像机模型 空间任何一点p 在图像上的成像位置可以用针孔模型近似表示，如图2 2 ，即任 意点p 和光心o 的连线p o 与图像平面x o y 的交点p 就是p 点在图像平面上的投影。 这种关系也称为中心摄影或透视投影。由比例关系有如下关系式： x = 等 式( 2 5 ) 1 0 双目立体视觉测距系统的研究 y ：盈 式( 2 6 ) 7 z 、一。7 其中，( x ，y ) 为p 点的图像坐标，( k ，屹，z c ) 为空间点p 在摄像机下的坐标。 我们用齐次坐标与矩阵表示上述透视投影关系： 000 f00 010l j x c 圪 z c l 式( 2 7 ) 将式( 2 - 3 ) 与式( 2 4 ) 代入上式，我们得到以世界坐标系表示的p 点坐标与其投 影点p 的坐标( u ，v ) 关系： 料 瓦1 o l l o 1 1 o 万v 0 ool妒 =雕u。00 v o 000 0 。即- i = i l l ，l l 1 l l x w z w l = m i m 2 x w 砀 乙 l x w 场 z w l = m x w 乙 1 式( 2 7 ) 其中，工= f d x ，= f d y ，m 为3 x 4 矩阵，称为投影矩阵。m 。完全由z ， 乃，v o 决定，由于正，u o ，只与摄像机内部结构有关，称这些为摄像 机内部参数；m 2 完全由摄像机相对世界坐标系的方位决定，称为摄像机外部参数。 要确定某一摄像机的内部参数矩阵、外部参数矩阵和投影矩阵，需对摄像机进行 标定实验。 2 2 摄像机标定 摄像机标定就是根据一组己知其参考坐标系坐标和图像坐标系坐标的控制点 来确定摄像机的内部参数和外部参数的过程。摄像机标定的目的是为世界坐标系 中的三维物点和图像坐标系中二维像点之间建立种映射关系，而空间物体表面 某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何 模型决定的。利用这个几何模型，已知三维物点的世界坐标系坐标以及二维像点 ，o 0 。l = 1，j x y ， 。l 乙 门叫 第二章双目测距理论分析 的图像坐标，通过标定算法得到摄像机内部参数和外部参数的过程叫做摄像机标 定。 2 2 1 摄像机标定的研究 传统的摄像机标定方法是在一定的摄像机模型下，基于形状、尺寸已知的标 定参照物，经过一系列数学变换求取摄像机模型的内部参数和外部参数。传统的 标定方法需要使用精密加工的标定参照物，通过建立标定参照物上三维坐标己知 的点与其图像点之间的对应，来计算摄像机的内外参数。标定参照物可以是三维 的，也可以是二维共面的。在具有三维参照物的条件下，只需一幅图像，就可以 标出摄像机的全部参数。然而包括整个测量空间的高精度三维标定参照物，其加 工和维护非常困难。二维共面参照物的加工和维护十分方便，但一幅图不足以标 出所有的摄像机参数。因此必须简化摄像机模型，或者从不同的角度，获取多幅 图像来同时标出所有摄像机参数，但获取的图像的不同位置之间的相互关系也是 标定过程的一个难点。传统的标定方法的优点在于可以获得较高的精度，但标定 过程费时费力，不适用于在线标定和不可能使用标定参照物的场合从计算思路的 角度看，传统的摄像机标定方法可以分为四类：利用最优化算法的标定方法、线 型模型摄像机标定方法、考虑畸变补偿的两步法和采用更为合理的摄像机成像模 型的双平面标定方法l i 引。 ( 1 ) 利用最优化算法的标定方法。该方法假设摄像机的光学成像模型不复杂， 包括成像过程中各种因素，通过求解线性方程的手段来求取摄像机模型的参数。 但是这种方法完全没有把摄像机的非线性畸变问题计算进去，所以为了提高标定 精度，需要使用非线性优化算法。该方法主要有两个方面的缺点：摄像机标定的 结果受摄像机的初始给定值影响较大，如果初始值给的不恰当，通过优化程序得 到标定结果会存在很大误差；优化程序的实时性差，无法实时得到标定结果。 ( 2 ) 线型模型摄像机标定方法。刻画世界坐标系与二维图像坐标系关系的方程 一般说来是摄像机内部参数和外部参数的非线性方程。如果忽略摄像机镜头的非 线性畸变并且把透视变换矩阵中的元素作为未知数，给定一组三维控制点和对应 的图像点，就可以利用线性方法求解透视变换矩阵中的各个元素。这一类标定方 法的缺点是标定过程中不考虑摄像机镜头的非线性畸变，标定精度受到影响。但 是线型模型摄像机标定方法不需要利用最优化方法来求解摄像机的参数，具有很 快的运算速度，能够实现摄像机参数的实时的计算。利用透视变换矩阵的摄像机 标定方法被广泛应用于实际的系统，并取得了满意的结果【l 孓j 。 ( 3 ) 两步法。两步法是先利用直接线性变换方法或者透视变换矩阵方法求解摄 像机内部参数和外部参数，在考虑畸变因素的同时以求得的参数为初始值，并利 1 2 双目立体视觉测距系统的研究 用最优化算法进一步提高精度的摄像机标定方法。t s a i 所使用的摄像机标定方法 就是一种典型的两步法。在该方法中，c c d 阵列中感光元的横向间距和纵向间距 被认为是已知的，其数值由摄像机厂家提供。该方法假设的摄像机内部和外部参 数分别是：镜头畸变参数、等效焦距、非确定性标度因子( 由摄像机横向扫描与采 样定时误差所引起) 、图像中心、三维空间坐标系与摄像机坐标系之间的平移向量 和旋转矩阵。该方法只能校正径向畸变，不能扩展到校正其它类型的畸变，因为 没有充分利用控制点提供的全部信息，也不是最优化的方法。但该方法的优点也 很明显：假设摄像机的镜头的畸变是径向的，无论畸变如何变化，从图像中心到 图像点方向的向量保持不变，这就减少了参数空间的维数，同时假设主点既是图 像平面的中心，又是径向畸变的中心，这样就不必求解主点，而运用非线性搜索 来估计其中三个参数，此外，整个求解方法只运用了线性关系，因此，该方法是 相当可靠的。另外，主点位置的细微变化不会对三维测量造成很大的影响。此外， 两步法的优点在于大部分摄像机的参数可通过线性方法求解出来，并且不受畸变 影响，而需要通过反复迭代求解的参数相对于其它非线性求解方法要少一些。 ( 4 ) 双平面标定方法。以上方法都是基于针孔成像的计算机模型进行研究的， 然而很多情况下这种线性模型不能准确描述摄像机成像的几何关系，如在近距、 广角时的情形。为寻找更合理的摄像机模型，使之能更全面、更有效地表示c c d 摄像机实际成像过程，m a r t i n s 等首先提出了双平面模型( t w o - p l a n em o d e l ) 。双平面 模型与针孔模型的基本区别在于，双平面模型不像针孔模型那样要求所有投射到 面像平面上的光线必须经过光心，只要给定成像平面上的任意一个图像点，便能 够计算出两个标定平面上的相应点，从而确定了投射到成像平面上产生该图像点 的光线。 2 2 2 两步法标定 两步法是近年来发展迅速并取得成功的摄像机标定方法，其特点是将摄像机 的内外参数与畸变参数分离，并利用最优化算法提高精度的摄像机标定方法。标 定的结果常常取决于给定的初始值，如果初始值给定不合适，就很难得到正确的 结果。直接线性变换方法或者投影矩阵方法可以利用线性方法求解摄像机参数， 其缺点是没有考虑镜头的非线性畸变、精度不高。如果先利用直接线性变换方法 或者透视变换矩阵方法求解摄像机参数，再考虑畸变因素，以求得的参数为初始 值，利用最优化算法就可以进一步提高标定精度。基本处理思路如下g ( 1 ) 不考虑畸变参数，选取图像中心附近畸变较小的点，将它们的世界坐标系 坐标值和图像坐标值作为已知条件代入，由线性方法求解摄像机的内外参数。 ( 2 ) 利用优化算法提高摄像机内外参数的精度。 第二章双目测距理论分析 ( 3 ) 将第二步计算出来的内外参数作为初始值，然后选取模板平面上的所有 点，建立一个优化模型求得摄像机的内部参数，外部参数以及畸变参数的最优解。 目前典型的两步法有z h a n g 的方法和t s a i 的方法，我们重点介绍z h a n g 的 方法。实际上，该方法是介于传统标定方法和自标定之间的一种方法，它只需要 摄像机对一标定板在不同的方向拍摄图片即可进行标定。由于使用方便，准确率 高，鲁棒性好，得到了广泛的应用。它在标定方法的灵活性以及准确性方面都作 出了较大突破。但是此方法也有一定的适用范围。由于标定得到的内外参数矩阵 是针对摄像机的每一个状态的，也就是说当摄像机发生平移或旋转运动时，之前 所标定的参数是无效的。所以，z h a n g 的方法只能用于摄像机静止的情况下，比如 固定场景监测或者机械加工流水线。 根据针孔成像原理，将式( 2 7 ) 中由世界坐标系点到图像坐标系点的齐次变换 写成如下形式【l7 j ： 朴小明 x w 场 z 甲 l = a p , r 2 r 3 r 4 】 x w z w l 式( 2 8 ) 为方便计算，取模板所在平面为世界坐标系的z = 0 平面。用i 表示r 的第i 列向量。那么对于模板平面上的点都有： 廿叱吃吩 x w 0 1 = 彳【r 2 这里令面= 【x yl 】7 1 ，鬲= 【甜v 1 r 则上式写为： s m = h m 式( 2 9 ) 式( 2 - 1 0 ) 其中：h = 彳h r 2 f 】= 【拐如绣】= l 镌。如：吃，l 式( 2 - 1 1 ) l 啊， 啊： 啊。i l 魄t 绣： 鸭，j h 被称为单应性矩阵或投影矩阵，是模板平面上点和它的像点之间的一个映 射，如果己知模板点的空间坐标和图像坐标，那么就已知m 和m ，可以求解单应性 矩阵，而且每幅模板的图像都对应一个单应性矩阵。下面讨论求解单应性矩阵的 方法。由式( 2 - l o ) 可以推出： 1 4 双目立体视觉测距系统的研究 所以有： i s 材= i x + 啊2 】，+ 啊3 s v = l x + 红2 j ，+ 鸭3式( 2 - 1 2 ) 【s = 呜l x + 吃2 y + 1 将分母乘到等式左边，则有： 又令： 则： 甜：鼍, x + h 2 y + h u 魄l x + 呜2 】，+ 1 红l x + 红2 】，+ 吃3 v = = l = = 鬼l x + 忽2 】，+ 1 式( 2 - 1 3 ) 甓：麓麓臻冀y 乏 蛔4 ， 【v 聊l + v ，7 毛2 + ，= 红l x + 2 + 吃3 。7 h = 【矗。扛：啊，。 2 2k 绣。h 3 2 】r 式( 2 1 5 ) l xy 1呈y0：-一uexy-一u00 0 v ；：i 办。= 。 式c 2 一6 ， lxl r 11 己y一1 ，】， 一1 ，i 、 多个对应点的方程叠加起来可以看成s h = 0 ，则该方程的最d x - - 乘解即是 s7 s 最小的特征值所对应的特征向量。将该向量归一化即得到要求的h ，进而得到 h 。但是这样线性解法得到的解通常都不是最优的，可以利用上面两组等式中的任 意一组，构造评价函数，用l e v e n b e r g m a r q u a r a t 算法进一步求更精确的计算结果。 这样就得到了图像和模板平面问的单应性矩阵。 在求取单应性矩阵后，我们进一步要求得摄像机的内外参数。首先令忽表示h 的每一列向量，需要注意到上述方法求得的h 和真j 下的单应性矩阵之间可能相差 一个比例因子，则式( 2 1 1 ) 中的h 可写成： 【啊鸭】= a 彳【吒眨f 】 式( 2 1 7 ) 又因为和吒是单位正交向量，即7 1 ，i = 巧乏= 1 ，且7 r 2 = 0 ，所以有： 砰么。a 叫吃= 0 式( 2 1 8 ) 第二章双目测距理论分析 巧么。a 1 啊= h ；a 玎a 一红 式( 2 19 ) b = a 玎a = l 岛lb 2 垦3l 式( 2 - 2 0 ) l 蜀。 蜀： 蜀，i l b 。垦：忍s j b = 且且：垦：骂，垦，b ，】7 x - ( 2 2 1 ) 令h 的第i 列向量为吃= 【忽，曩：7 j i ，】，则 红7 耽= 圪7 b 式( 2 - 2 2 ) 其中巧= 曩。乃。岛乃：+ 曩：哆。j j l ：嘭：魄。嘭。+ 哆勺，呜。嘭。+ 魄，勺，红，吃， 7 将内参数的两个约束写成关于b 的两个方程为： k i 堡吆 6 = 。 式c 2 - 2 3 ， v b = 0 式( 2 2 4 ) 其中，v 是一个2 n 6 的矩阵，如果聍3 ，则可以列出6 个以上的方程，从而 解出带有一个比例因子的b ，因为b = z a _ r 彳，利用c h o l e s k i 分解就可以得到内部 参数，然后利用内部参数矩阵a 和单应性矩阵h ，对每幅图像计算它的外部参数， 公式如下： 1 1 = 九彳- 1 啊，吒= 九么1 红，吩= 眨 卜1 2 南2 南 础2 乏5 摄像机的内部参数和外部参数都已经求解出来，但是通过以上方法求得的结 果并不是最优的，还需要采用极大似然估计对结果进行优化。对于多幅同一模板 从不同视角拍摄的图像，假设每幅图像中有m 个标定点，每个标定点的数据都包 取 j 直体视觉刹距系统的研究 含独立同分布的噪声。建立目标函数如式( 2 2 6 ) 。 捌一；c 绷圳2 式( 2 - 2 6 ， 其中，是第i 幅图像中第j 点在图像上的坐标，a 为初始求解的内参矩阵- 作为初始值总和分别是初始求解的第i 幅图像坐标系的旋转矩阵和平移矩阵， 吖，是第i 幅图像中的第j 个点的世界坐标，扁( 一，足，m ，) 是通过投影模型求解得 到的像点坐标。这是一个典型的非线性最小二乘问题，使用l e v c n b e r g - m a r q u a r a t 算法即可求得稳定解。 2 2 3 标定实验 本文的标定对象为两只相对位置固定的摄像头。采用一张8 8 的棋盘平面作 为标定模板，正方格的边长为2 28m m 。实验中将模板平面放在两个摄像头的视 野中，采集像素为6 4 0 4 8 0 的图像。然后调整模板的角度和位嚣，左、右摄像头 分别采集i 张图片。左、右摄像头采集到的第一张标定图片如图23 所示。 酴趱 鞯瓣 圈2 3 标定左右摄像机采集的图片 图像采集完成后，用于标定的图片以b m p 格式存储在讨算机中。计算机执 行标定程序，读入图像，分别对左、右摄像头采集到的图像检测角点坐标，然后 利用上述两步法求解投影矩阵、内部参数矩阵和外部参数矩阵。标定程序流程图 如图2 4 所示。 第二章双目测距理论分析 1 7 图2 4 标定程序流程图 实验中对图2 3 采集的图像进行角点检测得到的结果如表2 1 所示。 1 8 双目立体视觉测距系统的研究 表2 1 角点检测结果表 角点号左图像坐标u左图像坐标v右图像坐标u右图像坐标v 13 8 7 2 3 8 1 7 8 2 2 7 24 1 22 3 92 0 42 2 7 31 8 71 4 53 3 41 6 7 42 2 l1 4 83 3 61 8 7 53 9 21 4 23 2 61 6 4 63 9 41 7 63 3 01 9 0 74 0 21 6 l4 0 42 9 6 84 0 31 8 63 8 02 9 4 94 0 33 4 44 4 51 3 8 1 03 7 2 3 4 4 4 4 1 1 5 8 左摄像头标定得到的内部参数矩阵为： 一6 3 1 0 7 8 3 0 0 4 6 o 右摄像头标定得到的内部参数矩阵为： 一2 2 4 0 7 7 9 0 7 3 4 o 对图2 3 ，左摄像头的外部参数矩阵和投影矩阵分别为： l 一0 11 2 00 9 7 8 0- 0 1 7 5 96 0 8 7 5 8i l l0 9 4 0 6 0 0 4 7 2- 0 3 3 6 1- 1 0 9 4 2l li i o 3 2 0 4 - 0 2 0 3lo 9 2 5 26 9 9 5 6 2 6i l l 1 8 9 5 1 6 36 9 5 9 4 1 5 _ 4 3 2 4 9 9 62 7 0 8 6 e + 5l ll l6 5 9 7 6 4 7 11 6 6 6 6- 4 8 4 7 9 9 8 1 6 6 6 8 e + 5l i l 一0 3 2 0 4 - 0 2 0 31- - 0 9 2 5 26 9 9 5 6 2 6 i 对图2 3 ，右摄像头的外部参数矩阵和投影矩阵分别为： 10 0 8 0 4 0 9 7 3 00 2 1 6 01 2 7 2 1 7 7i ii 10 9 4 4 9 - 5 4 9 0 5- 0 3 2 7 l一10 4 8 2 1 il l 一0 3 1 7 1 0 2 3 0 5- 0 9 1 9 96 9 5 7 2 3 3i 1j o o 0 0 o 0 5 5 1 9 91 ，j 3 2 1j o 0 0 o 0 o 5 5 l 9 9 l 1 j 2 j 2 第二章双目测距理论分析 1 9 8 2 4 2 8 2 9 5 0 9 2 7 6 0 2 3 0 5 - 1 2 7 2 3 7 6 - 4 7 5 1 7 9 3 - - 0 9 19 9 1 2 4 1 4 p + 5 1