（检测技术与自动化装置专业论文）面结构编码光投影运动约束下的点云自由拼接技术研究.pdf

东南大学学位论文独创性声明 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 l l l l l l l l l l l l l m l y 17 613 7 8 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名：碰日期：丝! ! ：呈：乡 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：啦导师签名： 摘要 三维物体形状检测技术是计算机视觉和计算机图像图形处理相结合的一个研究方向，通 过对检测物体对象投射编码光等方法并根据儿何关系可以计算出物体的深度信息，但由于光 投射方向的局限性以及视线遮挡和物体尺寸过大等原因，导致对物体检测得到的点云信息往 往只是某一角度的，为了得到完整的物体的数字信息，需要将各点云信息进行拼接整合，以 得到完整的物体检测信息。本文使用改进的i c p ( i t e r a t i v ec l o s e s tp o i n t ) 算法，在无人工介入 的情况下实现了点云的自动拼接，并针对拼接后点云冗余点过多的问题，研究了相应的点云 精简算法。论文的主要内容如下： 1 基于平面特征，利用点云法向量进行点云对应点选取的i c p 改进算法的设计和实现 i c p 是三维点云拼接的主流算法，但是仅仅适用于已经粗略配准的点云，所以在由旋转 台三维检测系统得到点云的基础上，改进算法，通过计算点云每点的法向量，决定在什么范 围内的法向量筹的点对可以进行最近点计算，再使用i c p 算法实现点云迭代拼接，以实现两 部分点云的逐步精确拼接。 2 旋转和平移矩阵的求取 计算旋转和平移矩阵有一系列算法，在论文改进算法研究中对有较高精度的求取旋转平 移矩阵算法进行了讨论。 3 三维点云的存储格式用k d t r e e 算法的实现和散乱点云法向量的求取实现 4 三维点云的精简 拼接后点云中的点过于浓密，使得计算机的运算量巨大，因此论文研究了在不影响物体 检测质量的前提下对点云进行有效精简的算法。 关键词：立体视觉点云拼接i c p 法向量点云精简 a b s t r a c t 3 - d ( t h r e e - d i m e n s i o n a l ) s h a p ea c q u i s i t i o ni sa r e s e a r c hd i r e c t i o nt h a ti n t e g r a t e sc o m p m e r v i s i o nw i t hc o m p u t e ri m a g e 卸dg r a p hp r o c e s s i n g b yu s i n gt h es t l l u c t u r e dl i 曲tp r o j e c t i o n ，t h e d e p t hi n f o n n a t i o no ft h eo b j e c t sc a nb eo b t a i n e da c c o r d i n gt ot h eg e o m e t r i cr e l a t i o n s h i p h o w e v e r d u et ot h ec o n s t r a i n t so ft h el i g h tp r o j e c t i n gd i r e c t i o n ，t h ep o i n tc l o u di n f o r m a t i o no b t a i n e db yt h e s y s t e mi s 行o ms p e c i f i cv i e w i n ga n g e l t h e r e f o r e ，i no r d e rt og e tt h ef u l ld i g i 诅1i n f o r m a t i o no ft h e o b j e c t ，p o i n tc l o u d sn e e dr e 西s t r a t i o n i nt h ep a p e r a ni m p r o v e dl c pa l g o “t h mi su s e d a n dt h e a u t o m a t i cr e g i s t m “o nw i t h o u th u m a ni n t e r v e n t i o ni sr e a i i z e d f a c i n gt h er e d u n d a n c yo f t h ep o i n t c l o u da f t e rt h er e g i s t r a t i o n ，t h ep o i mc l o u ds i m p l i f l c a t i o ni ss t u d i e d t h em a i nc o n e n ti sd e p i c t e da s f o l l o w s ： b 嬲e d0 nt h ec h a r a c t e r i s t i c so ft h es u r f a c e ，锄i m p r o v e di c pi sd e c l a r e d 锄du s e db y a d d i n gt h ec o n s i d e r a t i o no ft h et h en o n n a li n 舒e d i e n t0 n t h es t e pw h e np o i n tp a i r sa r e s e l e c t e di ni c p i c pi st h em a i nr e g i s t r a t i o na l g o r i t h mn o w a d a y s ，h o 、e v e r ，i ti so n l ys u i t e df o rt h e p o i n tc l o u d sw h i c hh a v ef i n i s h e dt h er o u g hr e g i s t r a t i o na n d h a v es h o r td i s t a n c e b e 撕e e ne a c ho t h e r i nt h ep 印e ra ni m p r o v e dl c pi su s e db yc o m p u t i n gt h ep o i n t n o r n l a la n dd e f i n i n gt h eq u a l f i c a t i o no ft h ep o i n tp a i r si nt h el c 只t h e nb yt h e a l g o r i t h mt h ea c c u r a t er e g i s t r a t i o ni sr e a l i z e d m e t h o dt 0g e tt h er o t a t i o na n d 舰n s l a t i o nm a t r i x t h e r ea r eas e r i e so fa l g o r i t h m st 0c o m p u t et h er o t a t i o n 锄dt r a n s l a t i o nm a t r i x a d i s c u s s i o ni sm a d eo n2 | e tt h em a t r i xm o 陀e f f i c i e n t l ya n dm o r ea c c u r a t e l y t h er e a l i z a t i o no f t h ek d - t 1 e ea n dt h ec o m p u t i n go f t h ep o i n tn o n n a li nt h ep o i n tc l o u d i s m a d e t h es i m p l - f i c a t i o n0 ft h ep o i n tc l o u d t h e p o i n tc i o u dr e g i s t e r e di st o ot h i c kw h i c h w o u l dl e a dt om a s s i v ec o m p u t a t i o nf o r 如t u r er e s e a r c h t h er e s e a r c ho ft h ep o i n tc l o u ds i m p l i f i c a t i o nw i t h o u ta f r e c t i n gt h e d e t e c t i o nq u a l i t yi sm a d e k e yw o r d s ：s t e 他ov i s i o n ，p o i n tc l o u dr e g i s t r a t i o n ，l c 只n o r m a l ，p o i n tc 1 0 u ds i m p l i f i c a t i o n i i 摘要 a b s t r 觚t 目录 目录 第一章绪论 1 1 三维检测技术概述 1 2 三维检测技术发展和现状 1 2 1 摩尔检测技术 1 2 2 光纤法 1 2 3 数字照相系统 1 2 4 计算机断层扫描( c t ) 技术 1 2 5 结构光投影法 1 2 6 激光检测技术 1 2 7 双目检测技术 1 3 三维拼接技术 1 4 本课题研究的目标和内容 第二章系统模型及检测部分架构与实现 2 1 摄像机成像模型 2 2 几种物象坐标系及其转换 2 3 摄像机模型的内外参数标定及求解 2 4 立体视觉中对应点匹配的极线约束 2 5 编码光技术 2 5 1 编码光原理 2 5 2 编码光的横向约束 2 6 系统三维重建的实现 2 7 系统检测总体方案 2 7 1 检测系统组成 2 7 2 硬件环境 2 7 3 软件环境 第三章三维点云拼接的实现 3 1 三维点云拼接 3 1 1 三维点云拼接的定义 3 1 2 主要算法 3 1 3 相关图像学理论 3 2l c p 算法 i i i o 一 一 一 以 吨 吨 o q o 弗 0 o o 坦 m ” 怕 掩 体 侉 加 扒 扒 扒 扒 龙 ” 3 2 1 原始i c p 算法原理一2 8 3 2 2i c p 变种算法 3 2 3i c p 算法的迭代 3 2 4l c p 算法的评价 3 3 三维点云信息处理 3 3 1 点云存储与快速查找 3 3 2 点云法向量的求取 3 4 运动约束下的基于法向量的三维拼接算法 3 4 1 初始姿态调整 3 4 2 初步拼接一一一一一一3 6 3 4 3 精确拼接一一一一一一一一3 7 3 4 4 坐标变换矩阵求解 3 4 5 拼接算法流程图 3 5 实验数据与应用结果 3 6 算法比较与评价 3 6 1 与标签点拼接方法的比较 3 6 2 与l c p 拼接方法的比较 第四章三维点云精简 4 1 三维点云冗余数据精简 4 1 1 点云精简类型 4 1 2 点云精简算法评价 4 2 散乱点云精简方法 4 2 1 包围盒法 4 2 2 均匀网格法 4 2 3 角度弦差法 4 2 4 聚类法 4 2 5l in s e n 信息量法 4 2 6 迭代法( i t e r a t i v es i 呷1 f i c a t i o n ) 4 2 7 粒子仿真( p a r t i c i es i 咖l a t i o n ) 4 3 基于包围盒的改进精简算法 4 4 点云精简后效果 第五章总结与展望 致谢一一一一6 0 参考文献 硕士期间发表论文 l v 6 1 6 3 凹 如如 弘”弘 弘 躬 甜 铝 钙 鹌 卯 如 如 如 钉 虬 钉 卯 钇 铉 记 够 弱 妇 第一章绪论 第一童绪论 近二十年来，随着生产设备的发展，加上计算机技术的快速进步以及广泛 应用，各种与计算机相关的应用技术飞速发展，这种技术发展也逐渐影响到企 业的管理和商业对策，面向制造业的新思想新技术层出不穷，其中，在生产自 动化、c a d 及医学等领域产生了这样一种需求：即希望有一种技术可以利用现 实的三维实体，提取其三维的表面数据以利于生产的自动化和模具的自动生成， 或者可以在虚拟的环境中重构这个实体已便于后续的分析与研究。因此就产生 了对于三维物体形状检测及相关技术的研究。 1 1 三维检测技术概述 三维物体形状检测和重构技术是计算机图像处理( 视觉处理及模式识别) 的一个分支，在工业、科研和国防等领域有着广泛的应用。三维检测技术以近 现代物理、控制论、信息论和系统论为理论基础，以现代光学技术、电子技术 和计算机技术为技术背景，为空间模式判断、机器人视觉等学科提供技术支持， 又为工业自动化、虚拟现实等提供模型资源供应，是一门跨学科领域、多应用 层次的关键技术，在理论上和实际应用中有着重要意义。 三维物体形状检测技术在生产自动化、机器人视觉、c a d 、医学等方面有 着极其广泛的应用前景。例如，在汽车生产过程中，车身成型是关键工序之一， 仅依靠人工检测根本无法对车身的关键点和关键尺寸进行高准确度的测量，而 采用三维检测技术方法，则可以对产品进行准确、快速地检测并得到三维物体 的数字信息。除此以外，三维检测与重构在磨具设计制造与检测、产品检测与 质量控制、机器人视觉导航等方面都被广泛的应用。 1 2 三维检测技术发展和现状 三维物体检测技术的研究在国外已经持续了近2 0 年，目前仍是学术研究比 较活跃的领域。根据获取物体三维数字信息的方法来分类，三维检测技术可分 为两大类：接触式和非接触式，接触式主要以三坐标测量机为代表，通过使用 探头以接触式的方式传递信号，三个导轨的位移测量系统经数据处理器或者计 算机计算出被测物体表面各点的坐标，但是三坐标测量机测量效率低，而且不 适合测量柔软的物体。本文研究的三维检测与重构技术属于非接触式三维检测 技术，非接触式在技术发展的初期，由于其在机器视觉、图像辨识、计算机图 形、快速模型建立、机器人导航等不同学科中都有涉及，所以不同学科的研究 人员基于自身的知识背景和设计要求，提出了许多不同解决方案，并在各自领 域独立发展。一些主要的检测方法如下： 1 2 1 摩尔检测技术 摩尔检测技术是让光线通过一个光栅投射到物体的表面，其反射光回到光栅 处与新的发射光产生干涉，在接收器上出现莫尔条纹，从条纹的位置或相位变 化获得物体的形状尺寸。用摩尔检测技术可得到较高精度的数据，应用白色光 源的摩尔检测技术，可得到误差小于0 1 m m 】的深度数据，因此摩尔检测技术 常被用来检测曲面物体的表面形状。但是，摩尔干涉光纹强度分布范围大、噪 东南大学硕士学位论文 选取有一定的困难，噪声抑制要求高，而且对被检测物体表面斜率 定的要求。 1 2 2 光纤法 通过被测量物表面形貌的变化来调制波导中的光波，使光纤的光波参量随 被测量物表面形貌的变化而改变，从而求得被测信号的大小【1 1 。该方法具有灵 敏度高、耐腐蚀、电绝缘、不受电磁干扰、光路可挠曲、便于遥测等许多优点。 但价格较高。 1 2 3 数字照相系统 相当长的一段时间，许多三维非接触测量工作都涉及到被动式三角测量方 法，主要应用领域是航空测量、卫星遥感、机器人视觉等，因为这些场合下采 用主动式测量是不现实的。典型的被动法是立体视差( s t e r od i s p 撕t y ) 法，所 谓视差就是物体表面同一个点在左右图像中成像点的位置差异，根据左右图像 成像点位置就可解算出物体上对应点的空间坐标。由于近年来在半导体光电器 件方面有较大突破，使得生产高分辨率的数字照相系统成为可能，目前已能生 产出4 5 0 万像素的数码像机，如禄来6 0 0 8 型等，高分辨率数码相机已被用于三 维测量中。这种测量方法的主要问题是多幅图像上同名点的搜索及自动匹配比 较困难，通常求取同名点的方法有：依据被测物体上的人工的或固有的特征 点( 角点，局部灰度极值点等) 在各个视角方向的图像中形态的相似性进行匹 配；利用窗口或模板求对应点。 1 2 4 计算机断层扫描( c t ) 技术 计算机断层扫描( c t ) 技术最具代表的是基于x 射线的c t 扫描机，它是 以测量物体对x 射线的衰减系数为基础，用数学方法经过计算机处理而重建断 层图像，这种方法最早应用于医疗领域，目前已经开始用于工业领域( 即所谓 “工业c t ”) ，特别针对中空物体的无损三维测量，是目前最先进的非接触式的 检测方法，它可对物体的内部形状、壁厚，尤其是内部构造进行测量，但它存 在空间分辨率较低、获得数据需要较长的积分时间、重建图像计算量大、造价 高，只能获得一定厚度截面的平均轮廓等缺点。 1 2 5 结构光投影法 结构光投影法嘲是8 0 年代发展起来的直接获取三维图像数据的方法，其基 本思想是利用结构光投影的几何信息来求得物体的三维信息，通过向物体投射 各种结构光( 如点、线、空间符 号结构光等) ，在不同于投影光轴 的方向观察，利用投影点、观察 点及物体的三角关系获取物体的 三维信息。 点结构光投影法是最早发展 起来的，通过分别向物体不同位 置的点投影单束光，计算出物体 物体 图1 1 线结构光投影法组成原理图 2 摄像机 第一章绪论 上所有检测点的三维坐标，获取物体的整体三维图像。由于点结构光投影法属 于点检测方法，测量时间长，数据空间分辨率低，现在已很少把其作为一种实 用方法。线结构光投影法是结构光投影法中具有代表性的一种方法，其基本原 理如图1 1 所示。在室内条件下，穿过狭缝的一个光平面，投影到物体上形成 一条畸变亮条纹。通过旋转体的步进旋转，光平面依次扫描过物体的表面，摄 像机拍摄到一系列物体的结构光图像，从而获取物体表面形状的三维信息。有 关文献指出i 引，目前日本已有线结构光投影的专用图像存储处理器，可以在很 大程度上缩减测量的时间。 在线结构光投影法基础上，井口征士等人提出了一种新的结构光投影法， 即面结构光投影法：向物体投影各种模式的面结构光，当基准结构光投影到目 标物时，若从不同于投影光轴方向的观测点来看，基准结构光条纹随着物体表 面形状的凹凸变化而发生畸变，由于这种畸变是投影的基准结构光条纹受物体 表面形状的调制所致，因此包含了物体表面形状的三维信息。由于面结构光投 影法是一次性瞬间投影获取被测物体表面形状的三维信息，因此与线结构光投 影法相比具有准确、快捷、数据空间分辨率高等特点。 1 2 6 激光检测技术 在三角检测法中，激光条纹检测技术( l a s e rs t r i p e ) 是最成熟的，也是目 前唯一能在工程测绘中应用的技术。传统的激光条纹检测技术是在空间域 ( s p a t i a ld o m a i n ) ，通过向被测物体投射一个激光平面，在物体表面形成畸变 条纹，根据条纹的畸变特性与几何关系得到物体表面信息。其实人们很早就开 始研究时间域( t e m p o r a ld o m a i n ) 的激光条纹检测技术1 4 】1 5 j 。近来，人们又将 结构光技术引入激光条纹检测技术，并在多摄像头系统等方面进行了广泛的研 究。 由于激光具有较高的抗干涉性，可以在复杂环境下进行检测，而且三维检 测方法存在内在的联系性，所以许多只能在实验室中使用的检测方法可以通过 移植用到激光检测仪器上，便于在工程实践中应用。 1 2 7 双目检测技术 双目检测法( s t e r e o ) 是最早研究的一种检测方法1 6 j 。其基本思想双目 图像匹配算法在计算机视觉领域已经有了非常深入研究，并且已经有比较有效 的算法。 传统的双目检测方法是对空间中两个视点图像进行特征匹配，找到匹配的 区域，然后根据视点与实际物体的几何关系得到物体的深度信息。由于参与匹 配的对象是空间中不同视点处采集的图像，故该方法也称为空间双目检测技术 ( s p a c t i a ls t e r e o ) 。图1 2 为该匹配方法的示意图。式( 1 1 ) 为空间双目检测方 法的匹配原理公式。 忆( 圪( 而) ) 一厶( k 2 ) ) 旷 ( 1 1 ) 式中x 是图像中某个像素点，v 是该像素点临域的描述向量，i 是对该向量 的评估函数。求解式( 1 1 ) 的最小值，得到与x 1 相匹配的点x 2 。 在寻找两幅视点图像中对应点的过程中，可以利用极线约束的条件，通过 标定计算得到两个摄像机的内外参数，利用识别三维物体的某些特征角点，来 计算求得基础矩阵f ，然后在一幅图象中查找另一幅图像中某点对应的点时， 图l - 2 空间双目模型的匹配算法 时间双目检测技术( t e m p o m ls t e r e o ) 是在研究运动物体的检测课题中提出 的双目检测方法。与空间双目检测不同的是，时间双目检测技术的匹配是在不 同视点的多帧图像中的运动矢量即在时间方向变化特性相同的区域。图1 3 为时间双目模型匹配方法的示意图。式( 1 2 ) 为时间双目检测方法的匹配原理 公式。 图1 - 3 时间双目模型的匹配算法 i i ，。( k ( x 。，) ) 一厶( k ( x ：，) ) 1 1 2 ( 1 2 ) 式中x 是图像中某个像素点，t o 是某个帧时刻，v 是该像素点临域的描述 向量，i 是对该向量的评估函数。求解式( 1 2 ) 的晟小值，得到与x l 相匹配的 4 第一章绪论 点x 2 。 该方法虽然为运动物体的检测提出方案，弱化了空间双目检测的应用条件， 但其运动矢量长度选取等问题阻碍了该方法检测效果的提高，而且多视点间图 像帧同步问题常导致检测失败。 除上述两种基本双目检测方法，还有许多其它类型的双目检测方法，如基 于光源运动的p h o t o m e t r i cs t e r e o 【7 。、向被测物体投影的a c t i v es t e r e o 【8 1 ，以及综 合方法如m u l t i p e r s p e c t i v es t e r e o 【9 1 等。 双目检测方法的理论贡献是对于图像匹配技术进行了深入的研究，其中许 多结论与算法成为其它方法的理论基础。并且人们发现匹配原则是三维检测技 术的通用数学模型的基本元素，并在很大程度上决定了检测性能( 速度与精度) 。 目前，结构光投影检测技术是最为关注的检测技术。主要有以下原因： 从发展角度上看，在不同的学科对于各自检测技术研究中，针对各自问题 独立提出了各自的检测方法，比如在快速建模研究中，将传统的莫尔法用结构 光投影来代替；在计算机视觉研究过程中，对于物体特征进行人为标定以利于 图像匹配。随着研究的深入，人们发现在不同的检测技术中都存在结构光投影 的基本思想，并且采用结构光投影模式有助于检测技术的理论分析，有利于建 立更通用的数学模型。 从理论角度上看，结构光投影以信息论为基础，可以方便地利用信号编码 等学科的既有知识，研究基础宽广深厚。 从实现角度上看，结构光投影设备简单，利于构建不同形式的实验平台， 并且投影模式操控方便，易于进行多方位探索和综合性研究。 目前，国外结构光投影模式已经从空间域编码向时间域编码、时空复合编 码等多形态编码方式发展，并且已经开始进行对移动物体的实时检测的研究i l 0 1 。 本论文使用的是一种通过采用编码光投影法来实现三维物体形状检测的方 法。该方法具有检测过程完全非接触、数据空间分辨率较高、一次性瞬间获取 三维信息等特点，能够快捷、有效地提取出物体形状的三维信息，实现三维物 体的形状检测。 1 3 三维拼接技术 在实际工程应用中，用上述三维检测技术来采集三维物体的三维数字信息 时，往往有一个共同的缺点就是不能一次性的得到完整的物体的三维数据信息 【l ，主要原因有： ( 1 ) 某些光投影法有其自身的局限性，即一次只能在有限的角度内对物体 投影，因此得到的只是物体特定角度的三维数字信息，需要分角度对对象进行 多次测量，才能获得物体的全部信息，但是多个部分三维点云信息需要拼合才 能实现最终的完整三维信息提取。 ( 2 ) 物体测量过程中需要固定或加紧，所以仅通过一次测量不能获得物体 表面的全部数据，需要单独对固定或加紧的部分进行测量。 ( 3 ) 物体的尺寸过大，超出测量仪器的测量范围，需要进行多次分片测量 完成。 因此，综上所述，需要对在不同视角下多次测量物体对象得到的点云信息 进行配准，将其转换到同一坐标系下，以得到最终的三维物体检测信息，即三 维拼接。 东南大学硕士学位论文 三维拼接的实质是把不同的局部坐标系下得到的三维数据进行坐标计算， 统一变换到全局坐标系中。 目前，三维数据拼接技术主要分两大类l l2 】：( 1 ) 依赖精密仪器的配准，即 采用经过高精度定标的仪器获取的多视点数据以及它们之间的原始变换关系来 进行点云拼接，例如高精度旋转台的旋转角度测量i l 列；但是精密运动平台价格 昂贵，而且运动范围有限。( 2 ) 自动配准，通过一定的算法或者统计学规律， 利用数据中的变换信息或利用在数据获取时引入其他信息，对三维数据进行拼 接计算。通常采用的自动配准技术分为初始配准和精确配准两步，精确配准一 般采用i c p ( i t e r a t i v ec l o s e s tp o i n t ) 算法【1 4 j ，该算法要求待拼接的点云有初始 姿态估计，所以需要进行初始配准，常见的初始配准方法有：标志点拼接算法 【”j 、基于固定球拼接算法1 1 6 j 、基于平面基线靶标【1 7 】等，这些算法实现较简单， 但是因为都通过引入标志信息来实现拼接，有可能在贴标志点的时候对检测对 象造成破坏，而且这些算法有人工的介入，没有实现点云的完全自动拼接。 1 4 本课题研究的目标和内容 本课题研究目标是构建一个基于编码结构光投影法的三维物体形状检测与 拼接的系统，用来获得物体较为完整的三维数据。希望通过本课题的研究进一 步提高三维物体检测精度，并能够获得更好的三维物体表面的三维数据，为三 维空间物体形状检测及重构技术的研究和发展提供依据。 本课题的主要研究内容： 1 分析摄像机成像模型，介绍各个坐标系间的关系，从而建立立体机器视觉检 测系统的数学模型，在引入摄像机标定的基础上，分析双目检测系统中极线约束 理论在三维重建中的作用。 2 对三维点云进行格式存储和快速遍历查找最近点算法的研究。 3 分析点云中点的法向量计算算法以及实现过程。 4 在原始i c p 算法的基础上，利用点云中点的法向量信息，提出一种较快速 的自动拼接算法，实现无人工介入的点云自动拼接。 5 对拼接后的点云进行有效精简。 6 捕获的二维图像信息可以计算得到三维空间中物体的几何信息，并由此重建物 体。本文首先介绍基本的摄像机成像数学模型，接着介绍采用的标定技术，在双 目对应点匹配时介绍极线约束的原理和编码光技术，最终实现二维图像信息到三 维图像信息的变换。 2 1 摄像机成像模型 摄像机镜头是由许多片薄凸透镜组成【1 8 】。使用透镜组的原因主要是要消除色 差等影响。根据光学理论可以知道，虽然是透镜组，其可以等效为一个独立的凸 透镜，所以摄像机镜头可以看作无色差的凸透镜。它的成像是透镜成像原理，见 图2 - 1 ，图中厂为凸透镜( 或等效凸透镜) 的焦距，甜和v 分别表示物距和像距。 三者满足下列关系： 111 = + i 2 7 ( 2 1 ) 材1 ， 厂 “1 ， j j 一 1 。， 一 f 一+ - h 一v 一_ - i i 图2 - l 透镜成像模型 因为在一般情况下有甜 厂，由公式( 2 1 ) 得1 ，厂，所以实用中可以小孔成 像模型来代替透镜成像模型。小孔摄像机成像模型又称为线性摄像机模型。空间 任何一点p 在图像中的成像位置可用小孔成像模型近似表示，即任何点p 在图像 中的投影位置p ，为光心o 与p 点的连线o p 与图像平面的交点。这种关系也称 为中心射影或透视投影( p e r s p e c t i v ep r o j e c t i o n ) 。满足严格的透视变换关系，其 基本变换计算式是线性关系，可直接采用解线性方程组的方法来求解。 2 2 几种物象坐标系及其转换 摄像机成像涉及到不同坐标系统之间的变换，见图2 2 。考虑到图像采集最 终结果是要得到计算机里的数字图像，在对3 d 空间景物成像时涉及到的坐标系 统主要有： 世界坐标系统：也称真实或现实世界坐标系统( ，儿，乙) ，它是客观世界的 绝对坐标。一般的3 d 场景都是用这个坐标系统来表示的。 摄像机坐标系统：以摄像机为中心制定的坐标系统( x ，y ，z ) r ，一般常取摄像 7 东南人学硕士学位论文 机的光学轴为z 轴。 像平面坐标系统：在摄像机内所形成的像平面坐标系统( x ，n 。一般常取像 平面与摄像机坐标系统x y 平面平行，且x 轴与x 轴、y 轴与y 轴分别重合，这 样像平面原点就在摄像机光轴上。 计算机图像坐标系统：在计算机内部数字图像所用的坐标系统( 甜，v ) 。数字 图像最终由计算机内的存储器存放，所以要将像平面的投影坐标转换到计算机图 像坐标系统中。 图2 2 坐标系的相互关系 为了更好的理解应用坐标之间的相互转换，本课题引入机器视觉和计算机图 形学中的一个十分有用的工具：齐次坐标，利用它可以统一完美地表达许多重要 的几何变换。齐次坐标含有冗余信息：笛卡尔n 维空间中的一点可以用齐次( n + 1 ) 空间中的一条直线表示。因而，对于一个笛卡尔空间的物理坐标点，在齐次坐标 系中不存在唯一的表示。例如，3 d 空间中的物体点( 墨弘z ) r 的齐次坐标是一个 4 唪1 维矢量，其中第四维是一个非零的任意常数。而为了将一个用n 宰l 维矢量表 示的点从齐次坐标表示变换到( n 1 ) 维的物理坐标，需要将全部分量除以第n 个元素，然后消去第n 个分量，这样形成一个新的( n 1 ) 维矢量。同样，将2 母l 物理矢量维数增加一个比列系数，同时将物体的图像点坐标乘以这个非零系数， 这样也可以用齐次坐标来表示一个图像点。 由于实际的摄像机镜头并不是理想化的小孔成像，此外，摄像机还存在有制 造过程中的装配误差，因此，实际成像与理想的小孔成像之间存在差异，这些差 异称为畸变。摄像机镜头的畸变主要有径向畸变和切向畸变两种，其中径向畸变 起主要影响。 考虑到畸变的影响，从三维物体到数字图像的成像变换可看作以下4 步组 成，见图2 3 。 世界摄像机像平面像机计算机图 坐标系 坐标系 - i 坐标系 畸变 像坐标系 x w y w z w 科z x y x ，y u v 图2 3 各个坐标系转换流程 第二章系统模型及检测部分架构与实现 从世界坐标系到摄像机坐标系的转换为( 即儿乙寸彬转换， 三 = 兰薹薹 蒌 + 乏 = 月 耋 + 丁 见图2 2 ) ( 2 2 ) 其中r 和t 分别为从世界坐标系到摄像机坐标系的旋转变换矩阵和平移变 换矩阵。 用齐次坐标表示为： = 酬 k 儿 1 ( 2 3 ) 从摄像机坐标系到参考无失真像平面坐标的透视变换( 即0 灯专d 。x 】，转 换，见图2 2 ) 具体表示为： x ：壁 z 】，：业 z 其中厂为像平面与摄像机中心的距离，一般称为摄像机的焦距。 齐次坐标表示为： oo o 厂 ooi o1ol j 其中s 为比例因子，尸为透视投影矩阵。 ：p i ； lz i1 ( 2 4 ) ( 2 5 ) ( 2 6 ) 从无失真的像平面坐标到受镜头径向失真和切向失真影响而偏移的实际像 平面坐标变换为( 即o 灯一d 。x 】，。转换) 【2 叫 径向畸变是关于摄像机镜头主光轴对称的，其数学模型为： 砖= x 。( 魄，2 + 乞，4 ) ( 2 7 ) 如= 】，。( 白，2 + 哎，4 ) ( 2 8 ) 其中，2 = x 2 + j ，“，毛、乞为径向畸变系数，) 为实际图像坐标， ( 疋，6 订) 为径向畸变坐标。 切向畸变则不关于摄像机镜头的主光轴对称，其数学模型为： “= 2 岛x y + 屯( 3 x 哩+ 少哩)( 2 9 ) 9 ，o 0 _。l = 1j x y 厂_cul 东南大学硕士学位论文 屯= 毛( z 2 + 3 y 2 ) + 2 毛x y ( 2 1 0 ) 其中，如、心为切向畸变系数，( 屯，艿w ) 为切向畸变坐标。由以上分析，得 到总像差模型为： 疋= x 。( 毛，2 + 岛厂4 ) + 2 毛x y + 缸( 3 x 2 + y 2 )( 2 11 ) 氐= l ，( 毛，2 + 屯，1 4 ) + 屯( x 。2 + 3 y 2 ) + 2 毛x y 。( 2 1 2 ) 其中，( t ，或) 为畸变坐标。 仁罐 实际的像平面坐标到计算机图像坐标的变换( 即d z y 专删转换) ，见图2 4 。 臀：薪 q “， ，ln l l1 ，= 】，咖+ p 7 rv 其中，( ，) 是主点坐标( 光轴与图像平面的交点) 。 用齐次坐标表示为： u 0 1x ：u o ，v o ) 1 rv 1ry 图2 _ 4 图像平面坐标系 豳 1 爹t 瑚刁 5 ， 理想的像素坐标轴之间应该是垂直的，但是通常它们之间形成一个角度o ， 与理想的9 0 。有点差别，这是一个需要估计的参数。还需要估计图像的中心， 因为它与主点并不始终一致。假设，是倾斜系数，与。角有关，当。是9 0 。时， ，为0 ，那么像素坐标是： 1 0 像坐标( z ，v ) 和世界坐标( ，儿，z 。) 联系起来的方程即： i = r | d x 1 砂 0 铀汗 1 砂v oi i 】，i _ 0 1i i1 l = 伊 f | 叔 ：i o l 【 o p | 叔 | 西 o r | d x 、| 由 o 斟 瓣 斟 叫叫刘 1 1j =彳c厶。，毒，；=彳c尺丁，； 即 阡 相 ( 2 1 7 ) 甜尸圈8 ， 踊= 删= 彳【r 丁】m 其中，；i = 【甜v1 】7 ，厨= 【儿乙1 】7 ； ( 2 1 9 ) 0 0 1o ，o ，0 o p。l1j 俄o o 一 一 出， 几o o 一 一 0 o 1o ，o ，o 0 _。l 1j 协o o 一 一 ， 1j 3 3 3墨昱b& 日最b _。l 东南人学硕十学位论文 卜似1 彳= i o 哆 v ol ，a 为摄像机内部参数矩阵； l - o o 1 j 尸= 彳【厶。，】 鑫： = 4 c r 丁， c 2 2 。， p 为摄像机投影矩阵。 q = 厂出，口，= 砂，分别是在像素级上，从水平和垂直方向上的尺度因子， 或称为归一化焦距；以，d ，分别是图像中像素的物理尺寸。 2 3 摄像机模型的内外参数标定及求解 根据上面的分析可以看出从三维坐标变换到二维坐标的变换矩阵可以分离 为摄像机内部参数组成的矩阵与外部参数组成的矩阵之积。因此需要求解的参数 即可分为内部参数和外部参数： 内部参数： 包括线性模型参数q ，口，倾斜系数，以及非线性畸变参数毛，如，毛，心。 外部参数： 物体点从世界坐标系到摄像机坐标系的平移t 和旋转矩阵r 中的参数称为 外部参数。外部参数有6 个，它们是相应于r 的用欧拉角表示的侧倾角v 、俯 仰角圆、旋转角o 及相应于平移矢量t 的三个分量瓦，z ，z 。于是，旋转矩阵 r 可以表示为函数： 只= b 穗等 s i n l f ，c o s p c o s yc o s 咖+ s i n ys i n 8 s i n s i n l 矿s i n p c o s 妒一c o s i 矿s i n 妒 求取以上这些参数的过程就称为摄像机的标定，实际上可以看作是空问点三 维成像过程的一个逆过程，它是在一定的摄像机模型下，基于特定的实验条件， 利用形状、尺寸己知的定标参照物，通过建立标定参照物上分布的定标标志点与 其在计算机图像中像点之间的成像关系，利用一系列数学变换和计算方法，求取 摄像机模型中的各个参数，来达到摄像机标定的目的。 传统的摄像机标定方法，一般主要有两种：分别是直接线性变换( d l t 变换) 【2 1 j 和t s a i 的r a c l 2 2 】【2 3 】的定标算法，两种算法精度高，但是实现过程复杂，模板 制作精度要求较高，且未考虑到像机的畸变因素，因此最终本文选择使用基于 2 d 平面靶标的摄像机标定方法，该标定方法主要是通过摄像机在两个以上不同 的方位拍摄一个平面靶标，摄像机和2 d 平面靶标都可以自由的移动，由于在拍 摄的过程中，摄像机的内部参数不会改变，改变的只有外部参数，因此降低了求 解的难度，下面是通过平面棋盘格进行标定的步骤： o 绕x 轴旋转角 。绕y 轴旋转角 绕z 轴旋转角 1 2 22 1j 五y 甲 p 洫 n s c 龇d p 一 吣 一 啷 啷 第二章系统模型及检测部分架构与实现 通过架设靶标平面位于世界坐标系的x y 平面上，可以使z = o 。因此设旋转 矩阵r 的第i 列为，；，由式( 2 1 9 ) 有： s ； = 彳t 吃吩 = 彳c 乞 ，i c 2 2 2 ， 使用上面的方法，可以减少了求解的维数，设m 表示靶标平面上的点，则 m = 【xy 】7 ，府= 【xy1 】7 ，靶标平面上的点m 与图像平面上的点m 存在矩阵 变换h ： s 历= 月= 枋 ( 2 2 3 ) 其中，平移向量t 为从世界坐标系的原点到光心的矢量，巧，吃为图像平面两 个坐标轴在世界坐标系中的方向矢量，显然t 不会位于，吃构成的平面上，由于 ，眨相互正交，因此d e t ( 【_ 吒f 】) o 。又由于d e t 彳】o ，所以d e t 【日】o 。 h 的计算是使实际图像坐标聊，与根据式( 2 1 9 ) 计算出的图像坐标碗之间参差 最小的过程，目标函数为： 、 m i n 一历j1 1 2 i ( 2 2 4 ) 空间上的二次曲面可表示为尹礅= 0 ，其中贾= y z 1 ) 7 ，b 是一个4 拳4 对称矩阵。显然，b 乘以任何一个不为零的标量仍描述同一二次曲面。而平面上 的二次曲线可表示为舻礅= 0 ，其中舅= y1 ) r ，b 是一个3 宰3 对称矩阵。显 然，b 乘以任何一个不为零的标量仍描述同一二次曲线。因此，么一r 么- t 事实上描 述了绝对二次曲线在图像平面上的投影。令： 8 ：彳一7 彳一1 l 蜀。 墨： 互。i = i 岛。垦：岛，l - 【忍-骂：马，j 1 一， q ：n y ， q ，21 蘅+ 虿 v o r 一哆一，( v o ，一q )v o 噶n ya y吒 塑! 二丝生 q = ! ! 二丝生! 一显 嘭 堕芒丝+ 乓+ 。 。 由于b 是对称矩阵，可以另表示为下面的六维向量： 6 = 【蜀。置：岛： 骂， 岛，马，】7 设h 中的第i 列向量为均= 【。鸟：扛，r ，因此有： h 1b h j = 吒b 其中： ( 2 2 5 ) ( 2 2 6 ) ( 2 2 7 ) 东南大学硕士学位论文 = j j i 。勺。 曩。哆：+ 曩：勺。 曩：嘭：瑰，嘭+ 魄。吃，囊，吃：+ 曩：嘭， 这样，可以得到两个关于b 为未知数的齐次方程： k 纠脚 印，乃， r ( 2 2 8 ) ( 2 2 9 ) 如果对靶标平面拍摄n 幅图像，将n 个这样的方程组叠起来，可得： 场= 0 ( 2 3 0 ) 其中，v 为2 n 幸6 的矩阵。如果丹3 ，一般地，b 可以在相差一个尺度因子 的意义下唯一的确定。方程( 2 2 3 ) 的解是矩阵旷y 的最小特征值对应的特征向量， 或通过对矩阵v 进行奇异值分解( s v d ) 求解出6 。 当6 求出来后，可以利用c h o l e s k y 矩阵分解算法求解出彳一，再求逆得到a 。 一旦a 求出后，每幅图像的外参数容易求出： 1 = a 彳叫啊眨= 允彳叫红吩= 吃，= 允彳- 1 魄( 2 3 1 ) 其中，九= 1 | 么一圳= l j i 彳。删。 2 4 立体视觉中对应点匹配的极线约束 在2 3 中介绍了几种坐标系的转换关系，即从三维世界坐标转换为二维图像 坐标的变换，反过来，可以利用图像点的匹配来恢复这种几何关系即反求物体的 三维坐标，在二维图像的点匹配过程中，可以利用立体视觉中对应点匹配的极线 约束，使得对应点的匹配搜索范围由二维平面降低到对应的极线上，这样可以大 大提高对应点匹配的正确性和精度，从而更加精确地实现实际物体三维点的获 取。 在双目立体视觉系统中，数据是两个摄像机获得的图像，即左图像与右图 像，见图2 5 。如果乃，所是空间同一点p 在两个图像上的投影点