（测试计量技术及仪器专业论文）基于二进制编码结构光的三维形貌测量技术研究.pdf

摘要 摘要 随着科学技术及工业生产的不断发展，三维测量技术在机器人视觉、自动 化生产、反向工程、质量控制、c a d c a m 以及生物医学工程等方面的应用日益 广泛。传统的接触式测量技术由于存在测量力、测量时间长、需进行测头半径 的补偿、不能测量弹性或脆性材料等局限性，已经不能满足现代工业发展的需 要。光学非接触式三维测量技术克服了上述缺陷，成为近年来三维测量技术领 域研究的热点。 本文介绍了一种基于二进制编码结构光的非接触式三维形貌测量方法。该 方法采用了数字投影编码结构光技术，测量具有非接触、精度高及能够对不连 续表面进行测量等优点。 文中介绍了两种基于二进制编码结构光的三维形貌测量系统，即传统结构 测量系统和改进型测量系统，并从测量系统的结构、测量基本原理、系统标定 原理和测量及标定过程中涉及的图像处理等几个方面对两种测量系统进行了比 较分析。传统结构的测量系统虽然具有物象关系简单、易于计算的优点，但其 标定中存在约束条件难以实现、标定精度不高的问题；相对于传统结构的测量 系统，改进型测量系统具有易标定、测量精度高、实用性强等优点。在理论分 析的基础上，本文完成了两种测量系统的标定算法与测量算法的设计与实现， 并进行了标定与测量实验。最后给出了实验结果，结合实验结果分析了两种测 量系统的误差。 关键词：结构光；二进制编码；三维形貌测量；标定 a b s t r a c t a b s t r a c t w i mt h ed e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g ya n di n d u s t r y , 3 dm e a s u r e m e n t t e c h n i q u e sa l eb e c o m i n gi n c r e a s i n g l yi m p o r t a n ti nm a c h i n ev i s i o n ，p r o d u c t i o nf o r a u t o m a t i o n ，r e v e r s a le n g i n e e r i n g ，q u a l i t yc o n t r o l ，c a d c a ma n db i o m e d i c a l e n g i n e e r i n g ，e r e a s t r a d i t i o n a lc o n t a c tm e a s u r e m e n tt e c h n i q u e sh a v el o t so f s h o r t c o m i n g s ，s u c h a sm e a s u r e m e n tf o r c ec o m p a n y i n g 研mm e a s u r e m e n tp r o c e s s ， t i m e - c o n s u m i n g ，n e e d i n gc o m p e n s a t i o nf o rr a d i u so f t h et e s th e a d ，u n a b l et om e a s u r e e l a s t i co rf r a g i l em a t e r i a l ，a n ds oo n ，i tc a n tm e e td e m a n d so ft h ed e v e l o p m e n to f m o d e mi n d u s t r y t h e r e f o r e ，o p t i c a ln o n c o n t a c t3 dm e a s u r e m e n tt e c h n i q u e sw h i c h o v e r c o m i n gt h ea b o v e m e n t i o n e dd e f e c t sh a v eb e c o m et h e h o tr e s e a r c ho f3 d m e a s u r e m e n tt e c h n i q u e si nr e c e n ty e a r s ak i n do fo p t i c a ln o n c o n t a c t3 dm e a s u r e m e n tm e t h o dw h i c hi sb a s e do n b i n a r y c o d es t r u c t u r e dl i g h ti sd e s c r i b e di n t h i sp a p e r t h i sm e t h o da d o 。p t sd i g i t a l c o d e d f r i n g ep r o j e c t i o nt e c h n i q u e s a n di t sm e a s u r e m e n th a s a d v a n t a g e s o f n o n - c o n t a c t ，h i g h e rp r e c i s i o na n db e i n ga b l et om e a s u r et h ed i s c o n t i n u o u ss u r f a c e b a s e do nt h eo p t i c a ln o n - c o n t a c t3 dm e a s u r e m e n tm e t h o dm e n t i o n e da b o v e ，t w o k i n d so fs y s t e m s t h et r a d i t i o n a ls y s t e ma n dt h ei m p r o v e ds y s t e m ，a r ei l l u s t r a t e di n t h i sp a p e r , t h e ya l ec o m p a r e da n da n a l y z e di nt h ea s p e c t so fs t r u c t u r e ，b a s i cp r i n c i p l e o f3 dm e a s u r e m e n tm e t h o d ，c a l i b r a t i o na n dd i g i t a li m a g ep r o c e s s i n g a l t h o u g ht h e t r a d i t i o n a ls y s t e mh a st h ea d v a n t a g eo fs i m p l er e l a t i o n s h i pb e t w e e nt h eo b j e c ta n dt h e c o r r e s p o n d i n gi m a g e ，i ti sd i f f i c u l tt or e a l i z et h ec o n s t r a i n e dc o n d i t i o n so ft h es y s t e m s t r u c t u r e ；c o m p a r e dw i t ht h et r a d i t i o n a ls y s t e m ，t h ei m p r o v e ds y s t e mh a st h e a d v a n t a g e so fe a s i e rc a l i b r a t i o n ，h i g h e rp r e c i s i o n ，b e t t e rf l e x i b i l i t ya n ds oo n t h e c a l i b r a t i o na r i t h m e t i ca n dt h ed i g i t a li m a g ep r o c e s s i n ga r i t h m e t i co fb o t hs y s t e m sa r e d e s i g n e di nt h i sp a p e r , a n da l lo ft h ea r i t h m e t i ch a sb e e nr e a l i z e di nt h ee x p e r i m e n t s w i mt h er e s u l t so fa l lt h ee x p e r i m e n t sl i s t e di nt h i sp a p e r , t h ee r r o ra n a l y s e so fb o t h s y s t e m sa r ed e s c r i b e di nt h ee n d k e y w o r d s ：s t r u c t u r e dl i g h t ；b i n a r yc o d e ；3 dm e a s u r e m e n t ；c a l i b r a t i o n i i 学位论文版权使用授权书 本人完全了解北京机械工业学院关于收集、保存、使用学位论文 的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和 电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、 缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以 及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向 国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目 的的前提下，学校可以适当复制论文的部分或全部内容用于学术活 动。 学位论文作者签名：涉叉诵 娜；年弓月聒日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 年，月t日年月日 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、己公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：坟j 3 码 珈z 年3 月fgf t 第1 章绪论 第1 章绪论 1 1 三维测量技术发展概述 早在二十世纪初期，人们就开始了对三维测量技术的研究，随着对三维测 量技术的要求不断提高，人们的研究也不断深入，发展至今，已经出现了大量 的测量方法，常见的三维测量方法及分类如图1 1 所示。 接触式测量主要是依靠探针和被测物体的表面接触，此探针固定在机械手 臂上。机械手臂的角度和长度时刻记录着探针的位置。通过把探针和物体的表 面相接触，物体表面的相对位置就被记录下来，从而可以得到物体表面的形状。 接触探针测量有着很高的精度，但设备昂贵，速度慢，特别是物体形状复杂时， 测头路径规划控制复杂，以致在相当长一段时间内，采用该技术实现复杂物体 三维测量与数字化建模是一件非常困难的事。五十年代末出现的三坐标测量机 ( c m m ) 是其中典型的例子，目前，它仍是典型的标准三维测量设备。 图1 1 常见的三维测量方法及分类 c m m 接触测量的局限性促使人们进一步研究三维测量方面的新技术，在 第1 章绪论 六、七十年代发展了用激光、超声波等代替探针进行非接触测量的技术，由测 距器主动向被测物体表面发射信号，通过检测返回的信号可计算出物体表面的 空间坐标，这种方法测量精度高，但扫描速度比较慢，而且对应用环境和被测 物体的条件有一定限制。 最具特色和发展前景的非接触式测量技术是基于光学与计算机视觉理论的 三维测量技术【l 】。该三维测量技术可分为两大类：一类是被动式，主要包括传统 的s h a p ef r o mx ( x 指s h a d i n g 、s t e r e o 、t e x t u r e 、m o t i o n 和c o n t o u r s 等1 和多目 视觉法( 包括双目和多目视觉) 等【2 j 【3 1 。7 0 年代中期以m a r t 为代表的研究者提出 了系统的视觉计算理论，其核心是从图像恢复物体的三维形状，即s h a p ef r o mx ， 但由于视觉问题是成像过程的逆问题，在成像过程中会丢失深度信息，同时诸 如光照、材料特性、距离和表面法矢等信息均反映成唯一的测量值灰度， 从这唯一的测量值灰度求解丢失的深度信息是一个病态的问题，而多目视觉法 存在求解对应点的匹配问题，算法复杂、耗时较长，难以获得满意的结果。此 外，由于计算机运算速度和图像获取精度等方面影响，这类方法经过近二十年 的研究进展不大。另一类是主动式，即结构光测量，包括点光源、线光源、网 格、平行光条和编码光等【4 】【5 】，其优点是减少了计算的复杂性，扫描速度快，且 可用于柔软、易碎物体的测量，但由于光电器件性能的限制除激光扫描三维测 量外其它方法均没有得到大量推广应用。 二十世纪八十年代以来，随着计算机、激光、c c d ( c h a r g e dc o u p l ed e v i c e l 技术的飞速发展，加上对数字图像处理、计算机视觉理论研究的不断深入，基 于光学、数字图像和计算机视觉的三维测量技术已成为三维测量领域最具生命 力和广阔应用前景的高新技术。发达国家对此非常重视，开展了大量深入的研 究，并取得了许多成果，这些成果应用领域非常广泛，如从人体头部到全身扫 描，从零件视觉检测、定位到机器装配，从视觉导航到三维重建，还有医学、 影视、文物、雕塑等方面。其共同特点是测量速度较快、精度较高、非接触。 从二十世纪九十年代中期开始，科学工作者己开始研究从飞机部件到汽车 大型覆盖件等大型复杂曲面的三维测量，并取得一些成果。人们开始注重于同 时利用多种线索来处理三维恢复问题，即多感知源的信息融合，这样既可使问 题简化，同时又能提高处理结果的速度和精度，因此基于信息融合的大型复杂 曲面三维测量是该领域的主要发展方向之一。 第1 章绪论 1 2 基于计算机视觉的三维测量方法综述 如前所述，随着计算机技术和光电技术的发展，基于光学原理、以数字图 像处理和计算机视觉为主要理论基础的三维复杂曲面非接触式测量技术得到了 飞速发展，研究人员提出了各种各样适用的测量方法【6 1 ，并应用到产品开发、反 求工程、质量控制及其他许多领域。下面介绍几种常用的测量方法，并分析在 这些方面的研究发展情况。 1 2 1 近景摄影测量法 摄影测量就是通过对摄影得到的图像进行场景或物体各种几何参数和其它 参数的测量，该方法是光学图像处理最重要和最普遍的应用【7 】【引，也是视觉技术 最早的应用技术之一。近景摄影测量是从航空摄影测量发展过来的。一般来说 摄影测量按成像手段不同可分为普通光型、微光型、红外型、紫外型、x 射线型 和r 射线型等；按测量对象和测量距离的不同又可分为遥测、远景摄影测量、近 景摄影测量和显微( 超近景) 摄影测量等几种【9 】。工业应用中主要是指近景摄影测 量，有时也用到显微摄影测量。近景摄影测量一般使用一台摄像机在多个不同 视角获取被测物体图像，空间任一点p 在不同位置像平面上对应唯一像点p i ， 利用不同位置摄像机光心与像点组成的射线相交就可求出p 点三维坐标( x w ， y 。，z w ) 。不过近景摄影测量在测量前一般不知道各视角的相对位置关系，在测 量过程中必须先计算各视角图像坐标系之间的位置关系，才能确定各个视角的 投影矩阵，进而获取三维信息。 由于成像技术的限制，摄影测量主要应用领域是大地远景测量，但近年来 随着成像技术的发展以及图像分辨率和精度的不断提高，摄影测量技术得到了 快速发展，特别是近景摄影测量法受到人们的重视，己应用到许多领域。g a n c i 将摄影测量应用到工业领域，研究基于特征目标投影的抛物面天线非接触式近 景摄影测量系统【”】【“】，1 分钟可以测量5 6 0 0 个目标点，实现完全自动化测量。 w a n g 提出了一种近景摄影测量分块捆绑调整算法【1 2 】【1 3 】，可以实现三维测量的实 时计算，大大提高了近景摄影测量的计算速度。 近景摄影测量与多目立体运动视觉测量非常相似，但算法上不同，且近景摄 影测量所用摄像机一般为高精度专业摄像机。 第1 章绪论 1 2 2 立体视觉测量法 立体视觉是计算机视觉的一个重要分支，最早的立体视觉是二十世纪六十 年代中期开始研究。七十年代末m a n 创立的视觉计算理论对立体视觉技术的发 展产生了巨大影响，随后，立体视觉技术得到了迅速发展。 立体视觉测量是建立在计算机视觉理论上的三维测量方法。它利用两台位 置相对固定的摄像机，从不同角度同时获取同一景物的两幅图像，通过计算空 间点在两幅图像中的像差来获得其三维坐标值。基本原理如图1 5 所示，j 为空 间任意一点，通过图像处理及分析测定点j 像坐标( x ，y i ) ( i = 1 ，2 ) ，建立三维空 间重构算法，即可由( x ，y 。) ( i = l ，2 ) 恢复点j 的三维坐标( x ，y ，z ) 。图1 6 表示了 立体视觉的主要工作流程。 立体视觉直接模拟人类双眼处理景物的方式，具有简单、可靠、灵活、使 用范围广等特点，可以进行非接触、自动、在线检测，因而具有十分广阔的应 用前景，在三维测量、机器人视觉、车辆自主驾驶、多自由度机械装置控制等 领域均极具应用价值【1 4 】【”】。但两幅图像对应点的匹配问题是其中的难点，因此 常常采用激光扫描或编码光投影等主动方法实现对应点匹配。如g o m 公司的 a t o s 系统即采用编码结构光与立体视觉相结合的原理实现曲面三维测量，图1 7 为测量原理图，部分文献亦称其为主动立体视觉方法。 图1 5 立体视觉基本原理 第1 章绪论 l 系统标定l 上 被测对象图像获取 上 图像预处理 上 图像中测量点提取 上 对应点匹配 上 空间点三维坐标计算 图1 6 立体视觉的工作流程 图1 7 编码光与立体视觉相结合的三维测量原理 1 2 3 结构光测量法 结构光三维测量法的基础是经典的光学三角测量，部分文献中也称主动三 角测量。它是基于立体视觉双摄像机三角测量原理将其中一台摄像机用固定好 的结构光代替，利用光源和成像系统之间的三角几何信息进行三维形面测量。 结构光测量系统主要由结构光投影器、摄像机、图像采集及处理系统组成。结 第l 章绪论 构光类型主要有点光、线光、网格、平行光条和编码光等1 6 】，一般其中的点光 源和线光源采用激光，而其它面阵光源采用光栅投影或数字投影，根据不同的 测量对象可设计不同的结构光形式。结构光三维测量是目前在工业领域中应用 最广泛、技术相对成熟的非接触三维测量技术之一。 12 3 1 点光源三角测量法 点光源三维表面测量由点光源、摄像机和移动平台组成。点光源采用倾斜 激光束，摄像机可采用c c d 摄像机。图1 8 ( a ) 为激光扫描表面测量原理图，其 中q 为结构光入射角，0 为表面反射光线的出射角度，z 为表面到参考面的距离， f 为摄像机焦距，y 为入射光在物体表面和参考面投影点之间距离在图像上的投 影长度。则z 和y ，有以下关系【2 8 】 v ，制 兰! ! 堕壁盟 ( 1 1 ) 。 c o s r + ( z f ) c o t ( r + o ) 其中，m 为摄像机系统放大倍数，需要通过对摄像机系统作精确的标定来获得。 图1 8 激光扫描测量原理图 实际测量中，通过测量头与被测物体的相对运动来完成整个表面的扫描测 量。其测量水平分辨率取决于移动装置的最小位移量。 为了简化计算，一般取0 = 0 ，如图1 8 ( b ) 所示。此时表面光反射点( m ，n ) 的坐 标( x 。，y 。，z 。) 为 6 第1 章绪论 i x m n2 m a x 。 y 。= m x y ( 1 2 ) 【z 。= ( k m ) c o t r 其中，a x 和z x y 分别是x 和y 方向的位移量，6 m n 为表面反射光成像点和参考面 反射光成像点的距离。 由以上原理可以方便地推广到使用面光源和面阵c c d 的三维曲面测量方法 中，如a t o s 系统的二进制灰度编码结构光【1 7 】、b o y e r 提出的彩色编码结构光、 w a n g 提出的编码光格( g r i dc o d i n g ) 测量 1 8 】，m o r a n o 研究的伪随机编码结构光测 量【1 9 1 ，c a s p i 提出的自适应彩色结构光测量【2 0 1 、梁猛采用的等腰三角形齿结构线 性编码结构光【2 1 i 2 2 1 等。 1 2 3 2 条纹结构光测量法 条纹结构光测量采用光学投射器将光条投影在被测物体表面，在其上形成 由被测物体表面形状所调制的条纹。该条纹由处于另一位置的摄像机拍摄，从 而获得二维变形条纹图像。条纹的变形程度取决于光学投射器和摄像机之间的 相对位置和物体表面形廓。在直观上，条纹在法线方向上的位移与物体表面深 度成正比，扭结变形表示了型面的变化，不连续显示了表面的物理突变间隙。 当光学投射器与摄像机之间的相对位置一定时，由变形的条纹图像便可以重现 物体表面形廓，即可以进行三维表面形貌测量。 目前由于条纹结构光三维测量应用领域非常广泛，已成为人们的研究热点。 h u a n g 在文献【2 3 】中详细介绍了基于数字条纹投影的三维形貌测量技术的最新进 展：s a n s o n i 在9 0 年代初研究了用液晶投影仪数字化投影光条来实现自适应形貌 测量【2 4 】；h u 提出了一种d l p 数字条纹投影三维测量新方法【2 5 ；k o w a r s c h i k 研 究了从三个不同角度投影条纹结构光的自适应三维测量系统 2 6 】；f r a n k o w s k i 提 出了微镜( m i c r o m i r r o rd e v i c e ，d m d ) 数字条纹投影的实时三维测量技术【2 7 ； k e l l e r 研究了高速数字投影条纹结构光的实时深度信息获取方法1 2 驯；s a t o 研制了 一种多频谱条纹投影测量仪【2 9 j ；h o f l m g 提出了多波长相移条纹d m d 投影薄板 成形测量方法【3 0 】；p a w l o w s k i 提出了运动物体的条纹投影监测方法p l j ；刘维一等 研究了彩色组合编码条纹光栅轮廓测量技术【3 2 】【3 3 】等；另外国内外还有许多这方 面的研究成果【3 4 0 。 结构光三维测量具有量程大、视场大、精度较高、光学条纹或结构光特征 第1 章绪论 图像信息提取简单、实时性强及主动受控等特点。近年来在工业中得到了愈来 愈广泛的应用。同时由于使用高能量光源照明，可以在自然环境下工作，抗杂 光干扰能力强，因此具有广阔的应用前景。结构光测量法将结构光投射到物体 表面，而不是将结构标志粘贴在物体表面，因此结构光测量法得到的是物体表 面的三维形貌而不是表面变化后的三维形貌。其中二进制灰度编码结构光三维 测量技术是本文研究的重点内容之一，详细内容将在后续章节中介绍。 1 2 4 s h a p ef r o mx 直接从被测物体的灰度图像获取形状信息的方法一般称为s h a p ef r o mx ， 即根据x 恢复形状的方法 4 0 1 。基本思想是首先计算物体表面对应点的法矢，然 后通过若干已知深度点对物体表面方向积分得到物体表面形状。因为这是一类 间接测量方法，尽管研究得很早，但进展不大。不过近年来又受到人们的重视， 特别是从运动恢复形状取得了突破性的成果。 从阴影恢复形状( s h a p ef r o ms h a d i n g ，s f s ) 从明暗阴影恢复形状最早由 h o m 在1 9 7 0 年他的博士学位论文中提出，其后又研究出许多不同的算法【4 ”。s f s 是早期计算机视觉技术获取三维数据的重要手段。其基本思想是利用图像灰度 ( 明暗) 变化来恢复被测物体的形状信息。该方法是一种间接的三维测量方法。由 于被测物体表面一般不能满足被测表面是光滑的这一假设条件，且物体表面反 射特性差异大，不能精确确定，同时还受到照明光源等问题的影响，图像灰度 受多方面因素影响导致测量精度不高。有关s f s 技术的最新发展和六种著名的 s f s 算法详见文献1 3 】和t 4 1 】。 从纹理恢复形状( s h a p ef r o mt e x t u r e ) 像纹理的特性变化，如密度、尺寸和 方位是建立从纹理恢复形状算法的基础，利用这些特性变化可以从二维图像恢 复三维信息1 4 ”。 从运动恢复形状( s h a p ef r o mm o t i o n ) 从运动恢复形状是使用一个运动摄像 机获取静止物体图像，物体从一幅图像到另一幅图像的位移( 视差) 取决于物体到 摄像机的距离，通过计算视差可以计算物体相对与摄像机的距离，因此可恢复 物体形状，这种方法类似于近景摄影测量。与之相对应的方法是使用静止摄像 机获取运动物体的图像序列，从而在图像序列中产生运动视差，视差取决于物 体表面点的位置和速度，通过运动视差获取运动参数从而恢复物体形状【4 2 【4 3 1 1 4 4 第1 章绪论 目前从运动恢复形状也是视觉三维测量领域的研究热点。 1 2 5 视觉信息融合测量法 利用多种信息融合来处理三维恢复问题，即多感知源的信息融合，这样可 使问题简化，同时可提高处理结果的准确性，最具代表性的方法是光度立体技 术、纹理立体技术和多种测量手段集成技术。 光度立体测量是使用在不同方向上的三个光源作用同一被测物体，获取三幅 图像，在三幅图像的成像过程中摄像机和被测物体静止不动，确定被测物体的 表面反射特性就可以计算出这三个光源照明的所有点的局部表面方位。该方法 的主要优点是三幅图像中的点是完全配准的，因为在测量过程中摄像机和被测 物体皆静止不动，在光源可控制的条件下是一种恢复物体表面方向的较好方法， 文献【l 】详细介绍了光度立体测量法。 多种测量手段集成技术是当前三维测量技术的一个发展方向。a t o s 系统集 成了立体视觉和编码光测量技术，最典型的实例是a t o s 与t r i t o p 集成实现大型 复杂曲面测量。国外有关这方面的研究也不少，如b e r g m a n n 研究的集成光栅投 影测量和近景摄影测量的小型3 d 变形测量仪【45 】；c h a n 提出了一种反向工程中 实现自动坐标测量的多传感器方法【4 ”，把视觉测量与c m m 集成在一起，能提 高测量效率和精度。 1 3 基于视觉的三维测量技术发展趋势 高速、较高精度、大尺度、复杂型面的便携式测量是目前计算机视觉三维 测量领域的研究重点，而这些特点正突出了计算机视觉测量技术的优势，也是 将来视觉测量研究发展的趋势。归纳起来主要体现在以下几个方向： 1 实时计算 在工业生产中实时三维测量对降低生产成本、提高产品质量是一个非常紧 迫的任务，影响到生产和集成制造中的数字设计、数字产品制造和快速原型制 造等方面，实时三维测量是成功实现三维测量与显示、制造过程控制与在线质 量检测的关键，其特点是要求满足在线生产的高速实时计算。 2 阴影遮挡问题 9 第1 章绪论 通过各种视觉手段实现三角测量，阴影和遮挡是避免不了的，这也是视觉 测量研究中的瓶颈问题。多年来人们花费大量精力去研究这一难题，也提出了 很多解决问题的方法，但问题还远未得到根本解决。 3 测量系统标定 测量系统标定是测量过程中保证测量精度的重要的环节，对视觉测量系统 尤其重要，多年来人们进行了大量研究，也取得了丰富成果，但总的来说视觉 测量系统相对传统测量方法测量精度不高，有关系统标定还有很多问题值得研 究。 4 视觉测量中的图像处理 数字图像处理是计算机视觉测量的基础，对具体的测量方法提高摄像机分 辨率可以直接提高测量系统的精度，但摄像机价格随分辨率的提高呈指数曲线 上升，因此通过提高摄像机分辨率来达到提高测量系统精度的目的是不经济和 有限的，而通过图像处理算法提高特征提取精度同样能提高测量系统精度。另 外视觉测量中还存在各种图像畸变和噪声，它们也对系统测量精度产生很大影 响，图像处理是减小图像畸变和降低图像噪声的有效途径。 1 4 选题意义及主要研究内容 14 1 课题来源 本课题是北京市自然科学基金项目、北京市教育委员会科技发展计划重点 项目“大型曲面三维摄影测量方法和技术研究”的一部分，同时得到了北京是 重点实验室( 机电系统测控) 开放课题的资助。 1 4 2 研究的目的和意义 三维物体表面轮廓测量是获取物体形态特征的一种重要手段，在机器视觉、 自动加工、工业检测、产品质量控制等领域有重要意义和广阔的应用前景。结 构光测量法由于其高分辨率、无破坏、数据获取速度快等优点而被认为是很有 前途的三维形貌测量方法，其理论体系还不完备，新理论、新算法、新应用还 在不断涌现，而且研究这一课题涉及到视觉计算、图像处理以及光学等方面理 第1 章绪论 论和计算机、信息、光电器件与测量等方面技术，所以该课题的研究既具有重 要的理论意义，又具有重大的实用价值，应用前景非常广阔，并能创造可观的 经济效益。 1 4 3 主要研究内容 本文主要研究了如何利用二进制编码结构光法进行三维形貌测量的问题， 对比介绍了两种基于二进制编码结构光的三维形貌测量系统，共分六章，具体 内容安排如下： 第一章介绍了三维测量技术的发展情况、主要的测量方法及其发展方向， 进而分析了本课题研究的目的和意义，介绍了课题的主要研究内容。 第二章分别论述了两种基于二进制编码结构光的三维形貌测量系统的结构 和测量基本原理，并从结构上对两个系统进行了初步的比较。 第三章分别阐述了两种测量系统的标定方法，针对传统结构测量系统在标 定中存在的问题，改进型测量系统的标定中引入了摄像机标定和投影光平面标 定两种技术，使得改进型测量系统标定的可操作性更强，精度更高。 第四章讨论了标定及测量过程中涉及的图像处理问题，给出了各图像处理 算法的详细描述，是本文论述的重点。 第五章介绍了标定及测量实验的具体步骤，给出了实验结果，并结合实验 结果对两种测量系统进行了误差分析，提出了一些误差修正措施。 第六章总结全文，对未来的工作提出了作者的一点想法。 第2 章基于二进制编码结构光法的三维形貌测量系统 第2 章基于二进制编码结构光法的三维形貌测量系统 基于二进制编码结构光法的三维形貌测量系统通常由结构光投影系统、摄 像机、图像采集及处理系统三部分组成。根据上述三个组成部分在摆放过程中 所遵循的约束条件的不同，该测量系统大致分为两种：传统结构的测量系统和 改进型测量系统。由于系统结构不同，对应的测量基本原理也就不一样，本章 将对两种测量系统的系统模型和基本原理分别进行介绍。 2 1 传统结构的测量系统 2 1 1 传统结构测量系统模型 传统结构的测量系统模型如图2 1 所示，p 为投影系统镜头光心，c 为图像 采集系统镜头光心，r 为载物平台，投影系统的镜头光心和摄像机的镜头光心连 线平行于载物平台表面，摄像机镜头的光轴垂直于载物平台表面，投影系统镜 头的光轴与摄像机镜头的光轴相交于载物平台表面的o 点。 r 图2 1 传统结构的测量系统模型 o x 第2 章基于二进制编码结构光法的三维形貌测量系统 2 1 2 传统结构测量系统的测量基本原理 基本原理【4 7 】如图2 2 所示。点尸是投影系统的出瞳，点c 是成像系统的入瞳， p ，c 与平面r 的距离为三。直角坐标系的x 轴y 轴在平面r 内，z 轴与摄影 系统的主光轴平行。投影仪和摄像机的主光轴都与r 交与0 点。f w 表示沿x 轴的视场宽度。在摄像机的c c d 平面上，每个像素的位置都用变量i 和j 确定。 物高2 l x ，y j 以平面r 为参考面。采用二进制编码方法的测量过程是基于投影的， 在n 个时刻岛，一t 投影的n 幅条纹图案岛，p l ，岛一。每幅图案中的条 纹都平行于y 轴。每幅图案的形成基于这样一个约束条件，即令投影的胛幅图 案风，a ，p n 一- 和二进制编码的n 位对应起来。 以n = 4 为例，条纹图案，p l ，岛，见在平面r 上的投影对应的二进制编码如 表2 1 所示。表中的行，吒，吩可以看作是条纹图案岛，n ，p z ，见在沿x 轴方向 上的二进制编码，黑条纹用逻辑0 表示，白条纹用逻辑1 表示。列c o c 1 一- s 是二进制码，每一列代表一个光面，每个光面定义一个投影方向。通常情况下， 条纹图案风到儿一- 定义2 ”个光面，这样就把2 “个投影方向与平面r 上的点建立 了对应关系。 z ( m m ) 图2 2 光学示意图 第2 章基于二进制编码结构光法的三维形貌测量系统 c oc 1c zc ac 4c 5c 6 c 7 c sc 9c 1 0c 1 ic 1 2c 1 3ca 4c 1 5 r o0o 000ooo1l11l1ll r l0 o0 o l 11 11111 o 00o r 20 o1l1 1 oo0o1111oo r 30 lloo1100ll0ollo p o ，p l ，p 。各条纹图案依次被摄像机记录。c c d 上像素的灰度根据适 当的域值被极限化为逻辑0 或1 。如果c c d 由m n 个像素组成，则对应生成 一个m n 的矩阵，称之为位平面。条纹图案p 。，p 1 ，岛一。被依次获取后，将 形成一个所谓的位平面堆栈( b p s ) ，其深度为n 位。b p s 中的每个元素与c c d 的像素之间有如下一一对应关系：一个坐标为i ，j 存储了光面p 的二进制码的 b p s 元素，其所对应的c c d 上接收了该光面信息的像素的坐标也为i j 。 如图2 2 所示。如果平面r 上没有任何物体，则a 点在c c d 上的对应像素 为a ( f ，f ) 。因此，根据光线p a 决定投影方向的光面只，被分配到像素a ( f ，) ， 被存储在参考位平面堆栈( r b p s ) 的坐标为i ，j 的元素中。例如，图2 3 所示为n = 4 时的r b p s 。从左到右，4 个位平面分别对应条纹图案p o ，p ，p 2 ，p 3 。坐标为 i ，j 的元素存储位序列为0 1 0 1 ，也就是光面工只的二进制码。 如果被测物体放在r 平面上，它的三维形貌决定了条纹图案的变形情况。 条纹图案风，a ，见一的依次获取将生成物体位平面堆栈( o b p s ) ，通常情况 下，相对于参考位平面堆栈( r b p s l 中的对应元素来说，物体位平面堆栈中的每 个元素都是由不同的光面尸编码的。如图2 2 所示，光线p a 与物体表面相交 于点h ( x ，y ) ，在c c d 上对应像素b ( f ，j ) 。另一方面，像素a ( f ，j ) 对应了新的 投影方向，即光线p d ，它与物体表面相交于点k 。于是，光面l 只对应的像素 是b ( f ，) 而另一个光面l p 对应像素a ( f ，) ，并对应光线p d 的方向。 图2 3 所示是n = 4 时，一个平行六面体引起的o b p s 的变化。现在光面“一 的二进制编码存储在坐标为2 ，的元素中，而坐标为5 ，的元素存储的四位编码 是0 0 0 0 ( 光面“d 的码) 。 第2 章基于二进制编码结构光法的三维形貌测量系统 图2 3n = 4 时的光平面在有被测物和无被测物堆栈中的编码 计算点h 的高度z ( x ，y ) 要经过以下三个步骤： 第一步，确定位移彳长度。这个长度( 下文称为s ，) 可以用像素表达。 根据一种按行描述r b p s 和o b p s 的方法，可用l p 的位移来计算s ，。读出r b p s 上坐标为i ，j 的元素对应的光面三尸，然后寻找同一个光面三尸在o b p s 中的位 置i ，+ ，令s ，= j j + 。 第二步，平面r 上a b 间距& ( 艽，y ) = 面可以用如下转换公式计算： 驰棚强，罟 ( 2 1 ) 第三步，把& ( x ，y ) 换算为高度z ( x ，y ) 。由l a h b 与l c h p 相似，有如下关 系： 4 b z ( x ，v ) = = = = = = - - - - - - - ：- 一 c p 三一z ( x ，y ) 根据c p = d ，由( 2 2 ) 式可以得： ( 2 2 ) 第2 章基于二进制编码结构光法的三维形貌测量系统 2 2 改进型测量系统 如川= 瓮高 2 2 1改进型测量系统模型 ( 2 3 ) 改进型测量系统模型如图2 4 所示，其中，r 为载物平台表面；p 为投影系 统镜头光心；c 为摄像机镜头光心。相对于传统模型，改进型测量系统模型取消 了平行和垂直两个约束条件，即取消了投影系统镜头光心与摄像机镜头光心连 线平行于载物平台表面的平行约束和摄像机镜头的光轴垂直于载物平台表面的 垂直约束，这两个约束条件的取消使得改进型测量系统模型相对于传统结构模 型在标定方法上有了很大的改进，具体内容将在后续的章节详细介绍。 r 图2 4 改进型测量系统模型 2 2 2 改进型测量系统的测量基本原理 o x 改进型测量系统模型中被测物表面三维信息点坐标的求解方法通常有两 种：空间解析几何法和应用透视投影理论的检测方法，由于空间解析法要准确 调整结构光投射器或者摄像机的安放位置，所以只能有限度的满足特殊场合的 第2 章基于二进制编码结构光法的三维形貌测量系统 使用要求，而应用透视投影理论的检测方法是以摄像机的内部参数、视觉系统 结构参数或者光平面方程为基础的检测方法，所以具有广泛的适用性，因此本 文采用了该方法。下面以任意一个光平面为例介绍如何求取被测物表面点的三 维信息。 如图2 5 所示，图中给出了任意一个结构光平面的三维视觉透视投影模型的 几何结构关系，建立这个模型的目的就是找到光投射器在空间投射的任意一个 光平面n 与像平面r 之间的透视投影对应关系。图2 5 中的几个坐标系分别为： 摄像机坐标系0 。- - x 。y 。z 。，为右手系；像平面坐标系0 。一x y ；世界坐标系 0 。一砌蜥z ，为右手系。 三 ，光平藤 ， 图2 5 结构光三维视觉透视投影模型 摄像机坐标系与世界坐标系的空间位置关系可用式( 2 4 ) 表示 x p iyi = m l1j x w _ y z w l ( 2 4 ) 其中m 为摄像机的投影矩阵。 世界坐标系的建立是任意的，因此由式( 2 4 ) 不能够由摄像机二维像点坐 标( x ，y ) 得到唯一对应的三维物点的坐标( 勘，y w ，锄) ，还需要增加一个方程的 约束才能够消除这种多义性。此时就需要建立光平面的方程。为此，设任意一 个光平面在世界坐标系下的方程为 ， ， 蔓鍪 第2 章基于二进制编码结构光法的三维形貌测量系统 僦矿4 - 砂矿+ c z + d = 0 ( 2 5 ) 这样，将式( 2 4 ) 和式( 2 5 ) 联立起来便能求得被测物表面与该光平面交 点的三维信息了，联立方程式可被写为： 砌 y w z w 1 似w - i - b y w 七c z w - i - d = 0 ( 2 6 ) 其中，( 砌，y w ，锄) 表示任意物点的世界坐标，p 为齐次坐标的系数，m 为 摄像机的投影矩阵，a ，b ，c ，d 为任意光平面方程的系数。 以此类推，只要已知测量系统中投影的所有光平面的方程，便可求得被测 物体表面上所有点的三维信息。 2 3 小结 本章首先介绍了两种基于二进制编码结构光的三维形貌测量系统，然后分 别介绍了它们的系统模型和测量基本原理，并从系统结构的角度，对两种测量 系统进行了初步的比较。 m = 1lj r y ，l p 第3 章系统的标定 第3 章系统的标定 由于测量系统模型不同，对应的测量原理也不同，所以需要标定的参数及 保证的条件也不一样，这就决定了两种测量系统的标定方法不会相同，因此， 本章将对两种测量系统的标定方法分别进行介绍。 3 1传统结构测量系统的标定 对于传统结构的测量系统而言，要得到最后的高度信息，首先要保证投影 系统光心和摄像机镜头光心的连线平行于载物平台上表面( 即下文所说的参考 平面) 及摄像机镜头光轴垂直于参考平面这两个约束条件，还要使投影系统镜 头光轴和摄像机镜头光轴相交于参考平面某一点，最后是求解结构参数，包括 投影仪和摄像机镜头光心连线的长度d 、摄像机镜头光心到参考平面的垂直距离 l 、摄像机在参考平面上的视场宽度f w 。 3 1 1摄像机主光轴相对于参考面的垂直度调整 摄像机的成像平面与其光轴在几何上是严格垂直的，这就为调节系统垂直 度提供了一般方法，即调节成像平面与参考平面平行。这里采用一个标准的矩 形物体作为标准件对系统垂直度进行标定，将其四个顶点以黑色圆点标出。通 过摄像机可以得到一个近似于矩形的图像，在图像中将四个顶点分别精确定位， 从而求出四条边的长度所对应的像素点个数。根据相应像素点个数所表现出来 的几何特征对摄像机和参考平面的相对位置进行调节，直到对应边的像素点个 数相等即可认为摄像机光轴与参考平面垂直。 3 1 2 摄像机镜头光心和投影仪镜头光心连线与参考面的平行度调整 由高度计算公式可知，当满足投影镜头中心和摄像机镜头中心的连线平行 于参考平面时，如果被测物的高度相同，那么所求得的s ，( 投影条纹平移量) 相等。根据上述原理，我们在参考平面上放置一个固定高度的长方体标准物体， 并在该标准物体的上表面用亮白色标出若干采样点，然后以此标准件为被测物 第3 章系统的标定 求出各采样点的s ，根据s ，值调整投影仪的位置，然后再求s ，j ，直到所求得 的采样点的s ，完全相等时为止。 3 13 摄像机拍摄的物面中心和投影仪投影中心的重合度调整 在完成了上述两步调节后，投影仪的投影中心和摄像机拍摄的物面中心已 经在同一水平线上，因此这里需要做的就是使两点