（测试计量技术及仪器专业论文）基于激光线扫描的双目立体视觉测量方法研究.pdf

摘要 摘要 随着工业技术的发展和人们生活水平的提高，产品功能及外观造型都必须 吸引消费者的注意才能赢得市场竞争力。因此对于物体自由曲面的三维尺寸测 量尤为重要，其涉及的领域有：汽车、飞机、服装、假牙和骨骼3 d 数据等。 本文研究的工作是以实现自由曲面的非接触式激光测量为主要目的，设计 了基于激光线扫描的双目立体视觉测量系统，综合运用运动控制技术、计算机 视觉技术、图像处理技术和激光技术等理论知识，实现对物体的三维重建。 采用t s a i 两步法考虑一阶径向畸变，标定了双摄像机的内部和外部参数， 并对标定结果进行了精度验证。 两摄像机同时摄取激光光条，对光条图像采用中值滤波去除噪声点，采用 动态阈值分割的方法对图像进行二值化处理，去除背景，突出目标部分对光 条采用基于形态学的细化算法，并设计了一种去毛刺算法以消除光条两边可能 出现的毛刺，使细化后光条为单像素宽。采用极线约束法对左右光条图像进行 匹配。 传统激光扫描测量系统，视觉传感器代替三坐标测量机的接触式探头沿着 世界坐标系某一轴向对物体进行扫描，根据拍摄的相邻两光条之间传感器移动 的距离，对各光条在扫描方向的坐标进行平移，得到物体扫描范围的三维信息。 本文通过在物体周围贴高度不同的标记点，由标记点在不同世界坐标系下对应 的不同空间坐标得出各世界坐标系之间的转换关系，进而由转换关系把各光条 三维坐标统- - n 同一个世界坐标系下。因此设计了检测识别图像中标记点的算 法，并对标记点作边缘提取和椭圆拟合，并求椭圆中心图像坐标。本文中提出 的方法可以为将来设计手持式激光扫描测量系统提供理论和方法上的依据，使 得三维测量更加方便灵活。 利用本文的测量系统对一鼠标和标准平面做了三维重建，并对点云数据做 了分析处理，实验证明该测量方法的可行性。 关键词：双目视觉；激光扫描：图像处理；坐标变换；三维重建 a b s t r a c t w i t hd e v e l o p m e n to ft e c h n o l o g ya n di m p r o v e m e n to fp e o p l e sl i v i n gs t a n d a r d , p r o d u c t st h a ta t t r a c tp e o p l e sa t t e n t i o nb yt h ef u n c t i o na n da p p e a r a n c ec a l lw i nt h e c o m p e t i t i o n , s ot h e3 dm e a s u r e m e n t sf o rf r e e - f o r ms u r f a c eo fo b j e c ta r ev e r y i m p o r t a n t , a n di th a si m p a c t sa r e a ss u c ha sm a n u f a c t u r e so fe a r s ，p l a n e s ，d o t m n 吕 f a l s et o o t ha n db o n e s ，e t c t h ef o c u so ft h es t u d yi nt h i sp a p e ri st or e b u i l dt h ef r e e f o r m $ u r f a c eb y n o - c o n t a c tl a s e rm e a s u r e m e n t s ，a n dan o v e l3 - dm e a s u e m e n ts y s t e r no fb i n o c u l a r s t e r e ov i s i o nb a s e do nl a s e rl i n es c a n n i n gi si n t r o d u c e d u n d e rt h et h e o r i e so f m e c h a n i s mc o n t r o l l e dt e c h n i q u e , c o m p u t e rv i s i o nt e c h n i q u e , i m a g ep r o c e s s i n g t e c h n i q u ea n dl a s e rt e c h n i q u e , e t c ，t h ep a p e rr e b u i l d sa3 dd a t ao fo b j e c t t h ep a p e ru s e st s a i st w o - s t a g em e t h o dt oc a l i b r a t et h ei n n e ra n do u t e r p a r a m e t e r so fc a m e r a , c o n s i d e r i n gr a d i a la b e r r a n c ea n dv a l i d a t i n gt h ep r e c i s i o no ft h e c a l i b r a t i o nr e s u l t t w oc a l l e r a st a k et h ep h o t oo fal a s e rs t r i p ea tt h es a m et i m e , u s i n gm e d i a nf i l t e r t ow i p eo f ft h ei s o l a t e dn o i s ei ns t r i p ei m a g e ，a p p l y i n gd y n a m i ct h r e s h o l dt os e g m e n t t h ei m a g et ob et w oc o l o r so fw h i t ea n db l a c kt om a k et h eo b j e c ti ni m a g ee v i d e n t t h el a s e rs t r i p ec a nb et h i n n e dw i t l lm o r p h o l o g i ca l g o r i t h ma n da na l g o r i t h mi s d e s i g n e dt ow i p eo f ft h eb u r ra p p e a r i n gi nt h es i d e so ft h i n n e ds t r i p e , t h u sl a s e rs t r i p e c a nb eo n e p t x e li nw i d t h i nt h i sp a p e r , a na l g o r i t h mb a s e do nt h ee p i p o l a rc o n s t r a i n t i sb e i n gu s e dt om a t c ht h el a s e rs t r i p e i nt r a d i t i o n a ll a s e rs c a n n i n gm e a s u r e m e n ts y s t e m , t h ev i s i o ns e n s o rr e p l a c e st h e c o n t a c tp r o b eo ft h r e e - c o o r d i n a t e sm e a s u r e m e n tm a c h i n e , m e a s u r e m e n ta n nc a r r i e s t h es e n s o rt os c a nt h eo b j e c ta l o n gad i r e c t i o nt h a ti sp a r a l l e l 、析ma na x i so fw o r l d c o o r d i n a t es y s t e m a c c o r d i n gt ot h ed i s t a n c eo f v i s i o ns e n s o rt h a tm o v e sb e t w e e nt w o s t r i p e s ，t h e3 - di n f o r m a t i o no fa no b j e c ti ns c a n n e dr a n g ec 锄b eo b t a i n e db ys h i f t i n g t h ec o o r d i n a t e si ns c a n n i n gd i r e c t i o n i nt h i sp a p e r , t h ea u t h o rd e s i g n sam e t h o do f a d h i b i t t i n gm a r k si nd i f f e r e n th e i g h ta r o u n do b j e c t ，a c c o r d i n gt ot h ed i f f e r e n ts p a c e a b s t r a c t c o o r d i n a t e so ft h em a r k si nd i f f e r e n tw o r l de o o r d i n a t es y s t e m s ，t h et r a n s i t i o n r e l a t i o n s h i pb e t w e e nc o o r d i n a t es y s t e m s c a nb eo b t a i n e d , 8 0t h a ta l lt h e3 d c o o r d i n a t e so ft h es i g n sc a nb eu n i f i e di nt h es a m ec o o r d i n a t es y s t e m s ot h ea u t h o r d e s i g n sa l la l g o r i t h mt oi d e n t i f ya n dd e t e c tt h es i g n si ni m a g e ，e x t r a c t i n gt h ee d g eo f s i g n st of i te l l i p s et oc o m p u t et h ei m a g ec o o r d i n a t e so ft h ec e n t e r so fe l l i p s e s t h e m e t h o di n t r o d u c e di nt h i sp a p e rc a ns u p p l yr e f e r e n c eo ft h e o r ya n dp r a c t i c ef o r h a n d - h e l dl a s e rs c a n n i n gs y s t e mt ob ed e s i g n e di nt h ef u t u r e ，s o3 一dm e a s u r e m e n t 、i 1 1b em o r ec o n v e n i e n ta n df l e x i b l e i nt h i sp a p e r , am o u s ea n das t a n d a r dp l a n ea r er e b u i l tu s i n gt h em e a s u r e m e n t s y s t e m , a n dt h em e a s u r e m e n tr e s u l t sa r ea n a l y z e d , w h i c hi n d i c a t e st h ef e a s i b i l i t yo f t h em e a s u r e m e n tm e t h o d k e yw o r d s ：b i n o c u l a rv i s i o n ；l a s e rs c a n n i n g ；i m a g ep r o c e s s i n g ；c o o r d i n a t es y s t e m t r a n s f o r m ；3 - dr e c o n s t r u c t i o n i i i 学位论文版权使用授权书 本人完全了解北京机械工业学院关于收集、保存、使用学位论文 的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和 电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、 缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以 及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向 国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目 的的前提下，学校可以适当复制论文的部分或全部内容用于学术活 动。 学位论文作者签名：易疋叼勿 川孑年7 月了日 ( 注：非保密论文无需签字) 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 年月日年月日 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：易之吮 加君年1 月7e l 第l 章引言 1 1 课题背景及意义 第1 章引言 机器视觉又常称为计算机视觉，这门学科的发生与发展已有几十年的历史， 它是一门研究通过图像或视频数据观察周围世界的学科，主要以摄像机拍摄的 图像或视频为原始数据，提取出在图像或视频中能观察到的事物。这个学科要 解决的问题，与人类通过眼睛观察世界的视觉感知功能十分相似，这使计算机 不仅能模拟人眼的功能，而且更重要的是使计算机完成人眼所不能胜任的工作。 称机器视觉是强调用机器构成的系统来处理视觉问题，而称计算机视觉则强调 处理视觉的问题是一个计算问题，核心部件是计算功能强大的计算机。 随着信息时代的到来，用计算机处理各种信息的需求越来越多。多媒体信 息处理技术己成为日常生活各领域的迫切需求，而人们就更希望能用计算机技 术来处理视觉问题，例如利用人脸、虹膜、指纹等识别技术来处理与个人有关 的一切事物。利用视觉自动监控系统监视环境中发生的非常事件。再如逆向工 程中物体的三维重建，都需要应用机器视觉技术来解决问题。正如视觉是人类 在自然环境与社会环境中生存不可缺少的最重要感知器官，机器视觉技术也是 信息技术中的一门不可少的技术，因此它成为计算机学科中不可或缺的一门学 科。 近年来，电子，光学，计算机技术日趋完善以及人们在图像处理、模式识 别、人工智能技术等领域取得了巨大成就，以工业化的c c d 摄像机、半导体激 光器及电子产品为基础的物体三维外形轮廓非接触、快速测量技术成为国内外 研究发展的热点和重点。由于具有检测速度快、测量精度高、数据处理易于自 动化等优点，各个领域、各个行业表现出了急切的需求并已经开始了广泛的应 用。 1 2 物体三维面形测量的研究现状和发展趋势 随着工业技术的发展和人们生活水平的提高，任何通用性产品在消费者高 第1 章引言 品质的要求下，功能的需求已不再是赢得市场竞争力的唯一条件。产品不但要 求功能先进，其外观造型也必须能吸引消费者的注意。于是在工业设计中传统 的顺向工程已不能满足需要，取而代之的是以三维尺寸测量方式建立出自由曲 面的逆向工程。 三维外形轮廓测量方法基本上可以分为接触式和非接触式两大类。 1 2 1 接触式测量 目前比较常用的接触式测量n 1 系统就是坐标测量机( c l v l l v l ) 。作为一种精密 的几何量测量工具，在工业中得到广泛应用，其特点是标定容易、测量精度高、 测量范围大，对被测物体的材质和色泽无特殊要求。但是三坐标测量仪价格昂 贵、测量速度慢、测量数据密度低，测量过程中容易损伤测头和划伤被测物表 面，柔性差，不适合测量软质工件，测量过程需要人工干预，还需要对测量结 果进行探头损伤及探头半径补偿，并且对工作环境要求苛刻，这些不足限制了 其在快速三维数据测量领域中的应用。 1 2 2 非接触式测量 为了避免接触式测量的缺点，以运用光学原理进行产品表面数据获取的非 接触式测量成为目前应用最广泛的测量方法。非接触式方法具有测量速度快、 测量效率高、易于自动化和柔性好，不易损伤被测物体，可以对柔软质地的产 品进行测量等优点而被广泛应用，非接触式测量已成为物体三维面形测量的发 展趋势。非接触式测量主要有莫尔条纹法、干涉测量法、飞行时间法、激光三 角法、图像分析法。 1 莫尔条纹法圆 1 9 7 0 年，m e a d o w s 提出了莫尔轮廓法，光线通过一光栅投射到被测物体表 面，受到被测物体表面形状调制后的反射光回到光栅处与新的发射光产生干涉， 形成干涉条纹，称为莫尔条纹。由于莫尔条纹本身就是物体表面形貌的一种编 码信息，因而通过对莫尔条纹的分析和监测可获得物体表面的深度信息。莫尔 条纹法又分为影像莫尔法和投影莫尔法。影像莫尔法只适用于小范围的测量， 投影莫尔法可以用于大视场的测量。 莫尔条纹技术其应用领域受限于被测表面的斜率，其深度场依赖于摄像机 2 第1 章引言 的分辨率和接受光栅的重复周期。 2 干涉测量法 干涉测量法是利用光的干涉原理对物体进行测量，其原理是通过改变与被 测物体形状光学位相相关的灵敏度矩阵形成干涉条纹，条纹图形中的光学相位 信息反映了待测物面的几何形状。随着激光技术的发展，出现了双光束干涉、 多光束干涉、外差干涉等多种方法。e l e i t h 和u p a t n i e k 在1 9 6 1 年发明了全息摄 影术，c m v e s t 在1 9 7 9 年提出了全息干涉测量理论。结合移相、外差技术，干涉 测量法可以达到很高的精度，但其测量范围通常很小，并且测量系统的稳定性会 受到温度、湿度、气压等因素的极大影响。 3 飞行时间法 飞行时间法( t i m e o f f l i g h t ) 又称为成像雷达法，是基于生物界中的蝙 蝠和海豚依靠主动方式获取前进方向的景物信息的原理而发展起来的一门技 术。主要有脉冲波体制、调幅连续波体制和调频连续波体制三种不同的工作方 式。根据发射波的不同，分为激光测距和超声波测距。激光测距法就是利用光 束的飞行时间来测量被测点到参考平面的距离，脉冲调制是最常用的一种方法， 测量系统发射光脉冲到被测物体表面，经其反射后被传感器接收，测出光脉冲 的飞行时间，根据光速即可计算出其飞行距离。图1 1 为激光测距法原理图。 7 一、一 。 茸肇穗 7 。 图1 1 激光测距法原理图 飞行时间法其特点是：分辨率比较低，其主要优点是共轴的光源和反射波 光束保证了不存在阴影和盲区，不需要图像处理，对物体表面性质不加限制。 在大范围测量中，飞行时间法三维扫描是较好的方法，但逐点扫描的速度慢， 无法实现实时的深度图像。 4 激光三角法 激光三角法是物体三维面形测量中使用时间最久，应用中最常见的一种方 第1 章引言 法，是利用光源、物体和检测器之间的三角几何成像关系推断出空间物体表面 点的三维信息。在实际应用中，常用激光作为光源，摄像机作为检测器。其测 量原理图如图1 2 所示。 机 图1 2 激光三角法原理图 其中工2 面可兰万= 咖手由于采用激光作为辅助光源，因此此方法 是主动式测量方法。 根据激光投射器发出的光模式的不同，可分为点结构光、线结构光、多线 全场结构光。 ( 1 ) 点结构光 它的基本原理是光束以一定角度投射到物体表面，在另一方向用摄像机接 收散射光，利用三角几何关系获取被测目标空间点的三维信息。这种测量系统 一般安装在坐标测量机上，三维数据的采集过程类似于接触式测量的接触探头 逐点扫描物体。该系统体积小，结构简单，易于实现高精度测量。由于每次只 能获取一个目标点的空间信息，因此测量速度很慢。 ( 2 ) 线结构光嘲 为了提高测量精度，线结构光投射方法被广泛采用。八十年代初期，用激 光做光源，并采用摄像机摄取光条的三维测量方法已经开始使用。八十年代末 九十年代初，基于线结构光的面型测量技术已趋于成熟，如美国3 d 扫描公司的 r e p l i c a 反求工程系统就是采用线结构光的方法获取物体表面的三维信息。线结 构光测量方法具有单光点测量方法的所有优点，并且能实现高密度高精度测量， 目前已成为自由曲面逆向工程中快速获取三维信息的主要途径。根据测量系统 中有无运动部件，又可分为光条扫描法和线结构光投射法。 4 第1 章引言 i 光条扫描法 光条扫描法是光束经过柱面镜扩展成光平面，再经过一个高速旋转的反射 镜使光投射在物体上形成光条，并随反射镜的旋转扫描物体。通过摄像机获取 光条图像，并对图像进行处理，完成物体形状和尺寸的测量。其主要特点是检 测速度快，台湾智泰科技有限公司开发了3 dl a s e rs c a n n e r ，采用步进电机扫描 装置，实现了激光光束的步进扫描。四川大学和重庆大学利用线结构光扫描进 行鞋楦3 d 轮廓的测量。 i i 线结构光投射法 线结构光投射法主要是向被测物体表面投射光条结构光，然后通过采集结 构光图像并进行分析处理计算得到物体的表面轮廓信息。与光束扫描法的主要 区别是系统中无运动部件，线结构光与接收器( 如摄像机) 的相对位置不变。 线结构光模式又称为光带模式，将激光器投射的光束通过一柱面镜在空间 中形成一窄的激光平面，当与物体表面相交时便在物体表面产生被调制的变形 光条，标定好摄像机和光平面之间的位置关系，利用摄像机摄取物面上的光条 图像，对光条进行处理解算出相应的三维坐标。如图1 3 所示为单目单光条结构 光法。 图1 3 单光条结构光法示意图 除单目外，还有双目结构光法h ，即系统中采用两台摄像机，如图1 4 所 蹰 ，么时弋 奢鬟r 西、， 图1 4 双目线结构光测量法示意图 第1 章引言 示。标定两摄像机和光平面之间的位置关系，通过对光条图像的处理，就可求 出光平面上的空间点坐标。双目结构中，也可以不标定摄像机与光平面之间的 关系，尽管采用了外界辅助光源，严格说这种方式属于被动式测量。 线结构光视觉传感器结构简单，测量精度高，测量速度快，因此得到了广 泛的应用。此测量系统一般安装在坐标测量机的探头位置，随测量臂的移动对 物体进行扫描。如华中科技大学塑性形成模拟及模具技术国家重点实验室研发 的商品化h r e 系列的三维激光线扫描测量系统，应用在反求工程中，系统精度 可达0 0 5 m 以内。 ( 3 ) 多线全场结构光嘲 多线结构光模式是光带模式的扩展，这种模式也就是所谓的“光栅结构模 式修。是全场测量方法光学投射器向物体表面投射多条光条，其目的一方面是 为了在一幅图像中同时处理多条光条，提高图像的处理效率，另一方面是为了 实现物体表面的多光条覆盖从而增加测量的信息量，以获得物体更大范围的三 维信息。光栅模式的结构光，必须对其进行编码，编码方式包括颜色编码、二 进制编码、位相编码等。如图1 5 所示为投影光栅法 光平面 光栅投射罂 摄像机 图1 5 投影光栅法 台湾3 d f a m i l y 公司及南开大学的母国光院士等进行了彩色编码相关的研 究。这种方法一次获取信息量比较多，可提高测量的速度，但计算比较复杂。 5 图像分析法 图像分析法是基于图像的三维获取，利用图像的大小、明暗、纹理等信息， 通过匹配算法和视差理论求出物体表面三维信息。常用的方法有聚焦法和立体 视觉法口1 。聚焦法可获得较高的测量精度，但是测量速度慢。；立体视觉法不需 要特殊照明，借助自然光作为光源，是被动式测量，其原理也是基于三角法测 量。根据系统中摄像机的个数可分为单目摄像机移动法、双目立体视觉法和多 目体视法，分别如图1 6 所示。通过摄像机在不同位置摄取被测物图像，利用 6 第1 章引言 图像中的某些特征建立它们之间的关系，从而获取物体的面型三维信息。 田 画 图1 6 立体视觉法原理图 立体视觉存在的不适应性和计算复杂性限制了其使用，但是，立体视觉技 术对于物体材质颜色和背景光强等环境因素要求较低，同时对于大型物体的三 维测量，立体视觉也有不可替代的优势。 从上面的论述可以看出，物体三维轮廓测量方法很多，而且在机器视觉中 占有很重要的地位，根据各种方法设计的传感器类型也很多。本实验室已经研 究了多种类型的三维视觉传感器，比前面提到的如主动式单目投影光栅法和双 目立体视觉法。综合双目立体视觉传感器结构设计简单，结构光使被测物体特 征明显，易于识别等优点，对传统的视觉传感器进行结构统一，设计了一种激 光线结构光扫描的双目立体视觉测量系统9 1 ，即双摄像机加激光线结构光投射 布局，采用被动式测量方法，不需要标定光平面和摄像机之间的位置关系n 引， 实现对物体的三维重建。同时，视觉传感器也不同于传统的方式那样代替坐标 测量机的接触探头，而是放置于导轨上，随导轨的滑动实现对物体的扫描测量， 降低了成本，同时降低了对测量环境及系统结构方面的要求，更易于实现三维 重建。 1 3 课题来源及本文主要研究内容 尽管关于物体三维形貌测量，已有商业化程度较高的产品出现，但是国内该 类测量产品的应用还比较罕见，多是存在于科研院所实验室中。本课题的主要 研究目标是设计一种基于激光线扫描的双目立体视觉测量系统，双目体视结构 配合半导体激光线结构光扫描，首先获取各个扫描光条处的物体三维信息，通 过设定公共世界坐标系，把所有扫描光条的三维坐标统一到同一个世界坐标系 下，得到扫描范围内的物体三维形貌，再把不同视场下得到的面形数据点云进 第l 章引言 行拼接，得到物体整体的三维重建。 1 本文完成的主要工作包括： a 传感器结构设计 通过分析双目立体视觉测量系统的原理和结构参数对测量精度的影响， 两个摄像机光轴成一定角度对称放置，调整有效视场的大小。将半导体激光 器置于两摄像机中间位置，调整光平面，使其垂直水平面，以便光条垂直投 射在物体上。并设计支架固定摄像机与激光器。 b 移动扫描控制部分 电控精密平移台作为视觉传感器的载体，通过步进电机控制箱控制平移 台的滑块沿导轨滑动，带动传感器对物体进行扫描。 c 摄像机标定 这部分内容包括摄像机内部参数和外部参数的标定，目的是建立两摄像 机之间位置关系，以及摄像机与世界坐标系之间的关系，参数标定是三维重 建的前提和关键。 d 图像处理算法的设计 图像处理是计算机视觉研究的关键环节，本课题中对光条图像的处理， 包括图像的去噪滤波，图像阈值分割，边缘提取，光条细化以及同一特征点 在空间上的匹配等算法。 e 坐标系转换 本文中提出了测量系统中贴参考标记点的方法，作为不同世界坐标系统 一的依据。根据每幅图像上计算出的标记点的空间坐标，把各光条的三维信 息统一到同一个世界坐标系下。并且把不同视场下获取的三维数据点云进行 图像拼接。 2 论文结构安排 第一章概述了国内外三维测量技术的各种方法，介绍本文的主要研究内容。 第二章介绍系统的工作原理和总体方案设计，以及系统硬件介绍。 第三章介绍摄像机标定方法，并设计了非线性标定算法。 第四章讲述激光扫描图像的处理与分析，介绍图像的各种处理算法及数据 点云生成。 第五章完成三维测量实验，并对数据进行分析。 第六章总结全文，并对以后的工作提出计划。 第2 章测量系统原理及组成 第2 章测量系统原理及组成 本文设计了一种激光线结构光扫描的双目立体视觉测量系统，即双摄像机 加激光线结构光投射布局。 2 1 系统总体设计方案 三维激光扫描测量系统是基于光学三角测量原理的非接触式测量系统。该 系统主要由运动控制、扫描采集、数据处理、三维重建等部分组成，测量速度 快，精度高，对被测物体无损伤，广泛应用于工业复杂曲面测量等工程中，能 够大大缩短产品开发周期和提高产品的质量。如图2 1 所示测量系统原理图。 摄删暂k 叩 啁 一蠡魏魔d曾 f 电控平移台滑块 半导体激光器匿爵器爵溺 陵别 电控平移台滑块 图2 1 测量系统原理图 系统中的硬件部分为：两台c c d 摄像机( c h a r g e - c o u p l e dd e v i c e ，电荷耦 1 0 第2 章测量系统原理及组成 合器件，分辨率为2 0 4 8 x 1 5 3 6 ) 、一个半导体激光器、一个带有1 4 0 个角点的棋 盘格靶标、电控精密平移台、步进电机控制箱和一台p c 机。 目前所开发的三维激光扫描测量系统n 1 1 2 一钔，如前面所述双目线结构观光 扫描系统，三维传感器代替三坐标测量机上的接触式探头，测量臂带动传感器 沿物体某一方向扫描，采用扫描方向平行于世界坐标系的某一轴向的运动方式， 得到各光条的三维坐标。根据扫描速度及摄像机所设定的帧频，可得到扫描方 向上相邻两光条之间传感器移动的距离，对该方向的光条坐标分量进行坐标平 移，把各光条统一到同一世界坐标系下，得到物体扫描范围内的三维面型。 本文中所设计的测量系统，电控平移台代替三坐标测量机，三维传感器在 滑块上沿平移台导轨滑动，对物体进行扫描拍摄。由于滑动扫描方向与世界坐 标系各轴的方向存在不确定关系，因此，每个光条的三维坐标不能通过光条间 距进行坐标平移变换。为了把各光条在不同世界坐标系下的三维坐标统一到同 一个世界坐标系下，用参考标记点解决这一问题。在物体周围的背景处贴上4 个高度不同的标记点，保证每次拍摄光条图像时，两个摄像机都能同时拍到标 记点因为每幅图像是在不同的世界坐标系下获得，根据各图像上标记点中心 的世界坐标之间的转换关系，把各光条的三维坐标转换到同一个世界坐标系下。 在此，标记点采用反射率强的圆形贴片，并保证标记点直径大于光条的宽度。 测量系统工作流程如图2 2 所示， 图2 2 系统工作流程图 第2 章测量系统原理及组成 其中图像滤波是滤除图像中的噪声点；阈值分割是把图像变为黑白二值图像； 检测二值图像中标记点所在的位置并确定标记点中心的图像坐标；光条细化是 指把图像中的激光光条细化为单像素宽度；对两幅图像中细化后的光条及标记 点中心进行对应点匹配，根据匹配点计算空间中相应点的空间坐标；由标记点 中心的空间坐标得到各坐标系之间的转换关系，把各光条坐标统- n 同一世界 坐标系下得到扫描范围内物体表面的三维数据点云。 用本文中所述的方法对物体三维重建，可以在任意视角下扫描物体，只要 保证4 个标记点与激光光条同时包含在同一幅图像中即可。因此本文中的方法 可以为手持式激光扫描测量系统的开发提供理论和方法上的依据，使得三维测 量更加便捷灵活。 2 2 双目立体视觉系统的基本原理 双目立体视觉是基于视差原理n 帕，由三角法测量原理进行三维信息的获取， 即由两个摄像机的图像平面和被测物体之间构成一个三角形。两摄像机在不同 视角下获得同一场景的两幅图像，由两摄像机之间的位置关系，获得空间点在 两幅图像上像素点的匹配关系，计算出视差，由三角法推断公共视场内空间点 的三维坐标。 立体视觉的工作过程与人类视觉系统的感知过程有许多类似之处，是模拟 人眼的功能认识三维世界。双眼视差( b i n o c u l a rd i s p a r i t y ) 简称视差，使人能感 知深度。人眼是从两个角度观察三维世界的景物，由于几何光学的投影，离观 察者不同距离的像点在两眼视网膜上的位置不同，这种视网膜上的位置差就是 双眼视差，它反映了空间点的深度，视差理论由此得来。 图2 3 双目立体视觉系统原理图 1 2 第2 章测量系统原理及组成 图2 3 所示为简单的平视双目立体成像原理图，两摄像机投影中心的连线 0 ，0 2 为基线距离b ，两摄像机在同一时刻观察空间物体的同一特征点p ，分别 在左右摄像机的成像平面上获取点尸的像点，它们的图像坐标分别为： 置= b 聊，y 劬j b = b 刨，y 咖) 。假定两摄像机的图像在同一平面上，则特征点p 的图像坐标的y 坐标相同，即蜘刁锄可，则由三角几何关系得到 2 j 瓷 锄= 厂譬 旺， y = ，鼍 则视差为：d = 一由此可计算出特征点p 在摄像机坐标系下的坐标为 五= 争 艺= 警 旺2 ， 乏= 警 将世界坐标系移到摄像机坐标系原点，所求坐标即为空间坐标。从式( 2 2 ) 可以看出，特征点的深度信息与视差有关。同样对于摄像机光轴汇聚的立体视 觉系统，也可以建立深度与视差d 之间的关系。因此我们可以用基于视差理论 的立体视觉恢复物体的深度信息。 2 3 系统硬件部分 2 3 1 半导体激光器 在结构光三维视觉中，光学投射器将一定模式的结构光投射于物体表面。 在实际应用中，应根据结构光三维视觉具体应用选择和设计不同的光学投射器。 课题中用到的结构光模式为线结构光，可由激光器与透镜组成的系统产生。激 1 3 第2 章测量系统原理及组成 光器选用半导体激光器，其体积很小，但输出光有一定的发散角，而且呈椭圆 形分布，利用它的这种发散性，可以给我们产生光平面带来方便。透镜选用柱 面镜。将半导体激光器的发光面元放在柱面镜的焦点上，使其在一个方向( 光 斑短轴方向或发散角小的方向) 进行准直，而在另一个方向( 长轴方向或发散 角大的方向) 让它发散，即在空间形成光平面。光平面投射在物体表面，被物 体表面的形变调制成包含物体高度信息的光条曲线。测量系统所拍摄的图像上， 有用信息是激光光条和参考标记点( 见第四章) 。 两个c c d 数字摄像机( 包括两个焦距为1 2 r a m 的镜头) ，成一定角度相对激 光器对称放置，构成三维视觉传感器。 2 3 2 移动扫描控制部分 系统中用到精密电控平移台，选用p s a 4 0 0 系列，它通过步进电机驱动，实 现位移调整自动化。采用研磨级滚珠螺杆，导轨采用线性滑块，弹性联轴器等 均选用进口高品质产品，提供整机质量保证并设有左右极限开关和零位光电 开关，保护产品，方便使用。标准接口，方便信号传输。电机后部配有手轮， 可进行手动调节。 步进电机控制箱采用s c 3 0 0 系列，是一款1 - 3 轴点对点( p t p ) 位置定位集 成控制系统，特别针对位移台的控制，内置驱动优良的步进电机驱动器，控制 功能强。控制面板上可设置位移量、常速度、初速度、加速度参数。根据平移 台控制箱设定的位移量和速度，可以控制滑块在导轨上移动的距离与速度，即 控制物体扫描的范围和密度。 2 4 小结 本章介绍了测量系统的总体设计方案，提出了不同于传统的测量方法。并 对系统测量原理及硬件组成作了介绍。 1 4 第3 章摄像机标定 第3 章摄像机标定 基于计算机视觉的激光扫描测量系统可以从摄像机所获取的激光条纹图像 中推出空间物体的三维几何信息。图像上的每一像点的像素位置都与空间物体 表面对应点的几何位置有关，这些位置关系是由摄像机的几何成像模型所决定， 确定几何成像模型参数的过程称为摄像机的标定过程。标定过程亦指建立摄像 机图像像素位置与场景点位置之间的关系，由已知特征点的图像坐标和世界坐 标求解摄像机的模型参数。 3 1 图像坐标系、摄像机坐标系与世界坐标系之间的转换关系 3 1 1 以像素和物理尺寸表示的图像坐标系 摄像机采集的图像通过自身的图像采集卡转换为数字图像，存储在计算机 中。每幅数字图像在计算机内都是m 行n 列的数组，图像中的每个像素，即数 组的每个元素值表示图像点的亮度( 也称灰度) 。如图3 1 所示，在图像上定义 以像素为单位的直角坐标系“， ，每一像素的坐标“分别是该像素在数组中的 第“列和第1 ，行。( “，d 只表示像素在数组中的列数和行数，并没有用物理单位 表示该像素在图像中的位置，因此需要再建立以物理单位( i i l i n ) 表示的图像坐 标系n 射，该坐标系以图像中的主点d i 为原点，x 轴和】，轴分别与，轴平行， 如图3 1 所示。 k , , g o 。 ( u o ，吣 r v，y x 图3 1 图像坐标系 其o e ( u ，d 表示以像素为单位的计算机图像坐标系的坐标， 】，) 表示以毫米 第3 章摄像机标定 为单位的图像坐标系的坐标。在五y 坐标系中，原点0 l 定义在摄像机光轴与图 像平面的交点上，该点一般位于图像中心处，但由于某种原因，也会偏离图像 中心。o l 在“，1 ，坐标系中的坐标为主点坐标( ，均，每一个像素在x 轴与y 轴方 向上的物理尺寸( 即像元间距) 为祝d y , 则图像中的任意一个像素在两个图像 坐标系下的转换关系为： x 炉面+ 扰” y ，2 d y + u 可以将上式用齐次坐标与矩阵形式表示为 逆关系可写成 i ： = 嘉o 批 ” o 去口j 00l 3 1 2 摄像机坐标系和世界坐标系 摄像机成像几何关系如图3 2 所示 ( 3 1 ) ( 3 2 ) 弓铽 3 ) 图3 2 摄像机坐标系与世界坐标系 1 6 凹o o ，。- = 一、j z y 第3 章摄像机标定 其中o 与x , y ，z 轴组成的直角坐标系为摄像机坐标系，仉与乙轴组 成的直角坐标系为空间世界坐标系，o 为摄像机的光心，x 轴与y 轴分别同图像 坐标轴五y 轴平行，z 轴为摄像机光轴，它与图像平面垂直，并且光轴与图像 平面的交点即为图像坐标系的原点。o o l 为摄像机焦距。 在空间环境中选择一个基准坐标系作为世界坐标系，可以用它来描述摄像 机及环境中任何物体的位置。摄像机坐标系与世界坐标系之间的转换关系可以 用旋转矩阵r 与平移向量t 来描述。空间中某一点p 在世界坐标系与摄像机坐 标系下的坐标分别表示为 乞= ( l ，匕，乙，1 ) 1 与p = ( x ，y ，z ，1 ) 1 ，两坐标有如下转换关系 = ( 纠 x 。 匕 乙 l = m 2 x 。 匕 乙 l ( 3 4 ) 其中，r 为3 x 3 的正交单位矩阵；t 为三维平移向量；o = ( o ，0 ，o ) r ；m 2 为4 x 4 矩 f c o sv c o s 口c o s v s i n0 s i n 妒一s i n 缈c o s c o sv s i n o c o s # - s i n v s i n 妒1 r = i s i n v e o s 0s i n y s i n8 s i n # + c o s v c o s # s i n v s i n o c o s # + c o s 弘s i n # l i s i n 0 e o s o s i n #c o s s c o s # j 忙 互 弓z r 和t 中含有6 个独立变量，分别是侧倾角j 6 、俯仰角p 和旋转角妒，以及平移 参数瓦乃和疋。 3 2 线性摄像机模型 摄像机线性模型n “1 7 h 8 1 又称为针孔模型，是最常见的摄像机模型，空间中 的某一点p 在图像中的成像位置可以通过透视投影关系来确定，即空间点p 的 像点p 在成像平面的位置为，光心o 与p 点的连线o p 与图像平面的交点。如 图3 2 所示。像点p 的图像坐标为( x ，y ) ，由比例关系可得下列关系： 1 7 第3 章摄像机标定 其中，仪d 为p 点的图像坐标；g ，y ，力为空间点p 在摄像机坐标系下的坐标， 为x y 平面与图像平面及距离，一般称为摄像机的焦距。用其次坐标和矩阵表示 上述透视投影关系： 丹 ：p ； 【； ( 3 6 ) 其中，j 为一比例因子，p 为透视投影矩阵。将式( 3 2 ) 和( 3 4 ) 代入式( 3 6 ) ， 得到空间点p 的世界坐标z w ) 与其像点p 的图像像素坐标“y ) 之间的关 系： n j l1 ，i2 l - j l 瓦o “。 1 o 石 ool = 旺 m ；：) x 。 匕 z w l x 。 匕 z w l = m i m 2 p , , = m p w ( 3 7 ) 其中a x = f d x ，a y = f d y , 分别为“轴和v 轴上的尺度因子，或称归一化焦距；m 为3 x 4 矩阵，称为投影矩阵；m l 由f ，扰，d y ，决定，它们只与摄像机内部参 数有关，称为摄像机内部参数；m 2 由摄像机相对于世界坐标系的方位决定，称 为摄像机外部参数。 3 3 非线性摄像机模型 在实际应用中，由于摄像机镜头在制造中的缺陷以及在装配过程中的定位 5，j，一， 痧一z痧一z = = x y ，fl-【 八j r 矿 l凡 o o 0o 哆o 第3 章摄像机标定 误差等原因，使得线性摄像机模型不能准确地描述成像几何关系，尤其在使用 广角镜头时，在远离成像中心处会有较大的畸变n 玑瓢2 1 1 ，因此必须在其中加入 非线性畸变参量。 由物空间到像空间，经由光学系统成像，引入了光学畸变，主要包括径向 畸变( 只与物镜光学结构有关) 、偏心畸变( 只与光学零件的加工和装配工艺有 关) 和薄棱镜畸变。 径向畸变的效果是使得空间点的像点从理想的成像位置处产生一个向内或 者向外的偏移。这种类型的畸变产生的主要原因是透镜的径向弯曲曲率不精确 所造成的。这种畸变又分为桶型畸变和枕型畸变，桶型畸变使得远离图像中心 的图像点聚集在一起，枕型畸变正好相反，使远离图像中心的图像点分散开来。 径向畸变是严格的关于光轴对称的。在理想情况下，径向畸变可以用下面的关 系式来表达： 卜局哆托，+ 。：) ( 3 8 ) l 或= 匕( 墨厂2 + k 2 r 4 + ) 其中，= x 2 d + y 2 一，m 助为受到镜头畸变影响而偏移的实际像平面图像坐 标，岛，恕，岛为镜头畸变系数。 实际的光学系统总存在一定程度的偏心，也就是说镜头组的光学中心并不 是严格的共线的，光学系统的这种缺陷就会产生所谓的偏心畸变。这种畸变同 时包含着径向畸变和切向畸变。 产生薄棱镜畸变的原因是镜头设计和制造中的缺陷以及相机装配过程中的 定位不精确等原因(