（信号与信息处理专业论文）用编码结构光方法实现的物体三维重构.pdf

大连理： 大学硕士学位论文 摘要 最近十几年，随着计算机、光电器件以及激光器的迅速发展，采用结构光方法实现 的物体三维重构技术得到快速发展，它的特点是对环境要求低，易于实现，测量精度高 以及测量范围大。而将编码同结构光相结合的编码结构光方法，不仅具有结构光方法的 优点，而且还解决了结构光方法中条纹难以区分的问题，因此越来越受到研究人员的重 视。目前，它已经广泛应用于计算机辅助设计与制造、逆向工程、工业检测及虚拟现实 等领域。 本论文对用编码结构光方法实现的物体三维重构技术进行了初步的研究，主要完成 了以下工作： 首先，本文阐述了用编码结构光方法实现的物体三维重构的原理，然后在世界坐标 系中，基于光学三角原理建立了该方法的数学模型，详细论述了三维坐标同二维坐标之 间的坐标转换关系。 其次，本文在编码结构光方法的基本原理和数学模型的基础上，建立了一套三维物 体重构的信息获取系统，重点论述了该系统的构成、参数设置和摄像机标定，由该系统 可以获取物体表面的信息和摄像机的内外参数。 再次，本文论述了三维物体重构的软件设计，根据图像处理算法，对由三维物体重 构的信息获取系统所获取的信息进行图像信息的滤波、二值化和细化，讨论了由细化图 像、编码图像、摄像机的内外参数及系统的参数获得物体三维坐标的实现过程。 最后，本文给出了实验结果，计算机仿真实验以平板、圆柱和折面为例，验证了该 三维重构系统和算法的可行性，实际实验也以三种物体为例，一种为平板，一种为一碗 形物体的背面，还有一种为一方块形物体，实现了它们的三维重构。实验结果验证了我 们的方法的正确性及在实际应用中的有效性。 本论文完成了用编码结构光方法实现的物体三维重构的研究中的基础性工作，论文 所做的理论分析、系统搭建、计算机仿真和实验为今后的物体三维重构技术的进一步深 入研究提供了有益的帮助和借鉴。 关键词：三维成像；结构光：摄像机标定：图像处理；三维显示 魏媛；用编码结构光方法实现的物体三维重构 t h r e ed i m e n s i o n a lr e c o n s t r u c t i o no f t h eo b j e c tu s i n gc o d e ds t r u c t u r e d l i g h tm e t h o d a b s t r a c t w i t l lt h er a p i dd e v e l o p m e n to fc o m p u t e r s ，e l e c t r o o p t i c a le l e m e n t s ，a n dl a s e r si nt h el a s t f e wy e a r s ，t h r e ed i m e n s i o n a l ( 3 d ) r e c o n s t r u c t i o na n ds u r f a c e sm e a s u r e m e n to ft h eo b j e c t s u s i n gc o d e ds t r u c t u r e dl i g h tm e t h o dh a si n c r e a s i n g l yd e v e l o p e di ni n d u s t r y s u c hm e t h o dh a s t h ef e a t u r e so fl o wr e q u i r e m e n to ft h ee n v i r o n m e n t ，v a r i o u sc h o i c e so ft h el i g h tp a t t e r n s ，h i g h p r e c i s i o na n dl a r g em e a s u r e m e n tr a n g e a tp r e s e n t ，i th a sa p p l i c a t i o n si nm a n ya r e a ss u c ha s c o m p u t e ra i d e dd e s i g n m a n u f a c t u r i n g ，r e v e r s ee n g i n e e r i n g ，i n d u s t r i a li n s p e c t i o n a n d v i r t u a lr e a l i t y t h ep r e l i m i n a r ys t u d ya b o u t3 dr e c o n s t r u c t i o nu s i n gc o d e ds t r u c t u r e dl i g h tm e t h o di s c a r r i e do u t t h em a i nw o r ki sa sf o l l o w s ： f i r s t l y ，t h ep r i n c i p l eo fs t r u c t u r e dl i g h t3 dm e a s u r e m e n tm e t h o di sp r e s e n t e d t h e nt h e m a 血e m a t i c a lm o d e lu s i n gt h i sm e t h o db a s e do nt h ep r i n c i p l eo fo p t i c a lt r i a n g u l a t i o ni s e s t a b l i s h e di nt h ew o r l dc o o r d i n a t es y s t e m ，t h et r a n s f o r mb e t w e e n3 dc o o r d i n a t e sa n d2 d c o o r d i n a t ei sd i s c u s s e di nd e t a i l s e c o n d l y , t h e3 dm e a s l l r e m e n ts y s t e mi se s t a b l i s h e db a s e do i lt h ep r i n c i p l ea n dt h e m a t h e m a t i c a lm o d e lo ft h ec o d e ds t r u c t u r e dl i g h tm e t h o d t h es t r u c t u r e ，t h ep a r a m e t e r sa n d t h ec a m e r ac a l i b r a t i o no ft h es y s t e ma r ei n t r o d u c e d t h ei n f o r m a t i o no ft h eo b j e c ta n dt h e p a r a m e t e r so f t h ec a m e r ac a r lb eo b t a i n e df r o mt h es y s t e m t h i r d l y , t h es o f t w a r ef l o wi se s t a b l i s h e d n l ew h o l ei m a g ep r o c e s s i n gf l o wc h a r ti n c l u d e s t r i p e se x t r a c t i n g ，i m a g ef i l t e r i n g ，b i n a r yt r a n s f o r m a t i o na n dt h i nt r a n s f o r m a t i o n t h e nt h e i m p l e m e n t a t i o np r o c e s so f t h e3 dc o o r d i n a t eo f t h eo b j e c ti sd i s c u s s e d f i n a l l y ，t h ec o m p u t e rs i m u l a t i o ne x p e r i m e n ta n dt h ep r a c t i c a le x p e r i m e n ta r ec a r r i e do u t s o m et y p i c a ls a m p l e ss u c ha st h eo b j e c ti nb o w ls h a p ea n dt h eo b j e c ti nr e c t a n g l es h a p ea r e t a k e na se x a m p l e s t h ep r a c t i c a le x p e r i m e n tv e r i f i e st h ef e a s i b i l i t ya n da v a i l a b i l i t yo ft h i s s t m c t u r e dl i g h t3 dr e c o n s t r u c t i o ns y s t e m t h eb a s i c a l l ys t u d ya b o u t3 dr e c o n s t r u c t i o nu s i n gc o d e ds t r u c t u r e dl i g h tm e t h o di s c o m p l e t e d n l et h e o r e t i c a la n a l y s i s ，s y s t e me s t a b l i s h m e n t ，c o m p u t e rs i m u l a t i o na n dp r a c t i c a l e x p e r i m e n to f f e r st h er e f e r e n c ea n dt h eb e n e f i c i a lh e l pf o rt h ef u r t h e rs t u d y k e yw o r d s ：3 - di m a g i n g ；s t r u c t u r e dl i g h t ；c a m e r ac a l i b r a t i o n ；i m a g ep r o c e s s i n g ； 3 - dd i s p l a y i i 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：弛拯日期： 丝! ! ：1 2 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名 导师签名 垫遂 坦年监月卫日 大连理工大学硕士学位论文 1 绪论 我们知道，视觉是人类观察世界、认知世界的重要功能手段。人类从外界获得的信 息约有8 0 来自视觉系统，这既说明视觉信息量巨大，也表明人类对视觉信息有较高的 利用率。人类视觉过程可看作是一个复杂的从感觉( 感受到的是对3 - d 世界的2 d 投影得 到的图像) 到知觉( 由2 d 图像认* n 3 - d 世界的内容和含义) 的过程【1 。 二十世纪7 0 年代中后期，随着传感技术，微电子技术和计算机的迅猛发展，人们试 图利用现有的技术使机器具有类似人眼的功能。因此在7 0 年代，一种新的研究领域，机 器视觉( 计算机视觉) 开始广泛发展起来。本文研究的三维物体重构就是计算机视觉的一 个分支2 1 。 三维物体重构技术在生产自动化、机器人视觉、医学等方面有着极其广泛的应用前 景。例如，在汽车自动化生产流水线上，需要对汽车外壳进行外观形状快速检测以检测 其是否符合生产精度要求，要做到这一点，仅依靠人工检测是不够的，也是不精确的， 这时候就需要采用三维重构方法，对产品进行准确、快速地重构与检测。又如，在自动 化雕刻工艺中，有时需要对某一外形复杂的物体进行分析并提取它的三维外形尺寸参数 以便进行加工复制，这是也需要用到高精度的三维重构方法。 1 ，1 物体三维重构方法的概述 物体三维重构技术的实现方法有很多，主要包括接触式法和非接触式法两大类。接 触式法的典型代表是坐标测量机。非接触式法主要分为两类，一类是光学方法，另一类是 光学外的其它方法。光学方法又可以分为主动式和被动式两类。前者是指对被测物体投 射特定的光，使之被物体调制，再经过解调得到被测物体的三维信息；后者则不需要额 外的光源，在自然光照明下通过一定的技术来得到物体的三维信息。主动式的三维重构 方法有时间飞行法、相位法、结构光法和数字全息法等。被动式的三维重构方法有双眼 立体视觉系统和多眼立体视觉系统等吼 1 坐标测量机 接触式法的典型代表是坐标测量机，它以精密机械为基础，综合应用了电子技术、 计算机技术、光学技术和数控技术等先进技术。测量过程中，首先将各种几何元素的测 量转化为这些几何元素上的点集坐标位置的测量，然后再由软件按一定的评定准则算出 这些几何元素的尺寸、形状和相对位置等，它的坐标测量精度可以达到微米级。坐标测 量机的数据采集主要有触发式、连续式和飞测式。前两种方式采用传统的接触式测头， 测量时需要测头与物体表面的接触，这就大大限制了测量效率；基于光学非接触测头的 魏媛：用编码结构光方法实现的物体三维重构 飞测方式可以避免测量过程中测头频繁复杂的机械运动，从而可以获得较高的测量效 率。坐标测量机的优点是测量精度高，可对复杂工件形状进行测量；缺点是测量速度慢， 测量体积小，不能测量软质物体，对客观环境要求较高且影响系统的因素较多等等【4 】。 2 飞行时间法 飞行时间法的原理是基于测量激光或其他光源脉冲光束的飞行时间进行点位测量。 在测量过程中，物体脉冲经反射回到接收传感器，参考脉冲穿过光纤也被传感器接收，这 样会产生时间差，就可以把两脉冲时间差转换成距离。飞行时间法典型的分辨率在l m m 左右，采用由二极管激光器发出的亚微秒脉冲和高分辨率设备，可以获得亚毫米级的分 辨率。其原理如图1 1 所示【jj ： 图1 1 飞行时间法的原理幽 f i g 1 1s c h e m a t i cd i a g r a mo f t i m ei nf l i g h tm e t h o d 3 相位法 相位法是采用光栅图样投影到被测物体表面，物体表面的深度信息将对条纹振幅和 位相进行调制，采用一定的算法可以将携带物体深度信息的相位变化解调出来，从而得 到物体的三维信息。典型的三维重构原理如图1 2 所示。 图1 2 相位法的原理图 f i g 1 2s c h e m a t i cd i a g r a mo f p h a s em e t h o d 大连理，i = 大学硕士学位论文 如果为正弦光栅投影，则物体上各点的光强分布为 i ( x ，y ) = a ( x ，y ) + b ( x ，y ) c o s 2 ；r f o x + ( x ，y ) ( 1 1 ) 其中，a ( x ，y ) 代表条纹的背景，b ( x ，y ) 为物体表面反射率的变化，f o 是投影到参考面 的光栅图样的空间频率，相位巾( x ，y ) 则对应着物体上各点的高度h ( x ，y ) 。可以看出， 公式同时记录了物体的几何形状信息中( x ，y ) 和纹理信息a ( x ，y ) 口】。 4 结构光法 结构光法是8 0 年代发展起来的直接获取三维图像的方法，其基本思想是利用结构 光投影的几何信息来求得物体的三维信息，通过向物体投射各种结构光，如点、单线、 多线、单圆、网格、颜色编码条纹等i 6 1 ，在物体上形成图案并由摄像机摄取，而后由图 像根据三角法和传感器结构参数进行计算，得到物体表面的三维坐标值。如图1 3 所示， 结构光三维重构方法是基于三角法原理，目标物( 被测物体) 、投影点、观测点在空间 成三角关系。当基准光栅条纹投射到目标物表面时，由于物体表面凹凸不平，条纹发生 了畸变，这种畸变是由于投影的光栅条纹受物体表面形状调制所致，因此它包含了物体 表面形状的三维信息。只要能建立起反映畸变条纹与物体表面形状之间对应关系的数学 模型，就可以从畸变后的条纹状况信息推断出物体表面形状的三维信息。 图1 3 结构光法的原理图 f i gi3s c h e m a t i cd i a g r a mo f s c r u c t u r e dl i g h tm e t h o d 由以上原理可知，系统必须包括以下功能：向被测物体投射结构光条纹；读入被测 物体图像数据；分析读入的图像，结合其它测量参数，计算出三维物体外形参数。其总 体流程如图1 4 所示： 魏嫒：用编码结构光方法实现的物体三维重构 图1 4 结构光法的总体流程图 f i g 1 4f l o wc h a r to f t h es t r u c t u r e d1 i g h tm e t h o d 用结构光方法实现的物体三维重构在对物体三维信息提取中占有重要地位。它以其 大量程、大视场、较高精度及条纹信息提取简单等特点，在计算机辅助设计与制造、机 器人视觉及工业检测等方面有广泛的应用前景。 结构光三维重构方法的不足之处在于它存在遮挡问题。3 6 0 度多视场复合数据配准 技术可能会解决这一问题【7 】。 5 数字全息法p j 随着光学全息技术、计算机技术的迅速发展以及图像获取器件性能的不断提高，数字 全息法在对物体表面微观形貌的重构中发挥了重要作用。其基本过程为：采用激光照射待 测样品产生全息图，利用c c d 记录全息图并以数字方式存入计算机，然后在计算机内模拟 全息图的再现过程得到以层析方式显示的三维物场，进而对三维物场进行定量分析、测量 和三维重构。再现图的强度信息表示了物体表面的灰度分布，而相位信息则表示了物体的 形状信息。该方法信息获取速度快、分辨率高，但测量范围受光学口径 i c c d 器件的分 辨率影响很大。数字全息法的分辨率理论上可达到纳米量级。 6 立体视觉法 立体视觉法最基本的是双目立体视觉。双目成像采用视觉原理来获得同一场景的2 幅不同图像。通过对物体上同一点在2 幅图像上的2 个像点的匹配和检测，可以得到该点 的坐标信息。重构原理如图1 5 所示 9 。 图1 5 立体视觉法的原理幽 f i g 1 5s c h e m a t i cd i a g r a mo f s t e r e o s c o p i cv i s i o n 大连理： 大学硕士学位论文 设摄像机基线长为b ，视差定义为d = j p l p 2 l ，其中p l 、p 2 为空间点w ( x ，y ，z ) 在2 像面上的投影点，则由几何关系可得z = b f d 。计算出物点的深度坐标后，其它2 个坐标 可以通过简单的几何透视关系得出。双目视觉成像原理简单，但由于需要在两幅图像中寻 找对定点的匹配，实际计算过程较为复杂。 1 2 结构光三维重构方法概述 结构光三维重构方法是以三角法原理为基础的，是目前发展较为成熟、应用较为广 泛的一种方法。它可分为点结构光法【1 0 】、线结构光法、多线结构光法、编码结构 光法和彩色结构光法 1 4 】等等。 1 点结构光法 点结构光法在结构上与简单三角法相似。不过，点结构光法的接收方向是不可变的。 当实现光栅式平面扫描时，光源和探测是同步移动的。单束激光打在物体表面，由摄像 机摄取其反射光点。物体表面每个点的x ，y 坐标由物体图像每一象素的位置确定，z 坐 标值则根据三角原理算出，其原理如图1 6 所示。 图1 6 点结构光法的原理图 f i g16s c h e m a t i cd i a g r a mo f p o i n ts t r u c t u r e dl i g h tm e t h o d 2 线结构光法 单束激光方法每次仅能处理一点，因而速度较慢，为了加快速度可使用线状光源， 即线结构光法，利用三角原理同时处理一个截面上所有的点，从而使测量速度大大加快。 线结构光法根据应用还可称为光条法、光带法和光切法等等。该方法中，物体是由 一个光平面( 光片) 照明，它通常是由一个激光器和一个柱面镜形成，但用标准幻灯投 影仪投影一窄缝也是可行的。该光面切过视场，在物体表面产生畸变的光纹，光纹偏移 和深度之间的比例常数取决于光源与摄像机之间的距离。因此，要更精确地测量深度， 则要求光源与摄像机之间的距离也越大，然而在光源位置可以看得见的视场部分在数码 魏嫒：用编码结构光方法实现的物体三维重构 相机那边有可能看不见，这一部分的深度用这种方法是测不出来的，这就是所谓的“二 维半描述”。 3 多线结构光法 多线结构光法是在线结构光法的基础上，为了提高图象处理效率，在一幅图象内处 理多条条纹。为了实现物体多条条纹表面覆盖，希望在视场内形成多条条纹，以获得表 面的3 d 深度，这就是所谓的“光栅结构光法”。多条条纹可采用标准幻灯投影机投影 一光栅图样产生，另外也可借用激光扫描器来实现。后者可以使方向可控的激光光平面 扫过视场，旋转镜的每个位置上都可得到光纹图像以供分析，该过程即可获得覆盖视场 的激光线栅。 4 编码结构光法 编码结构光法是在多线结构光法的基础上，为了区分出投影在物体表面的每条条纹 的序数，而进行的一种对条纹编码的方法。编码法分为时间编码法，空间编码法和直接 编码法。通过将多个不同的编码图案按时序先后投射到物体表面，得到相应的编码图像 序列，将编码图像序列组合起来进行解码，得到投影在物体表面的每条条纹的序数，进 而得到每条条纹所对应的物点上的光线投射角，再由结构光法基本公式得到物体的三维 坐标。 5 彩色结构光法 彩色结构光法是以颜色作为物体三维信息的加载和传递工具，以彩色c c d 摄像机作 为图像获取器件，通过计算机软件处理，对颜色信息进行分析、解码，最终获取物体的 三维面形数据。 1 3 结构光三维重构方法的研究现状及意义 1 3 1 结构光方法的研究现状 1 国外的研究现状 2 0 世纪8 0 年代以来，国外已有越来越多的研究人员开始采用结构光实现三维重构。 早期，美国r i o u x 等发表了多种点结构光投影的光点测距仪 1 5 】。 除用光点法，s h i r a i 等采用了结构光条法【1 ”，让激光通过圆柱透镜产生线光源，并 通过步进电机以匀速转动光束，使光束扫过被测物体表面，从而获得一系列图像进行信 息提取并测量。 9 0 年代后，研究重点主要集中在光栅结构光方面。如r i c h a r d 、p e t e r 和g u n t h e r 等 人提出的一种用光栅结构光进行投影的三维测量系统 1 7 】。它是将被测物体处于一个远心 光路系统中，至少从三个不同的方向，用光栅结构光进行照射，引用“第二根轴”的概 大连理工大学硕士学位论文 念，使物体绕着这根轴旋转，产生物体的不同视场，最后将不同视图合并在一个以物体 为中心的坐标系中，从而简化了图像组合，解决了结构光法的测量中存在的遮挡问题。 目前，越来越多的研究人员开始采用编码结构光方法 博1 和彩色结构光方法 1 9 1 实现三 维重构。 国外研究人员在这方面不但做了大量的理论研究，而且，许多研究成果己应用于生 产实际之中，法国的j m l e q u e l l e c 和f l e r a s l e 研制的一种结构光传感器，己用于汽车 舱的三维重建j 。 美国公司研制生产的一种彩色结构光传感器，简称c s l ，己用于表面凹痕检测，高 度测量，焊料粘贴厚度测量等等【2 i 】。 2 国内的研究现状 国内基于结构光三维重构技术研究工作都是在大学和研究所内进行的。 天津大学首先研制了线结构光轮廓传感器【2 “。 北京航空航天大学研究了基于r b f ( r a d i a lb a s i sf u n c t i o n ，径向基函数) 神经网络的 结构光三维视觉检测方法 2 3 】，该方法不需要考虑视觉模型误差、光学调整误差等因素对 视觉检测系统测量精度的影响，因而能够有效地克服常规建模方法的不足，保证了检测 系统具有较高的精度。 清华大学研制一种基于线结构光的多用途传感器 2 ”，特别适合于对移动物体和腐蚀 性表面的快速、在线、非接触的重构与测量。 基于激光扫描的线结构光三维重构法，由于要增加扫描机构而会使整个系统复杂 化，作为研究所最具权威的中科院研究的一种视觉系统【2 “，只需将物体固定在装置上， 而通过移动装置以变换物体的测量面，最后采用多视点建模术拟合不同扫描面的数据， 以重构物体的三维几何模型，使系统结构大为简化。 东南大学用投影器将水平光栅投射到物体上【2 “，通过对物像进行二值化，平滑滤波 等图像处理，获取条纹( x ，y ) 坐标后再进行坐标转换，实现三维物像重建。 浙江大学提出用软硬件结合的方法实现三维形状的实时测量 2 ”。它是用硬件电路实 现结构光峰值提取，再由软件对畸变光条峰值分布进行总体面形拟合处理，以得到物体 面形分布。 1 3 2 结构光方法的研究意义 利用结构光方法实现的物体三维重构技术，广泛应用于自动加工、高速在线检测、 质量控制、c a d c a m 、医学诊断、航空航天、汽车制造实物仿形、服装加工、鞋模等 领域，是反向工程和计算机视觉中的重要组成部分。目前，很多的复杂曲面，如水轮机 魏媛：用编码结构光方法实现的物体三维重构 叶片、飞机壳体、大型船体、汽车和摩托车壳体等形状的设计和加工精度直接影响到它 们在水中和空气中的摩擦，但是其外形难以测量。又如飞机、轮船的螺旋桨，其曲面的 设计、加工精度也将影响到其效率。还有许多模具，其设计质量和加工精度直接影响产 品的质量。传统的接触式方法测量速度低，不适于曲面的快速重构与测量。因而越来越 需要快速、无破坏、高精度及自动化的重构与测量方法。 用结构光方法实现的物体三维重构以其固有的非接触性、高精度、易于实现等优点， 近年来受到越来越多的重视。目前国外有日本、德国、英国、美国等对这方面进行了较 多的研究，且有实用系统出现，能够重构出各种不同大小、复杂形面的物体的三维坐标。 在国内，天津大学、清华大学、东南大学、浙江大学等很多大学里面对这种重构的方法 都有着深入的研究，积累了大量的理论和实践经验。 1 4 本文的章节安排 第一章为物体三维重构方法的概述。在简要介绍了三维重构方法的基础上，分析了 结构光三维测量方法的现状和发展，概括了结构光三维测量方法的研究意义。 第二章为用编码结构光方法实现物体的三维重构的原理和数学模型。首先介绍了编 码方法的原理，然后在此基础上，重点描述了编码结构光三维测量方法的原理，说明了 编码的重要性。最后建立了编码结构光三维测量方法的数学模型。 第三章为物体三维重构的信息获取系统。首先建立了用编码结构光法实现的物体三 维重构的系统，然后对系统的参数进行设嚣，最后介绍了用来获取摄像机的内外参数的 一种标定方法两步法。通过这套系统，物体表面被投影机投影的编码结构光调制。 再由数码相机将这些畸变条纹采集到计算机中。 第四章为物体三维重构的软件设计部分。通过一定的数字图像处理算法分析和处理 这些畸变条纹，然后进一步得出被测物体的三维信息。这些图像处理算法包括对图像信 息的采集、滤波、二值化以及细化等等。 第五章为实验结果。通过仿真实验和实际实验，论证了编码结构光三维重构系统的 可行性，验证了本文方法的正确性和实际应用的有效性。 大连理工大学硕士学位论文 2 物体三维重构的编码结构光方法 2 1 编码结构光的三维重构方法的原理 编码结构光法是在多线结构光法的基础上，为了区分出投影在物体表面的每条条纹 的序数，而进行的一种对条纹编码的方法。通过将多个不同的编码图案按时序先后投射 到物体表面，得到相应的编码图像序列，将编码图像序列组合起来进行解码，得到投影 在物体表面的每条条纹的序数，进而得到每条条纹所对应的物点上的光线投射角，再由 结构光法基本公式得到物体的三维坐标。 2 1 1 编码的原理 编码结构光法所用的编码方法可分为时间编码法，空间编码法和直接编码法【l ”。 时间编码法是将多个不同的编码图案按时序先后投射到物体表面，得到相应的编码 图像序列，将编码图像序列组合起来进行解码，得到照射到各象点所对应物点上的光线 投射角，再由结构光法基本公式得到景物的三维坐标。二进制编码图案是较常使用的方 法【2 ”。该编码方法不仅是减少工作量和提高测量速度的有效途径，而且解码错误大为减 少，但要求每次投射图案时投射空间位置和景物位置不可有变化，而且由于要摄取多幅 图像而增加摄像机获取图像的时间，同时也增加了计算机图像处理的负担。 空间编码法只需将一幅图像按某种方式编码向景物投射，得到一幅对应的编码图 像。将编码图像与编码方式对照解码，获得照射到各象点所对应物点上的光线投射角， 进而由结构光法基本公式得到景物的三维坐标【2 9 。该方法只需一次图案投射就可获得景 物的三维信息，从原理上来说更适应于动态测量。但目前在分辨率和处理速度上还不能 满足三维轮廓测量的要求，而且编码图案和图像由于受到景物表面特性不同而产生的模 糊点影响，容易发生译码错误，从而无法判断出光线的投影角。 直接编码法指对投影光条的颜色、宽度、强度信息等进行的编码【i 。通过投影光条 和物体畸变条纹之间的匹配识别，完成解码的过程，再由结构光三角法的基本公式，得 出物体的三维信息。 本文采用的就是格雷编码法，b p g r a yc o d em e t h o d 3 0 】，它是时间编码法的一种。所 谓的格雷码( g r a yc o d e ) 是1 8 8 0 年由法国工程师b a u d o tjme 发明的，g r a yf 于1 9 5 3 年申 请专利“p u l s ec o d ec o m m u n i c a t i o n ”而得名。格雷码的编码特点是相邻码字间的h a m m i n g 距离均是1 。相邻两个码字之间的不同位的数目称为h a m m i n g l 疆离。如：0 0 0 ，0 0 1 ，0 1 1 ， 0 1 0 ，1 1 0 ，1 1 i ，1 0 1 ，1 0 0 便是一组格雷码。它大大减少了由一个状态到下一个状态时 的瞬间模糊状态，提高了抗干扰能力。所以格雷码是一种错误最小化的编码。典型的格 魏媛：用编码结构光方法实现的物体三维重构 雷码是一种具有反射特性和循环特性的单步自补码，反射特性是指将格雷码组对半折 叠，除最高位上下两部分不同，折叠处如同一个镜面。循环特性是指最后一个码组与第 一个码组的h a m m i n g 距离也为i ，是相邻码组。本文所用的格雷码投影图案如图2 1 所示。 l 二 _ 【】 1 1 1 田瑚 图2 1 投影的格雷编码图案 f i g 2 1p a t t e r no f g r a yc o d ep r o j e c t e d 2 1 2 用编码结构光方法实现的物体三维重构 用编码结构光方法实现物体三维重构的原理如图2 2 所示 影机 x 像机 豳2 2 编码结构光方法的原理 f i g22s c h e m a t i cd i a g r a mo f c o d e ds t r u c t u r e dl i g h tm e t h o d 首先在物体表面投影结构光条纹，我们选用的结构光条纹为光栅形状。然后在物体 表面投影五幅格雷编码图案。由l c d 投影机分别将结构光条纹和投影图案a 、b 、c 、 ，曼 大连理工大学硕士学位论文 d 、e 依次投影到被测物体上，最后数码相机依次记录下每幅图像。 其中格雷编码图案的码字可以由图2 3 表示，第一个区域的码字为0 0 0 0 0 ，相当于 十进制的0 ，第二个区域的码字为0 0 0 0 1 ，相当于十进制的1 ，以此类推。这样被测空间 就被划分成了3 2 个区域，每个区域用个五位的二进制码字表示，并且每个区域中心 对应一个投影的条纹。 o 1 ) 0 oilo o 1lo 3l lo 0 l0 i) io0ll0 1 1o011o01 100l10o11oo110o1lo o1l0 图2 3 格雷编码图案的码字示意图 f i g2 3s c h e m a i cd i a g r a mo f c o d ew o r do f t h eg r a yc o d ep a t c e m 2 2 编码结构光的三维重构方法的数学模型 l 由三维坐标求二维坐标 成像变换涉及到不同坐标系统之间的变换。考虑到图像采集最终结果是要到计算机 里的数字图像，在对3 d 空间景物成像时涉及到的坐标系统主要有川： ( 1 ) 世界坐标系统：也称真实或现实世界坐标系统x w y w z w ，它是客观世界的绝对坐标。 在世界坐标系中三维空间中的一点表示为t ( x w ，y w ，z w ) 。 ( 2 ) 摄像机坐标系统：以摄像机为中心的坐标系统x c y c z c ，一般取摄像机的光学轴为z c 轴，x c 和y c 分别平行于图像平面的水平x 轴和垂直y 轴。三维点在摄像机坐标系中的 坐标表示为t c ( x c ，y c ，z c ) 。此坐标系的原点定义在c c d 透镜镜头的光心， ( 3 ) 图像坐标系统：在摄像机内所形成的理想图像坐标系统x 。y 。，此坐标系为二维坐标系， 其原点位于c c d 中心。受镜头畸变后的实际图像坐标系统为x d y d ( 4 ) 计算机坐标系统：在计算机内部数字图像所用的坐标系统x 所，数字图像最终由计算 机内的存储器存放，所以要将图像坐标系的坐标变换到象素坐标系中。此坐标系为二维 坐标系，其原点位于左上角，单位为象素。 被结构光投影的目标由数码相机拍摄下来，并输入到计算机进行处理和重构。该方 法的数学模型构造如图2 4 所示。已知物体在世界坐标系中的坐标为( ) ( w ，y w ，z w ) ，在 数码相机坐标系中的坐标为( x c ，y c ，z c ) ，投影在物体表面的条纹在c c d 相面上的二维 坐标为( x 。，y 。) ，每个条纹所在的光平面对应于投影机的角度为0 。，条纹的序数为n ，。 魏媛：用编码结构光方法实现的物体三维重构 每个条纹之间的间隔为h ，摄像机的内参数r 和外参数r = f 兰甜丁= 图24 编码结构光的三维重构的数学模型 f i g 2 4m a t h e m a t i c a lm o d e lo f t h e3 dr e c o n s t r u c t i o no fo b j e c tb yc o d e ds t r u c t u r e dl i g h t ( 1 ) 世界坐标系( x w ，y w ，z w ) 到摄像机坐标系( x c ，y c ，z c ) 的变换： 霎 = r 三； + r c z z ， 其中，c c d 的透镜中心为o c ( d x ，d y ，d z ) 尺= i i ，丁= 雾 c z z ， 卜阱引 她。， 大连理工大学硕士学位论文 i c c t c ( x c ，y c ，z c ) ， - - 。p | “ 。沧蕙1 7 飞 多 吵 透镜中心像l _ 图2 5 透镜成像示意图 f i g 2 5s c h e m a t i cd i a g r a mo f t h el e n si m a g i n g 如图2 5 所示，k = a c ，= b c ，z c = v = o c ，x 。= 口。，y 。= b c 三：土+ !( 2 4 ) 一般情况下，有u f ，所以有v 。f ，所以实用中可以小孔成像模型来代替透镜成像模 型。 f 篙= 瓦a c ，即百x c = i x u ，x 。= 厂生z c 曙2 瓦b c n 生z c 。鲁，儿3 厂芝 c z s ， ( 3 ) 理想图像坐标x u y u 到实际图像坐标x d y d 的变换： k + d ，= 屯 l y d + d ，= y 。 ( 2 6 ) 其中( x d ，y d ) 是实际图像坐标，d 。d ，为径向镜头畸变，并且有 p 。= x d ( 毛r2 + t ：，4 + ) i df = y a ( i r2 + 2 r 4 十- ) i 一 匕。、。：+ y ； ( 2 7 ) 魏媛：用编码结构光方法实现的物体三维重构 镜头畸变有两种形式：径向畸变和切向畸变。对每一种畸变，可以用一个无穷级数 来表示，在工业机器视觉应用中，一般只需要考虑径向畸变，且只考虑一阶系数即可， 过多的引入畸变因子反而会引起解的不稳定。 ( 4 ) 实际图像坐标( x d ，y d ) 至l j 计算机坐标( x 6y o 的转变： t ( x 。，y 。) 生 4 r ；儿 f i t 一c y _ + 图2 6 实际图像坐标系和计算机坐标系的关系 f i g2 6t r a n s f o r m a i o nb e t w e e np r a c t i c a li m a g ec o o r d i n a t ea n dc o m p u t e rc o o r d i n a t e 如图2 6 所示，d x 为图像采集卡中x 方向的有效尺寸，d 。为图像采集卡中y 方向的有效 尺寸，单位为 m r r d p i x e l 。 i x x d b ，一+ 争 x f ：d i j x 。+ cx br = dy - i y _ + cy 茎 = r 耋； + i = f i 1 4 ( 2 8 ) ( 2 9 ) ( 2 1 0 ) 1j 巧巧疋 l + 1j 乙 l1，j 屹岛也吒唯 大连理工大学硕士学位论文 变换成齐次坐标为 x ( 砭 z c 1 又由 卜厂芸 b 。= 厂兰 可以得到 区：生：x w r , + y w r 2 + z w r 3 + t x l 厂z cx r 7 + 巧r 8 + z r 9 + 乙 l 生：羔= _ ：茎芝垒垒垒兰芝垒圣 l 厂 z fx w r 7 + + z w r 9 + 疋 x _ + 巧+ z + 瓦 x n ，r | + y 7 s + z w r 6 + t v x r 1 + y 飞七z w r 9 + t z l ( 2 1 i ) ( 2 1 2 ) ( 2 1 3 ) 其中( x 。，y u ) 可以由计算机坐标( x by o 计算得到，即由公式( 2 6 ) 和公式( 2 8 ) 。但如 果要求物体的三维坐标( x w ，y w ，z w ) ，仅知道( x 。，y 。) 是不够的，即两个方程不能解出三 个未知数，因而我们还需要建立一个方程。 将线结构光投影到物体表面，则f h - - 角关系，我们可以得到 t a n 或= 麦= 瓦n h ( 2 1 4 ) 其中n 为条纹的序数值，h 为条纹的间距。只要我们知道条纹的n 值，就可以得到 t m u o 。的值，这样就可以建立起另一个方程。条纹的序数值可由格雷编码得到，如表所示： 巧， ，llllll，j o 0 o 1 心q o也珞on 凡一o ，、，l 1lii，jiijj 巧耳乏 o o l 0 o l 0 o 1 o 0 0 魏媛：用编码结构光方法实现的物体三维重构 表2 1 投影条纹的编码值和序数值 t a b 2 ic o d en u m b e ra n do r d i n a ln u m b e ro f t h es t r i p e sp r o j e c t e d 这样，联立得到 即 阻：生： f z 。 1 丛：堡： j z c t a n 乱( d 甩一z ) _ + 吒+ z 酽r 3 + l t a n 0 ( d ，z z 舻) r 7 + r w r 8 + z r 9 + 砭 t a n 乱( d p z z 妒) + + z 旷r 6 + 耳 t a n 眈( d e z z ) r 7 + + z r 9 + 疋 6 ( 2 1 5 ) ( 2 1 6 ) 大连理二 大学硕士学位论文 ， l k l 匕+ k 2 z 。= k 3 f k 4 玩+ k s z 。= 吒 屯t 5 一k 6 女2 毛尼5 一后2 尼4 ：垦鱼二苎垦 k 2 k 4 一k l k 5 瓯= 。y n 而 ( d ，z z )2 d ( 2 1 7 ) ( 2 1 8 ) ( 2 1 9 ) 公式( 2 1 9 ) 就是所求的物体的三维坐标( x w ，y w ，z w ) 表达式。其中，n 为条纹的序 数；h 为条纹的间距；d p z 为投影机到原点的距离；在式( 2 1 6 ) 中，f i 、r 2 、i - 3 、1 4 、i - 5 、 r 6 为旋转矩阵r 的值；t x 、t ”t z 为平移矩阵t 的值。 由此可知，只要知道了r 、t 、f 、d p z 、n 、h 、x 。、y 。，就可求出x w 、y w 、z w 的 值，即得到物体的三维