（电力电子与电力传动专业论文）三维重建中的结构光编码方法的研究.pdf

黑龙江缸技学院硕士学位论文 a b s t r a c t w t ht h er a p i dd e v e l o p m e n to fc o m p u t e r s ，e l e c t r o o p t i c a le l e m e n t s ，a n dl a s e r s i nt h el a s td e c a d ey e a r s ，t h r e ed i m e n s i o n a l ( 3 d ) r e c o n s t r u c t i o na n ds u r f a c e s m e a s u r e m e n to ft h eo b j e c t su s i n gc o d e ds t r u c t u r e dl i g h tm e t h o dh a si n c r e a s i n g l y d e v e l o p e di ni n d u s t r y t h e r e a r et h ef e a t u r e so fl o wr e q u i r e m e n to ft h e e n v i r o n m e n t ，v a r i o u sc h o i c e so ft h el i g h tp a t t e r n s ，h i g hp r e c i s i o na n dl a r g e m e a s u r e m e n tr a n g e t ou n i f yt h ep h a s es h i f t i n ga n dt h ee n c o d e ds t r u c t u r el i g h t ， w h i c hn o to n l yw i l lh a v et h em e r i t so ft h es t r u c t u r el i g h tm e t h o d ，h a v eb u ta l s o s o l v e dt h ep r o b l e mw h i c ht h es t r i p ew i l lb ed i f f i c u l t y 。t h e r e f o r e ，i tw i l lb em o r ea n d m o r ei n t e r e s t e db yt h er e s e a r c h e r s a tp r e s e n t ，i th a sb e e na p p l i e di nm a n ya r e a s s u c ha sc o m p u t e ra i d e dd e s i g nm a n u f a c t u r i n g ，r e v e r s ee n g i n e e r i n g ，i n d u s t r i a l i n s p e c t i o na n dv i r t u a lr e a l i t y t h ep i c t u r eg a t h e r i n gs y s t e ma n dc a m e r ac a l i b r a t i o nh a v eb e e nd e v e l o p e d ， a n dt h ep r e l i m i n a r ys t u d ya b o u t3 dr e c o n s t r u c t i o nu s i n gc o d e ds t r u c t u r e dl i g h t m e t h o di sc a r r i e do u ti nt h i sp a p e r t h em a i nj o b sa r ea sf o l l o w s ： f i r s t l y ，t h e3 dm e a s u r e m e n tm e t h o da n dt h ep a p e r ss t u d yb a c k g r o u n da t e p r e s e n t e d a n di nt h ew o r l dc o o r d i n a t es y s t e m ，t h i sm a t h e m a t i c a lm o d e lo ft h e m e t h o dw h i c hb a s e do no p t i c st r i a n g l ep r i n c i p l eh a sb e e ne s t a b l i s h e d ，c o o r d i n a t e s t r a n s f o r m a t i o nr e l a t i o n sb e t w e e nt h et h r o ed i m e n s i o n a lc o o r d i n a t e sa n dt h e t w o d i m e n s i o n a lc o o r d i n a t e sa r ed e t a i l ye l a b o r a t e d s e c o n d l y , t h ei m p l e m e n to f t h e i m a g ea c q u i s i t i o na n dt h ec a m e r ac a l i b r a t i o na r ei n t r o d u c e di nt h i sp a p e r t h i r d l y , t h ep r i n c i p l eo ft h et h r e e - d i m e n s i o n a lm a t c ha b o u tt h eo b j e c tw i t ht h ec o d e s t r u c t u r el i g h tm e t h o da r ed i s c u s s e d f i n a l l y ，t h ec o n c l u s i o nt ot h e e x p e r i m e n t s a r ec a r r i e do u t a n dt h ee x p e r i m e n t sn o tv e r i f i et h ec o r r e c t i o no ft h em e t h o da n d f e a s i b i l i t yo ft h ep r a c t i c a la p p l i c a t i o n s ，b u tv e r i f i e st h em e t h o d sl i m i t a t i o n ，a n d f i g u r eo u tt h ef u r t h e rs t u d yi nt h ef u t u r e t h ej o b sw h i c ht h ed e v e l o p m e n to ft h es y s t e mo ft h ei m a g ea c q u i s i t i o n ，t h e c a m e r ac a l i b r a t i o n ，t h es t e r e om a t c hi nt h e3 dr e c o n s t r u c t i o n u s i n gc o d e d s t r u c t u r e dl i g h tm e t h o da n dt h ed a t ai sc r e a t e do ft h ep o i n t s c l o u dh a v eb e e n c o m p l e t e di nt h i sp a p e r t h et h e o r e t i c a la n a l y s i s ，s y s t e me s t a b l i s h m e n t ，c o m p u t e r s i m u l a t i o na n dp r a c t i c a le x p e r i m e n to f f e rt h ed i r e c t i o nt ot h ef u r t h e rs t u d yo ft h e s t e r e om a t c ht e c h n o l o g y 黑龙江科技学院硕士学位论文 k e yw o r d s ：i m a g ea c q u i s i t i o n ；c a m e r ac a l i b r a t i o n ；c o d e ds t r u c t u r e dl i g h t ； 3 do b j e c tr e c o n s t r u c t i o n ；p h a s es h i n i n gt e c h n o l o g y ；p h a s eu n w r a p p i n g 黑龙江科技学院学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得黑龙江科技学院或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：调匿重笠日期： 黑龙江科技学院学位论文使用授权声明 黑龙江科技学院、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。 除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包 括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权黑龙 江科技学院研究生处办理。 签名糨：峨期：地 黑龙江科技学院硕士学位论文 第一章绪论 本章介绍了结构光三维重建的方法，并且介绍了结构光三维重建 方法的研究现状和研究意义，最后讲述了本文的工作背景以及本文的 章节安排。 1 1 引言 我们知道，视觉是人类观察世界、认知世界的重要功能手段。人 类从外界获得的信息约有8 0 来自视觉系统，这既说明视觉信息量巨 大，也表明人类对视觉信息有较高的利用率。人类视觉过程可看作是 一个复杂的从感觉( 感受到的是对3 d 世界的2 d 投影得到的图像) 到知 觉( 由2 d 图像认知3 d 世界的内容和含义) 的过程。 2 0 世纪7 0 年代中后期，随着传感技术，微电子技术和计算机的 迅猛发展，人们试图利用现有的技术使机器具有类似人眼的功能。因 此，一种新的研究领域，计算机视觉( 机器视觉) 开始广泛发展起来。 三维重建是计算机视觉的研究的主要内容。三维重建就是通过二 维图像中的基元( 如角点、边缘、线条、边界等基本特征) 图来恢复三 维空间信息。从二维图像到三维空间重建，也称为立体视觉。这主要 是对二维图像中像素点的三维信息的恢复，尤其是深度信息。立体视 觉是模拟人类利用双目感知空间三维场景距离信息的视觉特点，实现 对景物的立体( 距离深度) 信息的测量，其基本原理是从两个( 或多个) 视点对同一景物在不同视角下成像，利用三角测量原理计算图像像素 间的位置偏差( 即视差) ，进而测量景物的三维深度信息，这一过程与 人类视觉的立体感知过程是类似的。 立体匹配是指根据对所选图像特征的计算，建立特征间的对应关 系，将同一空间物理点在不同图像中的映像点对应起来，并由此得到 相应的视差图像。实现立体匹配是三维数据重建的关键技术，同时立 体匹配是在两幅存在视点差异，几何、灰度畸变和噪声干扰的图像间 进行的，不存在任何的标准模板。因此立体匹配是计算机视觉研究的 难点之一。尽管立体匹配的研究已经取得了很大的进展，但还存在着 黑龙江科技学院硕士学位论文 许许多多各种各样的问题，需要不断引入新的理论和方法对其进行补 充、完善。目前，立体匹配的研究基本上分为两个方向： ( 1 ) 从理解人类视觉的立体融合机制出发，试图建立一种通用的人 类双眼视觉计算模型。 ( 2 ) 从实际应用和要求出发，建立实用的立体视觉系统。 且前的各种计算机视觉系统，都是从实际应用出发，在光源、场 景等方面增加已知信息，从而实现高精度的立体匹配。 鉴于立体匹配在计算机视觉三维重建中的重要地位和作用，本文 以立体匹配为主要研究内容。从实际出发，建立了一种基于数字相移 条纹投影技术进行立体匹配的方法。采用这种技术进行物体表面轮廓 的三维重建具有快速、非接触、高精度的优点。可广泛地应用于工业 检测、逆向工程、动画制作等领域。 1 2 结构光三维重建方法概述 1 2 1 三维重建方法概述 三维重建技术的实现方法主要包括接触式和非接触式两大类。接 触式法的典型代表是坐标测量机。非接触式法主要分为两类，一类是 光学方法，另一类是光学以外的其它方法。光学方法又可以分为主动 式和被动式两类。前者是指对被测物体投射特定的光，使之被物体调 制，再经过解调得到被测物体的三维信息；后者则不需要额外的光源， 在自然光照明下通过一定的技术来得到物体的三维信息。主动式的三 维重建方法有飞行时问法、相位法、结构光法和数字全息法等。被动 式的三维重建方法有双目立体视觉系统和多目立体视觉系统等【l 】。 ( 1 ) 坐标测量机 接触式法的典型代表是坐标测量机，它以精密机械为基础，综合 应用了电子、计算机、光学和数控等先进技术。测量过程中，首先将 各种几何元素的测量转化为这些几何元素上的点集坐标位置的测量， 然后再由软件按一定的评定准则算出这些几何元素的尺寸、形状和相 对位置等，它的坐标测量精度可以达到微米级。坐标测量机的数据采 集主要有触发式、连续式和飞测式。前两种方式采用传统的接触式测 2 黑龙江科技学院硕士学位论文 头，测量时需要测头与物体表面的接触，这就大大限制了测量效率： 基于光学非接触测头的飞测方式可以避免测量过程中测头频繁复杂的 机械运动，从而可以获得较高的测量效率。 坐标测量机的优点是测量精度高，可对复杂工件形状进行测量； 缺点是测量速度慢，测量体积小，不能测量软质物体，对客观环境要 求较高，而且影响系统的因素较多等【2 1 。 ( 2 ) 飞行时间法 飞行时间法的原理是基于测量激光或其他光源脉冲光束的飞行时 间进行点位测量。在测量过程中，物体脉冲经反射回到接收传感器， 参考脉冲穿过光纤也被传感器接收，这样会产生时间差，就可以把两 脉冲时间差转换成距离：飞行时间法典型的分辨率在i m m 左右，采用 由二极管激光器发出的亚微秒脉冲和高分辨率设备，可以获得亚毫米 级的分辨率。 ( 3 ) 相位法 相位法是采用光栅图样投影到被测物体表面，物体表面的深度信 息将对条纹振幅和位相进行调制，采用一定的算法可以将携带物体深 度信息的相位变化解调出来，从而得到物体的三维信息【3 】。 ( 4 ) 结构光法 结构光法是2 0 世纪8 0 年代发展起来的直接获取三维图像的方法， 其基本思想是利用结构光投影的几何信息来求得物体的三维信息，通 过向物体投射各种结构光，如点、单线、多线、单圆、网格、颜色编 码条纹1 4 】等，在物体上形成图案并由摄像机摄取，而后由图像根据三 角法和传感器结构参数进行计算，得到物体表面的三维坐标值。 结构光三维重建方法是基于三角法原理：目标物( 被测物体) 、投 影点、观测点在空间成三角关系( 如图1 1 ) 。当基准光栅条纹投射到目 标物表面时，由于物体表面凹凸不平，条纹发生了畸变，这种畸变是 由于投影的光栅条纹受物体表面形状调制所致，因此它包含了物体表 面形状的三维信息。只要能建立起反映畸变条纹与物体表面形状之间 对应关系的数学模型，就可以从畸变后的条纹状况信息推断出物体表 面形状的三维信息【5 】。 ( 5 ) 数字全息法 随着光学全息技术、计算机技术的迅速发展以及图像获取器件性 能的不断提高，数字全息法l6 】在对物体表面微观形貌的重建中发挥了 黑龙江科技学院硕士学位论文 重要作用。其基本过程为：采用激光照射待铡样品产生全息图，利用 c c d 记录全息图并以数字方式存入计算机，然后在计算机内模拟全息 图的再现过程得到以层析方式显示的三维物场，进而对三维物场进行 定量分析、测量和三维重建。再现图的强度信息表示了物体表面的灰 度分布，而相位信息则表示了物体的形状信息。该方法信息获取速度 快、分辨率高，但测量范围受光学口径和c c d 器件的分辨率影响很大。 数字全息法的分辨率理论上可达到纳米量级。 ( 6 ) 立体视觉法 立体视觉法1 7 - 1 9 3 最基本的是双目立体视觉。双目成像采用视觉原 理来获得同一场景的两幅不同图像。通过对物体上同一点在两幅图像 上的两个像点的匹配和检测，可以得到该点的坐标信息。 使用该方法时，经常会出现两个问题，一个是如果图像的某个区 域的光强或颜色不均匀，那么匹配将无法实现；另一个问题是，景物 上的某些图像有可能只在一个视场上出现，即产生所谓的“盲区”或 “遮挡”现象，或图像的视场受限，这时就根本实现不了匹酉己，即无 法求得这些图像对应的深度数据。诚然两台摄像机位置相距越远。视 差深度计算就越精确，但盲区现象就越严重，覆盖视场就越小。此时， 可以考虑采用三眼或多眼系统。 1 2 2 结构光投射方法概述 ( 1 ) 光学三角法测量原理 结构光三维重建方法是基于光学三角测量原理【1 0 】的。光学三角法 的光栅投射三维物体轮廓，可以用“像点位移”的概念来阐述：如图 1 - 1 所示，在坐标系o x y z 中，空间一点p 射出的光线尸曰与参考平面 x o y 交于曰点，并成像于探测器平面x o y 上的占点。当放入被测物时， 光线p b 交物面于日点，日的像点为彳7 。从探测器像面上看，由于被 测物体的存在，像点由曰7 移动到彳7 ，对应于参考面上的距离为a b 。 因为a b 与日点的高度符合确定的三角关系，故可通过测量像点位移 得到物体的高度信息。 上述原理只限于既定的一条光线，相当于一维测量。尽管这种测 量方法可靠性很好，处理速度快，但要实现三维测量，就必须借助二 维扫描，扫描时间长，测量效率低。 4 黑龙江科技学院硕士学位论文 当从p 点发出的不是一条光线，而是一个光平面时，物体与该光 平面的交线在探测器像面上的像是一条曲线，再加上一维扫描，即可 达到三维测量目的。进一步推广，当从p 点发出的是多个不同的光平 面构成的网格或平行平面，则可在探测器像面上得到变形网格或多条 曲线，此时不用额外的扫描装置即可实现三维测量，但是会出现网格或 平面判断的问题，在实际应用中没有前两种方法多。 4 ” 么 ，叫e o ，” | 图1 1 光学三角法测量原理 f i g i - im e a s u r et h e o r yo f t h eo p t i ct r i g o n o m e t r y ( 2 ) 结构光三维重建方法是以三角法原理为基础的，是目前发展较 为成熟、应用较为广泛的一种方法。它可分为点结构光法i 1 、线结构 光法【l2 1 、多线结构光法、编码结构光法和彩色结构光法【1 3 1 等。 点结构光法 点结构光法在结构上与简单三角法相似。不过，点结构光法的接 收方向是不可变的。当实现光栅式平面扫描时，光源和探测是同步移 动的。单束激光打在物体表面，由摄像机摄取其反射光点。物体表面 每个点的x ，y 坐标由物体图像每一象素的位置确定，z 坐标值则根据 三角原理算出。 黑龙江科技学院硕士学位论文 线结构光法 单束激光方法每次仅能处理一点，因而速度较慢，为了加快速度 可使用线状光源，即线结构光法，利用三角原理同时处理一个截面上 所有的点，从而使测量速度大大加快。 线结构光法根据应用还可称为光条法、光带法和光切法等等。该 方法中，物体是由一个光平面( 光片) 照明，它通常是由一个激光器和 一个柱面镜形成，但用标准幻灯投影仪投影一窄缝也是可行的。该光 面切过视场，在物体表面产生畸变的光纹，光纹偏移和深度之间的比 例常数取决于光源与摄像机之间的距离。因此，要更精确地测量深度， 则要求光源与摄像机之间的距离也越大，然而在光源位置可以看得见 的视场部分在数码相机那边有可能看不见，这一部分的深度用这种方 法是测不出来的，这就是所谓的“二维半描述【| 】1 9 多线结构光法 多线结构光法是在线结构光法的基础上，为了提高图像处理效率， 在一幅图像内处理多条条纹。为了实现物体多条条纹表面覆盖，希望 在视场内形成多条条纹，以获得表面的三维深度，这就是所谓的“光 栅结构光法”。多条条纹可采用标准幻灯投影机投影一光栅图样产生， 另外也可借用激光扫描器来实现。后者可以使方向可控的激光光平面 扫过视场，旋转镜的每个位置上都可得到光纹图像以供分析，该过程 即可获得覆盖视场的激光栅线。 编码结构光法 编码结构光法是在多线结构光法的基础上，为了区分出投影在物 体表面的每条条纹的序数，而进行的一种对条纹编码的方法。编码法 分为时间编码法，空间编码法和直接编码法。通过将多个不同的编码 图案按时序先后投射到物体表面，得到相应的编码图像序列，将编码 图像序列组合起来进行解码，得到投影在物体表面的每条条纹的序数， 进而得到每条条纹所对应的物点上的光线投射角，再由结构光法基本 公式得到物体的三维坐标。 彩色结构光法 彩色结构光法是以颜色作为物体三维信息的加载和传递工具，以 彩色c c d 摄像机作为图像获取器件，通过计算机软件处理，对颜色信 息进行分析、解码，最终获取物体的三维面形数据。 综上所述，对于结构光三维重建方法，目前出现了一种发展趋势， 6 黑龙江科技学院硕士学位论文 即相位法与其它编码技术的结合。光栅投影技术实际上也是一种相位 编码方式，如投影正弦光栅，与其它方式相比其优点在于可实现较高 的测量分辨率，不足之处在于由于投影的正弦条纹具有周期性，以及 其他不利因素的影响使得相位展开困难。编码结构光测量方法缺点在 于测量的离散性，每一条光栅有一个离散值，因此仅能进行有限的条 纹数编码，限制了测量的精度，在要求较高测量精度时，需要复杂的 编码方式，将两种方法结合起来成为解决两种方法缺点的很好选择， 如本文将格雷编码与相移法结合。 1 3 结构光三维重建方法的研究现状及意义 1 3 1 结构光方法的研究现状 ( 1 ) 国外的研究现状 2 0 世纪8 0 年代以来，国外已有越来越多的研究人员开始采用结 构光方法实现三维重建。早期，美国r i o u x 等发表了多种点结构光投 影的光点测距仪”。 除用光点法，s h i r a i 等采用了结构光条法【1 5 l ，让激光通过圆柱透 镜产生线光源，并通过步进电机以匀速转动光束，使光束扫过被测物 体表面，从而获得一系列图像进行信息提取并测量。 2 0 世纪9 0 年代后，研究重点主要集中在光栅结构光方面，如 r i c h a r d 、p e t e r 和g u n t h e 等人提出的一种用光栅结构光进行投影的三 维测量系统【i6 1 。它是将被测物体处于一个远心光路系统中，至少从三 个不同的方向，用光栅结构光进行照射，引用“第二根轴”的概念， 使物体绕着这根轴旋转，产生物体的不同视场，最后将不同视图合并 在一个以物体为中心的坐标系中，从而简化了图像组合，解决了结构 光法的测量中存在的遮挡问题。 国外研究人员在这方面不但做了大量的理论研究，而且，许多研 究成果已应用于生产实际之中，法国的j m l e q u e l l e c 和f l e r a s l e 研制 的一种结构光传感器，已用于汽车舱的三维重建【1 7 j 。 美国公司研制生产的一种彩色结构光传感器，简称c s l ，己用于 表面凹痕检测，高度测量，焊料粘贴厚度测量等【l 引。 7 黑龙江科技学院硕士学位论文 ( 2 ) 国内的研究现状 国内基于结构光三维重建技术研究工作都是在大学和研究所内进 行的。 天津大学首先研制了线结构光轮廓传感器1 1 9 。 北京航空航天大学研究了基于r b f ( r a d i a lb a s i sf u n c t i o n ，径向 基函数) 神经网络的结构光三维视觉检测方法【2 0 1 。该方法不需要考虑视 觉模型误差、光学调整误差等因素对视觉检测系统测量精度的影响 因而能够有效地克服常规建模方法的不足，保证了检测系统具有较高 的精度。 清华大学研制一种基于线结构光的多用途传感器【2 1 1 ，特别适合于 对移动物体和腐蚀性表面的快速、在线、非接触的重建与测量。 基于激光扫描的线结构光三维重构法，由于要增加扫描机构而会 使整个系统复杂化，作为研究所最具权威的中科院研究的一种视觉系 统1 2 ”，只需将物体固定在装置上，而通过移动装置以变换物体的测量 面，最后采用多视点建模术拟合不同扫描面的数据，以重建物体的三 维几何模型，使系统结构大为简化。 东南大学用投影器将水平光栅投射到物体上【2 3 1 ，通过对物像进行 二值化，平滑滤波等图像处理，获取条纹陇l ，) 坐标后再进行坐标转换， 实现三维物像重建。 浙江大学提出用软硬件结合的方法实现三维形状的实时测量1 2 4 1 。 它是用硬件电路实现结构光峰值提取，再由软件对畸变光条峰值分布 进行总体面形拟合处理，以得到物体面形分布。 1 3 2 结构光方法的研究意义 利用结构光方法实现的物体三维重建技术，已经广泛应用于自动 加工、高速在线检测、质量控制、c a d c a m 、医学诊断、航空航天、 汽车制造实物仿形、服装加工、鞋模等领域，是反向工程和计算机视 觉中的重要组成部分。目前，很多的复杂曲面，如水轮机叶片、飞机 壳体、大型船体、汽车和摩托车壳体等形状的设计和加工精度直接影 响到它们在水中和空气中的摩擦，但是其外形难以测量。又如飞机、 轮船的螺旋桨，其曲面的设计、加工精度也将影响到其效率。还有许 多模具，其设计质量和加工精度直接影响产品的质量。传统的接触式 s 黑龙江科技学院硕士学位论文 方法测量速度低，不适于曲面的快速重构与测量，因而越来越需要快 速、无破坏、高精度及自动化的重建与测量方法。 用结构光方法实现的物体三维重建以其固有的非接触性、高精度、 易于实现等优点，近年来受到越来越多的重视。目前国外有日本、德 国、英国、美国等对这方面进行了较多的研究，且有实用系统出现， 能够重建出各种不同大小、复杂形面的物体的三维坐标。在国内，天 津大学、清华大学、东南大学、浙江大学等很多大学里面对这种重建 的方法都有着深入的研究，积累了大量的理论和实践经验。 1 4 本文的工作背景 随着计算机技术的飞速发展，c a d 技术已成为产品设计人员进行 研究开发的重要工具。其中二维造型技术已被制造业广泛应用于产品 及模具设计、方案评审、自动化加工制造及管理维护等各个方面。在 实际的开发制造过程中，设计人员接收到的技术资料有时是各种数据 类型的二维模型。但有时( 很多时候) 却是从上游厂家得到的产品实物 模型。对于后一种情况，设计人员需要通过一定的途径，应用反向工 程技术，将这些实物信息化为c a d 模型。据统计，中国7 0 以上的技 术源于国外，反向工程技术作为消化、吸收、掌握国外先进技术的一 种有效手段，可使产品研制周期缩短4 0 以上，大大提高了设计、生 产效率。因此，深入研究反向工程技术，对我国国民经济的发展和科 学技术水平的提高具有重要意义。 本课题的研究正是面向此技术展开的，本学院已经从德国引进了 世界最先迸的三维扫描系统a t o s ，本课题来源于黑龙江省教育厅科学 技术研究项目计算机视觉三维重建关键技术研究这一课题，是一 门集光、机、电、数控、c a d c a m 、计算机视觉、计算机图像采集与 处理、工业设计等为一体的多学科交叉高新技术。 1 5 本文的章节安排 第一章为物体结构光三维重建方法的概述。在简要介绍三维重建 方法的基础上，分析了结构光三维测量方法的现状，概括了结构光三 9 黑龙江科技学院硕士学位论文 维测量方法的研究意义。 第二章为与本文立体匹配相关的三维重建的数学模型部分，主要 有摄像机模型和对极几何约束。这是本文立体匹配算法设计、理论推 导和应用的基础。 第三章为图像采集系统部分。图像采集是获取物体图像信息的首 要环节，图像质量的好坏将直接影响后期的处理。 第四章为摄像机标定部分。摄像机标定是获取物体三维空间信息 的前提和基础，直接影响着立体匹配的结果。 第五章为立体匹配部分。介绍了编码结构光三维测量方法相关的 理论，建立了一种基于数字相移条纹投影技术的三维测量系统，并给 出了试验结果，论证了编码结构光三维重建系统的可行性，验证了本 文方法的正确性和实际应用的有效性。 黑龙江科技学院硕士学位论文 第二章摄像机模型和对极几何约束 本章介绍了在三维重建中与本文算法相关的立体视觉理论，主要 包括摄像机模型【8 】【9 】和两视图几何的约束关系【8 1 1 9 】。摄像机模型决定了 图像上点的位置与空间物体表面相应点的位置的相互关系，模型的参 数称为摄像机参数，其中内部参数描述摄像机的内部光学和几何特性， 外部参数刻画摄像机坐标系相对于世界坐标系的位置和方向。对极几 何则描述了对于空间同一物体，同一摄像机在不同位置拍摄的两幅图 像之间必然满足的一种几何上的关系，这种关系常被用来在匹配过程 中构成约束。这些内容是本文算法设计、理论推导和应用的基础。 2 1 齐次坐标 设欧氏直线上点p 的笛卡尔坐标为x l 。现在引入x 2 ，令x l x 2 - - x ， x 2 = - o ，则只要x l x 2 不变，x 也不变，称( x d x 2 ) 为点p 的齐次坐标，记 为p ( x l ，x 2 ) ，x i 称为p 的非齐次坐标。当x 2 = 0 时，( x l ，0 ) ( x i o ) 规定 了直线上的无穷远点的齐次坐标。在欧氏直线上引入无穷远点后称为 拓广的欧氏直线，简称为拓广直线。 为欧氏平面上的每一条直线引入无穷远点，所有无穷远点的集合 称为无穷远直线。欧氏平面引入无穷远直线后称为拓广的欧氏平面， 简称拓广平面。对引入的无穷远点做出如下规定： ( 1 ) 在每一条欧氏直线上引入唯一的一个无穷远点： ( 2 ) 在平行的欧氏直线上引入相同的无穷远点； ( 3 ) 不平行的欧氏直线上引入不同的无穷远点。 设【o ，e l ，e 2 】为欧氏平面上的仿射坐标系，对于有序三实数( x l ，x 2 ，x 3 ) ( 0 ，0 ，0 ) ，若满足下列条件，则称为拓广平面上的齐次坐标： ( 1 ) 若x 3 # o ，则( x l ，x 2 ，x 3 ) 是仿射坐标为( x l x 3 ，x 2 x 3 ) 的拓广平面上 通常点的齐次坐标： ( 2 ) 若x 3 = 0 。则( x l ，x 2 ，x 3 ) 规定为拓广平面上无穷远点的齐次坐标： ( 3 ) 若p o ，则6 0 x i ，p x 2 ，p x 3 ) 与( x l ，x 2 ，x 3 ) 表示拓广平面上同一点的齐 次坐标。 黑龙江科技学院硕士学位论文 依次类推，n 维欧氏空间点p 的齐次坐标为p ( x l ，x 2 ，x d + i ) 7 ，其 中x 。+ l 0 ，而且其无穷远点的定义与上类似。 2 2 摄像机成像模型 摄像机是三维空间物体与二维图像之间的一种映射。成像模型就 是三维空间物体到二维视平面的投影关系 2 2 1 图像坐标系、摄像机坐标系与世界坐标系 摄像机采集的图像以标准电视信号的形式输入到计算机，经计算 机中的专用数模转换板变化成数字图像。每幅数字图像在计算机内为 m n 数组，m 行n 列的图像中的每一个元素( 称为像素) 的数值即是图 像点的亮度( 或称灰度) 。如图2 1 所示，在图像上定义直角坐标系“， v ，每一像素的坐标( “，v ) 分别是该像素在数组中的列数与行数。所以， ( “，v ) 是以像素为单位的图像坐标系的坐标。由于( “，v ) 只表示像素位于 数组中的列数与行数，并没有用物理单位表示出该像素在图像中的位 置，因而，需要再建立以物理单位( 例如毫米) 表示的图像坐标系。该 坐标系以图像内某一点o l 为原点，x 轴与y 轴分别与甜、v 轴平行， 如图2 1 所示。在工，y 坐标系中，原点o 】定义在摄像机光轴与图像 平面的交点，该点一般位于图像中心处，但由于摄像机制作的原因， 也会有些偏离，若o l 在“，v 坐标系中的坐标为( 越，v ) ，每一个像素在x 轴与y 轴方向上的物理尺寸为出，砂，则图像中任意一个像素在两个 坐标系下的坐标有如下关系： 公式( 2 。2 1 ) 可用齐次坐标与矩阵形式表示为： 1 2 、， l22 ， + + 三出上妙 = = v 黑龙江科技学院硕士学位论文 ； = 上。 斑 。上 方 o0 逆关系可写成 掘 j d l ( ，) v1， 图2 - 1 图像坐标系 f i g 。2 - 1i m a g ec o o r d i n a t e ( 2 2 2 ) 摄像机成像几何关系可由图2 2 表示。其中d 点称为摄像机光心， 疋轴和k 轴与图像的x 轴与y 轴平行，乙轴为摄像机的光轴，它与图 像平面垂直。光轴与图像平面的交点，即为图像坐标系的原点。由点 0 与五，l ，乙轴组成的直角坐标系称为摄像机坐标系，d d l 为摄像 机焦距。 由于摄像机可安放在环境中的任何位置，我们在环境中还选择一 个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位 置，该坐标系称为世界坐标系。它由。k ，乙轴组成。摄像机坐标 系与世界坐标系之间的关系可以用旋转矩阵丑与平移向量r 来描述。 因此，空间中某一点j p 在世界坐标系与摄像机坐标系下的齐次坐标如 果是( ，k ，乙，1 ) 1 与( 疋，y ：，乙，1 ) 1 ，于是存在如下关系： ”q 诺 一 一 o 方o 出o o i 刮 黑龙江科技学院硕士学位论文 x c e z 。 l = 眵 ：|； = m x l z ， l ( 2 2 4 ) 其中，置为3 x 3 正交单位矩阵；t 为三维平移向量；o = ( o ，0 ，o ) r ； 尬为4 x 4 矩阵。 2 2 2 针孔成像 图2 - 2 摄像机坐标系与世界坐标系 f i g2 - 2c a m e r aa n dw o r l dc o o r d i n a t e 理想的成像模型是光学中的小孔成像模型。针孔成像模型见图 2 3 。考虑空间点到一张平面的中心投影，设投影中心c 位于欧氏坐标 系原点，投影平面为s 。空间点，k ，乙) 在投影平面上的投影是点 p ( x ，y ) 。 为方便起见，设光轴方向为z 轴方向，投影平面与光轴垂直，并 且其坐标轴x ，y 分别平行于三维空间坐标系的j 轴和y 轴。 将上述模型的坐标系取为正实像投影变换坐标系，即将投影平面 s 置于投影中心之前距离原点厂处，将投影中心置于欧氏坐标系的原 点，将摄像机主轴指向z 轴方向，构成摄像机坐标系o - x y z 。摄像机 坐标系见图2 - 4 。图中，是该成像系统的焦距，即投影中心到投影平 t 4 黑龙江科技学院硕士学位论文 面的距离。投影平面又称为图像平面，投影中心称为摄像机中心或光 心。摄像机中心到图像平面的垂线称为摄像机的主轴，主轴与图像平 面的交点称为主点。 在中心投影坐标系中，用非齐次坐标表示的中心投影方程是： 工：厂丝 。z 。 y = f 粤 山c 图2 - 3 针孔摄像机成像模型 f i g 2 - 3p i n h o l ec a m e r ai m a g ef o r m a t i o nm o d e l 。r 一 夕 s 。 图2 - 4 摄像机坐标系 f i 9 2 - 4c a m e r ac o o r d i n a t e ，互) ( 2 2 5 ) 黑龙江科技学院硕士学位论文 中心投影方程的齐次表示是： h r f 00 0 z c iy l - - o ，o0 i 【1 jl 0 01 o j x c 】： 互 1 ( 2 2 6 ) 将( 2 2 3 ) 与( 2 2 4 ) 代入上式( 2 2 6 ) ，我们得到世界坐标系表示的p 点坐标与其投影点p 点的坐标0 ，v ) 的关系； 料-忑|吉o u?of：o：0 i 0 二f 辜 a x 0 = io口， 【0 0 x l z ， 1 = m m 善，= 凇i ( 2 2 7 ) 1 其中，以啾，a y = t t d y , m 为3 4 矩阵，称为投影矩阵：m 完全 由以，唧，1 2 0 ，v o 决定，由于以，毋，u o ，v o 只与摄像机内部结构有关， 我们称这些参数为摄像机内部参数；m 完全由摄像机相对于世界坐标 系的方位决定，称为摄像机外部参数。确定某一摄像机的内外参数， 称为摄像机标定。 2 3 对极几何约束 对极几何是两幅图像之间内在的射影几何。它独立于景物结构， 只依赖于摄像机内参数和相对姿态。基本矩阵，是一个秩为2 的3 3 矩阵，它集中了这个内在几何的精华。如果三维空间点z 在第一图像 上的像是z ，在第二幅图像上的像工，那么关系式x t f x = 0 成立。 2 3 1 对极几何 两幅图像之间的对极几何是图像平面与以基线为轴的平面束的交 1 6 月旷 儿川叶 黑龙江科技学院硕士学位论文 线的几何。基线定义为两摄像机中心的连线。使用对极约束可将两视 图立体匹配二维搜索问题简化为一维搜索。因此，极线的作用在立体 匹配中得到重视。 假定三维空间点j 在两幅视图中成像，在第一图像上的像为材， 在第二幅图像上的像为“。从图2 5 中可以看出，像点材、“，空间点 x 和摄像机中心是共面的。对极点是连接两摄像机中心的直线与像平 面的交点。或者说，对极点是摄像机中心在另一幅图像中的像。对极 平面是包含基线的平面。对极线是对极平面与像平面的交线，对极平 面决定了左右两幅图像上对极线的对应。所有对极线交与对极点。 2 3 2 基本矩阵 圈2 - 5 对应点的几何 f i g 2 - 5c o r r e s p o n d i n gp o i n t sg e o m e t r y 基本矩阵是对极几何的代数表示，参见图2 5 。经过从左摄像机中 心c 到右摄像机中心c7 的平移f ，再经过旋转变换r ，左视图的坐标 系可以变换为右视图的坐标系。设坐标系原点在左摄像机中心c 。如 果左右摄像机的标定矩阵是k 和k ，可以得到场景的左投影“和右投 影“， ”叫件髓 ( 2 s 1 ) 【k r i k i m j j i = f ( 肛一妁= f r ( 2 3 2 ) 黑龙江科技学院硕士学位论文 符号。用来表示在相差一个尺度因子的意义下相等。矢量石，r 和r 是共面的。我们使用下标，和，分别表示左右摄像机的坐标，坐标矢 量7 是相对于右摄像机坐标系表示的，故记为石：。使用矢量乘积来 表达极线约束，这是通过相对于左摄像机来表达自由矢量z 来实现 的。坐标旋转可以写成： 墨= r x i ( 2 3 3 ) 故有 局7 = 月。7( 2 3 4 ) 表达共面性的方程可以写成 弼。( t x x t ) = o( 2 3 5 ) 在公式中做代换西= r 7 打；墨，- 饭7 ) 。1 u7 及蜀= 盂。( 置) 1 u7 ，得到： ( 髟- 1 ) 7 ( t x r 。( k ) - 1 ) = 0 ( 2 3 6 ) 公式( 2 3 6 ) 相对于t 是齐次的，因此尺度是不确定的如果预先 不知道两个点的距离，则绝对的尺度不能恢复出来。 平移矢量是f = 阻，t y ，纠7 ，如果t # o ，由它可以生成一个反对称的矩 阵j ： 10 一t ：t ，i s = lt ：0- t ，i ( 2 3 7 ) 卜0 t z 0j 当且仅当t o 时，j 的秩是2 。矢量乘积可以用两个矩阵的乘法来代替。 对于任意的正则矩阵a ，有 t x a = s a ( 2 3 8 ) 因此，公式( 2 ，3 6 ) 可以改写为： ( 置1 “) 7 ( s r 。( 足。) 。1 g 。) = 0( 2 3 9 ) 进而整理为： l f 7 ( x 一1 ) r 棵1 ( x ) 1 矿= 0( 2 3 1 0 ) 将该公式的中间部分写成单个矩阵，称之为两视图的基本矩阵： f = ( k 。) s r “( k ) 。1( 2 3 1 1 ) 在公式( 2 3 1 0 ) 中以，代入，得到任意两个视图的双线性关系： h 7 凡，_ o ( 2 3 1 2 ) 如果点对应问题解决了，则基本矩阵包含了从一对图像中可以恢 复出来的所有信息。基本矩阵具有如下性质： 黑龙江科技学院硕士学位论文 i 刚= ( 3 ) 基本矩阵f 的s v d 为f = u d 矿，其中： 。：f 台也0 习仲屯。， 【0 0 o j 2 3 3 空间点重建 ( 2 3 1 3 ) ( 2 3 1 4 ) 空间点是构成三维空间结构的最基本单元，理论上可以由点形成 线，由线形成面，再由各种面构成三维立体结构。假如能得到物体表 面上所有点的空间坐标，那么三维物体的形状与位置就是唯一确定的， 因此，空间点的重建是计算机视觉三维重建的最基本内容。 将公式( 2 2 7 ) 写成 料融差 式中 ，k ，乙，1 ) 为空间第i 个点的坐标； ( 甜一，v ，1 ) 为第i 点的图像坐标； 册u 为投影矩阵m 的第i 行第j 列元素。 式( 2 3 1 5 ) 包含三个方程： ( 2 3 1 5 ) lz c f 牡j = 搠l i x 研+ 删1 2 1 0 + m ”z 刊+ 辨1 4 乙v = m 2 i x 训+ 肼笠y 町+ 刀t 2 3 z + m m( 2 3 1 6 ) 【z d = m 引x 州+ 刀4 越k + m ”z 州+ 刀t 将