（光学专业论文）结构光照明三维成像系统标定及亚像素检测方法研究.pdf

结构光照明三维成像系统标定及亚像素检测方法研究 摘要 基于结构光照明的三维传感技术具有检测速度快、分辨率高、非接触等优点，广 泛应用于计算机视觉、工件质量检测等方面。随着计算机技术，以及图像处理等技术 的发展，光学非接触测量技术得到广泛的应用，尤其是基于结构光照明的三维成像系 统得到了很大发展，被认为是最有发展前途的三维轮廓测量方法。目前，它已经广泛 应用于机器人视觉、自动加工等领域，在复杂物体面形检测中有着广阔的应用前景。 本文主要工作分为三步，第一步是深入研究了结构光照明三维成像系统的工作原 理。用计算机模拟结构光照明三维成像系统，为实际测量系统的结构设计和参数校正 提供了新的途径：第二步根据投影是摄像的逆过程，将投影仪看成反向工作的摄像机 进行处理。利用2 d 平面靶标对摄像机和投影仪进行标定。该方法采用一块平面靶标， 在测量体积内比较随意的摆放，实现了测量系统参数的标定。从而降低了靶标制作难 度，靶标便于携带，可以实现现场标定；第三步分析了光学系统的成像特性，提出一 种适用于时空二值编码结构光照明三维成像系统的投影仪坐标亚像素检测方法，有效 提高了系统的测量精度。 本文主要结果及创新点有：( 1 ) 提出采用平面靶标及虚拟标准平面的结构光照明 三维成像系统标定方法，可以实现系统的现场标定。( 2 ) 提出一种采用时间正弦拟合 的时空二值编码结构光照明三维成像系统投影仪坐标亚像素检测方法。( 3 ) 根据测量 系统模型，提出了一种高精度的结构光照明三维成像系统仿真方法。( 4 ) 利用摄像机 模型，推导了结构光照明三维成像系统的投影仪坐标一高度映射关系，得到了采用多 项式表示的投影仪坐标一高度映射方程。 关键词：信息光学：结构光照明三维成像系统；相位测量轮廓术：系统标定； 亚像素检测 i r e s e a r c ho nc a l i b r a t i o no f3 di 队g i n gs y s t e m 厂i t hs t r u c t u r e di l l i 瓜压i n a t i o na n dd e t e c t i o no f s u b p i x e l a b s t r a c t a sn o n c o n t a c t ，h i g hs p e e da n dr e s o l u t i o nm e a s u r e m e n ti sa p p r o a c h e db y3 ds e n s o r t e c h n i q u eb a s e do ns t r u c t u r e di l l u m i n a t i o n ，i th a sb e e nw i d e l ya p p l i e di n t oc o m p u t e rv i s i o n ， i n d u s t r i a l i n s p e c t i o n ，q u a l i t yc o n t r o l ，m o v i e s t u n t sa n db i o m e d i c i n ee t c w i t ht h e d e v e l o p m e n to fc o m p u t e ra n di m a g ep r o c e s s i n gt e c h n o l o g y , t h e r ea r ee n o r m o u sp r o g r e s s e s i no p t i c a ln o n c o n t a c tm e a s u r e m e n t 3 di m a g i n gs y s t e mb a s e do ns t r u c t u r e di l l u m i n a t i o n i sc o n s i d e r e dt ob et h em o s tp r a c t i c a l3 dm e a s u r e m e n tm e t h o di nf u t u r ea p p l i c a t i o n a t p r e s e n t ，i ti sw i d e l ya p p l i e di n t or o b o tv i s i o n ，a u t o m a t i c a l l yp r o c e s sa n dc a nb eu s e dt o m e a s u r eo b j c c tw i t hc o m p l e xs u r f a c e t h em a i nw o r ki nt h i sp a p e rh a st h r e ep a r t s ：f i r s t l y , p r i n c i p l eo f3 di m a g i n gs y s t e m b a s e do ns t r u c t u r e di l l u m i n a t i o ni ss t u d i e d an o v e lm e t h o di sp r o p o s e dt os i m u l a t et h e s y s t e m t h e ns u i t a b l ep a r a m e t e r sc a nb ep r o v i d e dw h e nd e s i g n i n go rc a l i b r a t i n ga c t u a l m e a s u r e m e n ts y s t e m s e c o n d l y , a c c o r d i n gt ot h er e v e r s i b i l i t yo fl i g h tp a t hp r i n c i p l e ，t h e p r o je c t o rc a nb er e g a r d e da sc a m e r aa c t i n gi nr e v e r s e t h u s ，t h em o d e lo fc a m e r ac a l la l s o b eu s e df o rp r o j e c t o r t h ei n t r i n s i ca n de x t r i n s i cp a r a m e t e r so fc a m e r aa n dp r o j e c t o ra r e c a l i b r a t e db yp l a c i n gap l a n a rt a r g e ti nm e a s u r e m e n tv o l u m ea tl e a s tt h r e eo r i e n t a t i o n s t h e p l a n a rt a r g e tc a nb em o v e df r e e l y t h em o t i o nn e e dn o tb ek n o w n t h e np a r a m e t e r so f m e a s u r e m e n ts y s t e ma r ec a l i b r a t e d t h e r e f o r e ，d i f f i c u l t i e si nm a k i n ga n dc a r r y i n gt a r g e t a r ed e c r e a s e d i ti ss u i t a b l ef o rr e a l - t i m ec a l i b r a t i o n t h i r d l y , t h ei m a g i n gc h a r a c t e ro f o p t i c a ls y s t e mi sa n a l y z e d f o rt h es p a t i o t e m p o r a le n c o d i n g3 di m a g i n gs y s t e mw i t h s t r u c t u r e di l l u m i n a t i o n ，an o v e lm e t h o di sp r o p o s e dt od e t e c tt h es u b p i x e lo fp r o j e c t o r c o o r d i n a t e s t h ee x p e r i m e n t a lr e s u l ts h o w st h a tp r e c i s i o no ft h es y s t e mi si m p r o v e d i i t h en o v e li d e a so ft h ep a p e ra ea sf o l l o w s ：f i r s to fa l l ，a2 dp l a n a rt a r g e ti s i n t r o d u c e dt oc a l i b r a t et h ec a m e r a v i r t u a lp l a n e sa r ei n t r o d u c e dt oc a l i b r a t e3 di m a g i n g s y s t e mb a s e do ns t r u c t u r e di l l u m i n a t i o n t h e n ，t e m p o r a ls i n u s o i d a lf i t t i n gi sp r o p o s e dt o d e t e c ts u b - p i x e lo fp r o j e c t o rc o o r d i n a t ei n3 di m a g i n gs y s t e mu s i n gb i n a r ys p a t i o t e m p o r a l e n c o d e di l l u m i n a t i o n f u r t h e r m o r e ，a c c o r d i n gt ot h em o d e lo fm e a s u r e m e n ts y s t e m ，a n o v e lm e t h o dw i t hh i g hp r e c i s i o ni sp r o p o s e dt os i m u l a t et h e3 di m a g i n gs y s t e mb a s e do n s t r u c t u r e di l l u m i n a t i o n ，a tl a s t ，t h er e l a t i o nb e t w e e np r o j e c t o rc o o r d i n a t ea n dh e i g h ti s d e r i v e df r o mc a m e r am o d e l f i v eo r d e r sp o ly n o m i a le q u a t i o ni su s e dt oe x p r e s sm a p p i n g e q u a t i o nb e t w e e np r o je c t o rc o o r d i n a t ea n dh e i g h t k e yw o r d s ：i n f o r m a t i o no p t i c s ；3 di m a g i n gs y s t e mw i t hs t r u c t u r e di l l u m i n a t i o n ； s y s t e mc a l i b r a t i o n ；s u b p i x e ld e t e c t i o n i i i 浙江师范大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及 取得的研究成果。论文中除了特别加以标注和致谢的地方外，不包含其他人 或其他机构已经发表或撰写过的研究成果。其他同志对本研究的启发和所做 的贡献均己在论文中作了明确的声明并表示了谢意。本人完全意识到本声明 的法律结果由本人承担。 作者签名：撅眺 日期：砟羔月7 日 j 。 学位论文使用授权声明 本人完全了解浙江师范大学有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关机关或机构送交论文的复印件和电子文档，允许论文被查阅和 借阅，可以采用影印、缩印或扫描等手段保存、汇编学位论文。同意浙江师范大 学可以用不同方式在不同媒体上发表、传播论文的全部或部分内容。 保密的学位论文在解密后遵守此协议。 作者签名：私拙龙导师签名：劫日期：垆f 月2 严日 浙江师范大学学位论文诚信承诺书 我承诺自觉遵守浙江师范大学研究生学术道德规范管理条 例。我的学位论文中凡引用他人已经发表或未发表的成果、数据、 观点等，均己明确注明并详细列出有关文献的名称、作者、年份、 刊物名称和出版文献的出版机构、出版地和版次等内容。论文中 未注明的内容为本人的研究成果。 如有违反，本人接受处罚并承担一切责任。 承诺人( 研究生) ：磁涵龙 指导教肌锡 1 绪论 人类生活在一个三维立体的世界，伴随着社会生活水平的提高，人们对周围物体 尺寸的要求越来越严格，从而对物体三维面形进行检测的三维测量技术也逐渐成为研 究热点。如图1 1 所示，传统的三维测量方法主要分为接触式和非接触式两种”】。其 中接触式测量方法是由传统的探针式接触测量发展而来，目前已投入使用的三坐标测 量机正是该方法的成功应用实例。然而传统的接触式测量方法，由于测量力的存在， 测量时间较长，需要对探测头的半径进行补偿，不能对软质材料进行测量。非接触式 测量三维工件的方法主要指用光学等方法实现物体的三维面形检测。由于光学方法 具有非接触、高精度、易于自动控制等优点，目前已经应用到工业产品质量检测、医 学美容与整形等领域。现有方法包括相位测量轮廓术【4 羽、傅里叶变换轮廓术7 1 、调制 度测量轮廓术、莫尔轮廓术、结构光编码方法、光学三角测量法等，就其本质而言， 都是通过分析受到物体三维面形调制的空间光场，获取高度信息分布。 ：r 接触式一三坐标测量? 雍jf 被动测量一双目视觉、共焦离焦 鎏 l 接触式一光学法一 厂时间调制一飞行时间法 li l 主动测量f _ 相位测量轮廓术 i 卒l 傅里叶变换轮廓术 l 商j 调制度测量轮廓术 制i 编码条纹测量 l 光学三角测量法 图1 1 三维测量方法分类 f i g 1 1c l a s s i f i c a t i o no f3 dm e a s u r e m e n t 近2 0 年以来0 1 ，光学三维传感技术已经逐渐成为当今国际上的热门研究课题 之一，美国、日本、德国等国在该领域相继提出了许多新的测量方法，并将其应用到 实际测量。单点探测器及激光扫描器被用于林业、冶金业、机器人导航等方面，纳米 级聚焦系统( n a n o f o c u s ) 就是共焦显微镜激光系统的实际应用。基于光学三角法的 1 绪论 缝扫描器因其成本较低，实际应用较多。全息干涉法也经常用于实时检测物体的变形 量。挪威的o p t o n o r 公司生产了利用电子散斑干涉法( e s p i ) 来测量微小振动的测量 系统，待测物体尺寸范围可以从亚毫米到数米之长。1 9 9 7 年启动的数字米开朗基罗 计划就是光学三维传感技术在艺术雕塑和文物保护方面的成功应用。近年来，国内研 究光学三维传感技术的科研机构日益增多，其中四川大学、天津大学、北京理工大学 在这一领域处于国内领先水平。 1 1 光学三维传感概述 光学三维传感技术【1 1 12 1 ( o p t i c a lt h r e e d i m e n s i o n a ls e n s o rt e c h n i q u e s ) 主要指运 用光学的方法获取三维物体表面各点空间坐标的方法和技术。因为它具有非接触测 量、速度快、系统的柔性好等优点，已经广泛应用于物体三维面形检测、工业产品质 量评价等领域，在工业自动化生产线、视觉导航、虚拟现实、影视特技、医学整形、 文物修复等领域有着广阔的应用前景【1 3 , 1 4 】。它是二十世纪科学技术飞速发展所衍生出 的诸多实用技术之一，以现代光学为基础，融合光电子学、计算机图像处理、图形学、 信号处理等科学技术为一体的现代测量技术。它把光学图像作为检测和传递信息的手 段或载体加以利用，最终从图像中提取有用的信号，在计算机中完成三维实体模型的 重构。激光技术、精密计量光栅制造技术、计算机技术以及数字图像处理等高新技术 的发展，以及不断推陈出新的高性能微处理器( c p u ) 、大容量存储器和低成本的数字 图像传感设备( c c d ，p s d ，c m o s ) 、高分辨率的彩色图像显示系统等硬件设施的应 用，不仅为光学测量领域的技术创新提供了可能，更为其应用前景的拓宽提供了无限 空间。 目前，光学三维传感已逐渐成为人们认识客观世界的重要手段。根据照明方式的 不同，光学三维传感技术可以分为两大类：被动三维传感和主动三维传感。 1 1 1 被动三维传感 被动三维传感1 5 , 1 6 采用物体的环境光照条件作为照明，利用图像明暗、纹理、光 流等信息求出三维信息。由多个摄像系统所获取的二维图像来确定距离信息，得到三 维面形数据。此类方法测量精度较低，计算量大，不适用于精密计量，但由于系统结 2 1 绪论 构简单，数据采集速度快，在计算机视觉中应用广泛。此技术常用于对三维目标的识 别、理解及位置形态的分析。常见的被动三维传感有双目视觉、聚焦离焦法等。 1 、双目视觉 双目立体视觉方法【1 7 ( s t e r e ov i s i o n ) 采用视差原理来获得同一场景的两幅不同角 度图像，通过对物体表面同一点在两幅图像上的两个像点的检测和匹配，就可以得到 该点的三维信息。双目立体视觉法始于上世纪6 0 年代，m a r y 在7 0 年代提出的计算 机视觉理论对立体视觉法的发展产生了巨大影响。如图1 2 所示，立体视觉的基本原 理是从两个( 或多个) 视点观察同一物体，以获取在不同视角下物体的二维图像，通过 三角测量原理计算图像像素问的位置偏差来获取景物的三维信息，这一过程与人类视 觉的立体感知过程是类似的。一个完整的立体视觉系统通常可分为图像获取、摄像机 标定、特征提取、立体匹配、深度确定及内插等六个大部分。 图1 2 双目立体视觉测量空间点三维重建 f i g 1 23 dr e c o n s t r u c t i o ni ns t e r e ov i s i o nm e a s u r e m e n t 由于计算机视觉是直接模拟人类视觉能力来获取客观世界的三维信息，现在己成 为国际学术研究的热点和重点。但人类是如何精选、获取和分析理解视觉知识的，至 今还未充分搞清楚。立体匹配作为立体视觉的核心，在理论上和技术上都存在着很多 问题。例如选择合理的匹配特征以克服匹配准确性与恢复视差全面性间的矛盾；选择 有效的匹配准则和算法结构以解决存在严重灰度失真、几何畸变( 透视、旋转、缩放 等) 、噪声干扰、特殊结构( 平坦区域、重复相似结构等) 及遮挡景物的匹配问题，因此 立体视觉问题的彻底解决还有待于对人类自身视觉机理的深入研究。 2 、被动三维离焦方法 。 1 9 8 7 年，p e n e l a n d 提出通过物体的两幅离焦像找出它们的相对模糊度，由相对 3 1 绪论 模糊度与光学系统的模糊参数关系求解物体的三维结构，此方法即为被动三维离焦方 法。由于此方法需要根据物体表面的纹理特征计算相对模糊度，当物体表面过于简单 或者过于复杂时，获得正确的相对模糊度相当困难。 1 1 2 主动三维传感 主动三维传感采用结构光照明，即将结构光编码图案投影到被测物体表面，该图 案由于受到物体三维轮廓调制而变形，位于另一角度的摄像机可获取调制后的变形图 案，由形变量与高度的关系来确定轮廓相对于参考平面的高度信息。由于物体的三维 面形对结构光光场进行了时间或空间上的调制，因此通过适当的方法就可以从包含物 体三维面形信息的观察光场中解调出三维面形数据。此类方法更适应于计量。 根据三维面形对结构光光场调制方式的不同，主动三维传感方法又可以分为时间 调制和空间调制。飞行时间法是典型的时间调制方法f 1 8 】，主要利用光脉冲在空间的飞 行时间来计算、确定物体的面形。空间调制方法主要是利用物体面形对结构光光场的 强度、对比度、相位等参数的影响来确定物体面形。它包括利用光学三角法测量原理 的相位测量轮廓术、傅里叶变换轮廓术、莫尔轮廓术、空间相位检测等方法。 1 、飞行时间法 飞行时间法( t i m eo ff l i g h t ，简称t o f ) 的原理是基于测量激光或其他光源脉冲的 飞行时间进行逐点测量。测量系统发射光脉冲到被测物体表面，经其反射后被传感器 接收，测量出光脉冲的飞行时间，根据光的传播速度可计算出被测物体与测量系统之 间的距离，经过扫描被测物体的各个部分即可得到物体的三维形貌。测量系统的精度 主要依赖于接收通道的带宽、起止激光脉冲的鉴别和时间间隔测量，而时间间隔的精 确测量是影响精度的主要因素。飞行时间法的分辨率比较低，通常只有毫米级，为了 提高测量精度，可以通过提高测量系统的工作频率来提高计时精度，从而提高测量精 度，也可以采用相位调制方法，激光束幅度被正弦波调制，通过比较发射光束和接受 光束之间的相位可计算出测量系统与被测物体之间的距离。相位调制测量法电路要比 脉冲调制复杂一些，但是减少了带宽，而且采用正弦波相位调制，可以获得大的测量 视角。飞行时间法测量系统要求带宽很大、灵敏度高、热稳定性好的电子设备，这使 得测量装置复杂，成本昂贵，而且逐点扫描速度慢，无法实现实时应用。 4 1 绪论 2 、莫尔轮廓术( m o i r 6t o p o g r a p h y ) 自1 9 7 0 年提出以后，莫尔轮廓术已逐渐发展成为一种新的计量技术。它的基本 原理是利用一个基准光栅与投影到三维物体表面上且受物体表面高度调制而变形的 光栅叠加形成莫尔条纹，通过分析莫尔条纹就可以得到物体的深度信息。此方法灵活 性较强，适用于测量大物体。此方法的优点在于利用现代电子技术，便于改变扫描光 栅栅距、相位等，生成不同相位的莫尔等高线条纹图像，可实现计算机自动处理。然 而单从莫尔等高线上不能判断物体表面的凹凸，此方法不适用于自动测量。 3 、相位测量轮廓术( p h a s em e a s u r e m e n tp r o f i l o m e t r y ) 相位测量轮廓术采用了正弦光栅或准正弦光栅投影和相移技术。投影相移的正弦 光栅到物体表面，从成像系统可以获得受到物体表面面形调制的变形条纹，条纹的变 形量由其相位分布的变化程度得到体现，物体的高度信息被编码在变形光栅的相位信 息中。相位测量轮廓术需要引入精度较高的相移装置和标准的正弦光栅，相移不准和 光场的非正弦性都会导致测量误差。 相位测量轮廓术( p m p ) 是由激光干涉计量发展而来，是相移干涉术( p h a s es h i f t i n t e r f e r o m e t r y , p s i ) 在物体三维面形测量的成功应用，二者的测量原理相似。伴随着 计算机和c c d 技术的发展，p m p 因其具有测量精度高、速度快、无需进行附加的一 维或二维扫描等优点，已得到广泛应用。目前市场上已出现一些基于p m p 的三维面 形测量仪器，在模型测量、工业产品质量检测、医学整形等领域得到了应用。 4 、傅立叶变换轮廓术( f o u r i e rt r a n s f o r mp r o f i l o m e t r y ) 傅立叶变换轮廓术的工作原理与相位测量轮廓术类似，但它只需采集一幅或者二 幅变形图案。对获得的图案进行傅立叶变换、滤波、逆傅立叶变换、相位展开等处理 后就可得到物体表面的三维数据。与传统的莫尔轮廓术相比，该技术具有更高的灵敏 度，没有由光栅图像的高次谐波成分产生的假莫尔条纹所引起的误差。由于只需要采 集一幅或者二幅图像，处理数据量较小，适用于动态测量，但是需要保证各级频谱之 间不会混叠，从而限制了测量范围，且其测量精度不及相位测量轮廓术。 采用结构光照明的主动三维传感技术具备测量精度高、结构较为简单，快速全场 检测等优点，目前市场上已出现一些商品化的三维面形测量系统。 气 1 绪论 1 2 结构光照明三维成像系统的模式 参 考 亚 面 图1 3 结构光照明三维成像系统测量原理图 f i g 1 3s k e t c hd i a g r a mo f3 di m a g i n gs y s t e mw i t hs t r u c t u r e di l l u m i n a t i o n 结构光照明三维成像系统( 3 di m a g i n gs y s t e mw i t hs t r u c t u r e di l l u m i n a t i o n ) 基于光 学三角法测量原理，是一种主动三维传感技术。如图1 3 所示，光学投影系统将一定 模式的结构光图案投射到待测物体表面，在表面上形成受到被测物体表面形状调制的 三维变形图像。该三维图像由位于另一角度的成像系统探测，从而获得二维的变形图 像。结构光图案的变形程度取决于光学投影系统与成像系统之间的相对位置和物体表 面轮廓。当光学投影系统与成像系统之间的相对位置一定时，由变形的二维图像可以 恢复物体表面的三维轮廓。结构光照明三维成像系统由光学投影系统、成像系统、计 算机系统等组成。 根据光学投影系统所投射的模式不同【1 9 , 2 0 】，结构光模式又可以分为点结构光模 式、线结构光模式、多线结构光模式、网格结构光模式、面结构光模式等。 1 、点结构光模式 如图1 4 所示，投射系统发出的光束投射到物体表面上产生一个光点，光点经过 摄像机的镜头成像在摄像机的像平面上，形成一个二维像点。摄像机的视线和光束线 在空间中于光点处相交，形成一种简单的三角几何关系。通过一定的标定可以得到这 种三角几何约束关系，并由其可以唯一确定光点在某一已知世界坐标系中的空间位 置。作为一种独具特色的非接触式测量方法，点结构光模式满足在线检测中快速、实 时的要求。但其缺点是获取的信息量较少，每次只能获得物体表面一个点的信息，因 6 1 绪论 此实际应用中多采用扫描的方式。 2 、线结构光模式 物体 图1 4 点结构光模式 f i g 1 4p a _ t t e mo f l i n es t r u c t u r e dl i g h t 体 图1 5 线结构光模式 f i g 1 5p a t t e r no f l i n es t r u c t u r e dl i g h t 线结构光模式又称为光带模式。如图1 5 所示，投射系统投出的光束经过一个柱 面镜在空间中形成一个窄的平面，与物体的表面相交时，在物体表面上产生一个亮的 光条。该光条由于物体表面深度的变化以及可能的间隙而受到调制，表现为图像的光 条发生了畸变和不连续，畸变的程度与深度成正比，不连续显示出了物体表面间的物 理间隙。线结构光视觉的任务就是从畸变的光条图像信息中获取物体表面的三维信 息。 实际上，线结构光模式可看作点结构光模式的扩展。经过摄像机光心的视线束在 空间中与光平面相交产生很多交点，在物体表面处的交点则是光条上众多的光点，因 而便形成了与点结构光模式类似的众多的三角几何约束。显然，与点结构光模式相比， 线结构光模式测量的信息量大大增加，操作的复杂度并未增加，因此得到广泛应用。 3 、多线结构光模式 1 绪论 体 图1 6 多线结构光模式 f i g 1 6p a t t e mo fm u l t i l i n e ss t r u c t u r e dl i g h t 多线结构光模式是线结构光模式的扩展。如图1 6 所示，由光学投射器向物体表 面投射了多条光条，这样我们可以在一幅图像中处理多条光条，提高图像的处理效率， 并且增加了测量的信息量，获取了更多的物体表面信息。此模式即为“光栅结构模式”， 多光条可利用投影仪投射一个光栅图案来产生。与线结构光相比，此模式的效率和范 围增加，但同时也引入了标定复杂性的增加和光条匹配问题。 4 、网格结构光模式 图1 7 网格结构光模式 f i g 1 7p a t t e r no f g r i ds t r u c t u r e dl i g h t 网格结构光模式又称为网格编码模式。如图1 7 所示，该模式可以提取多面体上 平面区域的位置和方向。采用高对比度的方形网格照明视场，使用线性频域滤波分析 法，通过提取出来的平面之交线确定边缘。2 df f t 用于频域内快速计算和分割处理， 在网格编码图像中识别平面。由透视投影所引起的变形网格到投影前原形网格的恢复 变换矩阵包含了局部表面的法线方向。网格编码区域转换成2 df o u r i e r ，它实际上是 一组空间频域内融洽相关的交错占函数，识别平面6 函数的分离与带通滤波是等效的， 1 绪论 其反变换就是图像中分离平面的重现。 5 、面结构光模式 面结构光模式，采用一定的方法对整个投影平面编码，可以获得最高的数据测量 密度。p m p 、f t p 、s p d 及时空二值编码结构光照明模式【2 l 】等都属于这种模式，是本 论文研究的重点。 1 3 当前结构光照明三维测量技术存在的主要问题 近年来，伴随着激光技术、计算机技术，以及图像处理等高新技术的发展，光学 非接触式测量技术得到广泛的应用，尤其是以结构光照明三维成像系统为代表的三维 轮廓测量技术得到了较大发展，被认为是最有发展前途的三维轮廓测量方法f 2 2 ，2 3 1 。随 着计算机、光学元器件的性价比大幅提高，结构光照明三维成像系统的实用性、商业 性日益明显，但此技术中仍存在着诸多问题，亟待解决。大致可以概括为以下几个方 面： 1 、遮挡问题 由于结构光照明三维成像系统是基于光学三角法进行测量，投影仪和摄像机之间 存在着一定的夹角，通过拍摄受待测物体表面调制而变形的图案，解出包含在变形图 案中的投影仪坐标信息，根据投影仪坐标一高度映射关系【2 4 , 2 5 1 来获取物体三维面形信 息。此时若物体表面的高度剧烈变化或者不连续，便会造成阴影、遮挡等问题。增加 投影仪和摄像机之间的夹角，可以提高系统的测量精度，但同时也导致了更多的遮挡 和阴影，局部区域的测量数据不可靠，因此我们需要在测量可靠性与精度之间权衡利 弊，综合考虑优化系统结构。 2 、对应点匹配问题 在面结构光照明三维成像系统工作过程中，通过编码来确定投影仪与摄像机的对 应点，因此可靠的对应点匹配关系是结构光照明三维成像系统测量中的一个极其重要 的问题。实际中，由于阴影、遮挡、噪音及局部采样不足等原因，造成解码错误，导 致对应点的误匹配。寻求鲁棒性更高的编码、解码及误码校正方法是提高三维测量可 靠性的重要途径。 3 、测量系统的标定方法 q 1 绪论 结构光照明三维成像系统的标定是提高测量精度最重要的步骤之一。在实际操作 中，寻求恰当的系统标定方法，可以大大提高系统的测量精度。本文通过研究摄像机、 投影仪的标定方法【2 6 - 30 1 ，进而利用双目视觉原理来标定测量系统，求解该测量系统各 项参数。 1 4 本文的主要内容 本论文工作是国家自然科学基金项目( 编号：6 0 7 0 2 0 7 8 ) “时空相位编码结构照 明三维成像关键技术研究”和浙江省新苗人才计划项目( 编号：2 0 0 7 g 6 0 g 2 0 3 0 0 7 0 ) “结 构照明三维成像系统标定原理及优化设计方法研究”的研究内容之一。论文从结构光 照明三维成像系统的基本原理出发，研究了测量系统的标定方法，提出了一种采用平 面靶标的结构光照明三维成像系统标定方法，简化了标定过程。通过分析光学系统的 成像特性，提出了一种适用于时空二值编码结构光照明三维成像系统的投影仪坐标亚 像素检测方法，提高了系统的测量精度。论文结构如下： 第一章分析了国内外相关课题的研究情况，对近2 0 年来光学三维传感测量技术 的发展进行回顾与概述，尤其对结构光照明三维成像系统近年来的发展及其实际应用 进行了深入探讨。 第二章从成像的角度出发，把投影仪看作反向工作的摄像机，利用统一的数学模 型处理摄像机和投影仪。考虑了镜头的径向、切向畸变之后，用双目视觉系统成像原 理讨论了结构光照明三维成像系统的工作原理。 第三章根据结构光照明三维成像系统的工作原理提出一种高精度的测量系统仿 真方法，为系统设计、分析提供方便。 第四章提出一种采用平面靶标来标定结构光照明三维成像系统的新方法。首先利 用平面靶标来标定摄像机、投影仪参数，进而利用虚拟标准平面标定投影仪坐标一高 度映射方程的系数。这种方法简化了标定过程，降低了靶标的加工难度，可以实现现 场标定。 第五章根据光学系统图像传递特点，利用时间分析法，提出一种适用于时空二值 编码结构光照明三维成像系统的投影仪坐标亚像素检测方法，提高了系统的测量精 度。 1 0 1 绪论 本论文工作的创新性主要体现在以下几个方面： 1 、深入研究了结构光照明三维成像系统的工作原理。根据投影是摄像的逆过程， 用统一的数学模型来处理投影仪和摄像机。提出利用二维平面靶标对摄像机和投影仪 进行标定。该方法采用一块平面靶标，在测量体积内比较随意的摆放，实现了测量系 统参数的标定。该方法降低了靶标制作难度，靶标便于携带，可以实现现场标定。 2 、提出一种采用时间正弦拟合对时空二值编码结构光照明三维成像系统中投影 仪坐标进行亚像素检测的方法。 3 、根据测量系统模型，提出了一种高精度的结构光照明三维成像系统仿真方法。 2 结构光照明三维测量技术基本原理 基于光学三角测量法的结构光照明三维测量技术，通过处理测量系统所获取的数 据，建立投影光栅、待测物体表面与摄像机像面上对应点之间的三角关系。最终根据 三角测量原理得到待测物体表面的三维形貌分布。 2 。1 摄像机数学模型 图2 1 摄像机模型 f i g 2 1m o d e lo fc a m e r a 茎 = r 茎 + 丁 。2 ， f 8 1 ，( x ，y ) = x ( j q r 2 + k 2 r 4 + 岛，6 + ) 【8 , r ( x ，少) 2y ( k l 厂2 + k 2 厂4 + k 3 r 6 + ( 2 2 ) 其中， ，k ，k 2 为径向畸变参量。 2 结构光照明三维测量技术基本原理 f 艿州( x ，y ) = 2 p 1 砂+ p 2 ( r 2 + 2 x 2 ) b ( x ，j ，) 2p l ( ，2 + 2 y 2 ) + 2 p 2 x y ( 2 3 ) 勤2 x + 奠r ( x ，y ) + 瓦( 训)( 2 4 ) 俐即 ：i ； 眨5 ， 其中石、石分别为豁、v 两个方向的归一化焦距；j 为坐标轴的倾斜因子；u 0 、坳分别为 工 s 主点的图像坐标；a = l0工 v ol 。 001 2 2 结构光照明三维成像系统模型 2 结构光照明三维测量技术基本原理 投影仪 图2 2 结构光照明三维成像系统模型 f i g 2 2m o d e lo f3 di m a g i n gs y s t e mw i t hs 仃u c t u r e di l l u m i n a t i o n 2 3 理想投影仪坐标一高度映射关系 阱料乙 眨6 ， 刚弓矧s p * 阻 7 ， 式中局、局分别为甜、v 两个方向的归一化焦距；s p 为坐标轴的倾斜因子；呦、v 印 分别为主点的图像坐标；却爿乙，肋= v 乙，是投影仪归一化成像平i 面上的坐标； 1 4 2 结构光照明三维测量技术基本原理 ks p 4 = fo厶 10 0 l 摄像机 投影仪 y w ol o x w i 图2 3 结构光照明三维成像系统坐标系定义 f i g 2 3c o o r d i n a t ed e f i n i t i o no f3 di m a g i n gs y s t e mw i t hs t r u c t u r e di ll u m i n a t i o n 结构光照明三维成像系统的坐标系定义如图2 3 所示，对于世界坐标系中的一点 ( y w , z ) ，由公式( 2 1 ) 和( 2 7 ) 可得 ( 2 8 ) 由上式中的三个公式即可求解出测量系统中摄像机每个像素点对应的投影仪坐 标与空间点坐标之间的关系。通常测量系统只投影一个方向的条纹，假设投影的是垂 直方向条纹，则由( 2 8 ) 的前三个公式变换后可得： i 口1 x 4 - b 1 + c l z = d l 口2 x + 6 2 + c 2 2 0 = d 2 【a 3 x 矿+ 6 3 + c 3 z = 吃 式中q = r 1 1 一r c 3 1 x 。，b l = 足1 2 一心3 2 t ，c 1 = 足1 3 一足3 3 t ，每= t 3 x c 一瓦l ； ( 2 9 ) a 2 = r c 2 l r c 3 l y c ，b 2 = 疋2 2 一r c 3 2 y c ，c 2 = r c 2 3 一疋3 3 y c ，d 2 = 乏3 y c 一正1 ； 口3 2 r 川一尺删，6 3 = r p l 2 一r p 3 2 x p ，c 3 = r 脚一r p 3 3 x ，以= 乙3 x ，一乙1 。 在结构光照明三维成像系统中，实际测量的高度就 o ，z w ) ，由上式计算可得： 1 5 z w ，实际世界坐标为( ， o 叫叫j ， j 0 玎， 幔 一 一一一一 篇尝 而。忸 一一 协如 砌裂一 死t 一，玎 峨峨屿一 磊鼎鼎 肋肋肋函 h + + + 而z 箍埘 + + + + 旷 ，缈 墨墨x x 川 捌 肼 以 r r r 尺 是 x w = = 乙= ( c ，d ， 0 ：q 2 结构光照明三维测量技术基本原理 q 比：c 1 一岛c ：) 一( c 3 b 一轨c ：x 盘。c ，一a 3 c ；) 一如岛 q 6 。) ( c l b 3 x d 2 c 1 一名c 2 ( d 2 c 1 一吐c 2 1 c 3 一日3c 1 ) 一0 3 西一32 c2 ) ( 6 ：q 一：) ( q c 。) 一( c ，6 1 一：c 1 一q c ：) 32 3 ) 一3 3 ) 么2 ( 口32 3 ) 一3 c 1 3 ) 式中4 =。一q 吐， = ，一2 ，= 口2 6 1 一q 6 2 。 将 3 ，c 3 和西代入( 2 ) 式可得： = 式中c l 仗，儿) = 4 慨r 川 ，k ，。) + c ：( t ，。b 。 一儿) + c 4g 。，虬b ， 一 p 。：) 一p 。，+ 口：乙。) ， ，虬) = h b ：p ：一脚) + b p ：p ，+ 以：乙，) j ， 。，儿) = ( 6 ：p 。一p 。：) 一b 0 。p 。，一尸。，) ， c 4 g 。，儿) = h k q ，：一吃r 删) + b bp ，。一脚) j 。 再由公式( 2 ) 可以得到： p= ( 2 1 0 ) ( 1 1 ) ( 2 1 2 ) 在投影一个方向条纹时，肋无法直接确定，由于制造水平的发展，在大部分情况 ，非常接近零，可以忽略。即使考虑了s p ，对于摄像机上确定的像素点也可以得 到肋和劫的关系。由透视投影的同素性可知：一条直线在投影仪上成的像还是直线。 则场和劫的关系可以表示为： y p= 七k ，。，+ 6 g 。，。) 式中 。) 和。) 为与点( x 。) 有关的常数。 将公式( 2 ) 代入( 2 ) ，整理可得： 1 6 ( 2 1) 、，一、， 半 2 结构光照明三维测量技术基本原理 矿特 = 尼k ，y 。_ 。+ 6 ，g 。，y c ) 将上式代入( 2 1 1 ) ，可以得到： 一 d l g 。，y 。) + d ：( t ，y 。h 。 z w5 酉瓦习五丽万茏 ( 2 。1 4 ) ( 2 1 5 ) 式中d 1 ( x 。，y 。) = c 1 ( x 。，y 。) + c ：k ，y 。弦k ，y c ) ，d ：g 。，y 。) = c ：g 。，y 。+ 尼g 。，y 。) 】， d 3 ( x 。，y 。- - c 3 k ，y 。) + c 4g 。，y 。弘g 。，y c ) ，d 4 也，y 。) = c 4 g 。，儿弛+ 七g 。，y 。) 是与像点 ( & ，儿) 有关的常数。 公式( 2 1 5 ) 就是理想情况下的投影仪坐标一高度映射关系。有些参数是冗余的， 采用相对投影仪坐标来表示，可以得到简化的公式。设摄像机测量得到的世界坐标平 面x w o y w 所对应的投影仪坐标为“p ，则与平面x w o y w 上对应点的投影仪坐标差为 a u 。的点，其高度可表示为： 上式可以转化为： 驴制一。锄2 百历赢i 习刈 e 1 a u ， = 一 e 2 + e 3 a u p 瓦网1 = 口。，v ) + 6 瓦砑1 ( 2 1 6 ) ( 2 1 7 ) 可见，把投影仪看成一个反向工作的摄像机，由摄像机模型可以得到隐式的投影 仪坐标一高度映射关系，而且对投影系统、摄像系统的位置关系没有多少要求。 2 4 实际投影仪坐标一高度映射关系 如公式( 2 1 7 ) 所示，在理想情况下，相对高度的倒数与投影仪坐标的倒数呈线 糯 训硼k 瓦渊 2 结构光照明三维测量技术基本原理 性变化关系。但考虑到实际的摄像机、投影仪镜头畸变，两者之间不再是线性变化。 若镜头存在畸变，我们采用多项式方程来近似，则投影仪坐标差“。可以表示为： a u p 也，v ) = 1 0 0