（检测技术与自动化装置专业论文）三维物体形状的光检测方法的研究.pdf

摘要 随着在计算机视觉、虚拟现实、机器导航和工业制造等领域的应用推广， 三维物体形状信息的自动检测技术的作用e l 益显著。本文基于国内外相关研究 成果，对三维物体形状的光检测方法的数学模型、运行机制与实现方式进行探 讨，研究一种基于时空编码模型的快速检测方法，系统设计和实验相结合。主 要包括以下几个部分内容： 1 对国内外的三维检测技术发展、研究方向与现状进行了较为全面的介绍 与总结，而且从检测方法的角度对目前国外已知的主要三角检测技术进行了分 类，并对基本数学模型进行了比较。 2 从信息学角度阐述了结构光投影法的基本原理，论述了投影条纹空间畸 变、空间相位调制等编码方法的理论依据，分析了三角法的通用数学模型和结 构光三角投影法各要素之间的关系。对于基于空间、基于时问和基于时空的不 同编码形式进行了理论阐述，比较了各自优缺点，并进一步研究了一种基于时 空的多帧条纹边界编码模型。 3 针对结构光投影法中的结构光投影、图像采集与处理等技术环节中的实 现要求，对条纹编码的计算、条纹投影、w i n d o w s 3 2 环境下的视频实时采集、采 集图像的快速灰度化、二值分割、以及条纹边界编码的提取和匹配等实现技术 一一探讨并提出解决方案。 4 对实际物体进行了检测实验和结果分析，并在条纹编码算法、多帧结构 光投影检测方法等方面提出一些后续研究思路。 关键词 三维物体形状检测，结构光投影，条纹边界编码 a b s t r a c t t h e c o m p u t e ra c q u i s i t i o no f t h r e e - d i m e n s i o n a ls h a p e 缸b e c o m i n gi n c r e a s i n g l y i m p o r t a n tc o m m e r c i a l l y , w i t ha p p l i c a t i o n si n f i e l d ss u c ha sc o m p u t e rv i s i o n ，v i r t u a l a n d a u g m e n t e dr e a l i t y , r o b o tn a v i g a t i o n ，a n dm a n u f a c t u r i n g a f t e ra na n a l y s i so f t h e u n d e r l y i n ga s s u m p t i o n so fe x t a n ts t r u c t u r e dl i g h tt e c h n i q u e s , an e wl i g h t p r o j e c tm o d e li sp r e s e n t e d f o rr a n g es c a n n i n go fr i g i do b j e c t sm o r er a p i d l y t h e d i s s e r t a t i o nf o c u s e so nt h em o d e l i n ga n d i m p l e m e n t a t i o no f t h es y s t e m t h em a i n c o n t e n ti sd e p i c t e da s f o l l o w s ： f i r s t l y , ag e n e r a li n t r o d u c t i o n i s g i v e n o nt h er e s e a r c ho ft h eh i s t o r ya n d d e v e l o p m e n to f t h r e ed i m e n s i o n a l s c e n eg e o m e t r i e s t h em e t h o d st h a to b t a i nd e p t h v i at r i a n g u l a t i o na r es y s t e m a t i c a l l yc l a s s i f i e d f r o mt h ev i e w p o i n to f s c a n n i n gw a y a n da r e c o m p a r e 正 s e c o n d l y , ac o m m o nm o d e l i sp r o p o s e d f o ，s t r u c t u r e - l i g h t e ds y s t e m , w h i c hi s b a s e do nt h et h e o r i e so fs i g n a lp r o c c e s s i n ga n db e c o m e st h eb a s e m e n to ft h e i l l u s t r a t i o nf o ，t h es p a t i a ld e f o r m e d g r a t i n gp a t t e r na n d t h es p a t i a l - m o d u l a t i o no f p r o j e c t e dl i g h tp a t t e r n t h e na 髓栉i f y i n gf r a m e w o r k 豇g i v e nf o ，d e p t hf r o m t r i a n g u l a t i o n b a s e do nt h i sf r a m e w o r k , t h ef u n d a m e n t a l f a c t o ro f t h ea c q u i s i t i o n s y s t e mi s t h a td e t e r m i n i n gt h ec o r r e c tc o r r e s p o n d e n c eb e t w e e nv i e w p o i n t so ft h e s c e n ei st h ef u n d a m e n t a l f a c t o r t h ev a r i o u sl i g h t - c o d i n gm e t h o d sb a s e do nt h e f r a m e w o r k , s u c ha ss p a t i a lc o d i n gm o d e ，t e m p o r a lc o d i n gm o d e l a n d s p a c e - t i m e c o d i n gm o d e a r ed i s t i n g u i s h e d t h e n t h ed i s s e r t a t i o nd e r i v e san e ws e t o f i l l u m i n a t i o n p a t t e r n sb a s e d o nc o d i n gt h eb o u n d a r i e sb e t w e e n p r o j e c t e ds t r i p e s t h i r d l y , a c c o r d i n gt ot h ee n v i r o n m e n to f s c e n ef o r s c a n n i n ga n d t h ea i mo f a c q u i s i t i o n ，i d e s c r i b ea ni m p l e m e n t a t i o nt h a t i n t e g r a t e st h e s en e w c o d e sw i t hs o m e s p e c i a la l g o r i t h m sf o ，t r a c k i n gs t r i p eb o u n d a r i e sa n dd e t e r m i n i n gd e p t h s t h e s e a l g o r i t h m sa r eu s e di n t h ef l o wo ft h es y s t e m s , s u c ha ss t r i p e b o u n d a r yc o d e d e s i g n i n g , t h es t r u c t u r e dl i g h tp a t t e r np r o j e c t i o n ，t h ev i d e oc a p t u r i n gi nw i n d o w s , t h es e g m e n t a t i o n ，s t r i p e m a t c h i n g a n d d e c o d i n g f i n a l l y , t h er e s u l t so f t h ea c q u i s i t i o na r eg o ta f t e rt e s t i n gt h ei m p l e m e n t a t i o n o ns e r i a l s c e n e s a c c o r d i n g t ot h er e s u l t s , t h ea d v a n t a g e so f t h e p r o j e c tl i g h tm o d e l a r es h o w n , a sw e l lu st h el i m i t a t i o n so f t h e s y s t e n la n d s o m ei d e a s f o r s t r i p ec o d e d e s i g n i n ga n d s t r u c t u r e dl i g h ta c q u i s i t i o na r e p r e s e n t e d , t h a tm i g h tb ef o c u s e di n t h e f u t u r ew o r k k e y w o r d c o m p u t e ra c q u i s i t i o no ft h r e e - d i m e n s i o n a ls h a p e , s t r u c t u r e d - l i g h tr a n g e s c a n n i n g ，s t r 和eb o u n d a r yc o d e i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 研究生签名：享啦日期：丛 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公前i ( 包 括刊登) 授权东南大学研究生院办理。 研究生签名： 雄导师签名舅蝉日 期：逊 东南大学硕士学位论文 第一章绪论 1 1 三维检测技术概述 物体形状三维信息的快速检测技术( 简称为三维检测技术) 是利用快速的、非接触的检 测手段，对于实际空间中的物体进行数字化建模，并在虚拟环境中再现的一种现代检测技术。 三维检测技术以近现代物理、控制论、信息论和系统论为理论基础，以现代光学技术、电子 技术和计算机技术为技术背景，为空间模式判断、机器人视觉等学科提供技术支持，又为工 业自动化、虚拟现实等提供模型资源供应，是一门跨学科领域、多应用层次的关键技术。 1 2 国外三维物体检测技术的发展 三维物体检测技术的研究在国外已经持续了近2 0 年，目前仍是学术研究比较活跃的领 域。在技术发展的初期，由于其在机器视觉、图像辨识、计算机图形、快速模型建立、机器 人导航等不同学科中都有涉及，所以不同学科的研究人员基于自身的知识背景和设计要求， 提出了许多不同解决方案，并在各自领域独立发展。近年来随着对三维物体检测技术的研 究深入，人们逐渐重视不同解决方案之间的内在关联，研究多种三维物体检测技术的通用模 式，并朝着复合检测技术方向深入。 本文主要研究基于信息学背景的、以几何原理为基础的检测方法中研究虽多、应用面虽 广的三角检测法。下面对该类中比较有代表性的几种方法进行说明。 1 2 1 双目检测技术 双曰检测法( s t e r e o ) 是最早研究的一种检测方法。其基本问题双目图像匹配算法 在计算机视觉领域已经有了非常深入研究，并且已经有比较有效的算法i ”。 传统的双目检测方法是对空间中两个视点图像进行特征匹配，找到匹配的区域，然后根 据视点与实际物体的几何关系得到物体的深度信息。由于参与匹配的对象是空间中不同视点 处采集的图像，故该方法也称为空间双目检测技术( s p a c t i a ls t e r e o ) 。图1 1 为该匹配方法 的示意图。式( 1 1 ) 为空间双目检测方法的匹配原理公式。该方法的主要技术难题是如何 选取匹配区域的大小：匹配区域过小，则会出现匹配结果不唯一；匹配区域过大，则会得不 到匹配结果。目前现有的匹配方法只适用于特定条件的检测图像场景，所阻该检测方法的鲁 棒性差，常得不到有效的检测值，这限制了该技术在t 程实践中的应用。 肌( k ( ) ) 一1 2 ( ( x 2 ) ) 旷 ( 1 1 ) 式中x 是图像中某个像素点，v 是该像素点临域的描述向量，是对该向量的评估函数。 求解式( 1 1 ) 的最小值，得到与x - 相匹配的点靶。 第一章绪论 图1 1 空间双目模型的匹配算法 时间双目检测技术( t e m p o r a ls t e r e o ) 是在研究运动物体的检测课题中提出的双目检测 方法。与空间双目检测不同的是，时间双目检测技术的匹配是在不同视点的多帧图像中的运 动矢量一即在时间方向变化特性相同的区域。图t - 2 为时间双目模型匹配方法的示意魁。 式( 12 ) 为时间双目检测方法的匹配原理公式。该方法虽然为运动物体的检测提出方案， 弱化了空间双目检测的应用条件1 ，但其运动矢景长度选取等问题则阻碍该方法检测效果的 提高，而且多视点间图像帧同步问题常导致检测失败。 图1 - 2 时间双目模型的匹配算法 1 b l , ( 巧( _ ，t 。) ) 一，：( ( x ：，t o ) ) 1 1 2 ( 1 2 ) 式中x 是图像中某个像素点，t o 是某个帧时刻，v 是该像素点i 临域的描述向量，是对 该向量的评估函数。求解式( 1 2 ) 的最小值，得到与x ，相匹配的点x 2 + 。 除上述两种基本双目检测方法，还有许多其它类型的双曰检测方法，如基于光源运动的 因为在实际检测过程中，被测物体和采集设备都会存在一定的运动干扰。 2 东南大学硪士学位论文 p h o t o m e t r i cs t e r e o t 2 1 、向被测物体投影的a c t i v es t e r e o t ”，以及综合方法如m u l f i p e r s p e c f i v e s t e r e o 【4 】。 双目检测方法的理论贡献是对于图像匹配技术进行了深入的研究，其中许多结论与算法 成为其它方法的理论基础。并且人们发现匹配原则是三维检测技术的通用数学模型的基本元 素，并在很大程度上决定了检测性能( 速度与精度) 。 1 2 2 激光条纹检测技术2 在三角检测法中，激光条纹检测技术( l a s e r s t r i p e ) 是最成熟的，也是目前唯一能在j ： 程测绘中应用的技术。传统的激光条纹检测技术是在空间域( s p a t i a ld o m a i n ) ，通过向被测 物体投射一个激光平面，在物体表面形成畸变条纹，根据条纹的畸变特性与几何关系得到物 体表面信息。其实人们很早就开始研究时问域( t e m p o r a ld o m a i n ) 的激光条纹检测技术p n “。 近来，人们又将结构光技术引入激光条纹检测技术，井在多摄像头系统等方面进行了广泛的 研究i ”。 由于激光具有商抗干涉性，其可以在复杂环境下进行检测。而且三维检测方法存在内在 的联系性，所以许多只能在实验室中使用的检测方法可以通过移植到激光检测仪器上，在 程实践中应用。 1 2 。3 结构光投影检测技术 目前，结构光投影检测技术是最为关注的检测技术。主要有以f 原因： _ 从发展角度上看，在不同的学科对于各自检测技术研究中，针对各自问题独立提山 了各自的检测方法，比如在快速建模研究中，将传统的莫尔法用结构光投影来代替； 在计算机视觉研究过程中，对于物体特征进行人为标定以利于图像匹配”j 。随着研 究的深入，人们发现在不同的检测技术中都存在结构光投影的基本思想，并且采用 结构光投影模式有助于检测技术的理论分析，有利于建立更普适的数学模型。 _ 从理论角度上看，结构光投影以信息论为基础，可以方便地利用信号编码等学科的 既有知识，研究基础宽广深厚。 _ 从实现角度上看，结构光投影设备简单，利于构建不同形式的实验平台，并且投影 模式操控方便，易于进行多方位探索和综合性研究。 目前，国外结构光投影模式已经从空间域编码向时间域编码、时空复合编码等多形态编 码方式发展，并且已经开始进行对移动物体的实时检测的研究【9 】。 1 3 国内三维物体检测技术的发展 国内对于三维物体检测相关技术的研究从8 0 年代就开始了，但真到9 0 年代中期才逐渐 成为比较关注的研究领域。其中重要原因是随着国内的工业自动化程度不断提高，诸如模具 设计自动化、产品外形检测等工业实际问题的出现，推动了国内三维检测技术的研究。经过 十余年的探索，不仅在理论上取得很多基础性成果，并已经在许多工程实践中得到应用。 1 3 1 理论研究 在国内最早进行三维物体检测技术研究的，是从事光学计摄研究与机械检测的人员。由 丁其对于激光检测技术，特别是激光摩尔检测技术与面外云纹检测技术的熟悉，所以其研究 2 这阜的“激光条纹检测”，与国内相关文献中的“激光检测”所指方法不同。国内文献一般将“激光扫描 检测( l a s e rs c a n ) ”简称为“激光检测”。“激光扫描检测”利用激光束在投射源、被测物体与采集设备间 的运行时间和三者之间的空问几何关系来确定物体三维形状的，其与“激光条纹检测”从原理上有着奉质 区别。 第一章绪论 重点在于面结构光的相位测量法的引入与基础理论，如研究相位法的运行机制【l 0 1 f 1 ”、研究 相位法与面外云纹法的相关性【l ”以及基于当时硬件技术的相位法简单实现i l ”。随后在快速 算法【“】 15 1 ，复杂表面检测以及综合方法上取得许多理论研究进展。 除相位法外，在激光扫描法i l ”、激光双三角法i l 、面结构投影法1 2 上也有许多研究。 近年来，在理论上的发展趋势是：将现代控制理论与智能算法，如自适应采样口”及神 经网络口“等，引入检测模型：并在其扩展技术层面进行理论探讨，如彩色结构光口3 _ 千n - - 维 拼接技术”1 等。 1 3 2 应用研究 国内科研单位不仅在理论上对三维物体检测技术进行研究，还将其应用到不同的工程实 践中。其中对于汽车外形的三维检测技术的系统实现，在国内是研究的重点。汽车外形的三 维检测技术是在9 0 年代中期介绍到国内的口”，并因国家对汽车工业的重点发展与国产化需 要，在9 0 年代末进入实际工程应用研究阶段口，其中f l - 。声华教授领导的天津大学精密测试 技术及仪器国家重点实验室负责“白车身视觉检测系统”国家“8 6 3 ”科技攻关项目，进行 了多项相关研究【2 7 】 2 8 1 1 2 9 】 3 0 】，并已将研究结果实际应用于南京依维客( i v e c o ) 汽车外形检 测中。三维物体检测技术还在许多领域得到了初步的应用，包括人头骨特征提取p “、人像 识别p ”、无缝钢管直线度测量p “、荫罩板孔形尺寸测量1 3 5 1 等。 1 4 本课题研究的目的与意义 从上一节的分析可以看出，结构光投影检测技术是目前国内外研究的重点技术。而本课 题所研究的基于时空编码的结构光投影三角检测法是一种新的结构光投影检测技术。本课题 的研究目的是细致阐述该方法的理论依据，并实际创建一个基于该理论模型的检测系统。希 望通过本课题的研究，能寻找到一条更加快捷有效的三维物体表面形状检测的途径，为三维 空间物体形状检测技术的进一步发展和其它相关课题的研究提供依据。 4 东南大学硕士学位论文 第二章基本原理与模型建立 2 1 结构光投影法的基本原理与系统构架 2 1 1 基本原理 结构光投影检测法( s t r u c t u r e dl i 曲ts c a n n i n g ) 是一种三维物体检测技术。其基本原理 是向被测物体投射一个人为设定的、具有某种特定物理或几何特性的光，然后对该物体反 射图像进行分析而获得物体形状三维信息。 2 1 ，2 系统架构 结构光投影法的基本系统架构如图2 - 1 所示。 l 设计投影i 1 投影 l 1 采集场景l li li - - l l l - - ll l 光横式i 。l 结构光l l 反射图像l 图2 - 1 结构光投影法的基本系统架构 2 1 3 信息学解释 从信息学角度，针对上述系统模型可以抽象化为图2 - 2 所示的信息变换模型。其中被测 物体表面可抽象为一个调制系统，其将由投影光源发射的标准激励信号变换为采集畸变信 号，则根据信息学原理，分析激励信号与采集畸变信号之间的关系，可以推断出调制系统的 特性即被测物体的表面三维信息。进行信息学抽象的理论意义在于：根据该模型，可以 知道研究激励信号与采集畸变信号投影光模式与采集图像之间的关系是结构光投 影检测法的重点理论环节；并且该模型给不同类型结构光投影检测法间的互相补充，以及综 合结构光投影法的理论模型的创建奠定了通用的理论平台。 图2 - 2 结构光投影法的信息学解释 第二章基本原理与模型建立 2 2 三角法的通用模型 2 2 1 通用模型 三角法是利用至少两个已知的视点图像，通过匹配，对于不同视点图像中的信息借助匹 配特性区域的几何关系获取物体的三维深度信息的方法。其中视点图像、匹配特性与算法及 几何关系是三角法的基本要索，各要素的含义如表2 - 1 所示。 表2 1 三角法通用模型的三要素 视点图像参与匹配的视觉空间时间中存在的图像 匹配特性与匹配算法视点图像中匹配的判断标准与计算方法 几何关系视点图像在视觉空间( 实际空间) 中几何关系 2 2 2 结构光投影三角法的通用模型 1 通用模型的建立 结构光投影三角法是以三角法模型确定投影光与采集图像间的基本关系的结构光投影 法，其检测装置示意图如图2 - 3 所示。 图2 - 3 结构光投影三角法检测系统示意图 6 东南大学硬士学位论文 图2 4 结构光投影三角法的通用模型 根据上述三角法的通用模型，研究两个视点图像的空间几何关系( 图2 4 ) ，可知由于 模型中的视点平面与被测场景参考面平行3 ，故三角形a b c 与三角形4 仇仉相似，易得 矗= 错，b c = ( & ，一c ，：) ( 2 1 ) 式中a 是被测点一的深度( 高度) l 是视点图像成像中心到参考面的距离，d 是视 点图像成像中心的位置差，岛hc 0 是在视点图像1 和2 中的匹配点位置，b c 是实际匹配 光线差称为“视觉匹配差”，k 是系统转换常数，该常数根据小孔成像模型和实验数据 获得。 2 视点图像成像中心的确定 式( 2 i ) 中的视点图像成像中心是指视点图像中所有成像光线的空间会聚点，在一般 的光学系统中称为“光心”位置。在实际投影和采集设备中，其光学系统往往由多个( 甚至 多组) 透镜组成，具有非线性，并且光心的位置具有特异性，需要经过复杂的实验才能确定。 为了理论模型和实现系统的简化，一般在理论分析时采用小孔成像线性模型来替代实际光学 模型，而在实验中采用光学设备的采光平面中心点来替代光心位置4 。 3 视点图像的获取 在结构光投影三角通用模型中，视点图像可以是从空间砥个不同视点采集的物体表面反 射图像，这就是结构光投影三角双目法。其可以向多目模型进行推广。根据2 13 节所述的 3 在实际系统中，总存在与视点平面相平行的空间平面，其即可作为被测场景的理论参考面。在系统标定 时，可选择一个实际平面作为参考平面( 其可以与视点平面不完全平行) ，然后通过模型几何转换得到理论 参考面。 4 本文所设计系统实验中采用镜头的边沿平面中心作为模型视点图像成像中心。 第二章基本原理与模型建立 信息学原理，投影光模式是人为设定的激励信号。则可根据实验经验设计一种投影光模式使 其在投影角度所采集的反射图像与原投影图像之间的差异极小5 。这种投影光特性称为“空 间偏特化( s p a c t i a ls p e c i a l i z a t i o n ) ”。在“空间偏特化”投影结构光系统( 如图2 5 所示) 中， 我们可以取投影图像与采集图像分别作为独立的三角通用模型视点图像参与匹配计算。 图2 5 “空间偏特化”投影结构光系统6 4 简单不确定度分析 对于式( 2 1 ) ，由于h 是厶d 、b c 等彼此独立的变量的函数，则有 h = f ( l ，d ，b c ) ( 2 2 ) 设a l 、a d 、a b c 分别为变量三、d 、b c 的不确定度， 为h 的不确定度，则 h 矗= ，( 越，d a d ，8 c a b c ) ( 2 3 ) 按泰勒公式展开，略去二阶以上小量，并取方均根得 矗= 瓦o f = 而b c 面o f = 百- 丽b c , l ( 2 4 ) a ld 七b ca d ( d + b c 、l 旦：，! ! 垡二! ! ：星竺 o b c r d + b c ) 2 5 这里的“差异极小”的理论含义是与图像匹配特性相比比较小，对于特定的匹配算法的计算结果不造成 影响。 6 图中的虚拟摄像设各在实际系统中不存在。 8 东南大学硕士学位论文 考虑l d ，而d b c ，司知 c 参2 白2 盎，2 眩s ， 所以，b c 测量的精度对于最终检测结果的影响最大，即堆测带摩丰琴取珠子单侉孽 即捧摩a 2 3 基于空间的编码模型 2 3 1 简单光栅编码检测模型 简单光栅编码是最早研究的投影模型。它由一组等宽同向矩形光栅条纹组成，通过对不 同各级投影条纹与标准条纹的匹配，获得各级条纹在被测物体上的畸变尺度和方向，来确定 物体表面点的深度信息。 简单光栅编码的优点是其投影光具有“空间偏特化”特性，可以使用单目测量系统，而 且只需计算同级条纹正交方向相同点的距离即可求得视觉匹配著，数学模型简单。但由于基 于同级条纹匹配，所以要求所匹配的图像必须满足表2 2 中的条件，而一般检测采集图像则 不具备，故要进行图像分割与形态学分析等处理操作，在这些操作中会引入许多误差和难于 解决的问题，从而影响到图像匹配的效果，最终影响检测精度，甚至造成检测失败。简单光 栅编码投影模型图像处理流程与主要问题见图2 - 6 。 表2 - 2 简单光栅编码检测要求、处理方法与易出现问题 _ 项目条纹图像检测采集图像-_ 小t 半力j 古_m - ；k 片j l 口l 旱贝_ 图像分割 颜色系统二值灰度条纹断裂 闽值分隔7 理想的线形态学分析 匹配特征有宽度的线条纹形状误差 ( 无宽度)腐蚀和细化 光条中心需人工确 与光条中心对比定，难于自动化 匹配要求同级条纹 条纹上无级数信息 获得条纹级数光条中心的误差对整 个检测影响过大 使用简单光栅编码投影模型。光条中心8 的投影与位置确定非常重要，三维物体表面所 有点的深度值的计算都与光条中心位置豹确定有关，即采集图像中的所有像素点彼此相关， 一个像素点在采集和处理过程中出错都有可能影响到全局。我们称该特性为“面方式计算 ( r a n g e w i s ec a l c u l a t i o n ) ”。易知具有该特性的投影模型在进行图像处理时应考虑处理算法 的适应性和智能性。基于上述多种原因，在简单光栅编码投影中，必须使用大量的复杂图像 处理技术，这不仅影响检测速度，而且图像处理技术常不具普适性，故对于图像采集条件要 求比较严格，难于工程实际化。虽然人们在确定光条中心m 等方面进行了许多改进，但从 本质上看，简单光栅编码投影模型的检测精度改进的空间比较有限。 7 一般幽像的分隔算法可以有两火类：闭值分割和边缘检测。因为采集图像中的光栅条纹是有宽度的目 没有附加编码信息，所以简单光栅条纹编码只能使用阈值分割算法。 8 在实验中也称为“零次条纹”。 9 第二章基本原理与模型建立 图2 - 6 简单光栅编码投影模型图像处理流程与主要问题示意图 2 3 2 空间相位编码检测模型 空间相位编码检测模型也称为相位测量轮廓法( p h a s em e a s u r i n gp m f i l o m e t r y ) 。其基本 思想是基于信息学模型。将被测物体表面偏离参考平面而引起的光栅线条纹位置变化看成标 准光栅信号在空间域的相位变化，由此被测物体表面的高度信息就包含在这一相位调制项 中。该方法是从变形光栅摩尔轮廓法中改进而得到的。1 9 8 3 年m i t s u ot a k a d a 和k a g u h i r o m u t o h 提出傅立叶变换轮廓法( f o r i e r t r a n s f o r mp r o f i l o m e t r y ，f t p ) 用来从三维轮廓面上的 变形摩尔条纹获取物体形状信息。由于f t p 法需要进行大量的傅立叶变换与逆变换比较 费时，所以s a t o r ut o y o o k a 和x u u j i1 w a a s a 在1 9 8 6 年提出空间相位检测法( s p a t i a lp h a s e d e t e c t i o n ，s p d ) 对f t p 法进行改进。该方法采用积分计算代替傅立叶变换来解调相位，简 化了计算。本节的理论推导是在s p d 方法的基础上进一步的简化，直接给出数字系统下的 数学模型。需要注意的是，这里所说的“相位”是指投影光栅信号在空间域上的相位，而不 是光在物体表面的相位。 若向被测物体表面投影一个具有初始相位的灰度正弦分布的光栅条纹为： 巧( x 9 ，y ) = a 9 + b 9c o s ( 2 巧：y 9 2 a n n ) ( 2 6 ) 式中a 9 和酽是投影设备常数，妒矿) 是投影设备的空间坐标。式中，是灰度变化方向， 称为“相位维度( p h a s ed i m e n s i o n ) ”，与灰度变化方向垂直，称为“正交维度( o r t h o g o n a l d i m e n s i o n ) ”。而是在“相位维度”方向上的正弦灰度变化频率。n 是相1 ： ) ：偏转序号，从1 。则在该投射正弦光栅下的反射图像公式为： l ( z ，y ) = 口( x ，y ) 【爿+ b c o s ( 2 r f c y 9 + m ( x ，_ y ) 一2 n n n ) ( 27 ) 式中o ，y ) 是采集囤像像素坐标，d ( x ，y ) 是物体表面的反射率，垂( 算，y ) 是在物体表面 1 0 东南大学硕士学位论文 各点所引起的相位差分布函数，其与物体表面深度信息相关。参考文献，通过对式( 2 7 ) 的傅立叶级数系数和三角展开系数比较可得式( 2 8 ) 。 巾“，y ) = ，。( y ) s i n ( 2 n n n ) ( 2 8 ) 则通过改变投影光的相位偏转”，得到一组采集图像，再根据式( 2 8 ) 得到相位差分布 函数中( x ，y ) ，经过式( 2 9 ) 转换后代入式( 2 1 ) 最终计算求得物体表面的深度信息。 b c = ( 巾c 一中。) ( 2 9 ) 从式( 2 ，8 ) 可以看出空间相位编码的三维物体表面点的深度值只与本身相位解调计算 有关。与采集图像中其它点的计算无关。一个像素点在采集和处理过程中出错不会影响到全 局。我们称该特性为“点方式计算( p i x e l w i s ec a l c u l a t i o n ) ”。具有这一特性的投影编码模 式可以采用比较简单的图像处理方法，并且适应性强。 从式( 2 8 ) 还可以发现其没有式( 2 7 ) 中的物体表面的反射率口( x ，y ) ，这说明利于相 位解调技术所得的相位信息与物体表面的反射率无关，即该模型具有很好的抗干涉性。这也 是该模型被人们广泛研究的重要原因。但相位法模型也具有很多缺陷：由计算所得的相位差 分布函数中( x ，y ) 只能给出一口口区间的主值，因此相位分布具有不连续性，即相位调 制值超过2 7 r 时将产生的2 r e 相位跳变。所以要设计适当的判别算法在跳变边界加上2 n n 的 附加相移。这给系统实现带来很大的困难。 而且从式( 2 8 ) 中可知，其要求解一点的相位信息，要进行多次的级数计算，这势必 增加系统负荷，难于提高检测的运行速度。 2 3 3 空间编码光检测模型 根据式( 2 1 ) ，如果能通过比较简单的方法直接得到视觉匹配差b c ，就可以直接求解 到被测物体表面点的深度信息。简单光栅编码模型中任一条纹没有区别其它条纹的特征从而 带来条纹级数标定困难，空间相位编码模型中的灰度正弦变化的投射条纹只是为了求解相位 信息而要进行一整套繁杂计算。如果将灰度正弦变化的投影条纹运用到简单光栅编码模型 中，可以利用灰度对于条纹级数进行编码，从而既不要进行级数标定也省略了相位解调的 复杂计算。这就是空间编码光检测模型。 空间编码光检测( c o d el i g h ts c a n n i n g ) 9 是在简单光栅编码模型和空间相位编码模型的 基础上，利用不同灰度( 或色彩、形状) 对投影光进行标定，再利用结构光投影三角法的几 何关系求解的检测方法。灰度编码( g r a yc o d e s ) 是空间编码光检测模型中晟早被研究的一 种”，其后还出现了多种编码方法，如激光条纹点扫描( l a s e rs t r i p e so rd o t ss w e e p ) j 3 8 、 二值编码( b i n a r y c o d e s ) 3 9 1 颜色编码( c o l o r s t u r c t u r e d l i g h t ) 4 q 和灰度级编码( g r a y 1 e v e l c o d e ) 4 1 】。 空间编码光检测模型比空间相位编码模型计算简单，比简单光栅编码模型适应一眭强，而 且其编码方式多样，逐渐成为主要的基于空间的编码模型。 9 有的文献也称为“编码光栅调制法( c o d e g r a t i n gm o d u l a t i o n ) 。 第二章基本原理与模型建立 2 3 4 基于空间的编码模型的优缺点 上述三种编码模型都是基于空间编码，即其投影光对于空间信息进行编码。空间编码是 擐贴近三角法通用模型的编码方式，也是目前研究最为广泛、成果最多的编码方法。人们对 于不同纹理、不同反射率、不同变化程度的三维物体表面进行空间编码检测实验，并已经总 结出许多既定的匹配算法和实现模式。目前在处理静止物体的外形信息上空间编码比较有 效。上述是空间编码的主要优点。但其也存在适用条件有限，对于一些系统性干扰，如外界 光变化、采集设备的噪音、传输损失等抗干扰性差，尤其不适用于获取运动物体的三维信息， 这是空间编码的主要缺点。 2 4 基于时间的编码模型 基于时间编码模型是在对运动物体的视觉辨识课题研究中提出的结构光投影编码模式。 其基本思想是通过匹配不同时问所采集的视点图像中的运动矢最，获得物体运动信息。图 2 7 所示为运动物体的时间检测模型。经过研究人们发现，这种用于运动物体的检测技术 可咀应用在三维物体表面形状检测。其主要原因有： _ 从理论上看，可以将任意被测曲面看成由参考平面经过一定时间变形获得的，所以 可以直接采用时间编码模式f 的匹配算法。 _ 从实现上看，可以提高检测适用范围。因为在实际检测中，由于一些系统性干扰 如外界光变化、采集设备的噪音、传输损失等，使得同投影光下所采集的图像在时 间上会出现差异，而这种差异会对图像处理环节带来实现上的困难，并限制图像匹 配算法的普适性。而时间编码模型下，匹配特征是图像中的运动矢量即图像区 域的运动特性。这种特性是具有较好的稳定性的，其对于一些系统性干扰，特别是 如外界光变化等影响全局的因素，具有很好的抗干扰性。所以在三维物体表面检测 中采用基于时间的编码可以很好地扩展检测适用范围。 图2 7 运动物体的时间检测模型 1 2 东南大学颂士学位论文 如上所述，基于时间编码模型可以扩展检测特别是匹配算法的适用范围。但其技术难题 在于对于不同纹理、不同反射率的物体表面应选用何种运动特征编码光进行投影，又如何对 运动特征进行匹配。由于单纯的基于时间编码不能利用基于空间编码的许多研究成果与成熟 经验，所以在实际研究及实现中，单纯的基于时间编码系统并不多见，其讨论仍多限于理论 范畴。 2 5 基于时空的编码模型 2 5 1 基于时空编码的数学基础 根据上述讨论，基于空间和基于时间编码方式各有其优缺点，相对而言，基于空间编码 模型匹配特征容易选取、匹配计算模型简单，而基于时间编码模型的检测适应性强。如何将 上述两种编码模型的优点进行整合，设计一种匹配计算模型简单又检测适应强的检测模型已 成为目前研究的重点。基于时空编码模型正是在上述模型的基础上衍生而得。 为了整合基于空间编码模型与基于时间编码模型，人们针对其各自实现条件数学抽象出 “反射不变性( r e f l e c t i v i t yi n v a r i a b i l i t y ) ”、“空间一致性( s p a t i a lc o h e r e n c e ) ”和“时间一 致性( t e m p o r a lc o h e r e n c e ) ”三大假设( a s s u m p t i o n ) ，并在此基础上提出“时空一致性 ( s p a c e - t i m ec o h e r e n c e ) ”假设。 “反射不变性”假设是指在检测场景( s c e n e ) 中的物体表面形状只改变投影光的空间 位置分布，而不改变投影光的颜色信息即从投影设备到采集设备间光模式的变换函数 ( t r a n s f e rf u n c t i o n s ) 不是颜色的函数。该假设限定了检测场景中物体反射性要求。满足该 假设的场景称为“反射不变场景”。该假设是在研究空间颜色编码检测模型时提出的。 “空间一致性”假设是指在检测场景中，从检测点( s c a n d o t ) 中所得的由投影设备到 采集设备间光模式的变换函数可以应用于检测点的邻域( n e i g h b o r h o o d s ) 。该假设限定了检 测场景中物体表面形状必须是连续曲面( 或只存在有限突变的连续曲面) 。满足该假设的 场景称为“空间一致场景”。该假设是在研究基于空间编码模型时提出的。 “时间一致性”假设是指在检测场景中，检测点随时间的变换规律与其邻域一致。该假 设为进行正确的运动特征匹配提供了数学基础。满足该假设的场景称为“时间一致场景”。 该假设是在研究基于时间编码模型时提出的。 应注意上述假设都是全局的即对检测场景中的所有物体表面有效，否则会出现匹配 错误。 如果场景满足上述三大假设，则该场景具有下列特性： 在绝大多数时间点上，采集设备上相邻像素点对于投影光的反射性能一致。( 反射 不变性) _ 在绝大多数时间点上，采集设备上相邻像素点所反应的是物体同一表面的特性。( 空 间一致性) 在绝大多数时间段中，所投影的不同的光模式在所采集的图像组中存在一致的规律 性。( 时间一致性) 那么，如果我们将一个模式随时间变化的光投影到被测物体上，并采集一定时间内相对 应的反射图像，则该组图像描述了该物体在采集视点上的各点光变化的轨迹。这相当于在一 个新的三维空间( 视点平面+ 时间) 中建立一个物体模型( 见图2 - 8 ) 。根据三角法通用模型， 就可以将该编码三维体模型从时空编码检测空间转换到被检测场景的真实三维空间中，得到 所需的实际三维物体即得被测物体表面深度信息。 物体表面的细小的无限突变可视为物体的表面纹理( t e x t u r e ) 。这类物体依然满足“空间一致性”原则。 不过其为检测带来定的难度。目前仍未有理想的解决方法。 第二章基本原理与模型建立 图2 - 8 检测空间的三维模型 所以在上述三条假设的基础上，我们提出基于时空编码的“时空一致性”假设：在检测 场景中，物体表面各点反射性能相同，且在时间和空间尺度上其邻域的特性保持一致。满 足该假设的检测场景可以使用基于时空的编码光进行检测。一般检测场景都满足该假设。 2 。5 。2 条纹边界时空编码 1 基本原理 在满足上述“时空一致性”假设的检测场景中，如何设计一种投影模式可以实现物体表 面形状的检测。为此基于对检测环境最差预估和投影模式的一定抗干涉性要求，对所需投影 模式提出以下设计要求，如表2 3 所示。 表2 - 3 时空编码的设计要求 ”至少是在采集图像平面某个方向上的抗干扰性。在实际系统中，可以采用正交分割的方法实现整个采集 图像平面的抗干扰。 1 4 东南大学硕士学位论文 一 只投影黑白色块可以抑制物体表面纹理的影响，提高检测