（模式识别与智能系统专业论文）基于彩色条纹结构光的三维重建方法研究.pdf

at h e s i sf o rt h ed e g r e eo fm a s t e ri np a t t e r nr e c o g n i t i o na n di n t e l l i g e n t s y s t e m r e s e a r c ho f3 dr e c o n s t r u c t i o nb a s e do n c o l o r f u ls t r i p es t r u c t u r e d l i g h t b yg e n g f e i s u p e r v i s o r ：p r o f e s s o rw uc h e n d o n g a s s o c i a t ep r o f e s s o rw a n gx i a o z h e n o r t h e a s t e r nu n i v e r s i t y m a y 2 0 0 8 ：l、“ 独创性l 声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 = 匕 思。 学位论文作者签名：印 歌 日期：? 泸矿岁f0 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年口一年d一年半口 学位论文作者签名：印 职 签字日期：3 9 0 矿r i p 两年口 导师签名： 签字日期： 瓢事 弘矾tx | o 、f“ 东北大学硕士学位论文摘要 基于彩色条纹结构光的三维重建方法研究 摘要 三维重建是计算机视觉的主要目的和计算机辅助设计的核心问题。在各种建模和 重建技术中，结构光技术以其简单、非接触、测量范围大、精度高的特点，获得了广 泛的应用。 本文研究了一种基于彩色条纹结构光的三维物体重建方法。主要工作包括彩色条 纹的编码、颜色区分算法、边缘提取和解码算法、摄像机和投影仪标定方法、三维信 息计算和三维重建方法。 首先，研究了彩色条纹的编码。提出了利用r g b 颜色立方体八个顶点值对彩色 条纹进行编码的方法，所采用的特定编码顺序保证了各条纹编码的唯一性，有利于后 续的解码处理。设计了一种新的边缘提取方法，对彩色图像中r 、g 、b 三个通道分 别提取边缘，再将结果进行合并处理获得图像的边缘信息。实验效果表明此方法可以 得到较完整准确的边缘。 第二，研究了将颜色信息从r g b 空间转换到h s i 空间中，实现对颜色区分的算 法，以去除亮度不均的影响。提出了一种结合阈值和h s i 空间的分色算法，利用阈值 完成对于黑色和白色的识别，在h s i 空间对彩色信息进行区分，实现对于彩色编码中 使用的八种颜色的区分。提出了一种基于条纹颜色的解码算法，解决了物体表面不连 续时的解码问题。实验结果表明，分色和解码算法可以实现较好的分色效果和准确的 解码。 第三，研究了使用标准板对摄像机进行标定的方法。利用标准板上标志点中心的 空间坐标和图像坐标获得最优的摄像机投影矩阵。基于摄像机的投影矩阵和标准板平 面方程完成了投影仪的标定。 最后，研究了通过摄像机和投影仪的标定参数计算物体表面三维信息的方法。研 究样条插值运算的算法并利用样条插值实现对物体表面的三维重建。通过实验证明了 文中提出方法的有效性与先进性。 关键词：彩色条纹结构光；编码；h s i 空间；颜色区分；标定；三维重建 - i i 丫 t-；i kf-二lr 东北大学硕士学位论文a b s t r a c t r e s e a r c ho f3 - dr e c o n s t r u c t i o nb a s e do nc o l o r f u ls t r i p e s t r u c t u r e dl i g h t a bs t r a c t t h r e e - d i m e n s i o n a lr e c o n s t r u c t i o ni st h em a i n p u r p o s eo fm a c h i n ev i s i o na n dk e yi s s u e i nc o m p u t e r - a i d e dd e s i g n a m o n gt h ev a r i o u sm o d e l i n ga n dr e c o n s t r u c t i o nt e c h n o l o g i e s ， s t r u c t u r e dl i g h ti sb e i n gw i d e l yu s e db e c a u s eo fi t sa d v a n t a g e ss u c ha ss i m p l i c i t y , n ot o u c h ， w i d ed e t e c t i o nr a n g ea n dh i g ha c c u r a c y t h er e s e a r c ho ft h r e e d i m e n s i o n a lr e c o n s t r u c t i o nb a s e do nc o l o r f u ls t r i p es t r u c t u r e d l i g h ti sa d d r e s s e di nt h i st h e s i s t h em a i nw o r ko ft h et h e s i si n c l u d e sc o d i n ga n dd e c o d i n g s t r a t e g yo ft h ec o l o r f u ls t r i p e ，c o l o ri d e n t i f i c a t i o ns t r a t e g y , e d g ed e t e c t i o nm e t h o d ，c a m e r a a n dp r o j e c t o rc a l i b r a t i o n , t h r e e - d i m e n s i o n a lp o s i t i o nc a l c u l a t i o na n dr e c o n s t r u c t i o n f i r s t l y , ac o d i n gs t r a t e g yf o rc o l o r f u ls t r i p ei sp r o p o s e di nt h et h e s i s t om e e tt h e u n i q u e n e s sr e q u i r e m e n to fc o d ew o r d ，w h i c hc a ns i m p l i f yt h ed e c o d i n gp r o c e s s ，an e wt y p e o fp r o j e c t i o np a a e mb a s e do nt h ec o l o r so ft h ee i g h tc o m e r so nt h er g bc u b ei sp r o p o s e d i i lt h et h e s i s i no r d e rt od e t e c tt h ec o m p l e t ea n da c c u r a t ee d g e si nt h ec o l o r f u li m a g e ，a n e d g ed e t e c t i o nm e t h o di sp r o p o s e dw h i c hf i r s t l ye x t r a c t st h ee d g e si nr gbc h a n n e l s s e p a r a t e l ya n dt h e nc o m b i n e st h e s et h r e er e s u l t st o g e t h e r t h ec r e d i b i l i t yo ft h i se d g e d e t e c t i o nm e t h o dh a sb e e ns h o w nb yt h ee x p e r i m e n t a lr e s u l t s s e c o n d l y , i no r d e rt om i n i m i z et h ei n t e r f e r e n c ee f f e c to fl i g h t n e s s ，t h ec o l o rd a t ai s t r a n s f o r m e df r o mr g b s p a c et oh s is p a c e ac o l o ri d e n t i f i c a t i o na l g o r i t h mc o m b i n i n g c h a n n e lt h r e s h o l da n dh s is p a c ei sp r o p o s e d ，w h i c hi d e n t i f i e sb l a c ka n dw h i t ec o l o r sb y t h r e s h o l da n dt h eo t h e rs i xc o l o r si nh s i s p a c et oa c c o m p l i s ht h ec o l o ri d e n t i f i c a t i o no ft h e e i g h tc o l o r su s e di nc o d i n g ad e c o d i n gs t r a t e g yu s i n gt h es t r i p ec o l o ri sa d d r e s s e dt o o v e r c o m et h ed i s c o n t i n u i t yp r o b l e m t h er e s u l t si n d i c a t et h a tt h ep r o p o s e dm e t h o d sa r e e f f e c t i v e t h i r d l y , i nt h ec a l i b r a t i o np r o c e s st h ew o r l da n di m a g ec o o r d i n a t e so ft h em a r k s c e n t e r so nt h ec a l i b r a t i o np l a t ea r ea p p l i e dt oo p t i m i z et h ec a m e r ap r o j e c t i o nm a t r i x t h e c a l i b r a t i o no ft h ep r o j e c t o ri sa c c o m p l i s h e do nt h eb a s i so fc a m e r ap r o j e c t i o nm a t r i xa n d p l a n ee q u a t i o no ft h ec a l i b r a t i o np l a t e l a s t l y , t h et h r e e - d i m e n s i o n a lp o s i t i o nc a l c u l a t i o ni sc a r r i e do u tb yu s i n gt h ep a r a m e t e r s o ft h ec a m e r aa n dt h ep r o j e c t o r t h et h r e e - d i m e n s i o n a lr e c o n s t r u c t i o ni s i m p l e m e n t e db a s e d i i i ，； 东北大学硕士学位论文 a b s t r a c t o ns p l i n ei n t e r p o l a t i o n t h ee f f e c t i v e n e s sa n da d v a n t a g e so ft h ep r o p o s e dm e t h o di nt h e t h e s i sa r ep r o v e db yt h ee x p e r i m e n t a lr e s u l t s k e yw o r d s ：c o l o r f u ls t r i p e s t r u c t u r e dl i g h t ；c o d i n g ；h s is p a c e ；c o l o ri d e n t i f i c a t i o n ； c a l i b r a t i o n ；t h r e e d i m e n s i o n a lr e c o n s t r u c t i o n i v 东北大学硕士学位论文 目录 目录 声明i 中文摘要i i a b s t r a c t i i i 第1 章绪论1 1 1 论文研究的目的和意义1 1 2 国内外研究现状2 1 2 1 国外研究现状2 1 2 2 国内研究现状3 1 3 结构光系统的组成与测量原理一4 1 3 1 系统硬件组成4 1 3 2 三角测量原理5 1 4 结构光系统中的关键技术一6 1 4 1 结构光投影图案的设计6 1 4 2 结构光系统的标定7 1 5 本文主要研究内容8 第2 章投影图案设计与图像处理方法研究9 2 1 投影图案设计9 2 1 1 投影图案的选择9 2 1 。2 彩色条纹样式的设计9 2 2 图像平滑滤波处理1 0 2 3 边缘信息提取与处理1l 2 3 1 边缘提取方法1 1 2 3 2 边缘信息合并15 2 4 实验结果分析1 6 2 5 本章小结1 7 第3 章颜色分化与解码处理方法研究1 9 v 一 东北大学硕士学位论文目录 3 1 基于阈值的分色处理1 9 3 2h s i 空间分色2 l 3 2 1h s i 空间2 2 3 2 2r g b 空间向h s i 空间转换2 2 3 2 3 单色信息的处理2 4 3 3 边缘解码处理2 5 3 4 实验结果及分析2 7 3 4 1 分色实验结果及分析2 7 3 4 2 边缘解码实验结果和分析2 7 3 5 本章小结2 8 第4 章系统标定方法研究2 9 4 1 坐标系2 9 4 1 1 图像坐标系2 9 4 1 2 成像平面坐标系一3 0 4 1 3 摄像机坐标系3 0 4 1 4 世界坐标系31 4 2 摄像机标定31 4 2 1 摄像机模型3 1 4 2 2 摄像机参数标定3 2 4 3 投影仪标定3 6 4 4 实验结果及分析3 8 4 4 1 摄像机标定结果分析3 8 4 4 2 投影仪标定结果分析4 0 4 5 本章小结4 2 第5 章三维重建方法研究4 3 5 1 三维信息计算4 3 5 2 深度信息插值计算4 4 5 2 1 线性插值方法4 5 5 2 2 三次样条插值4 6 。v i ， ： l 东北大学硕士学位论文 目录 5 3 实验结果及分析4 8 5 3 1 三维信息计算结果4 8 5 3 2 样条插值运算结果5 1 5 4 本章小结5 2 第6 章总结与展望5 3 6 1 总结5 3 6 2 展望5 3 参考文献5 5 致谢5 9 作者简介6 0 东北大学硕士学位论文第1 章绪论 第1 章绪论 1 1 论文研究的目的和意义 物体的三维信息获取和表面几何形状是机器视觉研究的一个重要方向，获取物体 三维信息的技术有多种，如被动视觉和主动视觉等技术。当需要重建曲面物体的几何 形状描述时，就要求获取的物体三维数据具有准确度高覆盖全面的特点。 由于双目视觉系统对于表面没有特征点的物体的表面无法进行很好的识别与重 建。因此基于结构光的主动视觉技术得到了广泛的认可和应用。目前结构光技术被认 为是对物体表面进行重建的最可靠的技术之一。结构光技术将双目视觉中两个摄像机 中的一个替换为投影仪。通过投影仪将已知图案投射到物体表面，投影的图案会随着 物体表面的高度而产生变化，通过摄像机得到的物体表面变形的图案来计算物体表面 三维信息。结构光技术利用投影仪的投影解决了双目视觉中匹配的问题。 采用结构光的三维信息获取系统在具有良好的系统结构和参数标定下，可以完成 这类任务。利用结构光获取物体三维信息的研究报道见于7 0 年代，随着研究的深入， 利用各种结构光进行物体三维表面信息获取的技术不断涌现，并以各自的特点应用于 不同的领域。 结构光技术能够用于产品在线质量测量、模具三维形状的监测及机械手的定位和医 疗等行业。结构光技术还广泛应用于人体各部位的三维重建和识别领域。由于人的皮肤 颜色比较接近中性色，因此很适合使用结构光技术对例如手掌、手臂、面部等部位进行 三维重建。结合双目视觉和结构光技术，可以同时获得人脸的二维图像信息和三维图像 信息，通过两种信息的合并可以实现对人脸的重建。以往的基于二维图像的人脸识别技 术严重受制于被识别人的照相姿态和周围的光照条件。而结合二维图像和三维图像对人 脸进行识别的技术利用了人脸的形状的不同，并且不受光照或者面部颜色的影响，因此 其人脸识别率更高更稳定【l 】。 由于结构光技术拥有非接触、准确、测量范围大等优点，因此被应用于工业领域的 各种元件的质量测量，三维信息检测等。将结构光图案投射到待加工板材的背面，通过 摄像机拍摄加工过程中板材的形状变化可以实现对板材变形过程的三维重建，对于研究 材料的特性和改进生产技术提供了完整的数据1 2 1 。利用多台摄像机和结构光相结合的技 术可以加工元件的各部分的垂直性进行检测，与传统的检测技术相比拥有快速，在线， 一1 东北大学硕士学位论文第1 章绪论 非接触和显著的准确性等优点 3 1 。弹性网状材料在缠绕或者展开过程中的振动是制约网 状材料传输的速率的重要因素，利用结构光技术可以实现对于网状材料缠绕过程中振动 频率和振幅的实时，非接触测量1 4 。 1 2 国内外研究现状 1 2 1 国外研究现状 国外的结构光技术在室内环境中主要应用于人体的面部和手部等部位的重建。部分 学者已经将结构光技术应用在更广泛的工业测量技术中实现对零件的非接触精确测量。 b o u l b a b ab e na m o r ，m o h s e na r d a b i l i a n 和l i m i n gc h e n 通过结合结构光和双目视觉 对人脸进行了三维重建【5 1 。首先通过双目视觉获得人脸部分的二维特征，然后通过结构 光技术得到人脸的三维信息，将人脸的二维特征图像覆盖到脸部三维图像的表面实现了 对人脸的实现了三维重建。j i y o u n gp a r k ，c h e o l h w o nk i m ，j u n e h oy i 和m a t t h e wt u r k ， 用结构光技术获得图像中准确的深度边缘信息，为人手部动作和身体姿态的识别提供信 息【6 1 。f i l a r e t it s a l a k a n i d o u a ，f r a n kf o r s t e r ，s o f i d sm a l a s s i o t i s ，m i c h a e lg s t r i n t z i s 通过 将彩色的结构光投射到人的面部，对人脸进行三维重建，利用人脸的三维信息对人脸进 行识别，克服了传统的基于人脸二维图像识别中严重受制于光照，姿态等因素的缺点。 s b o v e r i e a ，m d e v y ，f l e r a s l e 利用点状结构光对汽车内部空间的占用情况进行测量和 分类，来降低安全气囊误启动的几率7 1 。d q h u y n h 禾l j 用了交比不变性提出了一种新的 投影仪标定方法，优化了标定过程并且提高了实验精度1 8 1 。m i n g j u n et s a i ，c h u a n - c h e n g h u n g 通过d m d ( 数字微镜装置) 投影设备和高精度摄像机将结构光的测量精度提高到 t 3 m 【9 】。c h a n g s o oj e ，s a n gw o o kl e e 和r a e h o n gp a r k 利用两幅对比强烈的投影图 像投射到待测量物体表面，虽然需要多待测物体进行两次投影和两次拍摄，但是这两次 高对比的投影图案投射后得到的图像经过处理后可以消除物体表面颜色和纹理的影响， 扩大了结构光的应用范卧1 0 】。f r o d eg r y t t e n ，e g i lf a g e r h o l t ，t r o n da u e s t a d 将结构光投 射到加工铝板的背面，实现了对于穿孔过程的动态信息重建。p e t e rl i n d s e y 和a n d r e w b l a k e 利用结构光技术实现了对于运动物体表面的实时跟踪】。j o r d ip a g e s ， j o a q u i m s a l v i 和c a r i e sm a t a b o s 在网状的结构光的竖直和水平两个方上利用颜色进行编码，提高 了对图像进行分割和解码时的鲁棒性【1 2 1 。a d i p a n d a ，s w o o 乖l j 用激光束点阵投影结构 光系统实现对物体三维形状的实时重建，提出了自动获得系统构造参数的算法1 3 1 。d a v i d f o i l ，j o a q u i ms a l v i b ，e 1 m u s t a p h am o u a d d i b a 禾u 用结构光技术提出了一种不需要标定就 ， 东北大学硕士学位论文第l 章绪论 可以对物体表面进行重建的算法【1 4 1 。o l e k s a n d ra s k y d a n ，m i c h a e lj l a l o r ，d a v i dr b u r t o n 提出了利用多个不同位置的投影仪对待测量物体表面投射不同颜色的投影和傅立 叶变换实现对物体的三维重建【1 5 】。 1 2 2 国内研究现状 国内对于结构光技术的研究还主要集中在室内环境中的应用。主要研究范围集中在 投影图案的设计和摄像机标定的方法。 喻擎苍等提出了一种针对移动物体的二元编码的小型网格结构光，利用复杂的网格 形状取代颜色信息来实现代码的唯一性【1 6 】。岳慧敏等提出了基于傅立叶变换的复杂编码 方法对投影图案进行编码的新的编码方法【1 7 1 。张广军等提出在平面标准板上设定特征点 来实现对于结构光系统的标定【l 引。王光辉等利用三种特定的基本颜色对投影图案编码， 这种编码方式虽然不能保证编码的唯一性和对物体表面突变部分的识别，但是在选取这 三种基本颜色时，可以选取受物体表面颜色和纹理影响最小的颜色进行编码，获得物体 表面的三维信息后，将物体表面的二维图像信息覆盖到三维物体表面，实现对物体的重 型1 9 】。张广军等通过多个摄像机和激光投影仪完成了对于加工部件垂直性的检测。b z h a n g 提出了基于平面单应性的自身再标定结构光系统，通过对视场中一投影平面进行 拍摄就可以完成对于结构光系统的自身再标定处理t 2 0 。万波，张大朴提出一种完全线性 的针孔摄像机标定方法。在已知一个消隐点的情况下，利用交比不变性及消隐点的知识 对摄像机进行标定【2 1 1 。张洪波，李元宗利用透镜成像理论建立摄像机数学模型，经过畸 变分析提出一种实验要求低、标定参数全面的标定方案。解决了其它线性方法中部分内 部参数的标定问题，避免了传统非线性优化的繁琐和不稳定，有效地提高了标定精度 2 2 1 。张颖康，李雅轩，孟军英设计了一种标定多摄像机视觉系统的方法，在多摄像机场景中， 放置共线的2 点( 一维标靶) 并使其围绕1 个固定端点摆动；通过多摄像机从各自角度同步 拍摄，标定出各摄像机含径向畸变系数的内外参数【2 3 1 。王以忠，李琳，黄华芳提出了一种 基于双目线结构光主动三角法的视觉系统的简单标定方法该视觉系统采用线结构光原 理，使用双目摄像机避免了常用的单摄像机系统中容易出现的遮挡等问题 2 4 1 。刘维一， 王肇圻，母国光，方志良研究了一种用彩色条纹对光栅进行数字编码的方法。其中投影 光栅用白、红、绿、蓝和它们的补色黑、青、品、黄按照四位二进制原理对光栅进行编 码【2 5 1 。 通过对国内外研究现状进行分析，结构光技术所应用的范围已经从环境相对理想的 _ 3 一 东北大学硕士学位论文 第1 章绪论 室内扩展到了室外环境和工业现场，对于被测量物体是否在运动，被测量物体表面的颜 色和条纹等方面的要求也降低了许多。 然而，由于结构光技术本身利用光照信息进行识别的特点，现在室外和工业现场所 使用的结构光大多数利用红外光线或者其他非自然光对结构光投影图案进行编码以削 弱自然光带来的影响，同时为了保证识别的准确率，通常只使用两位的基本代码进行编 码，限制了编码的长度，无法保证条纹代码的唯一性，造成投影过程中需要多次投影， 无法对运动的物体进行测量。 物体表面的颜色和条纹信息会给解码带来很大的困难，现在使用的方法主要通过多 次投影和多次拍摄来去除表面颜色的影响，但是无法对运动中的物体进行测量。或者挑 选与物体表面颜色不耦合的颜色对投影图案进行编码，这种方法限制了基本代码的数 量，从而无法保证条纹代码的唯一性。 结构光技术的发展方向存在以下特点： ( 1 ) 对于投影图案的设计主要趋向于使用条纹，点状和网状图案。相对来说，虽 点状和网状图案可以携带更多的编码信息，但是条纹图案设计和实现更为简易，同时还 由于更易于识别的优点。 ( 2 ) 为了可以对运动中的物体进行三维重建，需要保证投影图案中编码的唯一性， 因此基于彩色投影图案的结构光技术得到了推广。对于彩色结构光技术中的分色技术， 主要应用的分色方法为在h s i 空间进行分色，其优点在于h s i 空间分色对于光照均匀程度 的抗干扰性强。 ( 3 ) 对于摄像机标定，主要存在利用标定物体进行标定和自标定两种方法。比较 来说，自标定方法更为方便，但是算法复杂。利用标定物体进行标定算法更为简单，精 确度高，但是需要对标定物体多进行一次拍摄。 综上所述，虽然现阶段结构光技术更为适合在室内环境中物体的表面进行测量以对 其表面进行重建。而彩色结构光虽然容易受到环境和物体表面影响，但是其具有基本代 码多，编码唯一性等优点，并且可以对运动物体进行重建，因此受到许多研究者的重视。 1 3 结构光系统的组成与测量原理 1 3 1 系统硬件组成 一个完整的结构光测量系统的硬件组成由如图1 1 所示 2 6 】。 4 一 东北大学硕士学位论文第1 章绪论 摄像机 图1 1 结构光系统 f i g 1 1i l l u s t r a t i o no fs t r u c t u r e dl i g h tt e c h n i q u e 投影仪投射一组经过计算机编码的条纹结构光到物体表面上形成多条光条纹。结 构光条纹因为受到物体表面形状的调制而产生了畸变，畸变的程度反映了物体表面变 化的程度，因此，畸变的条纹包含了物体表面形状的三维信息。摄像机获得一幅畸变 条纹的图像，图像经过计算机处理，物体的三维信息就可以得到。 条纹的最小宽度取决于计算机的显示分辨率，条纹的数量是根据目标空间分辨率 的要求确定。条纹数量越多，得到的物体三维信息就越多，重建物体的形状就更加准 确，但是，信息的不断增加也会带来计算复杂，耗时长等问题，同时摄像机的技术要 求也要提高。 1 3 2 三角测量原理 主动式三角测量原理如图1 2 所示。 投影仪和摄像机之间的基准距离为图中所示的b 。目标点的坐标( x ，y ，z ) 和测量得 到的图像坐标( x ，y 。) 及投影角度p 的关系式如下所示： 卜yz 】= 丽岳py 州 ( 1 1 ) 这样的一个三角测量系统的深度解析度由角度9 和图像点x 的水平位置的精确度 来决定。 5 东北大学硕士学位论文 第1 章绪论 三维点 ( 】y ，z ) 影角度 a 0i ( o ，o ，o ) j | | f 焦距 。，地 i 图1 2 三角测量原理 f i g 1 2c a m e r a - c e n t e r e dt r i a n g u l a t i o ng e o m e t r y 1 4 结构光系统中的关键技术 1 4 1 结构光投影图案的设计 由于结构光系统将双目视觉中的一台摄像机替换为投影仪，利用对于投影图案的 识别来实现点的匹配。所投影的图案必须易于识别和实现建模，并且有利于后续的图 像处理过程。 目前使用的结构光图像按照其编码的方式可以分为时间多路编码，空间编码和直 接编码三大种类口7 】【2 8 1 。 时间多路编码：一系列的投影图案被连续的投射到待测量表面上。通常的通过整 个投影图案照明值的序列得到各个给定像素的代码。由于代码在时间上是互相符合的， 所以这种编码方法称为暂时性编码。这种图案可以在测量中获得很高的准确性。这种 准确性源于两个主要原因：第一，投影过程中需要投射多幅图像，因此基本编码往往 很少( 通常是二元的) ，所示仅需要使用短小的原始代码，而这些原始代码互相之间又 很容易区分；第二，由于图案被连续的投射到物体表面，因此每个像素的位置能被更 为精确的编码。 现在应用的多路时间编码技术可以分为：( a ) 基于二元代码的编码策略：一系列的 二元图案被用来生成二元代码；( b ) 基于多元代码的编码策略：利用多元图案来生成代 码；( c ) 灰度编码结合周期移动的编码策略：将相同的图案投影多次，在一定的方向上 将其移动来提高解析率；( d ) 混合编码策略：一种结合了多路时间编码和空间邻域编码 6 一 t 譬 东北大学硕士学位论文第1 章绪论 的编码技术。 空间编码：这类编码技术注重将所有的编码方案在一幅图案中实现。代表图案中 各个点的代码是通过其周围的点获得的。然而，由于空间邻域不可能完全的被识别而 且会提高产生三维错误信息的几率，这种编码方法导致解码处理更为复杂。空间邻域 编码技术可以分为：( a ) 无先验规则的编码策略：随机地生成领域图像；( b ) 基于d e b r u i j n 序列的编码策略：通过伪随机数列生成邻域图像；( c ) 基于多列的编码策略：这种编码 方法是对二维伪随机数理论的扩展。 直接编码：这种编码方法中一个像素点就包括了给定点的整个代码。为了获得这 种编码效果，必须使用大范围的颜色值或者给代码加入周期性。理论上可以获得三维 信息的高解析图像。但是，由于这种方法中各代码之间的区别比较小，因此对噪声的 抗干扰性差，而且待测量物体表面的颜色必须为中立颜色或白色。其优点在于代码的 唯一性和只需要对待测量物体表面进行一次拍摄就可以实现解码，因此可以用来测量 运动的物体。直接编码按照其利用的颜色可以分为：( a ) 基于灰度的编码策略：利用灰 度级的光谱对图像中的点进行编码；( b ) 基于颜色的编码策略：利用各种广阔的光谱颜 色进行编码。 1 4 2 结构光系统的标定 摄像机标定方法根据标定方式的不同，主要可以归结为以下三种：传统标定方法， 自标定方法和基于主动视觉的标定方法【2 9 。3 2 1 。 ( 1 ) 传统标定方法 所谓传统摄像机标定方法是指用一个结构己知、精度很高的标定块作为空间参照 物，通过空间点和图像点之间的对应关系来建立摄像机模型参数的约束，然后通过优 化算法来求取这些参数。根据参数的计算方法的不同，可分为利用最优化算法的标定 方法，利用投影矩阵的方法以及t s a i 两步标定技术。传统标定方法的优点在于可以获 得较高的精度，适用于要求的精度高且摄像机的参数不经常变化的场所。 ( 2 ) 摄像机自标定方法 其基本思想是绝对二次曲线或绝对二次曲面的像在摄像机做刚体运动时保持不 变，其方程只与摄像机的内参数有关。将绝对二次曲线( 或其对偶) 作为虚拟标定物， 通过不同形式的约束方程求解其在所拍摄图像中的成像方程来实现摄像机标定的方 法。目前自标定方法主要分类有：( a ) 基于绝对二次曲线的自标定方法；( b ) 基于绝对二 7 东北大学硕士学位论文第1 章绪论 次曲面的标定方法。 ( 3 ) 基于主动视觉的标定方法 基于主动视觉的摄像机标定方法就是根据自主地控制摄像机来获取的图像数据线 性地求解摄像机的模型参数。这种标定方法的主要优点是由于在标定过程中已知了关 于摄像机的运动信息，所以一般来说，摄像机的模型参数可以线性求解，且计算简单、 鲁棒性较高。通过一个可以精确控制其运动的主动视觉平台来对摄像机进行标定。但 使用高精度主动视觉平台进行摄像机标定的不足是系统的成本较高，不是一般的单位 和个人所能承受的。 1 5 本文主要研究内容 本文研究的内容包括了基于彩色条纹结构光对物体实现三维重建的整个过程。完 成了结构光中投影图案的设计，获得投影图像后进行的图像处理方法和边缘提取方法， 之后完成了对系统中摄像机和投影仪的标定工作，最后实现了对物体表面三维信息的 计算和重建。 文章的章节安排如下：第2 章主要讨论了结构光技术中投影图案的选择和设计以 及对获得的图像进行初步的图像处理的方法与过程。通过对获得的图像进行平滑滤波 及边缘提取，得到图像中完整准确的边缘信息；第3 章对获得的图像在h s i 空间进行 分色和解码处理获得每条条纹边缘的代码；第4 章对系统所使用的摄像机和投影仪进 行标定，本文使用标准板的方法对摄像机和投影仪进行标定；第5 章在获得摄像机和 投影仪的参数后对物体表面的三维信息进行计算，并利用插值运算对物体表面进行三 维重建；第6 章是对本文的总结及展望。 - 8 - 东北大学硕士学位论文第2 章投影图案设计与图像处理方法研究 第2 章投影图案设计与图像处理方法研究 2 1 投影图案设计 投影图案是结构光技术中投影仪投射到被测量物体表面的图案，通过对投影后的 图案进行识别处理，得到其在原投影图案中的位置，进而通过摄像机和投影仪的参数 来计算投影点的三维坐标。投影图案的设计方案是否合理直接影响到后续的识别过程， 同时投影图案的设计应该利于建模以易于实现。 2 1 1 投影图案的选择 现阶段被使用的投影图像根据其图案样式可以分为点阵，条纹，网格和特殊图形 等种类。其中的条纹投影图像由于其投影图案设计简单，投影后图像便于实现对于边 缘的提取和识别，简化了标定过程中对于投影仪投影模型的建立而得到了广泛应用。 投影图案按其所使用的编码颜色可以分为黑白和彩色两大类。由于只依靠黑和白 两种颜色对条纹进行编码，因此黑白结构光的解码具有准确和稳定的优点，但也是由 于这种编码方法使其解码过程需要多次投影和多次摄像才能实现对于所有条纹的识 别，因此黑白结构光的处理过程耗时较长，而且多次投影和摄像的过程中被测量的物 体不能有任何的移动，否则会造成三维信息计算的错误。随着计算机运算能力的加快 和图像处理方法，尤其是彩色图像的处理方法的发展，彩色结构光得到了广泛的使用， 彩色结构光的优点在于只需要对被测量物体进行一次投影和摄像就可以完成对于物体 表面三维信息的计算，从而缩短了整个处理的过程的时间并且完成对于运动物体表面 三维信息的计算。 综上所述，本文使用彩色条纹结构光来实现对被测量物体表面的三维测量。 2 1 2 彩色条纹样式的设计 基于彩色条纹的结构光的主要问题在于条纹的对应，就是当投射到物体的表面发 生弯曲时，如何能从摄像机获得的图像中提取到与投影图像对应的条纹。因此结构光 条纹需满足： ( 1 ) 相邻条纹间要存在明显的不同以获得所有的边缘。 ( 2 ) 同样颜色的条纹重复出现时，有足够的信息加以区别。 基于上述要求，我们制定了下面的彩色条纹编码规则： 一9 _ 东北大学硕士学位论文第2 章投影图案设计与图像处理方法研究 ( 1 ) 条纹颜色取如图2 1 所示的r g b 空间中颜色立方体的八个顶点值。 b g 图2 1r g b 彩色立方体 f i g 2 1t h ec o l o rc u b i ci nr g bs p a c e ( 2 ) 相邻的条纹在r 、g 、b 三个通道中至少有两个通道的值是不同的。 ( 3 ) 任何相邻四条条纹的颜色序列不能重复，这样就可以保证每条条纹的唯一性。 这种唯一性对于后续的条纹边缘解码，尤其为在物体表面快速变化和不连续的情况下 对于条纹边缘的解码处理提供了良好的基础。 根据此规则产生的一组随机条纹图案如图2 2 所示。 图2 2 彩色条纹图案 f i g 2 2a c o l o r f u ls t r i p e sp a t t e r n 2 2 图像平滑滤波处理 对于获得的图像，本文首先进行中值滤波去除噪声影响。 中值滤波是抑制噪声的非线性处理方法。图像中滤波后某像素的输出等于该像素 邻域中各像素灰度的中值。邻域的大小决定在多少个数值中求中值，窗口的形状决定 在什么样的几何空间中取元素计算中值，窗口大小和形状对滤波效果影响较大。中值 _ 】0 - 东北大学硕士学位论文第2 章投影图案设计与图像处理方法研究 滤波的方法运算简单，易于实现，而且能较好的保护边界。 2 3 边缘信息提取与处理 由于对于物体表面的重建需要计算投影在物体表面的各条条纹上各点的三维坐标 信息，因此在获得彩色条纹结构光投射到物体上的图像后，需要提取图像中各条条纹 间的边缘。由于提取到的边缘位置信息和边缘的准确性对于后续的计算有很大影响， 因此需要选择适合的边缘检测方法并对获得的边缘信息进行适当的处理。 2 3 1 边缘提取方法 当把彩色条纹图案投射到物体上时，得到的投影