（控制理论与控制工程专业论文）基于彩色结构光系统的三维视觉.pdf

浙江工业大学硕士学位论文 基于彩色结构光系统的三维视觉 摘要 按照是否向目标物体投射光源，把计算机视觉分为主动计算机视觉和被动计算机视 觉。以立体视觉为代表的被动计算机视觉存在特征点匹配不精确的问题，匹配复杂，三维 重建精度较低，从而限制了它的应用范围。在主动计算机视觉中，利用投射装置向目标物 体投射具有一定形态的光模板，解决了被动计算机视觉特征点匹配不精确的问题，所以相 比于被动计算机视觉，主动计算机视觉具有重建精度高、受控性强的优点。结构光三维视 觉是一种典型的主动计算机视觉技术，具有广泛的应用前景，主要应用于工业检测，柔性 体三维测量等领域。 传统的结构光三维视觉利用二值或灰度编码方法来生成光模板，需拍摄多幅图片来实 现三维重建，重建效率较低，仅局限于静态物体的三维重建，不能应用于动态物体重建。 本文研究的彩色结构光三维视觉是利用颜色编码生成光模板，充分利用空间编码的优点， 只需一次投射，拍摄一幅图片便能获取目标物体精确的三维信息，实现快速高精度的三维 重建。本文深入研究了彩色结构光三维视觉技术，主要取得以下研究成果： ( 1 ) 对现有的基于d eb r u i j n 序列彩色结构光编码方法进行改进，提高了三维重建的分辨 率和重建精度。现有的基于d ea r u i j n 序列的结构光编码方法存在以下缺陷：编码时采用了 较多的颜色种类，导致光模板抗干扰能力较差；相邻光条间颜色对比度不强，当光模板投 射到待测物体表面时会产生光条边缘交叠现象，影响重建精度。本文在利用d eb m i j n 序列 编码时引入黑色光条作为间隔光条，使用的颜色种类降为原来的一半，提高了三维重建的 分辨率，增强了光模板的抗干扰能力；同时，黑色光条和相邻彩色光条间的颜色对比度增 强，相邻光条间边界明显，减弱了光条边界的颜色交叠现象，提高了重建精度。 ( 2 ) 提出了一种基于直线拟合的方法来实现结构光系统亚像素级标定。结构光系统标定 是利用结构光系统实现三维重建的关键步骤之一，传统标定方法是基于像素级精度的标 定，且标定特征点较少。本文在研究结构光系统标定时，首先通过光条边缘点拟合出光条 边缘直线方程，再根据标定板上角点的图像坐标拟合出竖直方向上共线角点的直线方程， 通过求直线方程的交点来获取标定特征点的图像坐标，最后利用线性插值算法求出标定特 i 浙江工业大学硕士学位论文 征点的三维世界坐标，达到亚像素级精度的标定。同时，利用本文提出的标定方法，可以 提取出大量标定特征点，降低标定的偶然误差，提高了标定精度。 ( 3 ) 为了得到更高的三维重建精度，本文根据边界像素的灰度信息，对现有的c a n n y 边 缘检测算法进行改进，实现亚像素级精度的边缘特征点检测。应用本文提出的特征点检测 算法，提高了特征点图像坐标的提取精度，进而提高了三维重建精度，实验证明重建误差 在l 以内。 最后，本文通过实验获得了目标物体的高精度三维模型，并且对三维重建的精度以及 产生误差的原因进行分析，来验证本文研究的彩色结构光三维视觉系统在实际应用中的可 行性。 关键词：结构光，标定，颜色编码，亚像素，三维重建 3 dc o m p u t e rv i s i o nb a s e do nc o l o r s t r u c t u r e dl i g h ts y s t e m a b s t r a c t c o m p u t e rv i s i o nc a l lb ed i v i d e di n t op a s s i v ev i s i o na n da c t i v ev i s i o n i np a s s i v ev i s i o n s y s t e m ，n oe n e r g yi se m i t t e do n t ot h eo b j e c t ，t h e r e f o r e ，n oo t h e rd e v i c eb e s i d e sc a m e r a sa r e r e q u i r e d ，w h i l ei na c t i v ev i s i o ns y s t e map r o j e c t o ri sn e e d e dt op r o j e c tt h ed e s i g n e dl i g h tp a t t e r n o n t ot h eo b j e c t s t e r e ov i s i o ni sat y p i c a lp a s s i v ev i s i o nm e t h o d ，h o w e v e r , t h em a t c h i n gp r o b l e m m u s tb es o l v e di n t h i sm e t h o d ，w h i c hi sa l w a y sa ni l l p o s e dp r o b l e m t h i sm a t c h i n gp r o b l e m r e s u l t si ni n a c c u r a t eo f3 dr e c o n s t r u c t i o n , w h i c hr e d u c e si t su s e f u l n e s si nm a n yp r a c t i c a l a p p l i c a t i o n s i na c t i v ev i s i o n ，m a t c h i n gp r o b l e mi ss o l v e db yp r o j e c t i n gt h ed e s i g n e dl i g h t p a t t e r no n t ot h eo b j e c t c o m p a r e dw i t hp a s s i v ev i s i o n ，a c t i v ev i s i o nm e t h o df e a t u r e sh i g h r e l i a b i l i t ya n da c c u r a c y s t r u c t u r e dl i g h ti sat y p i c a la c t i v ev i s i o nm e t h o d ，w h i c hi sw i d e l yu s e d i ni n d u s t r i a li n s p e c t i o ne s p e c i a l l yf o rf l e x i b l eo b j e c t3 dr e c o n s t r u c t i o n t r a d i t i o n a ls t r u c t u r e dl i g h ti sb a s e do nb i n a r yc o d i n go rg r a yc o d i n g ag r e a tm a n yo f i m a g e sm u s tb et a k e nt of i n i s ht h e3 dr e c o n s t r u c t i o n ，i t st i m ec o n s u m i n gt or e c o v e r i n g3 d i n f o r m a t i o no ft h eo b j e c tw i t ht h i sm e t h o d ，t h e r e f o r e ，i ti sn o ts u i t a b l ef o rd y n a m i cs c e n e r e c o n s t r u c t i o n t h es t r u c t u r e dl i g h tb a s e do nc o l o rc o d i n gi sr e s e a r c h e di nt h i st h e s i s ，t h e3 d i n f o r m a t i o nc a nb eg o tb yt a k i n gs i n g l ei m a g eu s i n gt h el i g h tp a t t e r nd e s i g n e di nt h i sp a p e r , w h i c hi sc a l l e d “o n es h o t ”m e t h o d t h i st h e s i sp r e s e n t st h er e s e a r c hi ns t u d y i n gt h er e l e v a n t i s s u e sf o rc o l o rs t r u c t u r e dl i g h ts y s t e ma sf o l l o w s ( 1 ) t h i st h e s i sp r o p o s e sa l li m p r o v e m e n tf o rt h ee x i s t i n gc o l o rs t r u c t u r e dl i g h tc o d i n g t e c h n i q u eb a s e do nd eb r u i j ns e q u e n c e c u r r e n t l y ，t h e r ea r es o m el i m i t a t i o n so ft h i st e c h n i q u e ， o n eo ft h el i m i t a t i o n si st h a tt h el i g h tp a t t e r ni se a s i l yi n f l u e n c e db yt h ee n v i r o n m e n tl i g h tc a u s e t o om a n yk i n d so fc o l o r sa r eu s e d ，t h eo t h e ro n ei st h eo v e r l a pb e t w e e nt h ea d j a c e n ts t r i p e s ， w h i c hi n f l u e n c et h e3 dr e c o n s t r u c t i o na c c u r a c yg r e a t l y t h i st h e s i sb r i n g sf o r w a r da l li m p r o v e d m e t h o db yi n s e r t i n gab l a c ks t r i p ei n t ot h ea d j a c e n ts t r i p e s ，w h i c hm a k e st h ee d g e sb e t w e e nt h e s t r i p e sm o r ec l e a ra n dd i s t i n g u i s h a b l e h i g h e rr e s o l u t i o na n da c c u r a c y3 dr e c o n s t r u c t i o nr e s u l t c a nb eg o tw i t ht h i sm e t h o d ，w h i c hs o l v e st h ea b o v ep r o b l e m sp e r f e c t l y ( 2 ) i nt h i st h e s i s ，ac a l i b r a t i n gt e c h n i q u eb a s e do nl i n ef i t t i n gi sb r o u g h tf o r w a r d i no r d e rt o i i i 浙江工业大学硕士学位论文 g e th i g ha c c u r a c y3 di n f o r m a t i o n ，t h es t r u c t u r e dl i g h ts y s t e mm u s tb ec a l i b r a t e dc a r e f u l l y t h e t r a d i t i o n a lc a l i b r a t i n gm e t h o di sb a s e do np i x e la c c u r a c y , w h a ti sm o r e ，t h e r ea r ef e wp o i n t sf o r c a l i b r a t i n g i nt h i st h e s i s ，e d g e so fs t r i p e sa n dt h ec o m e r so nt h ec h e s s b o a r da r ef i t t e di n t ol i n e s f i r s t l y , t h ei m a g ea x i so fi n t e r s e c t i n gp o i n t sa r ec a l c u l a t e ds e c o n d l y ，a tl a s t ，c a l i b r a t i n gp o i n t sc a l l b ec a l c u l a t e db yl i n e a ri n t e r p o l a t i o na l g o r i t h m u s i n gt h i sm e t h o d ，ag r e a tm a n yo fc a l i b r a t i n g p o i n t sw i l lb ec a l c u l a t e dw i t hs u b - p i x e la c c u r a c y ，w h i c hi m p r o v e st h ec a l i b r a t i n ga c c u r a c y g r e a t l y ( 3 ) i no r d e rt og e th i g ha c c u r a c y3 dr e c o n s t r u c t i o nr e s u l t ，t h i st h e s i sa l s op r o p o s e sa n i m p r o v e dt e c h n i q u ef o rt r a d i t i o n a lc a n n ye d g ed e t e c t i n gm e t h o db a s e do nt h eg r a yi n f o r m a t i o n o fp i x e l s t h er e s u l to ff e a t u r ep o i n t sd e t e c t i o na c h i e v e ss u b - p i x e la c c u r a c y ，t h e r e f o r e ，t h e r e c o n s t r u c t i o na c c u r a c yc a nb ei m p r o v e dal o t t h er e l a t i v ee r r o ro f3 dr e c o n s t r u c t i o ni sn om o r e t h a n1 a tl a s t ，e x p e r i m e n t sa r ec o n d u c t e dw i t ht h ec o l o rs t r u c t u r e dl i g h ts y s t e m ，a n dh i g ha c c u r a c y r e s u l to f3 dr e c o n s t r u c t i o ni sg o t t h er e s u l t so b t a i n e ds h o wt h ev a l i d i t yo ft h ep r o p o s e d m e t h o d sa n dt h ef e a s i b i l i t yf o rp r a c t i c a li m p l e m e n t a t i o n k e yw o r d s ：s t r u c t u r e dl i g h t ，c a l i b r a t i o n ，c o l o rc o d i n g ，s u b - p i x e l ，3 dr e c o n s t r u c t i o n 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名： 旋群眺下j 1 月2 阳 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 一一 2 、不保密“ ( 请在以上相应方框内打“、”) 日期：柳年，月衫日 一一 嗍：呷 铲月巧e t 浙江工业大学硕士学位论文 第1 章绪论 1 1引言 人类的很多研究都是以延伸人类能力为目的，早期的工作是在体力上的延伸，自从计 算机发明以来，就拓展到对人类脑力和感知能力的延伸上。伴随着光学器件的不断发展、 计算机处理能力的提升以及信号处理理论的成熟，对人类视觉感知能力的计算机模拟成为 可能，人们试图用摄像机获取环境图像，用计算机实现对视觉信息的处理，形成了一门新 兴的学科计算机视觉( c o m p u t e rv i s i o n ) ，旨在通过独立的计算理论和算法使计算机能像 人那样通过视觉观察和理解世界，具有自主适应环境的能力。 在计算机视觉的研究中，实现现实世界的三维重建是一项很有挑战的一项任务。在利 用计算机视觉来实现三维重建时，按照是否向目标物体投射光模板，把计算机视觉分为主 动计算机视觉和被动计算机视觉。 本章首先介绍被动计算机视觉和主动计算机视觉的基本原理，以及主动计算机视觉相 对与被动计算机视觉的主要优点；其次，本章介绍了一种典型的主动计算机视觉：结构光 三维视觉，并且总结了结构光三维视觉当前研究现状，阐述了本文的研究内容和研究意义； 最后，介绍了本文的组织结构。 1 2 计算机视觉 1 2 1 被动计算机视觉 被动计算机视觉以立体视觉为代表，主要通过目标物体的表面纹理信息，灰度信息和 颜色信息得到目标物体的三维形貌。立体视觉原理类似人类眼睛的生物原理，人类同时用 两只眼睛来感知目标物体反射的光，通过视差获得与目标物体间的相对距离，同样道理， 建立一个立体视觉系统也需要两个摄像机，针对同一个场景从不同的角度拍摄两幅图片， 才能计算出目标物体的三维信息。被动计算机视觉一直存在着一个很难解决的问题，就是 两个摄像机拍摄的两幅图片之间特征点的匹配问题【l 】。首先，特征点匹配具有区域性，它 只是针对目标物体的相似区域来匹配，很难精确到目标物体上某一点，匹配精确度不高， 导致重建精度较低；其次，对于表面特征点不明显的目标物体容易产生误匹配，重建的错 l 浙江工业大学硕士学位论文 误点较多。这些问题是立体视觉本身无法克服的，所以在很多情况下，立体视觉的重建精 度无法满足实际应用的需要。 1 2 2 主动计算机视觉 如1 2 1 节中所述，被动计算机视觉主要利用物体表面的纹理信息，灰度信息和颜色 信息来实现三维重建，它要求目标物体表面具有明显的表面特征、灰度特征或者颜色特征， 否则三维重建精度很低。 相对于被动计算机视觉，另外一种计算机视觉叫做主动计算机视觉。在主动计算机视 觉中，通过一个投射装置向目标物体投射具有一定图案信息的光模板，光模板投射到目标 物体表面，经过目标物体表面形态调制，光模板产生畸变，摄像机拍摄下畸变的光模板。 由此可见，主动计算机视觉是利用外置光源来探测目标物体表面三维信息，而不是依靠自 然光。由于采用了具有一定形态的光模板作为投射光源，当光源投射到目标物体表面时， 拍摄的图像会有明显的特征点，重建特征点易于提取，解决了被动计算机视觉特征点匹配 精度低以及误匹配问题。所以，和被动计算机视觉相比，主动计算机视觉最大的优点是三 维重建精度高。 过去三十年里，研究人员研究了多种主动计算机视觉方法。在这些方法中，以结构光 三维视觉作为代表，它具有重建精度高，重建速度快，以及设备成本低的优点，成为计算 机视觉领域的研究热点，本章下面一节主要阐述结构光三维视觉方法以及结构光三维视觉 的研究现状。 1 3 结构光三维视觉研究现状 结构光法是为了解决立体视觉中图像匹配的难题而提出的，它是基于光学双摄像机三 角测量原理，将双目立体视觉中的某一个摄像机用投影机代替，利用投影机和成像系统的 几何信息进行三维测量。如1 2 2 节所述，结构光法是一种典型的主动计算机视觉方法， 相比于立体视觉，它具有高精度、大视场、特征信息提取简单、实时性强及主动受控等优 点。正是因为结构光三维视觉方法具有这些优点，国内外研究人员针对结构光三维视觉做 了大量的研究工作。 在结构光三维视觉研究初期，研究人员所做的工作主要围绕点结构光法【2 1 、线结构光 法【3 1 、多线结构光法【4 1 展开。利用这些方法进行三维测量时，需要拍摄大量的图像，重建 速度很慢，极大限制了其应用范围。在此之后，结构光三维视觉研究主要围绕着二值编码 2 浙江工业大学硕士学位论文 结构光以及彩色编码结构光展开【5 1 。 o - 值编码结构光的研究现状 19 81 年，p o s d a m e r 和a l t s c h u l e 6 1 提出了一种二值结构光编码方法，他们利用m 个光模 板，编码2 ”条黑白光条，利用这种方法生成了1 6 个光条。i n o k u c l l i 7 】通过格林码二值编码 方法对p o s d a m e r 和a l t s c h u l e r 的方法提出了改进，增强了光模板的抗干扰能力。m i n o u 8 】 和lx u 【9 】等人设计使用了一种基于时间的多分辨率的二值编码，利用这种方法可以得到分 辨率较高平行光条，重建精度较高。 因为二值编码方法具有编码简单，重建精度高的优点，所以二值编码适合于重建精度 需求高而重建速度需求低的应用环境。最近几年，研究人员对二值编码方法做了很多研究 工作。2 0 0 7 年，d o u g l a si 舢m 一1 0 】等人利用二值结构光编码方法实现了目标物体3 6 0 。全景 三维重建，他们把两块成锐角的平面镜放置在待测物体的背面，通过平面镜的反射作用把 二值编码生成的光模板反射到待测物体背面，同时拍摄下经平面镜反射得到投射有光模板 的目标物体，用一个摄像机一个投影机实现了对目标物体全景3 6 0 。的三维重建。利用二值 编码结构光，2 0 0 8 年，d a n i e lg a l i a g a 1 1 】使用4 个投影机和2 个摄像机来对目标物体三维 重建，因为使用了多个投影机，重建分辨率大大提高，实现了对目标物体的多角度，多分 辨率的三维重建。2 0 0 8 年，j i y o u n gp a r k 1 2 】利用二值编码方法实现待测物体边缘深度检测。 2 0 0 8 年，j u nc h e n g 1 3 】利用这种编码方法，开发出应用于微电子产品表面三维形态检测的 工业检测系统。 2 ) 彩色编码结构光的研究现状 前面阐述的二值结构光编码方法，都是通过重复投射来实现目标物体的三维重建，要 实现对目标物体的重建，要通过重复投射，拍摄多幅图像( 一般l o 幅以上) 才能完成，重 建速度较慢，尽管d a e s i kk i m 【1 4 1 和i d a k ui s h i i ”1 提出了一种时间一空间相结合的编码方法， 一定程度上提高了重建的速度，但是因为二编码方法本身固有的缺陷，无法通过一次投射 来实现目标物体的三维重建，因而不适用于动态场景的三维重建。近年来，如何通过一次 投射来实现目标物体的快速精确三维重建是目前结构光三维视觉研究的热点。 彩色编码结构光模板利用颜色作为编码的载体，增加了光模板的编码信息，只要拍摄 一幅图像便能实现目标物体的三维重建，重建速度快，重建误差一般在1 以下，重建精 度高，且只需一次投射便能实现快速高精度三维重建。 针对彩色结构光编码方法，国内外的研究人员做了大量的研究工作。c h a d ia l b i t a r 和a d i p a n d a 等人通过向目标物体投射点阵光模板来实现目标物体的重型1 6 之0 1 。s a l v i 2 t 】 浙江工业大学硕士学位论文 提出了一种横竖光条相交的二维编码方法，用光条的交点作为重建的特征点，这种编码方 法在图像像素和码字间可以建立直接的一一对应的关系。以上这些研究人员提出的编码方 法是二维的编码方法，采用的颜色数目比较多，编码生成的光模板抗干扰能力相对较差。 2 0 0 2 年，l iz h a n g 2 2 】利用5 种颜色，通过d eb r u o n 序列编码生成了1 2 5 条相互平行的 平行光条结构光模板，l iz h a n g 的方法可以实现快速的三维重建，但是利用l iz h a n g 的方 法，当光模板投射到目标物体上时，会产生光条交叠现象，一定程度上影响了重建精度， 且重建分辨率不高，为了提高重建分辨率，2 0 0 5 年，j o r d ip a g e s 等人提出了一种对d eb r u o n 序列编码的优化方法【2 3 1 ，即通过在同一颜色的光条上再增加灰度信息，以提高重建分辨率。 2 0 0 7 年s yc h e n 提出了一种领域唯一性结构光编码方法【2 4 彩】，通过7 种颜色生成了由 2 0 2 0 像素大小的彩色小方格组成了一个3 8 行2 1 2 列的彩色光模板，每个小方格可以根 据它周围的彩色小方格的颜色信息实现唯一编码，利用阵列窗口特性，从一幅图像中唯一 定位特征点的投影机坐标，这种方法适合重建表面不连续的目标物体。 在结构光解码的研究方面，p h i l i p pf e c h t e l e r l 2 6 2 8 】等人使用颜色聚类的方法来实现彩色 结构光解码，这种方法一定程度上减少了由于环境光以及物体表面颜色而导致的误解码。 1 4 本文的研究内容及意义 本章1 3 节总节了结构光三维视觉的研究现状，在总结了前人研究成果的基础上，本 文研究内容拟从以下几点展开：1 ) 结构光三维视觉系统的设计；2 ) 彩色结构光编码方法的 研究；3 ) 结构光系统的标定；4 ) 利用彩色结构光三维视觉系统实现三维重建。 要实现高精度三维重建，除了标定算法以及编码方法的改进外，根据结构光三维重建 的基本原理，选择适合的摄像机和投影机、设计出精度高、操作方便的结构光硬件系统， 最大限度的降低操作误差和人为误差，是实验得以顺利进行的前提工作。 本章在介绍结构光三维视觉研究现状时提及，通过一次投射实现三维重建是结构光三 维视觉研究的热点，因为这种方法具有重建速度快、精度高的特点，为实现结构光实时三 维重建打下基础。通过编码生成高效的光模板是实现一次投射三维重建的关键，本章在1 3 节中介绍过，l iz h a n g 提出的编码方法生成的光模板抗干扰能力较差，重建分辨率不高， 且相邻光条之间容易产生边界模糊，特征点提取精度较低，导致重建精度下降；m o r a n o 和 s a l v i 提出的编码方法是一种二维编码方法，存在解码速度慢的问题，因为使用的颜色数目 较多，导致光模板易受环境光和待测物体表面颜色影响。如何对现有的结构光编码方法提 4 浙江工业大学硕士学位论文 出改进，设计出特征点明显，抗干扰能力强的光模板是本文研究的重要内容之。 结构光系统标定结果的好坏直接影响到三维重建结果，如何实现高效、高精度的标定 也是本文研究的内容之一。结构光系统标定的关键是特征点图像坐标和世界坐标的提取， 本文针对传统结构光系统标定方法中存在标定特征点坐标提取不精确以及标定特征点数 目较少的问题，研究如何从亚像素精度提取出大量标定特征点，以实现结构光系统高精度 标定。 获得目标物体精确的三维信息是本文研究彩色结构光三维视觉的最终目标，如何利用 完成标定的结构光系统实现三维重建，即实现从二维图像到三维世界坐标的变换，是本文 研究的又一项重要内容。现有方法主要是从像素级别实现目标物体的三维重建，精度不高。 本文针对现有的c a n n y 边缘检测算法只能检测到特征点的像素级边缘的不足做出了改进， 提取出特征点的亚像素边界，进而得到更精确的三维重建结果。 本文在以上研究的基础上，最后通过实验来分析系统三维重建的误差和系统尚存在的 问题，为以后的研究指明方向。 1 5 本文组织结构 本文分五章展开，具体组织内容如下： 第一章，绪论部分，主要总结了结构光三维视觉的研究背景及研究现状。概述了和被 动计算机视觉相比，主动计算机视觉的优点。阐述本文研究的内容和研究意义。 第二章，重点介绍结构光三维视觉系统的设计。为了得到精确的重建结果，首先应该 把系统的硬件误差和装配误差降到最低，本章中，首先阐述结构光三维重建的基本原理， 在此基础上设计出结构光三维视觉系统。 一 第三章，主要研究彩色结构光编码方法，在此基础上提出对传统基于d eb r u i j n 序列结 构光编码方法的改进。编码时引入黑色光条作为间隔光条，使用较少的颜色种类便能得到 高分辨率的光模板，减少解码时间，提高三维重建速度，增强光模板的抗干扰能力，同时 使光条和光条间的边界更加明显，三维重建精度得到提高。 第四章，主要研究结构光三维视觉系统标定。本章首先阐述结构光系统中的摄像机模 型和投影机模型，然后分别研究摄像机标定方法和投影机标定方法，利用现有成熟的技术 对摄像机进行标定。在对摄像机进行标定时，为了提高标定精度，本章提出了种直线拟 合方法实现投影机的标定。为了验证标定误差，本章首先利用反投影方法对摄像机标定结 5 浙江工业大学硕士学位论文 果进行验证，在完成投影机标定后，对标定特征点进行三维重建，来验证结构光系统的标 定误差。 第五章是在前面4 章的基础上实现对目标体的三维重建。首先，根据结构光系统三维 重建公式，建立从二维图像坐标到三维世界坐标转换的数学模型。其次，为了提高三维重 建的精度，本章提出了一种对传统c a n n y 算子边缘检测算法的改进方法，达到亚像素级精 度的边缘检测，提高了特征点检测精度。最后，通过实验，给出了实物三维重建结果，并 且对重建结果进行误差分析。 第六章，总结和展望部分，对本文所作的工作进行总结，对尚需解决的问题提出构想， 对未来的工作提出展望。 6 浙江工业大学硕士学位论文 第2 章彩色结构光三维视觉系统的设计 2 1 结构光视觉系统组成 在结构光三维视觉系统中，投影机向待测物体投射包含一定信息的光模板，摄像机拍 摄下经过物体表面形态调制的光模板，根据光模板的畸变信息来获得被测物体的三维信 息。其基本原理如图2 1 所示【2 9 1 ，假设( x ，y ，z ) 是待测物体上的一点，( “，) 是摄像机成像 平面的图像坐标，( f ，_ ，) 是投影仪光平面上的对应点。通过转换矩阵，可以从摄像机成像平 面的图像坐标( ”，y ) 得到被测物体的三维坐标( 工，y ，z ) ，具体的重建方法本文将在第五章中 详细阐述。 图2 - i 结构光系统原理图 根据结构光系统原理图，设计出如图2 2 所示的结构光三维视觉系统基本结构图，该 系统由投射结构光模板的投影机、采集图像的c c d 摄像机、计算机、载物台、连接板、 以及控制待测物体移动的高精度二维移动平台组成。投影机、摄像机和待测物体构成一个 三角形。投影机与摄像机分别和计算机相连：计算机a 用于控制二维移动平台的移动，同 时和摄像机相连来采集及显示图像，计算机b 通过程序编码生成包含一定信息的结构光模 板，利用投影机投射到待测物体上。 系统工作时，通过计算机控制移动平台，使标定板或者待测物体处于不同深度和不同 方位。并通过计算机控制摄像头采集图像并保存图像数据，供实验中系统标定以及三维重 建使用。 7 浙江r 业人学硕十学位论文 蚓2 - 2 结构光系统的组成 2 2 结构光系统设计 221 二维移动平台的构建 搭建结构光三维视觉硬件系统时， 维移动平台采用的是g o o g o lg x y 2 0 2 0 移动平台 系统，如图2 - 3 所示。该系统由计算机、电控箱、运动控制 、伺服( 步进) 电机及相关 软件组成。欧系统可以精确控制实验中标定模板和待测物体的移动距离，它的精度- 以达 到1 m m 。 一 州2 - 3 一维移动平台 运动、f 什的位胃控制窗口如图2 4 所示，从控制窗e l 可咀看出实验中町咀根据实验需 求精确撺制移动1 舟的1 奇_ 筒。 浙江工业丈学硕士学位论文 田叠蟊口瞄嘲鞲麟黼 日d m4 m 口 日r 4 惭 职 ：二一 自i t 口m 4 女- 睁佃e 。1 6 - 一”? 。；，日 - ! ! ，d m 图2 4 运动平台控制窗口 二维移动平台上还需再安装一个载物台，载物台的作用除用于放置物体外，还用于固 定标定板，如图2 - 5 所示。所以在载物台上安装了一个固定装置，固定装置需要满足三个 要求：第一，固定装置能把特征模板垂直固定在平台面上；第二，固定装置中用来固定物 件的部分要尽可能少地遮挡特征模板上的特征点：第三，特征模板的装配角度必须可以调 整，原因就是模板平面与平台的运动方向应该垂直，否则会对系统标定产生误差。 圈2 - 5 移动平台的同定装置 2 22 成侮系统装置设计 成像系统是出投影机和摄像机组成的装最。它起到的作用是固定投影机和摄像机相对 位置，投影机同定在底座上，摄像机固定在横杆上，使投影机和摄像机的相对位置保持固 定，这样做的好处是一旦系统标定完毕就无需再次标定，可以对其它场景进行三维重建。 9 墨 浙江丁业大学硕e 学位论文 同时为了满足视场的需要，摄像机绕水平转轴可以在3 6 0 。范围内调节，在水平方向上可以 通过螺杆调整摄像机的水平位置，在竖直方向上也能通过螺杆调整摄像机的垂直位置。成 像系统装置图如图2 - 6 所示。 图2 - 6 结构光成像系统装置嘲 223 摄像机和投影机性能指标 在实验环境中，本文利用颜色作为光模板信息的载体，所以对拍摄的图像颜色是否失 真，成像设备能否抗周围环境强光的干扰有比较高的要求，而且在结构光系统标定时摄像 机的畸变效应也会对实验结果有较大的影响，所以摄像机选择将会直接影响到实验结果。 本系统选用大恒d h s v l 4 1 0 f c f m 型工业c c d 摄像机采集图像，c c d 摄像机是一种半导 体成像器件，因而具有抗强光、畸变小、体积小、抗震动、灵敏度高等优点。摄像机的主 要参数：透镜焦e f - 2 5 m m ，像素尺寸64 5 64 5 u m ，分辨率1 3 9 2 x 1 0 4 0f 1 4 4 7 6 8 0 像素) 。 本系统采用的投影机的型号是p l u sv - 1 1 0 0 c ，暖投影机的特点是画面清晰，可以把计 算机屏幕上的影像以超高质素显示，先进的数码技术可以调整投影画面的水平和垂直梯形 扭曲现象，极大的减少了光条投射到待测物和标定板时产生的畸变和颜色失真。投影机的 主要参数如下：分辨率为全彩色( 1 6 ，7 7 0 ，0 0 0 色) ，影像尺寸6 英寸至2 0 0 英可，对比度2 0 0 0 ：1 。 浙江r 业大学硕七学位论文 匝 图2 7 整体实物吲 2 3 本章小结 本章着重讲述了结构光三维视觉系统的设计，包括移动平台的设计和成像系统的设 计，并介绍了这些设备的技术参数。自行设计了成像系统结构装置、连接扳及载物台的各 个模块。在此视觉系统中，摄像机可沿水平方向左右移动，沿垂直方向上下移动还可以 绕水平轴旋转，摄像机图像采集视场较大，投影机投射方位可自由调节，整体实物图如图 2 7 所示。 浙江工业大学硕士学位论文 第3 章彩色结构光编码 3 1引言 本文在第一章中简单介绍过结构光三维重建的原理：结构光三维视觉系统首先通过投 射装置向目标物体表面投射通过编码生成的具有一定形态的光模板，光模板投射到待测物 体表面时产生畸变，再用摄像机拍摄经调制的光模板，从拍摄的图像中提取出重建特征点， 在完成结构光系统标定的基础上，实现从二维图像到三维世界坐标的转换，进而完成三维 重建。在这个过程中，投影机投射的光模板经过特殊编码，在图像像素坐标和码字之间建 立一一对应的关系，每个像素都有属于自己的编码信息。码字由代表不同信息的数字组成， 这些码字一般是利用图像的灰度信息，颜色信息或者几何信息得到的。实验中需要编码的 光条越多，码字的数量就越大，使得建立从码字到结构光图案的映射关系就越困难。而研 究结构光编码的主要目的就是寻求最优化的方法来描述这些码字，实现码字到结构光图案 的映射。 本章在总结现有结构光编码方法的优缺点的基础上，提出了一种对现有的基于d e b r u i j n 序列彩色结构光编码的改进方法，实现了对现有的基于d eb r u i j n 序列彩色结构光编 码方法的优化。 3 2 结构光编码方法概述 结构光编码方法主要分为两类【3 0 】： 第一类是基于二值编码的编码方法，如图3 1 所示是基于二值图案的多次投射编码方 法，它是最普通的结构光编码方法，光模板随着时间序列向待测物体重复投影，光条密度 同时变大，进而能得到较高的分辨率。本文第一章在介绍结构光的研究现状时，已经阐述 过，二值编码方法具有三维重建精度高的特点。主要有以下原因：首先，生成光模板的码 基一般很小( 通常是二进制) ，所以光条和光条之间的边界明显。其次，投射到目标物体上 的光模板的光条有一个从粗到细的过程，随着光条的密度增加，三维重建的分辨率也得到 提高。这种技术的优点是易于实行，完成高空间分辨率和精确的三维测量。但是这种方法 的主要弊端是需要通过多次投射才能实现三维重建，重建过程中需拍摄多幅图像，重建速 1 2 浙江工业大学硕士学位论文 度慢，所以这种方法无法实现运动物体的重建。 口册删皿 图3 1二值编码方法 3 1 1 第二类是通过一次投射来实现目标物体三维重建的彩色结构光编码方法。为了解决第 一类编码方法重建速度慢问题，近年来结构光编码方法的研究主要围绕着如何通过一次投 射来得到高精度的重建结果展开。利用颜色信息来实现快速准确编码解码的彩色结构光编 码技术成为结构光领域的研究热点，国内外的研究人员做了大量的研究工作。m o r a n o 3 2 】 提出了一种基于随机阵列理论的结构光编码方法，该编码方法是利用伪随机阵列的窗口唯 一性来实现编码与解码，如图3 2 a 所示。s a l v i ”】提出了一种二维空间彩色线光条编码方法， 如图3 2 b 所示，这种方法是一种直接编码方法，即图像的像素和码字之间有直接的映射关 系，每个像素点的坐标都可以和一个码字对应起来。m o r a n o 和s a l v i 提出的编码方法都是空 间二维编码方法，解码速度较慢，三维重建特征点少，重建分辨率较低，且这种编码方法 需要的颜色数目较多，重建结果容易受被测物的表面颜色及环境光的影响。 2 0 0 2 年，l iz h a n g 利用d eb r u i j n 序列一维编码方法进行编码产生1 2 5 条光条，如图3 2 c 所示，实验中他利用光条的边界作为特征点实现三维重建。用这种编码方法生成的光模板 是由相互平行的彩色光条组成，因为它是一种一维编码方法，相对于二维编码方法，这种 方法具有解码速度快、三维重建速度快的优点。但是利用l iz h a n g 的编码方法生成的光模 板存在相邻光条间颜色差异不明显的缺点，当光模板投射到待测物体表面时颜色边界不明 显，容易产生边界交叠现象，重建精度不高；为了提高三维重建分辨率，必须使用较多的 颜色种类来编码，增加了编码和解码的时间复杂度，同时也降低了光模板的抗干扰能力。 针对这些不足之处，本章接下来主要研究如何对现有的基于d eb r u i j n 序列彩色结构光编码 方法实现改进。 1 3 浙江工业大学硕士学位论文 ( a 1m o r 卸。随机阵列编码。3 2 一 ：- _ 。_ _ ll 盯 ( b ) s a l v 仁维空间编码( c ) d eb r u l j n 图3 2 她犁的彩色结构光编码方法 3 3 基于d eb r u i j n 序列的结构光编码与解码 为实现精确快速的三维重建，片先要选择一种优化的编码方法来生成特征点易于提 取、解码速度快的光模板，尤其是针对通过一次投射来实现二维重建的结构光系统，这一 点显得尤为重要。本审在32 节中已经阐述，二维编码方法存在解码速度慢的缺点，而且 二维编码时使川的颜色类别相对较多，解码时容易受到环境光和物体表面颜色影响，且。 维编码方法获得的光模板的重建特征点较少。为了实现快速精确的二i 维重建，奉文采j f 】一 维编码方法。 基于d eb r u i j n 序列的彩色结构光编码方法是一种典型的一维结构光编码方法，它克服 了二维编码方法中存在的解码速度慢的缺点。利埔该编码方法生成的光模板由很多条相互 浙江工业大学硕士学位论文 平行的细光条组成，三维重建时利用光条的边缘点作为重建特征点。光模板上存在大量的 边缘点，相比于二维编码方法，能得到更多的三维重建特征点，重建的分辨率比二维编码 方法高。 3 4 1d eb r u i j n 序列的数学模型 d eb r u i j n 序列的定义：设q = ( o ，1 ，g 一1 ) 是一个具有g 个元素的集合