（信号与信息处理专业论文）基于图像的三维物体建模系统的研究与实现.pdf

安徽大学硕士学位论文 基于图像的三维物体建模系统的研究与实现 摘要 基于图像的三维物体建模是计算机视觉领域的重要研究课题，其特点是：在 进行三维建模时，不需要与待建模物体相接触，并且建模速度快、成本低、精度 高，具有极大的社会需求和发展前景，研究成果可广泛应用于在虚拟现实、文物 保护、机械加工、影视特技制作、计算机仿真、服装设计等领域。因此对基于图 像的三维物体建模系统进行研究和开发不但具有重要的理论意义而且具有广泛 的应用前景。 本文分析了三维建模技术的发展现状，对基于图像的三维物体建模系统进行 了较为深入的研究，包括系统原理、系统标定、光栅检测与匹配、三维数据融合 等。本文所完成的主要研究成果如下： 1 对系统整体标定方法( 三位一体的标定方法) 进行了研究，该方法不需 要标定摄像机内参数、基线长度以及光线与基线之间的夹角，只需要标定出每个 光平面在世界坐标系中的方程和摄像机的投影矩阵，就可以完成整个标定过程， 系统的整体标定精度较高。 2 对角点检测优化技术进行了研究，利用平面单应原理，在保证角点检测 精确度的基础上大幅度简化了角点匹配工作，提高了运算速度。 3 研究了一种新的光栅模式及该模式下的光栅标注方法，该标注方法相比 以往的动态规划算法大大提高了标注速度，并且该方法在存在光栅遮挡时也有较 高的标注准确度。 4 在多视点三维数据融合中，提出了一种通过计算消影点来求解工作台旋 转角度的方法，该方法简单易行、降低了成本。 5 对三维数据的后期处理进行了研究，使所得数据结果可以直接与其他商 业软件( 如a u t o c a d 、3 d m a x 等) 兼容。 6 在v c + + 平台上完成了系统的编程工作，实现了一个基于图像的三维物体 建模软件系统。 关键词：三维建模，系统整体标定，三维数据融合，平面单应，结构光 室壁查堂堡主堂垡丝茎 垒! ! ! 竺! a b s t r a c t 3 dm o d e l i n gi sf i ni m p o r t a n ts u b j e c ti nt h er e s e a r c ho fc o m p u t e rv i s i o n ，w h i c h i sw i d e l yu s e di nm a n ya r e a ss u c ha sv r ( v i r t u a lr e a l i t y ) ，a n t i q u ep r o t e c t i o n ，f i l m i n d u s t r y , m a n u f a c t u r ei n d u s t r y , c a d ，c a ma n dc l o t h i n gi n d u s t r ye t c a m o n gt h e m e t h o d so f3 d m o d e l i n g ，t h em e t h o db a s e do ni m a g e si sap o p u l a ra n dp r o m i s i n g s u b j e c t ，a n di ti si ng r e a tn e e da tp r e s e n tb e c a u s ei tc a r lg e ta c c u r a t e3 dd a t af r o ma n o b j e c tc h e a p l yw i t h o u tc o n t a c t i n gi t c o n s e q u e n t l y , i ti ss i g n i f i c a n tt os t u d yo nt h i s m e t h o di nt h e o r ya n d p r a c t i c e t h er e c e n tt e c h n i q u e so f3 dm o d e l i n ga r e a n a l y z e da n dt h em e t h o do f3 d m o d e l i n gb a s e do ni m a g e si ss t u d i e di nt h i sp a p e r , i n c l u d i n gt h es y s t e mp r i n c i p l e ， s y s t e mc a l i b r a t i o n ，i m a g er a s t e re x t r a c t i n ga n di n d e x i n g ，a n d3 dd a t ai n t e g r a t i o ne t c t h em a i nw o r ko f t h i sp a p e ri sa sf o l l o w s ： 1 t h em e t h o do fi n t e g r a lc a l i b r a t i o ni ss t u d i e di nt h i sp a p e r b yt h i sm e t h o d ， c a m e r ai n t r i n s i cp a r a m e t e r s ，b a s e l i n el e n g t h ，a n dt h ea n g l eb e t w e e nt h er a s t e ra n dt h e b a s e l i n en e e dn o tb ec a l i b r a t e da l o n e o n c ee a c hl i g h tp l a n ee q u a t i o ni nt h ew o r l d c o o r d i n a t e ss y s t e mi st oh a n da n dt h ec a m e r ai sc a l i b r a t e d ，t h es y s t e mi sc a l i b r a t e d w h o l l yw i 廿lh i g hp r e c i s i o n 2 t h ec o m e r - m a t c h i n go p t i m i z a t i o nm e t h o do fc o m e rd e t e c t i o ni ss t u d i e d t h i s m e t h o dg r e a t l yi m p r o v e st h eo p e r a t i o ns p e e da n dr e d u c e st h ec o s to f c o m e r - m a t c h i n g ， w h i l et h ep r e c i s i o nr e m a i n sh i g h 3 an e wr a s t e rp a t t e r na n dr a s t e ri n d e x i n gm e t h o do f t h en e wp a t t e ma r es t u d i e d b yt h i sm e t h o d ，t h ei n d e x i n gs p e e di si m p r o v e dc o m p a r e dw i t ht r a d i t i o n a lm e t h o do f d y n a m i cp r o g r a r r t m i n ga l g o r i t h m b e s i d e s ，t h i sm e t h o dp o s s e s s e sh i g hc o r r e c tr a t e e v e ni f t h er a s t e ri ss h e l t e r e d 4 a ne a s ya n dp r a c t i c a lm e t h o do fm e a s u r i n ga n g l ei sp r e s e n t e d ，w h i c hi s m e a s u r i n gt h ea n g l eo fr e v o l v i n gm m t a b l eb ys o l v i n gv a n i s h i n gp o i n t t h e e x p e r i m e n t a lr e s u l t ss h o wt h i sm e t h o dp o s s e s s e sh i g hp r e c i s i o nw i t hl e s sa c c u r a t e m e a s u r e m e n t s ，a n di se a s yt ob ei m p l e m e n t e d 5 p o s t p r o c e s s i n go f3 dd a t ai ss t u d i e d a sar e s u l t ，t h ed a t aw eg e tc a nb e n 窒墼查兰堡主兰垡笙苎 薹主堕堡堕三丝塑笪壁堕墨竺堕竺塑! ! ! 塑 p r o c e s s e db yo t h e rc o m m e r c i a ls o f t w a r e ( s u c h a sa u t o c a d 、3 d m a ) 【e t c ) 6 n l ep r o g r a mw o r ko fs y s t e ms o f t w a r eb a s e d o nv c + + h a sb e e na c h i e v e d ，鼬d a3 dm o d e l i n gs y s t e mb a s e do ni m a g e si sr e a l i z e d k e y w o r d s ：3 dm o d e l i n g ，s y s t e mi n t e g r a lc a l i b r a t i o n ，3 di n t e g r a t i o n ，h o m o g r a p h s t r u c t u r e dl i g h t 1 1 1 安徽大学硕士学位论文插图清单 图2 1 系统基本原理示意图 插图清单 5 图2 2 传统标定方法示意图一一一一一一一一一一一一一6 图2 3 系统整体标定原理示意图 图2 4 摄像机标定示意图 图2 5 平面单应示意图 图2 6 角点检测结果 图2 7 光平面方程计算原理图 图2 8 用于边缘检测的c a n n y 算法一一一 图2 9 打上结构光的标定块图像 图2 1 0 光栅边缘检测结果 图2 1 ih o u g h 变换示意图 图2 1 2 直线检测效果比较图 图2 1 3 实际检测结果图 图2 1 4 彩色光栅示意图 图2 1 5 光栅与光平面的对应 图2 1 6 光栅边缘扭曲对比图 图2 1 7 多主光栅示意图 图2 1 8 建模结果比较 一2 0 2 1 2 2 2 2 2 3 2 5 2 6 图3 1 基于图像的三维物体建模系统硬件原理图 图3 2 摄像机坐标系与工组台坐标系一一 图3 3 旋转轴标定原理图 图3 4 简单改造后的工作台表面示意图 图3 5 三维数据融合结果 图3 6 三维数据显示界面一一 图3 7 数据转换结果在c a d 中的显示界面 图4 1 系统工作流程框图 图4 2 标定与融合模块运行环境 图4 3 三维建模子系统运行环境 v i 1 嵋 加 n u 坞 m m 埔 均 均 约 孔驼 船 弱 舶 安徽太学硕士学位论文 基于酗像的三维物体建摸系统的研究与实现 图4 4 参数设置对话框一 图4 5 三维数据显示子系统 图4 6 光栅处理与三维建模界面 图4 7 系统标定界面一 图4 8 三维数据显示界面 - 3 7 - 3 9 图4 9 数据转换结果在c a d 中的显示界面 图4 1 0 用于求解光平面方程的标定块图像 4 1 4 1 4 2 4 2 图4 1 l 用于标定摄像机投影矩阵的标定块图像 图4 1 2 待建模图像 图4 1 3 不同视角下点云显示结果 图4 1 4 不同视角下三维网格模式显示效果图 图4 1 5 不同视角下光照模式显示效果图一 图4 1 6 不同视角下贴纹理显示效果图 4 2 一- 4 2 4 3 4 3 4 4 图4 1 7 用于求解光平面方程、摄像机投影矩阵和旋转轴的三幅图像 图4 1 8 用于数据融合的4 幅不同视点下的图像 图4 1 9 不同视角下三维数据融合结果图 图4 2 0 用于曲面建模精度分析的图像 4 4 4 4 4 5 4 6 图4 2 1 用于光滑表面建模精度分析的图像 图4 2 2 建模结果 图4 2 3 视角 图4 2 4 视角二 图4 2 5 度量精度分析图像 v j 4 6 4 7 - 4 8 型壁壁塑塑 塑竺墅竺 l i s to f f i g u r e s f i g u r e2 1b a s i cp r i n c i p l eo f 3 d m o d e l i n gs y s t e m f i g u r e2 2t h et r a d i t i o n a lc a l i b r a t i o nm e t h o d 一6 f i g u r e2 3t h ep r i n c i p l eo f i n t e g r a lc a l i b r a t i o n 7 f i g u r e2 4c a l i b r a t i o no f c a m e r a - r f i g u r e2 5t h ep r i n c i p l eo f p l a n e h o m o g r a p h 一一10 f i g u r e2 6t h er e s u ro fc o m e rd e t e c t i o n - 1 1 f i g u r e2 7t h ep r i n c i p l eo f s o l v i n gl i g h t p l a n ee q u a t i o n f i g u r e2 8c a n n yu s e di ne d g e d e t e c t i o n 1 3 f i g u r e2 9t h ei m a g eo f c a l i b r a t i o nb o xu n d e rs t r u c t u r e dl i g h t f i g u r e2 1 0t h er e s u l to f r a s t e re d g ed e t e c t i o n 1 4 f i g u r e2 1 1h o u g h t r a n s f o r m 一一一1 6 f i g u r e2 1 2c o m p a r i s o no f e d g ed e t e c t i o nr e s u l t f i g u r e2 1 3r e s u l to f e d g ed e t e c t i o n - 一1 9 f i g u r e2 1 4c o l o r f u lr a s t e r 一2 0 f i g u r e 2 - 1 5 m a t c h i n g o f r a s t e r a n d l i g h _ c p l a n e 一一2 1 f i g u r e2 1 6c o m p a r i s o no f d i s t o r t e dr a s t e re d g e 2 2 f i g u r e2 1 7p i c t u r eo f m u l t i - m a i n - r a s t e r 一一2 2 f i g u r e2 1 8c o m p a r i s o no f 3 d m o d e l i n gr e s u l t s f i g u r e3 1t h eh a r d w a r eo f 3 dm o d e l i n gs y s t e mb a s e do ni m a g e s f i g u r e3 2c a m e r ac o o r d i n a t es y s t e ma n dt u r n t a b l ec o o r d i n a t es y s t e m 2 5 2 6 f i g u r e3 3t h er o t a t i n ga x i sc a l i b r a t i o np r i n c i p l e 一一2 7 f i g u r e3 4s c h e m a t i cd i a g r a mo f t u m t a b l es u r f a c ea f t e ra l t e r a t i o n - - 2 9 f i g u r e3 5r e s u l to f3 di n t e g r a t i o n 3 1 f i g u r e3 63 dd a t av i s u a li n t e r f a c e 一3 2 f i g u r e3 7d a t at r a n s f o r m a t i o nr e s u l td i s p l a y e db yc a d 一3 3 f i g u r e4 1s y s t e mf l o wc h a r t 一一3 5 f i g u r e4 2c a l i b r a t i o na n di n t e g r a t i o nm o d u l e 一3 6 f i g u r e4 33 dm o d e l i n gs u b s y s t e m v i l l 安徽大学硕士学位论文 基于图像的三维物体建模系统的研究与实现 f i g u r e4 4p a r a m e t e rs e t t i n gd i a l o g f i g u r e4 53 dd a t ad i s p l a ys u b - s y s t e m 一一一- - - - - 一一一- 一一一一一一- 一一- - 一 3 7 3 9 f i g u r e4 6t h ep i c t u r eo f r a s t e rd i s p o s a la n d3 dm o d e l i n g - 一一- 一一一- 一一- 一一一一一一- - - - - 一一- - 一一4 0 f i g u r e4 7t h ep i c t u r eo fs y s t e mc a l i b r a t i o n 一- 一- - - - 一- - 一- - - ，- 一- 一一- - 一一一- 一一一一一- - 一一- 一一一4 0 f i g u r e4 8t h ep i c t u r eo f3 dd a t ad i s p l a y - - - - 一- 一一一一一- - - 一- 一- - 一，一一- - - - - 一- - 一- - - - 一- - - - 4 1 f i g u r e4 9r e s e td i s p l a y e db yc a d - 一一一一一- - - - 一- - 一- ，- - 一一一一一一- - - 一- - - 一一一一一一4 1 f i g u r e4 1 0p i c t u r eo f c a l i b r a t i o nb o xu s e di ns o l v i n gl i g h tp l a n ee q u a t i o n - 一4 1 f i g u r e4 11p i c t u r eo f c a l i b r a t i o nb o xu s e di nc a m e r ac a l i b r a t i o n - 一4 2 f i g u r e4 1 2p i c t u r ew i l lb er e c o n s t r u c t e d 一一一4 2 f i g u r e4 1 3d i s p l a ye f f e c to f p o i mc l o u df r o md i f f e r e n tv i e w p o i n t s 一一4 2 f i g u r e4 1 4d i s p l a ye f f e c tw i t h3 dg r i d 一一4 3 f i g u r e4 1 5d i s p l a ye f f e c tu n d e rl i g h tf r o md i f f e r e n tv i e w p o i n t s 4 3 f i g u r e 4 1 6 d i s p l a ye f f e c t 州t 1 1t e x t u r a l f e a t u r e sf r o md i f f e r e n tv i e w p o i n t s 一一一4 4 f i g u r e4 17t h r e ep i c t u r e su s e di ns o l v i n gl i g h tp l a n ee q u a t i o n ，c a m e r ac a l i b r a t i o n a n dr o t a t i n ga x i sc a l i b r a t i o n - 一一1 4 f i g u r e4 1 8f o u rp i c t u r e su s e d i n3 dd a t a i n t e g r a t i o n f r o md i f f e r e n t v i e w p o i n t s 4 4 f i g u r e4 1 9r e s u l t so f 3 dd a t ai n t e g r a t i o nf r o md i f f e r e n tv i e w p o i n t s 一4 5 f i g u r e4 2 0p i c t u r eu s e di nr e s e tp r e c i s i o na n a l y s i s 一一- - 4 6 f i g u r e4 2 1p i c t u r eu s e di ns m o o t hs u r f a c e3 dm o d e l i n g 一4 6 f i g u r e4 2 23 dm o d e l i n gr e s u l t 一一4 6 f i g u r e4 2 3v i e w p o i n to n e 一一4 7 f i g u r e4 2 4v i e w p o i n tt w o 一- - - 一- - 一4 7 f i g u r e4 2 5a n a l y s i so f r e s d tp r e c i s i o n 一- 4 8 l x 安徽大学硕士学位论文 基于图像的三维物体建模系统的研究与实现 第一章绪论 1 1 计算机视觉与三维建模 人类感知外界环境信息主要是通过视觉来实现的，使计算机或机器人具有类 似于人类的视觉功能，是人类长期的梦想。随着计算机技术和信号处理理论的发 展，人们开始尝试利用摄像机拍摄环境图像并将其存储到计算机中，然后让计算 机完成视觉信息处理的全过程，由此就产生了- i 1 新兴的学科计算机视觉。 计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的 能力。这种能力将不仅使计算机能感知三维环境中的几何信息，包括它的形状、 位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解【l 】。计算机视 觉使用的理论方法主要是射影几何、刚体运动力学、概率论与随机过程、图像处 理以及人工智能等理论。概括起来，计算机视觉要达到的基本目的有以下几个 2 1 ： ( 1 ) 根据一幅或多幅二维投影图像计算观察点到目标物体的距离； ( 2 ) 根据一幅或多幅二维投影图像计算目标物体的运动参数； ( 3 ) 根据一幅或多幅二维投影图像计算目标物体的表面特性； ( 4 ) 根据多幅二维投影图像计算恢复出更大空间区域的投影图像。 从计算机视觉理论的发展历史来看，主要分为两个阶段。第一个阶段是m i t 的d m a r t 在八十年代初提出的视觉系统框架【3 】。该视觉系统框架是m a r r 从信息 处理的角度，综合了图像处理、心理物理学、神经生理学及临床精神病学等的研 究成果提出的第一个较为完善的理论框架，它大大地促进了计算机视觉这门学科 的形成与发展。第二阶段是近十年来发展起来的所谓几何计算机视觉，它把复杂 的数学( 尤其是射影几何等) 引入到计算机视觉的研究中，形成了所谓的“多视 图几何”【4 j 。多视图几何为理解和形式化多视图成像几何奠定了坚实的理论基础， 使得十几年前被认为无法解或难以解的问题得以求解。 基于图像的三维建模是计算机视觉领域中一个至关重要的经典问题，也是用 计算机模拟人眼视觉功能所需要完成的最后一步，即恢复物体的三维信息。三维 建模的用途很广，可以应用在机器人导航，视觉监控，建筑制造等行业。同时在 计算机虚拟现实，基于图像的绘制( i b r ) ，三维动画等技术中都有广泛的应用。 安徽大学硕士学位论文序论 在未来几年中它仍然是计算机视觉的重要研究方向之一。 1 2 基于图像的三维物体建模技术发展现状 利用图像获取物体三维模型是计算机视觉的一项重要任务嘶】。在三维建模 的各种方法中，基于图像( 视觉) 的方法以其非接触性、成本低、采样快等特点， 一直引起众多研究者的广泛关注 5 1 4 】。 基于图像( 视觉) 的方法通常采用三角测量原理，概括起来，一般分为被动 视觉系统和主动视觉系统两大类 7 , 9 , 1 0 】。被动视觉系统即我们通常所说的立体视觉 方法，采用多台摄像机或一台摄像机在不同位置拍摄多幅物体图像来恢复场景深 度信息。但这类方法都无法回避在不同图像间寻找匹配关系的问题，图像匹配是 计算机视觉领域的一个经典难题，从而限制了这类方法的广泛应用。主动视觉系 统一般采用结构光的方法0 1 。该系统通常包括一台摄像机和一个投影仪，投影 仪向物体投射一些人工设计的图案，如点、网格、光条等”，摄像机拍摄被照 物体得到这些结构光图案在物体表面形成的变形图像，利用结构光的编码技术和 三角测量方法，来恢复物体的三维结构。这种方法借助结构光的信息，从而在某 种程度上简化了图像匹配问题。 本文所研究的“基于图像的三维物体建模系统”属于主动视觉系统。采用主 动视觉系统建模，首先必须对系统进行标定。现有的标定方法大致可以分为3 类， 即结构光标定法、转换矩阵法和透视投影仪模型法 9 , 1 2 1 5 】。其中，结构光标定法 是最常用的一种方法，它对摄像机和投影仪分别标定，求出投射的光条所在光平 面的模型【1 2 】。转换矩阵法对每一个投影光条求解一个4 x 3 的变换矩阵，通过变 换矩阵求解图像上的光条所对应的空间三维信息【1 3 , 1 4 。这两类方法都假定被照亮 的物体表面上的点恰好在光平面上，当投影仪镜头存在畸变时，光平面的模型无 法精确描述投影关系。透视投影仪模型法也是对摄像机和投影仪分别标定，但它 所标定的不是投射的光条所在光平面的模型，而是将投影仪看作一个反向的透视 投影摄像机，在考虑镜头畸变的情况下，求解该反向摄像机的内参数模型【9 ，l 5 1 。 当主动视觉系统的某个部件发生位置变化，或内部参数( 如光圈、焦距等) 调整 时，必须对系统重新进行标定。以上这些标定方法，其标定过程都比较繁琐，而 且需要一个可以精确控制其运动的移动机构来完成。为了提高主动视觉系统对物 2 安徽大学硕士学位论文 基于图像的三维物体建模系统的研究与实现 体建模的速度和效率，大多数系统都采用同时向物体投射各种结构光图案的方 法，需要利用结构光编码技术来解决结构光的匹配问题。对此，文献【1 0 】给出了 一个较好的综述。第一类编码方法是基于物体的空间连续性假设 7 , 1 0 , 1 2 , 1 6 ，即物 体不存在遮挡和不连续情况，这样，投影仪投射条纹的顺序与其在图像上的顺序 是一致的；第二类方法是基于时间连续性假设，即物体相邻像素在不同时刻是相 同的【7 , 1 0 , 1 7 ，投影仪按照编码策略，在不同时刻，控制像素的亮灭，由摄像机检 测这些特别的灰度图案，从而实现匹配；第三类方法是采用颜色编码策略 7 ，l 们， 假设物体表面颜色为中性，不改变投影仪投射的彩色信息。每一种编码策略均有 其局限性，如第二类方法不适合于对运动物体的建模。 三维建模的结构光方法已提出多年，由于该技术还没有达到实用化程度，目 前很少有这种三维建模的实用系统闯世。究其原因，主要有以下三个方面。其一、 所有的系统标定过程都比较繁琐，需要一个可以精确控制其运动的设备来完成， 一旦系统的内部参数发生变化时，用户需要这种精确控制其运动的设备来重新标 定系统。其二、大多数的标定方法都需要标定出摄像机中心和光源中心的距离即 基线的长度，然后再标定出光线与基线的夹角，以及摄像机的内部参数。这种标 定方法是一种局部方法，而不是对系统整体标定，每一个局部误差对系统的整体 误差影响非常大，系统整体标定精度不高。因此，系统很难获取较精确的3 d 数 据。最后，没有种普适性的结构光编码技术，尽管结构光编码技术在某种程度 上简化了立体视觉中的图像匹配问题。 1 3 本文的主要研究内容 本文对基于图像的三维物体建模系统进行了深入的研究，主要研究内容如 下： 1 对系统整体标定方法( 三位一体的标定方法) 进行了研究，该方法不需 要标定摄像机内参数、基线长度以及光线与基线之间的夹角，只需要标定出每个 光平面在世界坐标系中的方程和摄像机的投影矩阵，就可以完成整个标定过程， 系统的整体标定精度较高。 2 对角点检测优化技术进行了研究，利用平面单应原理，在保证角点检测 精确度的基础上大幅度简化了角点匹配工作，提高了运算速度。 安徽大学硕士学位论文序论 3 研究了一种新的光栅模式及该模式下的光栅标注方法，该标注方法相比 以往的动态规划算法大大提高了标注速度，并且该方法在存在光栅遮挡时也有较 高的标注准确度。 4 在多视点三维数据融合中，提出了一种通过计算消影点来求解工作台旋 转角度的方法，该方法简单易行、降低了成本。 5 对三维数据的后期处理进行了研究，使所得数据结果可以直接与其他商 业软件( 如a u t o c a d 、3 d m a x 等) 兼容。 6 在v c + + 平台上完成了系统的编程工作，实现了一个基于图像的三维物体 建模软件系统。 1 3 论文的组织结构 本文的组织结构如下： 第一章围绕本文所研究的内容，介绍了计算机视觉的研究目标与发展历史， 并介绍了基于图像的三维物体建模技术的发展现状，具体分析了基于图像的三维 物体建模系统的特点以及关键技术。 第二章介绍了基于图像的三维物体建模系统的硬件组成以及原理。具体分 析了系统的基本原理、系统整体标定( 包括摄像机投影矩阵的标定、光平面方程 的计算) 、光栅边缘标注索引以及一个面的三维建模等。 第三章介绍了如何进行三维数据融合及三维数据的后期处理。具体分析了 在三维数据融合中使用的两项关键技术旋转轴的标定与旋转角度的测量。其 中对旋转轴的标定是利用平面单应原理求解不动点的方法，该方法标定旋转轴速 度快，标定精度高i 对硬件系统要求低。对求解工作台旋转角度采用的是计算消 影点的方法，该方法易于实现，计算精度可以满足三维数据融合的需要。 第四章介绍了基于图像的三维物体建模系统的组成、各模块的功能及使用 方法。给出了各模块的操作界面，对部分主要参数进行了说明，并给出了利用该 系统实际操作的过程与三维建模结果，最后对三维建模结果进行了精度分析。 第五章对全文进行了总结，对未来工作进行了展望。 4 安徽大学硕士学位论文 基于图像的三维物体建模系统的研究与实现 第二章系统标定与三维数据建模 基于图像的三维物体建模系统包括一台摄像机( 或数码相机) 和一个投影仪， 投影仪向三维物体投射一些人工设计的图案( 本文采用的是彩色光条图案) ，摄 像机拍摄被照物体得到这些结构光图案在物体表面形成的变形图像，利用光条图 像的索引编码技术和计算机视觉技术，来获取物体表面的三维数据。基本原理示 意图如图2 1 所示。 事i 用计算机视觉技 术获取豹三_ 维数据 不l 霹视点的纹壤显 示获版豹三维数据 图2 1 系统基本原理示意图 根据图2 1 所示，第一步需要标定摄像机，即求出摄像机投影矩阵；第二步， 在摄像机投影矩阵求解出来之后，将光栅( 结构光) 投射到标定块上，获取此时 的图像，求出每个光平面在世界坐标系中的方程并且找出图像中的光栅与光平面 的对应关系，即光栅标注。第三步，系统整体标定完成后便可对物体进行三维建 安徽大学硕士学位论文系统标定与三维数据重构 模。将光栅( 结构光) 投射到待建模物体上，获取待建模物体在光栅照射下的图 像，并对该光栅图像进行处理。对光栅图像的处理主要是从光栅图像中提取光栅， 并建立光平面与图像光栅的对应关系，任意光栅边缘像素点与摄像机中心的连线 和对应光平面的交点即是该像素点在世界坐标系下的坐标，这样就可以得到待建 模物体拍摄面的三维数据。 2 1 系统整体标定原理 大多现有的标定方法都是基于三角测量原理的，因此需要标定出摄像机中心 和光源中心的距离即基线的长度、光线与基线的夹角以及摄像机的内参数等 1 8 , 1 9 ，如图2 2 所示。这种标定过程是极其复杂的，甚至需要借助系统之外的特 殊设备来完成。对于光平面的标定大多数是通过射影几何中的交比不变性来实 现，由于交比的计算对图像数据定位误差极其敏感【2 们，因此标定精度不高。 本文中我们将投影仪、摄像机与工作台作给一个整体进行标定，简称为三位 一体标定。三位一体的标定方法克服了传统标定方法中的系统整体误差较大的缺 点，具有很好的鲁棒性。原理如下：光条图像上的点m 所对应的物体点x 是该 图像点的反投影射线三与相应的光平面m 的交，如图2 3 所示。因此，我们只 需要确定系统的光平面m 和摄像机投影矩阵，而不需要确定出基线的长度、光 线与基线的夹角以及摄像机的内参数等系统的局部参数。 图2 2 传统标定方法示意图 6 安徽大学硕士学位论文 基于图像的三维物体建模系统的研究与实现 图2 3 系统整体标定原理示意图 2 2 标定摄像机投影矩阵 摄像机标定是计算机视觉领域中从二维图像获取三维欧氏空间信息必不可 少的关键一步，摄像机标定结果的好坏直接决定着测量所得的三维数据结果的好 坏。空间景物点与其图像中的像点之间存在着一一对应的关系，它们的位置关系 由摄像机成像几何模型所决定。该几何模型的参数称为摄像机内参数，这些参数 必须由实验与计算来确定，实验与计算的过程称为摄像机标定。摄像机标定方法 根据标定方式的不同，可以归结为以下三种：传统标定方法、基于主动视觉系统 的自定标方法和自标定方法。所谓传统的摄像机标定方法是指用一个结构已知、 精度很高的标定物作为空间参照物，通过空间点和图像点之间的对应关系来建立 摄像机内参数的约束，然后通过优化算法来求取这些参数。传统方法的典型代表 有d l t ( d i r e c tl i n e a rt r a n s f o r m a t i o n ) 方法 2 1 、t s a i 的方法 2 2 ，2 3 1 及z h e n g y o u z h a n g 的方法 2 4 1 。所谓基于主动视觉系统的自定标方法，是指通过控制摄像机 的运动获取多幅图像来标定摄像机内参数。自标定方法克服了传统方法和主动视 觉系统的自定标方法的缺点，它不需要标定物也不需要对摄像机运动作严格限 制，仅仅依靠多视图对应点之间的关系直接进行标定。由于传统的摄像机标定方 法与其他两种标定方法相比可以获取高精度的结果，并且适合该本文的具体情 况，因此，本文中采用传统标定法来标定摄像机投影矩阵。 标定摄像机投影矩阵的前提，是需要已知一些空间点在世界坐标系下的坐标 和它的图像坐标，这可以通过使用标定参考物上的空间点与它的图像对应点来实 现，如图2 4 ，把标定块正交的三条棱作为世界坐标系的三个坐标轴，各面上直 安徽大学硕士学位论文 系统标定与三维数据重构 线的交点的三维欧氏坐标已精确测定，根据这些特征点与其图像点的对应可以求 解摄像机投影矩阵。 p 眨， 其中p “为矩阵p 的第j 行向量。 令x ，2 ( x ，y ，2 ，1 ) 7 是特征点在世界坐标系下的坐标，对应的图像点坐标 为m ，2 ( u j ，”，l y ，于是有 俨嘏j 2 峪p i t 妻x ：j ：， f门 瞵p2rx扑：_0p3 r x 1 眨。， 小lv ，l = i，八j、 安徽大学硕士学位论文基于图像的三维物体建模系统的研究与实现 p 2 r x 厂v j p ”x j = o p i t x 一“j p ”x = o 【v j p ”x 厂“j p2 r x j2 o ( 2 4 ) 4 ，p = ( ； j ：姜； ；! = 。 。：， m i n ：1i ia p 旷 ( 2 6 ) 它的解是最小特征根所对应的单位特征向量，即，将矩阵4 用s v d 分解， 最小特征值对应的特征向量。 在实际计算中，所选取的特征点为标定块上的角点。角点一般是指物体灰 度变化剧烈的点，包括物体轮廓上的曲率变化最大点、直线的交点、单调背景上 的孤点等2 5 1 。目前计算角点的方法一般分为两类。一类是直接基于图像灰度的角 点检测算法，主要通过计算曲率及梯度来达到检测角点目的。如m o r a v e c 算子 2 6 3 、b e a u d e t 算子、d e f i c h e 算子【2 7 】等。这类方法定位不精确或者计算速度慢。 另一类方法是基于边缘图像的角点提取方法。其基本思想是：角点是两条或多条 边界的交点，即角点是一种特殊的边界点。这类采用边缘图像提取角点的方法对 于角点的定位很精确，可以达到亚像素级。 由原理分析可知，如果要精确标定摄像机投影矩阵，我们需要多组图像点与 空间点的对应，然而手工从图像上选点不但费时费力而且有很大误差，本文利用 平面单应原理进行快速角点检测。当我们建立如图2 4 所示的坐标系后，由于标 定块上的正方形黑白方格的边长是已知的，所以图像中每个角点在世界坐标系下 的坐标都是己知的。如图2 5 中所示，角点a 、b 、c 、d 在世界坐标系下的坐标 是已知的，在像平面中，它们所对应的点为a 、b 、c 、d 。我们只需要手工选取a 、 9 安徽大学硕士学位论文系统标定与三维数据重构 b 、c 、d 四个点的估计位置，然后在估计位置附近精确求解角点，当得到求出a 、 b 、c 、d 点在像平面中的坐标后，就可以就算出一个由世界坐标系到像平面的一 个单应矩阵h ，有彳h = a ( h 是可逆的) 成立，我们选取一定区域的矩形范 围，在所选取的区域内，所有角点的大概位置都可以利用平面单应计算出，这 样可以一次批量估计所有选取区域内的角点的大概位置，然后对每个角点进一 步求精。由以上分析可以看出利用该方法不需要对每个角点进行手工选取，只 需要选取一定的范围，就可以得到该范围内所有角点的估计位置，简化了角点 的选取工作。 a d b b 图2 5 平面单应示意图 上图中所选取的是三行四列，实际检测的结果如图2 6 所示，所选取的范围 是七行七列。 安徽大学硕士学位论文 基于图像的三维物体建模系统的研究与实现 2 3 计算光平面方程 图2 6 角点检测结果 在摄像机投影矩阵p 已标定的基础上，我们可以标定投影仪所投射的每一个 光平面在世界坐标系中的方程。 图2 7 光平面方程计算原理图 令三l ，三：是投影仪所投射的光平面与标定物的两条交线，它们在摄像机图像 安徽大学硕士学位论文 系统标定与三维数据重构 平面上的图像直线分别为i i , f ：，如图2 7 所示。由于i i , ，2 在摄像机下的反投影平 面与标定物的交线必为厶，工：，而反投影平面分别为： y l = p r ，1 ，万2 = p r ，2 ( 2 7 ) 于是， 厶= 厅ln ( x o z ) ，l 2 = 厅2n ( r o z ) ( 2 8 ) 这样，由厶，l