（计算机应用技术专业论文）基于旋转平台的物体表面三维重建研究.pdf

捅矍 本文对基于旋转平台的物体表面三维重建方法进行了研究。我们的测量装置由 一个旋转平台和一台固定的摄像机组成，物体可随旋转平台旋转运动，摄像机固定 不动。对该系统进行研究，具体研究内容如下： 1 图像采集与匹配。设计了每当旋转平台逆时针( 或顺时针) 旋转一定角度 进行一次图像采集的采集方案，完成图像序列的采集；为了有效地提取信 息，设计了图像序列分组方案；对于分组后的图像，采用基于网格点相邻 关系建立二维表格的网格点匹配算法进行图像匹配。 2 系统标定。由于系统中旋转平台的旋转轴与标定物所确定的世界坐标系的 任意一条轴不重合，需要单独标定旋转轴，本文利用单应矩阵方法，使用 立方体标定块完成了旋转轴标定。为了简化标定过程，制作了圆柱标靶， 便于将圆柱与旋转平台同轴放置，在标定摄像机的同时标定旋转轴，简化 了标定过程。 3 三维重建与数据融合。建立了将单个摄像机的测量等效为多个摄像机测量 的等效模型并将极线约束应用于测量过程，在旋转角度已知条件下完成物 体局部三维重建；利用透视投影及物体只做旋转运动的特性，推导了旋转角 度未知情况下求解三维点坐标的方法：设计实现了物体局部重建后三维数 据点集之间的数据融合算法。 利用本文设计的系统分别对椭圆形茶盒、多面体茶盒进行重建和三维数据 融合，实验结果表明该系统可以较好的重建出物体轮廓。 关键词：旋转平台；圆柱标定：等效测量；单应矩阵；数据融合 a b s t r a c t r e s t i n go i lt h er e s e a r c ho ft u m t a b l e - b a s e d3 dr e c o n s t r u c t i o n ，t h i ss y s t e mw ed e v e l o p e d c o n s i s t so fat u r u t a b l ea n dac a m e r a ，o nw h i c ht h eo b j e c tc a nr o t a t ew i t ht h et u r n t a b l eb u t t h ec a m e r ai sf i x e d t h i sp a p e rm a i n l yf o c u s e so nt h ef o l l o w i n gp r o b l e m s ： 1 i m a g ea c q u i s i t i o na n dm a t c h as e q u e n t i a li m a g e sa c q u i s i t i o nm e t h o di sp r o p o s e d ， w h i c ha l li m a g ei st a k e nw h i l et u r n t a b l er o t a t e sa n t i c l o c k w i s eo rc l o c k w i s e ；a n a p p r o a c hi sd e s i g n e dt og r o u ps e q u e n t i a li m a g e ss ot h a ti n f o r m a t i o nc a l lb ee x t r a c t e d e f f e c t i v e l y f o rg r o u p e ds e q u e n t i a li m a g e s ，am e t h o do fc o r r e s p o n d e dg r i dn o d e si s a d o p t e db a s e d o n2 dn e i g h b o rn o d et a b l e 2 s y s t e mc a l i b r a t i o n b e c a u s er o t a t i o na x i so ft u m t a b l ei sd i f f e r e n tf r o ma n ya x i so f c o o r d i n a t es y s t e mc a l i b r a t e db yt a r g e t ，am e t h o di so f f e r e dt of u l f i l lt h ec a l i b r a t i o no f r o t a t i o na x i s ，w h i c hr i s e sc u b i ct a r g e ta n da d o p t sh o m o g r a p ht h e o r y i no r d e rt o s i m p l i f yc a l i b r a t i o np r o c e s s ，as p e c i f i c a l l yd e s i g n e dc y l i n d e rt a r g e ta n d t h et u r n t a b l e i sp l a c e dc o a x i a l l yw h i l ec a m e r aa n dr o t a t i o na x i sc a nb ec a l i b r a t e ds i m u l t a n e o u s l y 3 3 dr e c o n s t r u c t i o na n dd a t ai n t e g r a t i o n t h i sp a p e re s t a b l i s h e san o v e lm o d e l n a m e de q u i v a l e n tm e a s u r e m e n tw h i c hm u l t i - v i e ws t e r e ov i s i o nf u n c t i o ni sa c h i e v e d b yaf i x e ds i n g l ec a m e r a ，e p i p o l a rl i n ec o n s t r a i n ti sa d o p t e d i nt h i sp r o c e s s ，a n d3 d o b j e c t r e c o n s t r u c t i o ni sf u l f i l l e dw i t hk n o w nr o t a t i o na n g l e w ep r e s e n tan e w p r o c e d u r ef o r3 do b j e c tr e c o n s t r u c t i o nw i t hu n k n o w nr o t a t i o na n g l eb yu s i n gt h e c h a r a c t e r i s t i c so fb o t hp e r s p e c t i v ep r o j e c t i o na n dr o t a t i o ni nad y n a m i cs t e r e om o d e l d a t ai n t e g r a t i o na l g o r i t h mi sp r e s e n t e dt oi n t e g r a t ea l lt h e3 dd a t as e t s b o t he l l i p s ea n dp o l y h e d r o nt e ab o x e sa r er e c o n s t r u c t e da n di n t e g r a t e ds u c c e s s f u l l yi n t h i ss y s t e mw h i c hd e m o n s t r a t e si t sa v a i l a b i l i t ya n de f f i c i e n c y k e y w o r d s ：t u r n t a b l e ；c y l i n d e rc a l i b r a t i o n ；e q u i v a l e n tm e a s u r e m e n t ；h o m o g r a p h ； d a t ai n t e g r a t i o n 学位论文独创性声明、学位论文知识产权权属声明 学位论文独创性声明 本人声明，所呈交的学位论文系本人在导师指导下独立完成的研究成果。文中依法引用他 人的成果，均已做出明确标注或得到许可。论文内容未包含法律意义上己属于他人的任何形式 的研究成果，也不包含本人已用于其他学位申请的论文或成果。 本人如违反上述声明，愿意承担由此引发的一切责任和后果。 论文作者签名 日期 里蒸圭 胡年野 学位论文知识产权权属声明 本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属学校。学校享有以 任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校后发表或使用学位论文 或与该论文直接相关的学术论文或成果时，署名单位仍然为青岛大学。 本学位论文属于： 保密口，在年解密后适用于本声明。 不保密6 ( 请在以上方框内打“”) 论文作者签名 导师签名： 日期：川年舒蝻 b 期：墨耳年g 只 5 b ( 本声明的版权归青岛大学所有未经许可，任何单位及任何个人不得擅自使用) 5 5 第一章引言 第一章引言 1 1 物体表面三维重建方法研究背景 近年来随着计算机技术的发展，三维数据测量技术有了广泛的应用，例如文物 保护、机械加工、影视特技制作、虚拟现实、服装设计等。在文物保护方面：三维数 据测量技术能以不损伤物体的手段，获得文物的外形尺寸，记录的信息完整全面， 而不是像照片那样仅仅是几个侧面的图像。而且这些信息便于长期保存，便于复制、 再现、传输、查阅和交流。在工业生产方面：利用三维数据测量技术获取零件表面每 个点的坐标之后，就可以进行数控加工。在影视特技制作方面：利用三维数据测量技 术将演员、道具，模型等的表面空间数据输入计算机中，构成与真实物体完全一致 的模型，有了这些数字化模型，就可以用计算机三维动画软件对它们做进一步的特 技处理。在服装制造方面：传统的服装制造，都是按照标准人形尺寸批量生产，随着 生活水平的提高，人们开始越来越多地追求个性化服装设计。三维数据测量技术可 以快速地测得人体的三维数据，建立人体模型，将这些数据与服装c a d 技术结合就可 以按每个人的具体尺寸进行服装设计，并且可以直接在计算机上观看最终的着装效 果。在这些领域中简单快速地获取三维模型具有极其重要的意义。 目前，人们主要通过三种方式来获取三维模型：第一，利用传统几何造型技术直 接构造模型；第二，利用三维扫描设备对真实物体进行扫描，进而重建出模型；第 三，利用光照图像通过计算机视觉测量方法恢复物体的几何外形，即利用从各个视 角拍摄的真实物体的多幅图像重建模型。在上述几类方法中，传统的几何造型技术 最为成熟，利用三维建模软件，如a u t o c a d ，3 d s m a x ，m a y a 等，通过人与计算机交 互的方法来手工建立物体的三维模型。这种方法工作量大，建模所需时间长，不利 于生产过程自动化程度的提高“3 ；另一方面，三维扫描设备可以精确地获取大多数 真实景物的几何模型，因而特别适合于逆向工程、文物保护等应用领域，但三维扫 描设备价格非常昂贵，且无法处理具有高光、透明以及绒毛表面的物体，一般也无 法同时获取模型表面的颜色信息。近年来，基于图像建模技术受到了广泛的关注， 该技术利用实体的二维几何与拓扑信息，重构其三维信息。英国的3 d s c a n n e r s 公司和 台湾的智泰科技公司已经推出类似的产品的，并开始广泛应用。但3 d s c a n n e r s 的 m o d e l m a k e r ，台湾的智泰科技公司的v p t ：系列3 d 光学影像投影仪均无法解决物体测 量中存在的遮挡问题啪目前，借助旋转平台的三维重建方法可以很好的解决遮挡 闯题，而且受到很大重视，已经在众多的图形学和计算机视觉应用研究中，特别是 青岛大学硕士学位论文 计算三维实体模型的重建中得到了广泛的研究和应用啪。 为此，本文对基于旋转平台的方法进行了研究，通过控制物体回转，采集图像 序列，利用物体的二维几何与拓扑信息实现整个物体测量和三维重建。该方法抗干 扰性强，且只使用一个摄像机，只需对摄像机进行一次标定，即可完成整个物体测 量。 1 2 基于旋转平台的三维重建方法综述 基于旋转平台的三维重建方法核心是利用一台摄像机对放置在旋转平台上的 物体采集图像序列，从该图像序列重建三维物体。 按照其重建过程中所采用照明方式的不同主要可以分为两大类瑚：被动式方法 和主动式方法。按照运动方式不同可以分为三类：一类是摄像机绕固定轴旋转( 大 场景情况下) ；一类是摄像机静止，物体随旋转平台运动；一类是摄像机和物体结 合运动嘲。 1 。2 1 基于旋转平台的被动式方法 基于旋转平台的被动式方法不向被测物体发射可控制的光束，而根据直接拍摄 的物体图像进行三维重建。根据采用的原理不同可以分为两大类：一类是利用射影 几何属性和多视关系约束来实现三维重建；一类是基于轮廓线进行重建，其基本思 想是利用“体素”( v o x e l ) 的概念，将实体所在空间以类似与平面像素的方法划分为 立体素。从每幅图像上抽取出物体的二维二值图像，称为“掩模”( m a s k ) ，将掩模 与视点确定的投影锥内的体素记为黑，外部体素记为白，对所有不同角度获得的投 影锥进行a n d 计算，这样就得到由黑色体素构成的三维实体。 1 2 1 1 利用射影几何属性和多视关系重建 基于旋转平台，物体围绕旋转轴运动，利用射影几何属性和多视关系来重建物 体的方法目前可以分为两大类嘲；图像分组方法( d i s c r e e t a p p r o a c h ) 和非分组方法 ( c o n t i n u o u sa p p r o a c h ) 。其中前者我们可以把要处理的图像序列每两幅一组( 立体视 觉方法) 、每三幅一组( 三焦距方法) 、每四幅一组( 四焦距方法) 进行划分。后者 直接把图像序列作为整体，根据采集时间来区分不同的图像。目前的方法有光流场、 基于因式分解的重建、设计过滤器等方法( f i l t e r - d e s i g n a p p r o a c h ) 。 1 2 1 ，1 。1 图像分组方法 2 第一章引言 ( 1 ) 立体视觉方法 将图像序列每两幅一组进行划分，利用两幅图像之间存在的极线约束，按照立 体视觉方法进行重建。最终通过数据融合，完成物体三维重建。 立体视觉方法的测量过程可以分为如下几步： 1 ) 从左( 或右) 图像中选出某些特征点； 2 ) 找出它在右( 或左) 图像中的匹配点，这个过程一般称为立体匹配； 3 ) 根据以上点对匹配关系，就可以计算出匹配点在摄像机坐标系中的空间三维 坐标； 4 ) 由于在第三步中只能计算出匹配点的三维坐标，对于其它点则需要用插值的 方法来获得。 其测量的基本原理： 对于图1 1 a 中的平面三角测量，已知的是a 、b 两点的坐标眈，) 0 和瓴，) 0 ， 要求的是c 点的坐标瓯，y 。) 。通过测量手段可以得到两个方位角d 、t 3 ，分别是射 线a c 和b c 与已知线段a b 的夹角。射线a c 和b c 将唯一的相交于一点，这点的 坐标根据三角公式可以计算出来，即c 点的坐标。 a a 平面三角测量 b 图1 1 三角测量原理图 b 空筒三角测量 假设直线a b 和j 轴交角为口，那么占。a r c t a n 丝二毖 毛一毛 这样直线a c 和b c 的方程分别为 l y y 4 - 妊- x , ) t a n ( a + 8 ) i ) ，一凡一0 一矗) t 姐( 厢一声+ 口) 解这个方程组就可以得到c 点的坐标0 。力。 3 青岛大学硕士学位论文 空闻三角测量和平面三兔测量原理是一致的，见图1 1 b ，只是这里需要测量的 不是两个平面角a 、8 ，而是两个相应的立体角。这两个角度的获取是通过摄象得 到的。c 点在两个成像平面分别有一个投影点p ，、p ：，通过对平面图像的处理，可 以得到投影点p i 、p 2 在图像中的像素坐标，通过这个像素坐标就可以计算出两个立 体角。实际上空间的两条射线不一定是相交的，通过这个方法得到的将是一个不定 方程组，可以用最小二乘法求得合适的解，既是c 点的空间坐标。 ( 2 ) 三焦距方法 己知三幅图像，没有任何其它信息，计算三幅图像间的匹配点进丽求出它仍之 间的约束一三焦距张量( t r i f o c a lt e n s e ) 。三线性关系中既蕴藏着对极几何关系，也包 含着对极几何所不包含的信息。它与对极几何一样，与景物的结构无关，只与摄像 机的内、外参数有关。具体而言，若空间有一点肘，它有3 个铷l “卅2 i n 3 ，其齐 次坐标分别为o ，y ，1 ) r ，0 ：_ ) ，矿，0 。，y 。，矿，其空间几何关系如图1 2 所示， 其中：c l ，c 2 ，c 3 分别为3 个摄像机的光学中心。此时 f 在三幅图像中的像点之间存 在如下的三线性约束关系” 耳。( c 铲+ a 2 y + 吩) + 善k ( a 4 x + a s y + z ) + x 声+ 口8 y + c r 9 ) + 声+ a n y + 口n ) 0 y 6 t p l x + 8 2 y + p 0 + y 窖t e + 3 , y + p 0 + x ( f l t x + 8 , y + 岛) + ( 磊一+ 磊+ 允) 一0 其中：啊- 屈，i = 1 ，6 ，且，屈均为待定系数。 图l ，2 三线性约束关系 上述三线性约束关系可由一张量r 来表示，称为三焦距张量，它是一个3 x 3 x 3 的张 星。利用此三焦距张量，当已知3 幅图像中其中2 幅之间的对应点( 匹配点) 的位置时， 则在第3 幅图像中的对应点的位置可由下式确定 4 第一章引言 而。叫妻黾叫耋而 其中：f ，一1 ，3 ，卢1 ，3 。上式称为像素转移公式。 文献 7 给出了一个实用的对场景进行快速重建的系统，该系统利用无标定摄像 机将图像序列分为每三幅一组，利用三焦距约束对每组图像中都存在的线进行重建。 ( 3 ) 四焦距方法 四幅或更多幅图像之间不存在独立的约束，它们可以由基本矩阵f 和三焦张量t 生成。由于增加了第四个视图，增加了重建的稳定性和精度。但由于参数太多必 须要用约束，直至岫幽锄1 8 】提出了一种简化的四焦距方法，四焦距方法才受到了重 视。虽然该方法增加了约束，但留下了许多不能求解的约束。文献【8 】通过代数最小 化约束的方法，而不是几何最小化约束的方法来计算，取得了较好的效果。 1 2 1 1 2 非分组方法 ( 1 ) 光流场 当摄像机和场景目标间有相对运动时所观察到的亮度模式运动称为光流( o p t i c a l f l o w ) ，光流可以表达图像中的变化，它既包含了被观察物体运动的信息，也包含了 与其有关的结构信息。通过对光流的分析可以达到确定场景三维结构和观察者与运 动物体之间的相对运动的目的。所以透过求解光流方程，可以求出景物表面方向， 从而重建景物三维表面。这种方法的缺点是运算量比较大 ( 2 ) 因数分解的方法 因数分解算法f 9 l 首先针对正交( 仿射) 投影摄像机模型提出，后来又被推广弱透 视、准透视投影摄像机模型和透视投影摄像机模型，这些算法特点是通过奇异值分解， 将由二维图像对应点坐标构建的测量矩阵分解为表示摄像机运动和空间物体三维几 何形状的两个矩阵。由于摄像机通常是采用透视投影模型来描述，所以透视投影模型 的矩阵分解方法是当前的研究热点，该类算法中，关键问题是如何估计射影深度。遥 过图像间的多个基本矩阵及极点来计算射影深度，但是在摄像机光轴是平行和共面 的情况下，基本矩阵会出现退化现象，另外极点一般较难准确估计。但是一旦获得射 影重构，可由自标定约束确定一个矫正单应变换，并由此变换到度量重构。 ( 3 ) 其他方法 文献【3 】将一个物体放置在旋转平台上，旋转平台绕一个固定轴旋转时物体任意 一个点的运动轨迹形成一个三维圆环，其在摄像机的投影一般情况下是二次曲线( 非 退化情况下为椭圆) ，我们可以获得该椭圆的长、短轴的大小以及对应的三维圆环的 位置信息。以上信息结合旋转平台的旋转和摄像机参数，利用闭环和迭代算法计算 5 青岛大学硕士学位论文 二维点的欧式三维坐标，装置如图1 3 所示。该方法没有采用立体视觉或三焦距方法 但需要标定和通过图像序列跟踪大量的点，计算量较大。 图1 3 装置图 1 2 1 2 基于轮廓的体素法“以重建 物体在图像上的侧影轮廓线是理解物体几何形状的一条重要线索。当以透视投 影的方式从多个视角观察某一物体时，在每个视角的画面上都会得到一条该物体的 侧影轮廓线，这条侧影轮廓线和对应的透视投影中心共同确定了三维空间中一个一 般形状的锥壳，显然该物体必将位于这个锥壳之内；而所有这些空间锥壳的交则构 成了一个包含该物体的空间包络，这个空间包络被称为物体的可见外壳。当观察视 角足够多时，可见外壳就可被认为是该物体的一个合理的逼近。鉴于可见外壳生成 算法一般需要多视角的参考图像，因此图像的标定工作就变得非常复杂，现有的工 作一般使用固定位置的已标定摄像机或机械转台等装置辅助定标。 肘口r 砌和爿加n 似堤早提出了用多幅照片生成可见外壳的方法，他们基于真实物 体在照片上的侧影轮廓线实现了物体的三维重建；c h i e n 等采用了八叉树结构来表示 物体的可见外壳，该八叉树结构是通过预先在平行投影照片上生成表示物体的四叉 树的基础上建立的；p o t m e s i l 和s z e l i s k i 同样建立了可见外壳的八叉树表示，但输入改 为从任意视角拍摄的透视投影照片。上述方法中，在从每个视角拍摄筋罴片上， 都要进行物体的侧影轮廓线与所有八叉树结点投影的求交测试。由于八叉树结点所 代表的空间立方体在图像平面上的投影为多边形，所以上述求交测试是项非常耗 时的工作。为此，研究者们提出了不同的方法来克服这一问题：l m 等通过引入自适 应采样距离场来简化求交过程：m a t u s 越等采用了计算机视觉中的极线几何技术来加 速可见外壳的计算。九十年代以来，可见外壳生成技术在虚拟现实等领域中得到了 成功的应用，人们实现了众多基于多视角视频图像的动态重建和绘制系统。早期的 工作是由m o e z z i 等完成的，他们构建了一个由放置在不同位置的l 力品摄像机组成的 动态场景重建系统，但该系统需要离线处理；m a t u s 赙将可见外壳的求交运算转换 第一章引言 到图像空间进行】，大大加决了求交速度，实现了场景的实时重建和绘制；g r o s s 等对肘i 衄眺等的方法做了改进，他们采用点采样和点绘制的方式同样构建了一个实 时重建和绘制系统。p e t e r e i s e r 一1 2 1 使用一个摄像机和旋转平台，每次的旋转角度可 以精确的控制并获得，通过采集物体序列图像并进行轮廓提取后，采用轮廓匹配方 法标定摄像机、确定旋转平台与摄像机的相对位置。由于仅使用一个摄像机，而且 物体点的运动轨迹是圆形轨迹，因此使得参数空间维度比较低。这样反而比一般情 况更健壮、更易最优化，装置如图1 4 所示。 图1 4 旋转平台系统结构圈 a r t d r e ww f i t z g i b b o n 嘲基于绕旋转平台旋转轴旋转运动约束，利用体素法，提 出了一种无标定情况下的三维物体重建方法。不足之处是对重建的物体大小限制， 而且计算量大，精度不高。 邢园丁“”根据在空间稀疏分布的不同视点处的真实场景照片中物体的轮廓线和 颜色的一致性信息来建立三维场景模型的，这种方法是通过对转台上的物体不同位 置拍照，来获取系列图片进行重建，实验装置如图1 5 所示。 图1 5 实验装置图 1 2 2 基于旋转平台的主动式方法 基于旋转平台的主动式方法是向被测物体发射可控制的光束，旋转平台旋转时 7 青岛大学硕士学位论文 拍摄光束在物体表面上所形成的图像，通过几何关系计算出被测物体三维信息的方 法。 1 2 2 1 基于旋转平台的结构光方法 对于没有制作特征点的物体表面，可以用结构光方法形成特征点。特别是对于 平坦的、无明显灰度、纹理和形状变化的表面区域，用结构光可形成明显的光条纹， 便于作图像分析和处理，这一点对于较平坦表面工件的测量是相适应的。结构光方 法还具有计算简单、测量精度较高的优点，因而在实际视觉测量系统中被广泛使用。 结构光方法中由激光投射器和摄像机共同作为结构光图像传感器，其测量过程 主要包括两个步骤： 第一步：由激光投射器根据测量需要投射可控制的光点、光条或光面结构光到 物体表面形成特征点，并由摄像机拍摄图像； 第二步：按物体表面投射光图案的几何形态特征解释投影模式，利用三角法测 量原理可求得特征点与摄像机镜头主点之间的距离，即特征点的深度信息。在标定 出激光投射器和摄像机在世界坐标系中的空间方向、位置参数后，即可求得特征点 在世界坐标系中的三维坐标。 国外g o u - j e nw a n g 1 提出的四轴曲面非接触主动式测量系统( 见图1 9 ) ，国 内刘鹏“5 提出的基于双c c d 摄像机结合物体的回转机构和测头的移动机构来获取 整个曲面物体三维信息的方法，就是基于旋转平台，结合结构光来获取物体三维模 型。文献“”中采用双光源光切法使整个被测物体均处于结构光场中，从而减少测量 “盲区”。另外采用步进电机带动旋转平台，实现对第三维的扫描，可以获取被测 物体的全轮廓信息，对实际物体的测量结果表明其相对误差平均值为o 2 n 町。 s t e v e 如如一州设计实现了一个简单的实验装置，如图1 6 所示，激光投射器 投射光条式结构光，而被测物体随旋转平台旋转，因此，光条式结构光可以扫描整 个物体，完成重建。 图1 6 基于旋转平台的结构光装置 8 第一章引言 1 2 3 运动方式 1 2 3 1 摄像机运动 仲思东等提出一种基于圆分度台的三维被动式模型测量技术，其核心是把双目 立体测量系统安装在步进电机控制的旋转平台上，旋转拍摄多视角下的场景影像 ”，实现大视场测量。屈玉福“”等为了解决现有坐标测量机中的单目显微视觉测头 视场小和景深小的缺点，也提出了显微视觉测头运动的测量方法。 相比之下，被测物体运动可以在摄像机运动不方便的情况下运用而且，控制 被测物体运动，不是做运动分析，而是在运动参数已知的情况下，对采集的图像序 列处理，求得三维坐标，对三维物体建模。 1 2 3 2 被测物体运动 许增朴等介绍了一种仅使用一台c c d 摄象头的低成本三维视觉主动式测量方 法。将结构光投射到由转动系统带动而旋转的三维物体上，经图像采集后，计算机 求出三维物体的表面深度及各点的空间坐标嘧町，达到测量整个三维物体的目的。 衡伟提出一种用简单旋转装置实现单视角三维摄像机对物体进行多视角表面数据 采集的方法“1 ，基于物体运动实现测量。国外o l y m p u s 公司3 d s c z n t o p ( 见图l7 ) ， 它主要是由中心转台、两个光源和一台数码摄像机组成，控制物体旋转进行测量。 s g 三维激光扫描自动式系统也为物体旋转进行测量嘲( 图1 8 ) 。 1 2 3 3 物体和摄像机运动结合的方式 刘鹏等提出了一种基于双c c d 摄像机结合利用狭缝式结构光，结合物体的回 转机构和测头的移动机构来获取复杂曲面物体三维信息的方法，在研究传感器标定 9 青岛大学硕士学位论文 技术、三维计算技术及多视点测量数据融合技术的基础上，构建了基于视觉的自由 曲面三维主动式测量系统乜n ，实验证明系统是有效和实用的。国外g o u - j e nw a n g ， 国内解则晓1 等提出一种四轴复合式自由曲面非接触主动式测量系统( 见图i 9 ) ， 基于结构光，可由物体旋转或摄像机平移实现全场景测量。 图1 8s g 三维激光扫描自动式系统图i ，9 四轴复合式测量系统 第二章系统原理及系统设计 第二章系统结构及原理 本文设计的是一个利用单个摄像机采集图像序列来实现多目测量的视觉坐标 测量系统。该系统在系统结构设计、图像采集、系统标定、图像匹配方面与传统多 目视觉方法不同，本章在这些方面作了重点研究。 2 1 系统结构 视觉坐标测量系统分为硬件和软件两部分。 硬件部分包括测量装置( 包括一个旋转平台、一台摄像机、圆柱标靶、标准标 定块，测量平台) 、图像采集卡、工作站以及一些辅助的外设，硬件部分除圆柱标 靶、标准标定块、测量平台以外，其余硬件均采用第三方标准部件，根据使用需求 可以选择不同价格和规格的硬件。 测量装置如图2 1 所示，其中1 为c c d 摄像机，2 为旋转平台，3 为底版，4 为待测物体。摄像机1 可随底板3 上下平行移动以确定一个合适的取景位置，旋转 平台2 可顺时针或逆时针旋转，旋转角度从旋转平台刻度中读出。 2 1 测量装置结构简图 图2 2 硬件系统结构图图2 3 测量装置实物图 青岛大学硕士学位论文 图中所示的系统中主要硬件的型号以及参数如下： 摄像机：p a n a s o n i c w v - b p 3 3 0 最小照度：o 0 8 i d x ，f 1 4 摄象器件：7 5 2 x 5 8 2 像素 扫描面积：4 9 x 3 7 m m ，等于l 3 英寸 水平扫描线：5 7 0 行 镜头：精工s e l 2 1 2 视角：2 2 1 6 焦距：1 2 r a m 光圈：f 1 2 图像采集卡：大恒v i d e o p c i - x r 输入：标准p a l 、n t s c 制式黑自视频信号 采集通道：软件选择四路c v b s 输入 最大分辨率：p a l - - 7 6 8 5 7 6 x 8 b i ti 叮i s c - - 6 4 0 x 4 8 0 x 8 b i t 工作站：一般图形工作站或微机 软件部分包括图像采集及分组、系统标定、图像匹配以及三维重建等各个功能 模块。 图2 4 软件系统流程图 系统测量流程如图2 4 所示，分四步进行测量。第一步图像采集及分组：采集 图像序列，按照所选的图像具有公共的物象信息基本原则将图像序列分组并处理； 第二步系统标定：标定摄像机和旋转平台的旋转轴；第三步图像匹配：对提取出的 每组图像的特征点进行匹配；第四步计算特征点的三维坐标，完成整个物体表面测 量和重构。 第二章系统原理及系统设计 2 2 图像采集与处理 2 2 1 图像采集 本系统是将被测物体放置在旋转平台上进行测量，所以图像采集时要控制旋转 平台的放置位置在摄像机视场范围内，且在焦距附近。 进行图像采集时，将物体固定在旋转平台上，物体随旋转平台一起旋转，每当 旋转平台逆时针( 或顺时针) 旋转一角度a o f ( 扛1 ，2 ，h ) 时，采集图像序列 i l ( 扫1 ，2 ，1 ) ，作为信息提取的基本数据。一般a o f 根据测量物而定，且满 足a of - 3 6 0 。n ； 2 2 2 图像分组 图像分组方法很多，基本原则是所选的图像具有公共的物象信息。本系统选取 相邻的两幅图像组成图像对劬( 厶蓐) u = j + 1 ) 的分组方法，以图像对嘞( 矗与) 为处理单位，基于立体视觉原理，进行三维重建( 三维重建过程见第三章) 。 2 2 3 图像处理 2 2 3 1 图像处理流程 系统采用的是网格化吲方法加强物体的本征特性，因此图像处理的目的是把网 格标记从背景图像中分割出来，并且确定准确的网格点的位置。图2 5 是图像处理 模块内部功能结构图。 图 象 数 据 图象处理模块 图2 5 图像处理模块内部功能结构图 首先对图像数据进行图像分割处理，把网格线从背景图像中分离出来。由于后 1 3 青岛大学硕士学位论文 续处理会用到网格线的信息，而直接的图像分割通常会使得网格线有很多不连续的 地方，所以再进行二值闭运算使一些断开的地方连接起来，同时二值闭运算还有去 除局部毛刺等噪声的作用。接下来运行细化算法得到只剩下有用信息的骨架图像， 送后续的网格点提取模块就可以得到每个网格点的像素坐标。为了得到每个网格点 的亚像素坐标，把已经得到的每个网格点的像素坐标信息反馈回局部插值放大算 法，从原始图像的该点附近得到放大的局部图像，返回再处理一次，就可以算出它 的亚像素精度坐标1 2 s j 【i ”。 2 。2 3 2 网格点提取 网格点提取的目的是从细化的网格图像中找到每个网格点，求出每个网格点的 像素坐标。由于图像离散采样和处理以及噪声等原因，并不是所有的网格点都是理 想的网格线直接相交，可能出现许多假象，比如假网格点的情况嗍。 细化后的二值网格图像是由严格的单像素宽的网格线组成的，如图2 6 。 “譬孓。譬 棋岫o 瓤”。_ 0 0 o 日毫x 蚺。a 旺蚋饿抑0 鼍馕惭馨日a 0 o 0 e 耐：，) e ) 耻船0 【瓣优。泌睡。c 俄0 0 f o 。c o 岛d ) l 均0 ( 册l f | 日o 稚张啦嘲c g 烈鸷ii 拗m 蟠毡瞳i l 】! 烈 氓州m 缸x ) 馐，o 瓣0 0 瞩d 慨0 州l o 暾，0 00 。f 0 d 脚t 哪 器怒懈裁淼赋撇器麓蝴 蹴露獬器嬲鬻黧黼黝掇黜咚 髓痨加o o 疆礁孵f 舸掣b 例时幔收琦掰砷锄d 均) o 帅嘈仔 噍 巴崃 。 l 蚰 图2 6 细化的二值网格图 图中标记0 和1 代表背景点和网格线上的点，按照下面的算法可以找到所有候 选网格点：通过扫描网格图像中标记为1 的点，找到所有的与其邻接的标记为1 的 点的数量大于2 的点，这些点便是候选点。图2 6 中标记x 的点为候选网格点。 考虑图像离散采样和处理以及噪声等的影响，细化后的二值网格图像可能有三 种模式，分别见图2 6 ( a ) ( b ) ( c ) 。图2 6 0 ) 中两条网格线相交，得到一个候选网格点 p 0 ；图2 6 c o ) q b 两条网格线( c u r v ec 1 和c 2 ) 相交，得到两个候选网格点尸l 和，2 ， 这是细化算法造成的；图2 6 ( c ) 中只有一条网格线，但是由于噪声分枝也产生了一 个候选网格点乃。( a ) 是理想的细化网格，候选网格点即是目标网格点，嘞( c ) 得到 的候选网格点则并不能直接对应且标网格点，需要进一步处理。 先考虑( c ) 。由于只有一条网格线，实际上并没有网格点的存在，候选网格点 乃是由于噪声或细化算法等原因产生的细小分叉与网格线相交而产生。用下面的算 法可以除掉这类假网格点： 假设艮( 奶是候选网格点，在它的周围取一个大小为( 知+ 1 ) 伽+ 1 ) 的窗i ：l ( 1 4 第二章系统原理及系统设计 为预先确定的值，以选择合适的窗口大小，实际这个值的选取和网格密度有 关) ，沿窗口四条边搜索，计数标记为1 的点的个数。即依次计算； ，口，( f n ，( ，一再) + ( i - 1 ) 口 f o ri - 1 , 2 n + 1 v a l ( ( i - h ) + ( ( 2 + 1 ) x ，+ 4 ) f o rk - 2 n + 7 , 4 n + 1 v a l f f + n ，( ，+ 口) + “4 n + 1 ) 一i ) ) f o ri - 4 n + 2 , 6 n + l 阳z + 帕+ ( ( 6 ，l + 1 ) - 协j - 力f o rt 6 n + 2 , 8 n 如果四条边上标记为1 的点的总数不大于2 ，则认为是假网格点而排除掉。 再考虑( b ) 。对于图z 7 c o ) 雕j 情况，候选网格点p l 和p 2 都满足上述算法，但实 际上两条网格线( c u r v ec 1 和c 2 ) 相交只应该产生一个网格点，所以p l 和p 2 应属 于同一个网格点。出现这种情况是由于网格线本身具有一定宽度，相交处会形成一 个不小的区域，细化后经常产生错动的两个交点，但是p l 和p 2 之间的距离不会很 远，所以网格点提取算法对相互之间距离小于一定阈值的几个点求平均，合并得到 一个网格点。阙值的选取也是和网格密度有关的。对于图2 粥就是求p 1 和p 2 的 中点，把p l 和p 2 合并为一个网格点。事实上可能出现多余两个网格点合并的情况 通过上述步骤就可以提取出所有的网格点的像素坐标。算法流程见图2 7 。 1 坠删 奋 薪， 鬈黧2 要嘉嚣嚣教 肭 目标月格 l 点集合从犊选同 从幌选r 辂点1 集台中豫p 曩裂露粼警州 格点橐音中除p 1 人 毛日霉：l 图2 7 同格点提取算法流程 2 3 系统标定 本系统标定包括摄像机标定和旋转平台旋转轴标定两部分其中摄像机标定采 用的是线性模型，本节对该模型作了介绍；对于旋转轴而言，由于系统中旋转平台 1 5 青岛大学硕士学位论文 的旋转轴与标定物所确定的世界坐标系的任意条轴不重合，需要单独标定旋转 轴，本节利用单应矩阵方法，使用立方体标定块完成了旋转轴标定，过程较复杂。 为了简化这个标定，我们制作了圆柱标靶，便于与旋转平台同轴放置，在标定摄像 机的同时标定旋转轴，简化了标定过程。 2 ，3 1 摄像机模型 摄像机成像过程是把一个三维世界的点投影为一个二维像平面上的图像点的 过程。理想的投影成像模型是光学中的针孔成像模型，图2 8 是针孔摄像机模型的 示意图3 “”。 p 陇。r 0 2 0 蕊圪z j 图2 8 摄像机模型 对于空间任何一个点p ，它与摄像机的光心的连线和图像平面的交点就是该点 的成像位置，即它投影到成像平面上的点p 就是它的像点。 点p 在世界坐标系下的坐标为( y 舫z 霄) ，在摄像机坐标系下的坐标为 ( 墨k z c ) 。对于图像平面上的像点p ，我们得到的是图像像素坐标( 珥p ) 和图像 物理坐标( 焉y ) 。 由线性模型的比例关系有；石。孚，) ，。争。 厶c二f 其中，为焦距( 成像平面与摄像机坐标系原点的距离) 。用齐次坐标与矩阵表示 上述关系： z c ( i ) 删孵 而尸点的世界坐标系坐标与摄像机坐标系的坐标关系为： 第二章系统原理及系统设计 x c k z c 1 ( 列 割 2 一( 2 ) 其中r 为3 3 正交旋转矩阵，t 为三维平移向量。 假设图像上每个像素在x 轴与y 轴方向上的物理尺寸分别为z l x 、z l y ，则p 点 的图像像素坐标与图像物理坐标的关系为： 驴- f u o ，l y m 畜+ 吒 工v 其中( 硒v o ) 为光心点的像素坐标。用齐次坐标与矩阵形式表示上述关系： i 1 0 o x 0 1 a y ” 0o1 将公式2 一( 1 ) 、2 一( 2 ) 代入公式2 一( 3 ) 可以得到： z 。 记m i - - - - 1 0 “。 a x 。 0 1 a v ” o0l 古o 。 。石1 y o 0o1 记盹；滢 记m i m s - - m = 7 啊l 。： f 0 0 f oo 00 0 0 1o r f 000 l0 ，0o 【0 o1o x 。 匕 z 。 1 2 一( 3 ) 2 - 一( 4 ) ，它是摄像机的内部参数矩阵。 它是摄像机的外部参数矩阵。 盯气2 捌缸 埘嚣 辨3 3 1 7 青岛大学硕士学位论文 f u1 则z 。l yl m 【1j z 。 l z ， 1 这样便建立了p 点的世界坐标系坐标( 蜀，z w ) 与它经过摄像机成像后像点 p 图像像素坐标( 地v ) 之间的关系。 实际应用很少使用小孔成像系统，但是它是透镜成像系统的很好的近似，在测 量物距不是很小的情况下误差很小，而且计算简单了许多，因此实际是采用最多的 模型。按这种模型计算，物体的空间坐标和图像坐标之间的关系是线性的，因此最 后可以归结到求解线性方程组。 非线性模型则严格按照透镜成像原理建模，物体和图像之间的关系是非线性 的，计算要复杂许多。而且在此基础上还可以考虑摄像机镜头的非线性失真等因素， 摄像机模型将更加复杂，适宜于需要更高精度的场合。本系统的摄像机采用线性模 型( 针孔模型) 来计算啪1 。摄像机的标定就是要确定其内外参数，也就是计算出公 式2 一( 5 ) 中的m 。 2 3 2 立方体标定块方式 2 3 2 1 建立坐标系 将立方体标定块放置在旋转平台任意位置，以标定块的一顶点作为世界坐标系 的原点d 。，以相交于该顶点的三条边为蜀。k 、z ，轴建立世界坐标系0 函瓦 2 0 ， 如图2 9 所示。世界坐标系的k 轴与旋转平台旋转轴平行，方向已知。以旋转平 台旋转轴心d o 为原点，以旋转平台的旋转轴为物体坐标系k 轴，以转台平面内两 条垂直的直径作为五轴和z o 轴，建立物体坐标系o o x 0 1 名z o ，并可随旋转台一起转 动。以摄像机光心d c 为原点建立摄像机坐标系d o 夏k 乙，用于描述摄像机位置。 j 刁 y 。| 。 1 彤 | i ( 第二章系统原理及系统设计 2 3 2 2 摄像机标定 在立方体标定块方式的系统标定中，摄像机标定需要在摄像机前放置一个立方 体标定块( 见图2 1 0 ) ，该标定块在相邻的两个平面上刻有网格，网格间距l o r a m ， 实际有效网格点数为l o x1 0 = 1 0 0 个，这1 0 0 个网格点预先经过精确测量，已经知 道它们在指定的坐标系( 世界坐标系) 下的三维坐标。 圈2 1 0 标准标定块 如果己知n 个标定点的图像像素坐标( u l , v i ) 和世界坐标( ，z 0 ) ( f _ 1 ，2 ，。g t ) ， 那么由公式2 一( 5 ) 有 f z a u i m l l x 订+ m 1 2 y 0 + m 1 3 z 一+ m z d u - m 2 l x 讲+ 小+ 肼z 耐+ 埘甜 iz d _ r a ，l x