（信号与信息处理专业论文）基于人工地标的多视角三维曲面拼接方法研究.pdf

浙江理工大学硕士学位论文 摘要 因目标表面超出摄像机视场范围、回转体各部分之间相互遮挡或者测量精度 的要求等原因，使得从任何测量角度都无法实现一次完成整个目标的三维测量工 作，大型物体表面和回转体表面的检测往往需要分块测量，然后将各个分块测得 的曲面数据进行归一化，实现物体整体形貌测量。因此三维曲面拼接是实现物体 形貌测量的关键技术之一，同时也是计算机视觉和数字图像处理领域的重要研究 方向之一。 课题组在前期提出了基于符号m 阵列结构光的三维曲面检测方法，并实现 了在二值光源投射下动态场景的三维检测与重建，该三维检测方法适合测量大尺 寸且表面曲率变化较小的目标物体。由于这些物体表面不具有明显特征，因此不 宜采用自由拼接方法。基于该三维检测方法，本文研究了一种基于目标表面地标 的三维曲面拼接方法，实验表明该方法具有一定的拼接精度和较高的鲁棒性。 该方法在目标表面上设置一组地标，通过提取地标，获得地标的图像坐标， 从而求解出地标的世界坐标，由地标的世界坐标求解出不同视角下坐标系间的变 换矩阵，实现三维曲面拼接，本论文的主要内容包括以下几个方面： ( 1 ) 地标识别与定位方法研究。在待检测目标表面设置人工地标，通过图像 平滑、阈值分割对采集的地标图像进行预处理，利用地标所含白色连通域的个数 对图像地标进行识别，采用最b - - 乘拟合法对地标中心进行定位，并通过检测点 坐标分析计算地标的世界坐标，同时也给出了m a t l a b 下三维曲面模拟生成的方 法。 ( 2 ) 基于三地标的曲面拼接方法研究。研究了基于三地标的三维数据拼接的 确定和原理，推导出了变换矩阵的求解过程，然后根据变换矩阵将分块测量的世 界坐标系进行归一化。研究并分析了常用三地标的曲面拼接方法，提出了采用过 渡坐标系求取变换矩阵的方法。提出了曲面拼接后的评判标准与曲面的平滑处理 方法。 ( 3 ) 多地标拼接系统中地标的优化选择研究。在两个相邻曲面公共区域中有 众多地标的曲面拼接中，研究了基于特征和迭代配准算法的优势以及所存在的不 足，提出了在众多地标中选取其中最优三个地标作为拼接地标的方法。研究并确 浙江理工大学硕士学位论文 定了地标的优化选择原则，分析不同地标选择方案对拼接精度的影响，并通过一 系列的实验验证了该原则的可行性和正确性。 关键词：三维曲面；拼接；地标；归一化；平滑 浙江理工大学硕士学位论文 a b s t r a c t d u et ot h es u r f a c eo ft h et a r g e tb e y o n dt h ec a m e r av i e ws c o p e ，t h ep a r t i a lv i e w o f t h er e v o l v e db o d ys u r f a c e si sb l o c k e db yo t h e rp a r t s ，o rt h em e a s u r e m e n tp r e c i s i o n r e q u i r e m e n t s ，w h i c hm a k ea n ya n g l em e a s u r e m e n ta r eu n a b l et or e a l i z eac o m p l e t e t h et h r e e d i m e n s i o n a lm e a s u r e m e n tw o r ko f t h ew h o l eg o a l ，t h em e a s u r e m e n tp r o c e s s o f t h e s es u r f a c e sa r eo r e ns e p a r a t e di n t os e v e r a lp i e c e so rt i m e s t h en o r m a l i z a t i o no f e v e r ys e p a r a t e ds u r f a c ed a t a i s n e c e s s a r yi n o r d e rt or e a l i z et h eo b j e c tw h o l e t o p o g r a p h ym e a s u r e m e n t t h e r e f o r et h r e e - d i m e n s i o n a ls u r f a c es p l i c i n g i sak e y t e c h n o l o g yt or e a l i z et h eo b j e c tt o p o g r a p h ym e a s u r e m e n t ，a n di t sa l s oo n eo ft h e i m p o r t a n tr e s e a r c hf i e l d so fc o m p u t e rv i s i o na n dd i g i t a li m a g ep r o c e s s i n g as t r u c t u r e dl i g h t3 dd e t e c t i n gm e t h o dw h i c hb a s e do ns y m b o l i cm - a r r a y sw a s p u tf o r w a r db yo u rg r o u p a n do u rg r o u pr e a l i z e dt h ed e t e c t i n ga n dr e c o n s t r u c t i o no f d y n a m i c3 ds c e n ei nb i n a r yl i g h tp r o j e c t i o n t h e3 dd e t e c t i n gm e t h o di ss u i t a b l ef o r l a r g et a r g e t sw h i c ht h ec u r v a t u r ec h a n g e ss m a l l e r b e c a u s et h e r eh a v en or e m a r k a b l e c h a r a c t e r i s t i c so nt h eo b j e c ts u r f a c e s ，t h e r e f o r et h e yc a nh a r d l yb es p l i c e db yf r e e s p l i c i n gm e t h o d b a s e d o nt h et h r e e - d i m e n s i o nd e t e c t i o nm e t h o d ，a na l t e r n a t e d s p l i c i n gm e t h o dw h i c hb a s e do nt h r e el a n d m a r k so nt h et a r g e ts u r f a c ei sp r o p o s e di n t h i sp a p e r t h ee x p e r i m e n t sw e r ec a r r i e do u t ，a n dt h er e s u l ts h o w st h a tt h ep r o p o s e d s p l i c i n gm e t h o dh a sb o t ht h ea c c u r a c yo f c e r t a i ns p l i c i n ga n dt h eh i g hr o b u s t n e s s t h em e t h o di st h a tag r o u po fl a n d m a r k sa r es e to nt h es u r f a c eo ft h et a r g e t t h r o u g he x t r a c t i n gt h el a n d m a r k s ，w h i c hm a k eu sg e tt h ei m a g ec o o r d i n a t eo ft h e l a n d m a r k s a n dt h ew o r l dc o o r d i n a t eo ft h el a n d m a r k sa r es o l v e da c c o r d i n gt ot h e i m a g ec o o r d i n a t eo ft h el a n d m a r k s t h e nw ec a ns o i v et h ed i f f e r e n tp e r s p e c t i v e t r a n s f o r m a t i o nm a t r i xb e t w e e nt h ec o o r d i n a t es y s t e m so nt h eb a s i so ft h ew o r l d c o o r d i n a t eo f t h el a n d m a r k s ，w h i c hr e a l i z et h e3 ds u r f a c es p l i c i n g t h em a i nc o n t e x t o f t h i sp a p e ri n c l u d e st h ef o l l o w i n gr e s p e c t s ： ( 1 ) t h el a n d m a r k sr e c o g n i t i o na n dl o c a t i o n a r t i f i c i a ll a n d m a r k sa r es e to nt h e s u r f a c eo ft h ed e t e c t e do b j e c t ，u s i n gi m a g es m o o t h i n ga n di m a g es e g m e n t a t i o nt o p r e p r o c e s st h ei m a g eo ft h el a n d m a r k s r e c o g n i z et h el a n d m a r k sb yu s i n gt h en u m b e r o fw h i t ec o n n e c t e dd o m a i no ft h el a n d m a r k s t h e nl o c a t et h ec e n t e ro ft h el a n d m a r k s b yl e a s ts q u a r e sf i t t i n gm e t h o da n dc a l c u l a t et h e3 dw o r l dc o o r d i n a t e so ft h e 浙江理工大学硕士学位论文 l a n d m a r k sb ya n a l y z i n gt h ec o o r d i n a t eo f t h ek e yp o i n t s a tt h es a m et i m e ，3 ds u r f a c e w a sg e n e r a t e db ym a t l a bi ne x p e r i m e n t s ( 2 ) s t u d yo ns u r f a c es p l i c i n gm e t h o db a s e do nt h r e el a n d m a r k s t h i sp a p e r s t u d yt h et h r e e - d i m e n s i o n a ls u r f a c es p l i c i n gb a s e do nt h r e el a n d m a r k sa n dp r i n c i p l e ， d e r i v e dt h es o l v i n gp r o c e s so ft r a n s f o r m a t i o nm a t r i x t h e nu n i l y i n gt h ed i f f e r e n t w o r l dc o o r d i n a t es y s t e m st ot h es a m ec o o r d i n a t es y s t e ma c c o r d i n gt ot r a n s f o r m a t i o n m a t r i x , a l s oi n t r o d u c e ss o m ec o m m o n l yu s e ds u r f a c es p l i c i n gm e t h o d so nb a s eo f t h r e e l a n d m a r k s p r o p o s et h ee v a l u a t i o ns t a n d a r d sh o wt oj u d g et h ei m a g ea f t e r s u r f a c e ss p l i c i n ga n dp r o v i d em e t h o do f s u r f a c es m o o t hp r o c e s s i n g ( 3 ) s t u d yo no p t i m i z e ds e l e c t i o no fl a n d m a r k si ns p l i c i n gs y s t e mi n c l u d i n g m a n yl a n d m a r k s i nt h es u r f a c es p l i c i n go ft h en e a r b ys u r f a c ep u b l i cz o n ei n c l u d e d m a n yl a n d m a r k s ，t h i sp a p e ra n a l y z e dt h ea d v a n t a g ea n dd e f i c i e n c yo fa l g o r i t h mb a s e d o nc h a r a c t e r i s t i c sa n di t e r a t i v e am e t h o dh o wt oc h o o s et h eb e s tt h r e eo fa l lt h e l a n d m a r k sa st h es p l i c i n gl a n d m a r k sw a sp r o p o s e d t h i sp a p e ra l s od e f m e dt h e p r i n c i p l eo fo p t i m i z i n gs e l e c t i o na b o u tt h el a n d m a r k s ，a n a l y z e dt h ei m p a c to nt h e a c c u r a c yb yu s i n gd i f f e r e n tl a n d m a r k sc h o s e nm e t h o d sa n dv e r i f i e dt h er e l i a b i l i t ya n d f e a s i b i l i t yo f t h ep r i n c i p l eb yas e r i e so f e x p e r i m e n t s k e y w o r d s ：t h r e e - d i m e n s i o n a ls u r f a c e ；s p l i c i n g ；l a n d m a r k ；n o r m a l i z a t i o n ； s m o o t h ； i v 浙江理工大学硕士学位论文 第一章绪论 1 1 研究背景及意义 随着经济的发展，人们生活质量的不断提高，人们对于各种物质的需求也越 来越呈现出多样化的要求，对产品的精细度也提出了越来越高的要求，使得对测 量对象提出了多样化要求，从而产生了基于视觉的对目标物体进行非接触式的三 维测量技术【1 1 1 2 3 1 ，近些年来，该技术逐渐成为测量领域中的发展方向。但在实 际应用该测量技术时，由于测量装置自身的检测视场与精度有限以及待检测目标 物理表面的多样性，因此在对目标物体进行测量时，难以通过一次测量就能实现 对目标的精确测量。在对大型形貌目标测量时，由于目标相邻表面之间的重叠， 需要在不同视角下多次分区域进行测量，再将各个测量区域内的坐标系归一化， 从而完成目标物体的整体测量。而这种利用多视角不同子曲面进行测量的技术便 演化成为现在的三维拼接技术。三维曲面拼接是实现大型目标物体表面检测中重 要的步骤之一，拼接的精度将直接影响三维重建的可行性与准确性。同时也是目 前计算机视觉领域的研究热点。 由于现代科学技术的飞速发展，三维形貌测量技术在众多领域中都有所运 用，尤其是在零件检n 4 j 5 1 、逆向工程【6 】【7 l 、虚拟现实8 删以及文物保护【l o 】【1 、医 学图像分析等发挥越来越重要的作用。 1 零件检测 在当今发展呈多样性的制造业中，零件是各种产品的基本组成部分。由于大 部分零件数量大、自身刚性差等特点，使得生产过程中各种参数的在线检测一直 是零件生产过程中的主要难题之一。可以通过测量技术得到零件的各种参数，然 后相比较与标准零件的各种参数，判断出待检测产品是否存在缺陷，是否符合标 准。它不仅关系到零件自身的质量问题，而且还决定了经各种零件组装起来的产 品能否正常使用。 2 逆向工程 逆向工程指通过实际商品的空间几何形状，利用三维测量技术获取得该商 品相对应的三维数据模型，再对这些三维数据进行加工整合，生成所需的数据模 浙江理工大学硕士学位论文 型，最后利用这些三维数据通过工业机床来生产出满足人们需求的产品。在上述 过程中如何实现有效获取待测量目标物体表面的空间坐标值，是逆向工程中的相 当重要的一个步骤。目前，逆向工程已经被广泛地应用于各种加工制造业中，如： 模具、船舶、汽车、航天、制鞋以及消费性电子产品等各种制造行业，而且在医 学上也有其相应的各种应用，如建立人工关节、假牙模型，获取人体骨骼的三维 点云数据等【1 2 】。 3 虚拟现实 利用三维形貌测量技术可以获取待检测物体在现实世界中的各种三维坐标 值，有了这些在空间中的三维坐标值，计算机就能够更容易虚拟现实世界。通过 这种虚拟现实的方法，在教学中，可以通过虚拟建立一些复杂和抽象的概念，使 人能够更直观、更容易理解。在实验室中为了寻找最佳的解决方法可以通过模拟 实验以提高熟练程度；在城市规划中，设计人员可以在模拟的三维场景能够找出 平时不易发现的一些设计缺陷。 4 文物保护 利用三维形貌测量技术获得珍贵艺术品以及文物的空间三维数据，然后利用 所得三维数据进行三维重构，即可得到艺术品与文物的三维立体模型【1 3 】。再将这 些三维立体模型在网上进行展示，不但可以更加形象、逼真、详尽的记录了这些 珍贵艺术品与文物的各种必要信息，而且能够使人们在家里通过互联网就能欣赏 这些珍藏品，同时，降低了文物被损坏的可能性，使文物得到更好的保护。 5 医学图像分析 在医学领域，不同模态的图像呈现出各自的特性，如p e t ( p o s i t i v ee l e c t r o n t o m o g r a p h y ，正电子发射计算机断层扫描) 和s p e c t ( e m i s s i o nc o m p u t e d t o m o g r a p h y ，单光子发射断层扫描) 均以较低的空间分辨率提供器官的各种新陈 代谢功能信息，而m r i 与c t 以较高的空间分辨率提供器官的解剖结构信息。 在实际的临床应用中，由于单一模块图像产生的信息往往是有限的，因此，为了 获得更加全面的信息，一般需要将不同视角下所获得的模块图像进行拼接及融 合，从而为医生做出正确诊断与治疗提供有力的保障。2 0 0 1 年6 月，g e 公司推 出的d i s c o v e r yl s 是c t p 与e t 的一套功能完善的融合系统，它具有单体p e t 某些功能难以实现的优势。它可以完成分子代谢影像( p e t ) 、能量衰减校正以 2 浙江理工大学硕士学位论文 及计算机x 线断层扫描( c t ) 的图像拼接与融合，使检查所需时间大幅度减少。 经过多年大量的实验研究，人们针对三维形貌测量提出了各种各样的测量方 法。比较常见的方法以及分类情况【1 4 1 如图1 1 所示。 图1 1 常见的三维形貌测量方法和分类 ( 1 ) 接触式测量 三坐标测量机( c m m ，c o o r d m m em e a s u r i n gm a c h i n e ) t 1 5 】【1 6 】【1 7 1 是接触式测量 中比较常用的一种测量装置，由于它受被检测目标对象的尺寸影响较小，因此对 空间几何形状复杂的目标物体可以利用该测量装置进行测量，而且同时也不会被 测物体的色泽和材质等条件客观条件所影响。因此它被广泛应用于各种各样的工 业检测中。然而由于该机器造价昂贵，测量效率及精度均存在不足，因此，适合 于对测量要求不高的场合。 随着科学技术的发展，基于机械测量臂的三维测量技术也日益完善，如 f a r o 公司研制的机械测量臂，它可以测量复杂的大型目标的表面如汽车、卫星 天线、飞机发动机等。人们通过使用安装在机械臂上的探针在目标物体表面进行 全方位的移动扫描，获得被检测目标物体的三维坐标值。机械测量臂装置的结构 得到了简化，变得轻巧，因此它比相较于三坐标测量机控制更加方便，但由于是 通过人手动地牵引机器的测量臂，所以只适合于对测量速度要求不高的应用场 合。同时由于机械动作不灵活的制约，影响着物体扫描数字化的速度，从而大大 降低了测量的效率；另外由于高昂的造价，它的应用范围也受到一定程度的限制。 ( 2 ) 非接触式测量 3 浙江理工大学硕士学位论文 随着测量技术的不断发展，非接触式测量技术成为了国内外测量技术的主 导。在对目标物体进行三维检测时，常用的一种方法是通过声纳、雷达【1 8 】【1 9 】【2 0 】【2 l 】、 激光荆2 2 】【2 3 】【2 4 1 等硬件系统来实现三维形貌的检测。虽然在近些年该类检测技术 已经日益成熟，但仍然存在着一定的瑕疵。在视野比较空旷的环境中对目标物体 利用上述硬件检测系统进行三维测量时，其三维测量结果是比较准确的，然而当 被测量的目标物体置于狭窄的空间中时，容易受周边不确定因素影响，获得的三 维测量结果会产生一定的误差，同时仅依靠上述硬件检测系统无法获得被检测目 标物体准确的三维空间信息。硬件系统中的激光测距则是利用飞行时间对被测量 目标物体进行三维检测，随着测量技术的日益发展，近些年也取得较大发展，然 而通过激光测距仪扫描周围环境来获取待检测物体的空间三维信息是相当复杂 的，难于满足目标物体的实时检测要求。因而此类的测量方法仍不能满足检测精 度准、效率高的要求，只适于对目标物体检测要求不高的场合。 三维检测技术中另一种常用的非接触式测量方法是机器视觉，它主要是通过 机器视觉把摄像机采集回的平面图像构建出真实的现实目标物体模型。机器视觉 依据c c d 相机的个数不同，一般可分为单目视觉、双目立体视觉、多日立体视觉 与基于结构光的主动立体视觉。 ( 1 ) 单目视觉嘲【2 6 1 【2 7 1 是早期较常用的一种三维检测方法，它利用一台c c d 摄像机对被检测目标物体进行拍摄，然后再应用相关的数字图像处理知识对采集 回的平面图像进行处理，获得目标物体的表面信息，然而由于采集回的图像，不 包含目标物体的空间三维信息；这种检测方法利用二维图像中的各种色差以及纹 理获取被检测目标物体的空间三维信息，该方法取决于被检测目标物体自身的形 貌特征以及所处的环境，如环境中其他物体表面的反射、光照强度的大小以及被 检测目标与周围背景存在的色差等各种因素，因而运用该检测方法对物体进行检 测存在较多的制约条件，难以胜任在环境复杂的场景中待检测物体的三维重建。 ( 2 ) 双目立体视觉2 8 1 【2 9 1 【3 0 1 的基本思想是采用三角测量法，在被检测目标物体 的相邻位置各放置一台c c d 摄像机，然后分别对其进行拍摄，由于它们处于不同 的视角下，因此被检测目标物体在两幅拍摄图像中的位置是不相同的，再根据不 同c c d 所处的空间相对位置，则可通过三角测量估算出待测量物体的距离，然而 在通过三角法对目标物体进行测量时，前提是解决怎样判断被检测目标物体在不 4 浙江理工大学硕士学位论文 同c c d 中所对应的各点，即实现不同c c d 中各点的匹配问题。如果在被检测目标 物体中没有相应的特征点，则难以对实现对目标物体的有效检测。 ( 3 ) 多目立体视觉【3 l 】是双目视觉的延伸，只是在后者的基础上，增加一台或 者多台c c d 来获取被检测目标物体更多的空间信息，以减少不同c c d 图像各 个数据点间的错误匹配，提高目标物体的检测精度，然而由于该检测方法所使用 的c c d 多于一个，使得该检测系统变的更加复杂，而且其检测精度受多台c c d 的误差影响。 ( 4 ) 基于结构光的主动立体视觉的主要思想是把一个光源当成一台c c d 来使 用，然后将带有编码信息的结构光通过该光源投向被检测的目标物体表面，再用 另一台c c d 摄像机对含有编码信息的目标物体进行拍摄，这样就无需对两台c c d 摄像机图像的各个点进行匹配，避免了对应点的误匹配。因此相比较于双目立体 视觉具有更快的检测速度。 1 2 三维拼接技术概述 三维拼接技术的基本思想是通过坐标系间的变换矩阵将多次分区域测量得 到的三维坐标值转换到同一个全局的坐标系中，从而实现对被检测目标物体的整 体测量。目前常用的三维拼接方法主要包括自由拼接和约束拼接。 一、自由拼接。该拼接方法不需要其他的辅助测量装置，而通过利用编程语 言编程来求取不同子曲面之间的坐标系变换矩阵，但是应用该方法实现拼接，其 前提是对被拼接目标物体进行多次测量时，必须满足不同视角下的测量曲面存在 公共部分，否则，难以求解出所需的变换矩阵，从而无法实现三维眭面拼接。该 类方法使用起来比较方便与灵活，而且不受待拼接目标大小影响。但该拼接方法 也存在着一定的局限性，若待拼接目标物体自身可利用的特征信息较少的话，则 其拼接效果并不太理想。 天津大学的许智钦等【3 2 】在实现三维拼接时，引入了几何参数曲率，通过待 拼接目标物体的表面曲率等特征实现不同坐标系间的数据拼接。 南京理工大学的吴新民等【3 3 】通过向待测量物体投射带有编码信息的m o i r e 条纹，再对拍摄回的含m o i r e 条纹图像进行解码，从而实现曲面拼接，该方法不 需要利用待拼接目标物体自身的特征信息。 浙江理工大学硕士学位论文 张正友【3 4 】采用数理统计的方法对目标物体实现拼接，其基本思想是根据不 同视角下的各组三维坐标值的分布情况，运用数理统计方法实现各组三维坐标值 的拼接，由于该拼接方法只运用数理统计原理，因此其拼接精度不高。 c sc h u a 和r j a r v i s 等在实现三维曲面拼接时，根据待拼接目标物体表面 自身的曲率在两组三维坐标值中提取相对应的三个数据点，即找出三对匹配的数 据点，然后据此求解出两组三维坐标值之间的变换参数，通过所求的变换参数， 便可以实现这两组数据的融合。 二、约束拼接。依约束对象的不同可分为传感器位置约束和图像地标约束。 传感器位置约束的基本思想是通过传感器在待拼接目标物体周围的相对空间位 置关系，求解出不同测量区域之间坐标系的变换矩阵，使不同坐标系变换到同一 参考坐标系下，即可完成不同测量区域间的三维数据整合，该方法虽然没有利用 目标物体自身的特征信息，避免出现特征匹配错误，但是整个传感器的操作需要 手动操作，容易引入误差。 图像地标约束指通过摄像机采集的图像中的地标求解出不同测量区域内坐 标系之间的变换矩阵，它不需要其他的辅助测量装置，只需目标物体可利用的特 征信息，因此操作比较方便，然而在地标信息丢失的情况下，将影响三维拼接效 果，甚至无法实现三维拼接。 1 3 三维曲面拼接技术研究现状 随着三维拼接技术的不断发展，在各个领域中都可以看见有关三维拼接技 术的相关运用，以此同时，国内外许多专家学者对其都进行了大量的研究并提出 了许多不同的拼接理论和方法。 v a nd e rs t e l t ，p a u lf 等【3 6 】在对医学变动检测图像进行数据配准时，其配准算 法运用曲率、移动不变式等几何性质获得两张不同医用图像配准的近似值。经过 配准后，各种噪声参数被排除。通过对多组医用图像的实验，证明了该算法的可 行性。 s h o n g 等阳利用测定体积法对待拼接目标物体进行三维拼接。该方法前提 是待拼接的两个子曲面必须要有公共部分，然后利用测得体积法实现多次分区域 测量数据的拼接。与传统三维拼接方法之间的区别在于该拼接方法只需要两个待 6 浙江理工大学硕士学位论文 拼接曲面是同一组类似物体即可。 h o r e s h n a d a v 等【3 8 1 研究了在外科手术中采用立体视频系统实现三维图像的 实时配准。通常比较复杂的外科手术图像需要对多次采集的医学模式图像进行配 准，为外科医生提供充分的信息以便为就诊的患者做出正确的诊断。同时该文还 介绍了一种利用v i s i o n s e n s e 摄像机对目标物体进行三维重构的方法。 k e r s h a w 等【3 9 1 在对人体半球间裂大脑磁共振的研究中，提出了一种对脑部影 像图像进行拼接的新方法。它被用来通过人体半球间裂面来解决从平面到立体的 问题。通过多组实验表明，其图像拼接的相对误差小于4 1 毫米。 l i y a n 等【4 0 】在对骨架超声模式图像进行配准时，提出了根据骨架中的弹性特 征进行匹配来实现不同模式图像之问的数据配准。该配准方法能降低在获取模式 图像时所产生的弹性形变。 c b r a n c o 等【4 l 】提出了一种利用因式分解法实现三维图像拼接的方法，随着 计算机的发展，科学界就一直致力于提供具有传感功能的机器人。视觉虽然应用 广泛，但也是最具挑战性的人工感觉。在计算机视觉中，通过一系列的图像来恢 复出动态场景的三维结构技术被广泛的研究。提出了一种基于因式分解法的形状 恢复系统，能够确定选择特征点的三维形状。该算法的优点在于即使物体的部分 表面被遮挡或者离开了视野，也能够以递归方式保持物体的原有形状特征，i s t 正致力于建立一个基于序列图像的三维系统，这里的研究只是其中的一部分。 t o n g - q u nr e n 等【4 2 1 在基于双目立体视觉测量系统的三维图像拼接技术研究 中，提出了一种基于世界坐标测量系统的三维曲面拼接技术。它能有效地解决现 有方法中大多都存在的多视角拼接对全局误差无法控制的缺陷。使用高分辨率的 照相机和若干个控制点，利用相机自标定技术使得世界坐标系统具有相当高的精 度。然后通过在待测量物体上粘贴若干个控制点，就可以实现世界坐标与测量坐 标之间的变换。从不同视角下获取的三维点云数据就可以被归一化到同一个世界 坐标系下。在理论上，它可以避免因多次拼接而产生的累积误差：在实际应用中 也是可行的实验测试。 邾继贵等【4 3 】在待拼接目标物体表面设置三个地标，然后对其进行多次分区 域测量，但其前提是相邻的测量区域必须包含所设置的三个地标，再根据这三组 地标确定待拼接目标物体周围传感器间的物理位置关系，然后通过传感器的位置 7 浙江理工大学硕士学位论文 关系求解出各测量区域之间的坐标系变换参数，最后根据坐标系变换参数实现待 拼接目标物体的整体拼接。 尚爱军等m 】在对大型形貌进行检测时，提出了利用经过编码的结构光对目 标物体拼接的方法。将带有编码信息的结构光投射待拼接目标物体上，再对采集 回的图像进行解码，从而求解出了目标物体的三维数据。再根据待拼接目标物体 自身的特征及边缘检测找出分割线，最后对求得的三维数据分割、组合，即可完 成目标物体的整体拼接。 万睿等【4 5 】通过将结构光投射到待拼接目标物体上，在对物体进行拼接前， 先对摄像机进行标定，定标的作用是确定图像坐标与空间世界坐标的关系，相机 标定后，就可以获得待拼接物体的三维坐标值，再根据待拼接目标物体选择旋转 平台或地标进行曲面拼接。 韩建栋等】在对大型形貌测量时，提出了利用光学定位跟踪技术对待拼接 目标物体进行拼接的方法。该方法需要借助于平面靶标，然后构建一个全局的坐 标系，最后将多次分区域测量的三维坐标值统一到之前所建立的全局世界坐标系 下，实现对目标物体的完整拼接。 许凌羽等h 7 1 在研究高效三维拼接时，提出了一种新的三维曲面拼接技术。 该拼接方法的前提是相邻的测量区域之间存在公共部分。其拼接过程不需要任何 的辅助测量装置，只需引入辅助点即可，便可将不同坐标系间的三维数据统一到 同一坐标系中，该方法具有较高的拼接精度。 陈刚等【4 8 】提出了一种利用光学编码点实现三维曲面拼接的方法。其基本思 想是在相邻测量区域的公共部分中设置光学编码点，然后通过视觉传感器分别对 各个子测量区域进行测量，最后利用相邻测量区域内的光学编码点求解出不同坐 标系下的变换矩阵，从而实现目标物体的三维拼接。 刘志刚等【4 9 】提出一种采用迭代的三维数据配准方法。事先在不同测量区域 之间初始化一个坐标系的变换矩阵，然后通过一定的迭代原则，对坐标系的变换 矩阵反复迭代，直到满足事先设置的参数为止，再将多次分区域测量的坐标系变 换到同一坐标系下。 张广军等【5 0 】提出了利用经纬仪实现三维数据拼接的方法。该方法需要在各 个子测量区域放置一个平面靶标，再通过经纬仪建立一个全局的世界坐标系，最 8 浙江理工大学硕士学位论文 后将视觉传感器各子测量区域的三维坐标值变换到全局坐标系下。通过试验证 明，该方法具有较高的拼接精度。 1 4 本文的主要研究内容 1 4 1 研究目标 针对大型物体由于测量设备的测量范围有限和回转体表面各部分互相遮挡 等原因，因而无法通过一次测量实现大型物体的检测，本文主要研究工作是提出 一种新的曲面拼接方法。该方法通过在待测量物体表面粘贴人工地标并对其进行 精确定位，求解出地标的图像坐标及世界坐标；提出了一种求取不同坐标系间变 换矩阵的新方法，提高了拼接系统的灵敏性，并且研究了曲面的配准评价方法和 拼接后曲面的调整及平滑。 1 4 2 研究内容 针对本论文的研究目标，本文研究以下几点内容： ( 1 ) 图像预处理方法。为了准确提取出图像中的地标，研究了图像预处理方 法，找到了合适的阈值分割方法，为后续的图像地标的识别和定位打下了坚实的 基础。 ( 2 ) 地标识别与定位。对采集回来的预先粘贴在目标表面的地标图像，经过 预处理后利用地标所含白色连通域的个数对图像地标进行识别。然后采用最小二 乘拟合对地标中心进行定位，并通过地标附近的检测点坐标来分析和计算地标的 三维世界坐标值。在m a t l a b 环境下对三维曲面进行模拟生成，为后续实验提供 了素材。 ( 3 ) 基于三地标的曲面拼接。研究了基于三地标的三维点云数据拼接的确定 及实现原理，推导了变换矩阵求解过程，通过变换矩阵实现分次测量的世界坐标 系的归一化。研究了常用三地标拼接方法，提出了一种新的坐标系间变换矩阵的 求取方法，与传统的拼接方法相比较，该方法计算量更小，拼接精度也能达到一 定的要求。提出了拼接后的曲面评判标准与曲面的平滑处理方法。 ( 4 ) 多地标系统中最优地标的选择。研究了常用的多地标拼接方法，通过分 析基于多地标拼接存在的不足，提出了通过从众多地标中选出三个最优地标的方 法来实现曲面拼接。论文提出了最优地标的选择原则，然后利用选取出的最优地 标进行了一系列的曲面拼接实验，验证了地标优化选择原则的可行性和正确性， 9 浙江理工大学硕士学位论文 同时也分析了优化原则中影响拼接精度的各种因素。 1 4 3 主要创新点 本文的创新点主要有以下两个方面： ( 1 ) 在三维曲面拼接技术中引入了面结构光，同时提出了一种新的三维曲面 拼接方法。针对传统三维拼接方法的不足，本文提出了一种新的基于人工地标的 三维拼接方法。通过粘贴在待拼接物体上的三个人工地标建立过渡世界坐标系间 接求解出不同视角下世界坐标系之间的旋转矩阵和平移向量。 ( 2 ) 针对多地标拼接系统存在的计算量大与曲面拼接速度慢的问题，本文提 出了如何从待拼接物体表面众多地标中选择出最优三个地标的原则，然后利用最 优的三个地标实现三维曲面的快速拼接。 1 5 本章小结 本章主要阐述了在三维检测技术基础上三维拼接的背景和意义，并综述了国 内外三维拼接技术的概述与研究现状，分析了常用的各种三维拼接方法的优点以 及存在的不足，针对存在的问题提出了本课题研究的目标和内容。 l o 浙江理工大学硕士学位论文 第二章地标的识别和定位 在对大型形貌进行测量时，比较常用的拼接方法主要包括自由拼接与传感器 位置约束拼接，然而对于待拼接目标物体表面曲率较小的对象，由于自身的特征 不够明显，难以通过自由拼接实现对目标物体的高精度拼接。而传感器约束拼接 则需要辅助测量装置，在对待拼接目标物体进行测量时，不同视角下传感器间的 空间相对位置关系是通过辅助设备来获取的。该方法的拼接精度取决于辅助测量 装置与传感器的测量精度，同时相邻测量区域间的变换矩阵求解过程相当复杂。 因此以上两种拼接方法并不能胜任所有的三维拼接工作。 针对以上两种方法存在的不足，提出了地标约束的三维拼接方法。该三维拼 接的精度只由所采用的三维检测设备以及检测方法等因素决定。通过地标约束实 现三维曲面拼接的前提：地标的位置必须设置在参考曲面和待拼接曲面的重叠区 域。本文的地标采用在检测对象表面上通过粘贴人工地标的方式进行设置。而至 于地标的设置方式可以灵活多样，既可以直接在待检测对象上粘贴，也可以在待 检测对象上通过可见光直接投射，后一种设置方式能实现真正意义上无接触的三 维测量。 2 1 地标识别 地标的准确提取在三维数据拼接中起着关键性作用，由于后文提出的三维曲 面拼接算法需要通过获取地标的三维坐标值来求取相邻测量区域间的坐标系变 换矩阵，因此，所采用的地标识别方法必须确保地标能够被准确的识别出。 2 1 1 地标图像预处理 进行三维数据拼接的前提是得到地标的准确定位，地标的定位精度直接影响 三维数据拼接的精度。因此，为了获取人工地标的高精度定位，需要对地标图像 进行预处理，图像预处理的作用就是抑制或者消除与图像处理无关的信息，改善 图像的质量，或者增强一些对后续处理有重要作用的图像特征，转为三维特征数 据为后续的三维曲面拼接做好准备。 浙江理工大学硕士学位论文 图2 1 地标图像预处理流程 1 图像滤波 在实际图像采集的过程中会不可避免地产生或者引入各种噪声。而这些噪声 在图像上往往呈现为一些单独的像素点，如果这种干扰或者单独像素点不经过相 应的滤波处理，会对给后续的工作( 阂值分割、特征识别、特征提取等) 带来很 大的不便，因此去除图像噪声点即图像滤波是一项非常重要的图像预处理工作。 图像处理中较常用的滤波方式主要有：高斯滤波、均值滤波、中值滤波等。 传统的滤波算法在图像各像素位置上均需对一个模板内的所有像素进行排 序，但是这样处理所需的计算量会很大。经实验验证，当模板窗口在某一行上移 一列时，模板窗口中的内容只是去掉了最左边的列而在最右边增加了新列，对应 m 行 列的中值窗口，而其中的m 一2 m 个像素并没有发生任何变化，无需对其 进行重新排序。因此可对中值滤波算法做如- f 5 1 】【5 2 1 改进： ( 1 ) 令历= 竿； ( 2 ) 将模板窗口移至到一个新行并对其像素进行排序。建立窗口像素的直方 图日，令其中值为m i d ，记录灰度值小于或等f m i d 的像素个数为i t 一朋耐； ( 3 ) 对于最左列灰度值为以的所有像素p ，则：研以】= 日【以卜1 ； ( 4 ) 将模板窗口向右移动一列，对于最右列灰度值为岛的像素p ，则： 研以】= h p e + l ，如果以 t h ，则执行( 6 ) ，重复i t m i d = l t m i d + h m i d 】， m i d = m i d + l ，直至tm i d t h 时执行( 7 ) ； ( 6 ) 重复m i d = m i d l ，i t m i d = l t m i d - h m i d 】，直至艮一m i d 历； ( 7 ) 若模板窗口没有超出图像的右边界，则执行( 3 ) ； ( 8 ) 若模板窗u i 没有超出图像的下边界，则执行( 2 ) ； 1 2 浙江理工大学硕士学位论文 2 图像阈值分割 由于本文使用的人工地标识别方法是通过地标中所含有的白色连通域的个 数来识别地标的，因此需要对采集回的地标图像进行阈值分割，图像分割的好坏 影响人工地标的识别，进而制约着三维曲面拼接的精度。常用的图像阈值分割方 法可能不太适合于对地标图像进行阈值分割。 o t s u 方法【5 3 】是1 9 7 9 年被提出来的，被认为是求取图像阈值的最优方法。该 方法具有简单、处理速度快等特点。其基本思想是通过阈值把图像像素划分为两 类，然后利用这两类像素间的方差最大值确定图像的最佳阈值【5 4 】【5 5 】【蚓。 设图像力中像素的总个数为，灰度级的范围为g = o , l - i 】，而对应 灰度级为i 的像素个数为，则图像中各个灰度级出现的概率： 只l - i 2 景。= 。，l ，2 ，三一n 2 一。， a - - 1 图像被阈值丁划分为两类g - - o ，r - 与q = p + 1 ，l - 1 。两类的概率及平均灰 度值为： ， = b ，a l = l - a 1a o2 己b ，a l 2 i