（测试计量技术及仪器专业论文）无导轨图像拼接技术的研究.pdf

摘要 目前，自由曲面检测过程中尚有一些问题亟待解决，如测量范围小、测量效 率低、测量系统的柔性和适应性差、难以在现场检测等。本文在主动光栅投影双 目视觉传感器的研究基础上，提出了一种无导轨图像拼接的方法，将主动光栅投 影双目传感器测得的单元图像进行拼接，实现自由曲面三维轮廓的整体测量。 论文的主要研究内容如下： 1 分析了主动光栅投影双目传感器的特点，针对其单元测量精度较高而测量 范围小的特点，提出无导轨图像拼接的方法。 2 对测量中的核心问题图像匹配问题进行了研究，将摄影测量学中控制 点的概念引入测量系统，提出基于粘性目标的图像拼接方法，可使用人机 交互或利用编码标志自动实现拼接。 3 研究了现有的三维数据配准的方法，分析了各自的特点。根据实际要求， 提出基于粘性目标的拼接方法。在粗拼接中，使用“三点法”进行相应特 征点的坐标变换，求出初步的转换关系；为提高拼接的精度，提出基于 i c p ( i t e r a t i v ec l o s e s tp o i n t ) 算法的细化配准方法，以实现整体的较高 精度的三维轮廓测量。 4 对测量系统的可视化部分作了初步的研究，提出了一种简单的可视化方 法，将单元测量的数据转换为标准格式，实现在三维软件中的可视化。 5 研究了测量过程中的自适应采样问题，提出基于曲率变化的自适应采样方 法，在保证测量精度的前提下，提高了其测量效率。 6 ，进行了相关的计算机仿真和实验，对上述模型和方案进行了初步的验证， 完成了部分相关软件的设计。 关键词：自由曲面双目视觉图像配准自适应采样 a b s t r a c t c u r r e n t l y ，t h e r er e m a i ns e v e r a lp r o b l e m si nf r e e f o r mi n s p e c t i o n ，s u c ha ss m a l l m e a s u r i n gr a n g e ，l e s sf l e x i b i l i t y a n da d a p t a b i l i t y , l o w i n s p e c t i o ne f f i c i e n c y a n d d i f f h c u l t yi nr e a l i z i n go n s p o tm e a s u r e m e n t a i m i n ga ts o l v i n gt h e s ep r o b l e m s ，t h i s t h e s i s p r e s e n t s am e t h o do fw a y s f r e e i m a g ej o i n tt e c h n o l o g yf o r f r e e f o r m3 - d i n s p e c t i o n t h em a i nr e s e a r c hw o r ko ft h i st h e s i si n c l u d e d ： 1 a n a l y z i n gt h ea c t i v eg r i dp r o j e c t i o n b i n o c u l a rv i s i o ns e n s o r s ，t h i st h e s i s p r o v i d e sa3 - di m a g e - j o i n tm e t h o dt oe n l a r g et h em e a s u r i n gr a n g eo ft h e b i n o c u l a rv i s i o ns e n s o r s 2 t h ek e r n e lp r o b l e m - - i m a g em a t c h i n gi ss t u d i e di nt h i st h e s i s t h ec o n c e p t a b o u tc o n t r o l p o i n t i si n t r o d u c e da n da d h e r e n t t a r g e t s a r e u s e d ，s ot h e i m a g e - j o i n tc a nb er e a l i z e dw i t hh u m a ni n t e r a c t i o n o ra u t o m a t i c a l l yw i t h c o d e d t a r g e t s 3 t h e t e c h n o l o g yo f 3 - dd a t a r e g i s t r a t i o ni sr e s e a r c h e d a n dr e s p e c t i v ef e a t u r e s a r ea n a l y z e d o n em e t h o db a s e da d h e r e n tm a r ki s p r o p o s e dt o s o l v et h e r e g i s t r a t i o np r o b l e m s t h e “t h r e e p o i n t s ”m e t h o d i su s e dt o g e t i n i t i a l t r a n s l a t i o n ，a n di c pm e t h o di m p r o v e st h er e g i s t r a t i o na c c u r a c y s ot h e f r e e f o r mp r o f i l e si n s p e c t i o nc a nr e a c ha na c c u r a t er e s u l t 4 o n es i m p l em e t h o do f3 - dd a t av i s u a l i z a t i o ni sp r o p o s e di nt h i st h e s i s t h e d a t ao b t a i n e df r o mt h eb i n o c u l a rv i s i o ns e n s o r si st r a n s f o r m e dt of i l e sw i t h s t a n d a r df o r m a t ，t h e nt h e s es t a n d a r df i l e sc a nb el o a d e di n t o w i d e l yu s e d s o f t w a r et ob ev i s u a l i z e d ， 5 d e n s es a m p l i n gm a yo b t a i n h i g ha c c u r a c y ，b u tt o ol a r g ec o m p u t a t i o n a l w o r k l o a di n d u c e sl o wi n s p e c t i o ne f f i c i e n c ys o m e e l e m e n t a r yr e s e a r c ha b o u t a d a p t i v es a m p l i n gi sp r e s e n t e dt os o l v et h ep r o b l e m s 6 s i m u l a t i o n sa n da b e c e d a r i a ne x p e r i m e n t sa r ec a r r i e dt ov e i l f ya l lt h em o d e i s a n d p l a n s s o m em l a t i v es o f t w a r ei sd e v e l o p e d k e y w o r d s ：f r e ef o r m ，b i n o c u l a rv i s i o n ，i m a g er e g i s t r a t i o n ，a d a p t i v es a m p l i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得盘盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：，力蠹赢舞签字日期：易一弓年月r 日 学位论文版权使用授权书 本学位论文作者完全了解苤壅盘鲎有关保留、使用学位论文的规定。 特授权墨鲞盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名 + ) 锄争 导师签名锄越谈 签字日期：鹏年 月f 日 签字日期：j r 。j 年月亏1 9 天津大学硕二匕学位论文第一章 绪论 1 1项目简介 第一章绪论 本文是对国家自然基金项目“无导轨图像拼接及大范围现场测量检测技术研 究的子课题。 制造业中存在这样一类问题，即希望测量手段在现场完成工件的整体测量， 而不是相反工件进入测量环境。例如，因为体积过大而不能进入测量设备， 如汽车模型、航空航天器模型、大型模具等；因为不允许移动而不能进入测量环 境，如样机测绘、样件基础与大地相连等。因此，研究一种能够用于现场的、大 范围、高效和高精度的工件整体测量手段具有广泛的应用价值。如用于军事工业、 逆向工程、服装行业等领域。 三维形貌检测是今年来的研究热点问题之一，国内外许多学者在这方面丌展 了大量的研究工作如英国“3 ds c a n n e r s ”公司的m o d e l m a k e r 激光扫描测量系 统，美国m i c h i g a no g 公司基于光吸收法的大量程曲面检测系统o g t m 3 0 0 0 。在 国内，哈尔滨工业大学的激光扫描图像编码三维视觉传感系统、四川大学和清华 大学的人体口腔内部形貌测量系统、重庆大学的计算机辅助鞋楦三维轮廓测量系 统、台湾智泰科技公司开发的3 d 镭射混合扫描系统等，都是这项技术的代表。 现有的三维形貌检测方法和手段主要有三座标测量机测量法、光栅投影法、 光栅莫尔条纹法、共焦和散焦法、光强吸收法、线结构光扫描法、结构光投影编 码法、位相测量法等方法。然而，不同的方法存在不同的问题，目前的三维形貌 检测技术存在着测量范围小、不能用于现场测量、测量效率低、测量方法复杂等 缺点。 为解决这些问题，我们提出了无导轨图像拼接及大范围现场检测技术。项目 主要由三个部分组成：一是单元测量，二是整体拼接，三是数据可视化。 单元测量作为子课题已初步完成，在这部分中，针对现有测量方法的缺点， 我们提出了结合被动视觉和主动视觉测量的主动光栅投影双目视觉测量的方法。 天津大学硕士学位论文第一章绪论 ( 图1 1 1 为原理示意图) 建立了双目传感器的模型，完成了摄像机内外参数以 及摄像祝之闻相互关系酌标定，著嫠标定遥程趋予自动纯；在分车斤光栅图像静特 豳1 1 。1 点的基础上，提感了一转适合予光援边缘特挺提取的亚像素边缘检测方法；谯高 精度边缘提取的基础上，提出了以一种基于外极约束的改进的双月匹甄己方法，充 分利用边缘信息中的冗余信怠，强仡了双醋图像审对应点的匹配。( 圈1 1 2 为设 计宠或豹主动光援投影双基视觉抟感器实物图) 图1 1 2 整体拼接是本课题另一关键和难点，很多测量系统针对特殊测量对象设计了 专糟系统，采用阉定约束如罨鞔、转台等约束了箕应用场合，释致其莱性和适应 性不毫。疆本谍题蟹在握弃导软和转叁的黻剁，提出无零孰图像掭接技术。疲塞 精度单元测量的基础上，需耍将多次单元测量得到的数据进行拼接，爆可能不牺 牲精度，便整钵测量结栗达到实际应用的要求。本文在懿体拼绥部分撵出了基于 糙性曩标的配猴方法，使用蒸于迭代豹细化拱接方法。 天津大学硕士学位论文 第一章绪论 另外，三维数据可视化也是本项目的重要方面，在整体拼接过程中的人工交 互过程也要用到可视化的成果，本文在最后部分做了一些初步的研究，提出了一 种简单的可视化方法，用于初步的辅助研究。 1 2 匹配概述 无论在单元测量还是整体拼接过程中，匹配方法都是其中的基础和关键。配 准( r e g i s t r a t i o n ) ，亦或匹配( m a t c h i n g ) 是指将两组数据进行对应排列的过程。其实 质是要决定相应的区域或点集之间的相互转换关系。 一般，需要进行配准的数据结构主要有以下几种：强度图像( 如由摄像机得 到的灰度图) 、表面描述数据( 深度图，由接触式或光电传感器等得到) 、体数据 ( 主要为医学图像，由c t 、m r 、p e t 等得到) 。下面是几类情况： 欲匹配的的数据是对一个物体从不同视角拍摄的两幅灰度图像。由于光线 照明的变化，图像的对应点并不具有相同的强度，这通常使匹配的过程趋于困难。 所求的转换关系为3 d 空间的一个旋转矩阵和一个平移矩阵，也称为刚性变换。 要解算此刚性变换至少需要己知六个点，从而得出相应的深度图像。 待匹配的数据是两幅或多幅从不同视角得到的同一物体的深度图。其要求 的转换关系也是刚性变换。对于深度图像，至少需要三个已知的相应点坐标才能 求得转换关系。用这种方法，通过对几个不同视角的数据进行配准，可以生成物 体的完整的模型。 - 从不同目标得到的两幅灰度图像，如两幅不同的人脸图像。其相应的区域 可能是人工定义的特征，如人眼、嘴、鼻子等等。这类问题，所要求得的转换关 系由不同的应用情况而定。例如在人脸识别系统中，找到人脸之间的刚性变换 可能是有用的，其差异的程度决定了图像中是同人脸还是不同的人脸。另一方 面，在形态变化时，需要一个非刚性的转换来局部匹配目标的不同部分。 对同一目标从同一视角但在不同的时刻得到的深度图像，期间物体的形态 可能发生了变化。例如，目标可能是牙科手术前后的人脸。其相对应的区域可以 是在两深度图像中都可检测到的特征，以及眼、鼻等未发生变化的部分。其搜寻 的转换关系也依赖于不同的应用。 天津太学硕士学位论文 第一章绪论 医学体数据的匹配，又可分好几种情况，如同一医学设备在不同时刻对同 一目标的检测数据的匿配、同一设备对不同西标静检测数据酌蘸醅，教及不闻设 备翅e 翻p e t 对网一嚣标的梭测数搬静匹酝等等。 总之，图像匹配的应用范围很广，根据课题的实际需要，我们主熏研究前两 类图像数据的区配。 对于数撂载醌毽，决定其最往的空阍转换关系靛过程可以分为四个主要方蘑 ( l i s ag o t t e s t f e l db r o w n ，1 9 9 2 ) 1 ：1 1 特征空间、搜索空间、相似性度墩和搜索策 略。其中： l 。褥缝窆闫螅选撂决定了疆配豹对象。在颈处理避程孛，羞毙找到各数据 集的相应特征，那么就可以减少匹配的数据量。匹两己的数据具体可以是以下几种： 原始数据 怼繇蠢熹定义豹震性，麴：蘸攀等 特殊点的结合，如边缘、表面鳟 显著的点特征如拐角、线的交点、极值点等 静态瓣特弦，翅袋心、烹轴等 - 更高层次的结构描述 2 搜索空阍是指数据的转换类型( 全局局部，刚性月e 刚性) 3 。鞠纭淫发量决逡了区裁的猴瑟( 翻妇，欧凡重的距离警方和，标准露穗 关，共有的信息) 4 搜索策略依赖于搜索空间，它描述了如何找到优化的转换关系( 例如， i c p ，h o u g h 算法，裙关算法，橙懿箨法等等) 所有的匹配过程都可以划分为以上几个方面。本文主要讨论题幅灰度图像的 匹配以及深度图像的匹配。 1 ，3 3 1 ) 数据擗接技术 多数3 d 扫描方法在同一时间只能获取目标的某一部分的信息。这要归因于 设计结构熬焉隰性良及据摇掰基于救援本羧翻。镧魏，蒸于三筑藤理豹激光鹅接 在恢复目标表磷点位置的时候就会遇到这个问题，部分物体表颟将不能恢复，因 天津大学硕= b 学位论文辅章 绪沦 在建模过程中，在不同的视角获得一系列的视 v i ，v 。 。每个视的数据 都慕于各自的局部坐标系。拼接的目标就怒要给出一组转换关系 砰( 芦) 碍( 刃 霞= 雌扣睁 霞= 群2 ，l 路2 2矗2 ，3 l ，f 革l 岛l 。 l “3 ，ld 3 ，2口3 。3 j l f 3 若旋转矩阵r 悬标准正交矩阵，则r7 ( 乒) 为刚性变换。 1 3 1 粗拼接 粗拼接的目标是有效的计算一组拼接转换燕系 正。( 芦) 露( 芦) ) l i 用予扶不 天津大学硕士学位论文 第一章绪论 件。使用这样控制良好、精确扫描的系统的问题在于：物体往德要放置在精确的 位嚣，扫描装置必须精确标定。这些导教了装置静器贵戳及测重对象类黧静隈稍。 人枧交互也能用来获取多褪之间的粗拱接。在菜些商业系统中，这是个鞍流 行的方法。在人机界面中使用者需疆手动地在备视 v i 。，v 。) 中选择相应的 点，这种人工的对相应点的区黼给了系统一个初贻的转捩关系 斧( 芦) 露( 芦) ) ， 并馁蠲铙纯技术米使箕穗确铱。 比较照动化的方法是用双配技术来恢复相应的点对，不需要人工于预。在 v i ，v 。) 中相邻的两个视k 和矿，所包含煎叠的区域，在各自的视中部是可见 的。在相邻的视中通过可以通过匹配相似点来得到重叠区域点的对应关系。用 g = ( 芦汁。肘) 表示一对这样的对斑点，多m 在i 中，多 在一中。西经畜缀多 技本来医辩l j e 意形获表瓣上豹点。这燕方法瓣感兴趣靛煮髑圈斡表嚣凡馋结构进 行编码，从丽辨认和匹鞲a 相似的点。 对于多视自动拼接，视间的对应点集通常是不充分的。理论上，既然匹配技 术骈利| 舞l 豹表瑟特徭哥淤不是难一黢，那么裁存程误蓬酝豹可憝蛙。梵浮徐势减 少妓抵消误匹配，出现了一些通用的相关点& 和c ，的一致性判定准则如： 内部点的距离协。一p i i - 1 芦卅- p ，。i f 毛， 角度差异峪芦叫一声肿，川 时，该像元为 待选点。 选敬投壤点。叛授建国必蔹攥，选撂极蘧点，即在一个逶当塞1 2 1 中逮撵辞 最大的待选点，而去掉其余的点。 由于f o r s t n e r 算予较复杂，可首先用简单的查分算子摄取初选点，然后 采焉f o r s t n e r 箨予套3 3 窭1 ：3 计簿兴趣毽，莠选择备选点最詹提取熬极缓点 为特征点。 上述m o r a v e c 算予较简单，f o r s t n e r 算子较复杂，但它能给出特德点的类型 显壤霾毽鞍毫。 2 线特征 线特锻是指图像的“边缘”与“线”。“边缘”珥定义为图像局部蹶域特征不 同的那些区域间的分界线，而“线”则可以认为是具有很小宽度的，其中间区域 其鸯稽蘑瓣圈豫特征懿逑缘对，遣藏楚距离缀，j 、静一对边缘梅戒一条线。嚣藏线 特缎提取冀子通常也称为边缘检测算子。由于噪声的影响，灰度曲线并不是平滑 的，对于边缘进行检测，通常是检测阶导数( 或差分) 最大或二阶导数( 或差 分) 为零静点。常用方法有差分算子、控酱挝赣冀予等。由予备稀差分葬子壹霹薅 噪声较敏感( 即提取的特 正并非真正的特链，两怒噪声) ，因此一般成先作低通 滤波，尽燧排除噪声的影响，再利用差分辫子提取边缘。 天津大学硕士学位论文 第二章 图像匹配理堡 边缘检测算予很多，下面是一些常用的经典算子，不作详细的说明。 ( 1 ) 梯度算子 梯度算子是对图像 g ( f ，) ) 的每个像素求取它的梯度值，在数字图像 中，常用差分近似代替导数，梯度算子即差分算子为： g ，= 【( g 。，一目扎，) 2 + ( 毋，一g u + i ) 2 】2 ( 2 1 2 - 9 ) 给定阈值t ，当g j ， t 时，认为( f ，) 为边缘上的点。 r o b e r t s 算子是对q ，的一种近似： 尺( f ，) = m a x l g ( i 一1 ，j 一1 ) - g ( i + l ，j + 1 ) l ，i g ( i - 1 ，+ 1 ) 一g ( i + l ，j 一1 ) 口 r 2 1 2 - 1 0 ) ( 2 ) s o b e l 算子 对数字图像 g ( f ) ) 的每个像素，考察它上、下、左、右邻点灰度的 加权差。与之接近的邻点的权大： s ( i ，j ) = l g ( i 一1 ) + 2 9 ( i 一1 ，) + g ( i 一1 ，j + 1 ) 一【g ( f + l ，j - 1 ) ，+ 2 9 ( f + 1 ，卅g ( f + l ，j + 1 ) 】l ( 2 1 2 1 1 ) + 1g ( f l ，j 1 ) + 2 9 ( i ，j 一1 ) + g ( i + l ，j 一1 ) 、 一 g ( f 一1 ，j + 1 ) + 2 9 ( i ，+ 1 ) + g ( i + l ，j + 1 l 取适当阈值t ，当s ( i ，) 时，( f ) 为边缘点。 ( 3 ) k i r s h 算子 对图像 g ( f ，肼的每个像素，考察它的八个邻点的灰度变化，以其 中三个相邻点的加权和减去剩下五个邻点的加权和。令三个邻点( f ，) 环 绕不断移位，取其中差值的最大值作为k i r s h 算子值。 k ( i ，) = m a x l ，m a x 5 s ，一37 ： ) ( ，= o ，1 ，2 ，7 ) ( 2 1 2 一1 2 ) 其中，s 为三邻点之和，l 为五邻点之和。取阈值t ，若k ( i ，_ ，) t ，则 ( f ，) 为边缘点。 ( 4 ) l a p l a c i a n 算子 对阶跃边缘，二阶导数在边缘处会出现零交叉。对图像的每个像素 ( f ，) ，取它关于x 轴方向和y 轴方向的二阶差分之和： 天津大学硕士学位论文第二章幽像匹配理论 v 2 9 ( f ，) = g ( i + 1 ，) + g ( i 一1 ，) + g ( i ，+ 1 ) + g ( f ，j - 1 ) 一4 9 ( i ，) ( 2 1 2 - 1 3 ) 若甲2 9 ( f ，) 在( f ，) 处发生零交叉，则( f ，) 为阶跃型边缘点。l a p l a c i a n 算子是一个与边缘点方向无关的边缘点检测算子。 ( 5 ) m a r r 算子 上述几个算子类似于高通滤波，对有噪声的边缘较敏感有时会造 成一些假轮廓或生成并不存在的边缘点。m a r r 提出可先对图像进行平 滑，再使用l a p l a c i a n 算子求边缘。对图像进行平滑，去除噪声的影响 可采用如下的g a u s s i a n 滤波： ( f ，) = g ( f ，) g ( i ，) = = j _ p 叫1 。，2 舫2 + g ( f ，)( 2 1 2 1 4 ) 再求 ( f ) 的二阶导数零交叉点： v 2 坼- v 2 g ( f 伊，( f 】= - f 2 一等卜2 ) 2 删) ( 2 1 2 - 1 5 ) 除了以上介绍的一些微分算子，还有基于曲面拟合的边缘检测方法( 如 h u e c k e l 算法、h a r a l i c k 剁面模型、p r e w i t t 多项式拟合等) ，用曲面对数字图像进 行拟合，再在拟合的曲面进行边缘检测，由于