（计算机应用技术专业论文）三维点云数据配准技术的研究与应用.pdf

哈尔滨工程人学硕士学位论文 摘要 逆向工程是针对消化、吸收先进技术的一系列分析方法和应用 技术的组合。利用逆向工程技术可充分吸收国外先进的设计制造成 果，使我国的产品设计立于更高的起点。研究逆向工程关键技术并 开发具有自主知识产权的求逆系统具有重要的现实意义。 本文提出的三维扫描误差分析系统是基于机器视觉光栅编码原 理的双目视觉测量技术。本文对该系统的硬件系统作了精心的选择 和设计并对本系统误差分析软件中的关键技术的算法及实现做了详 细的论述。该误差分析部分分为三维数据格式的读取和显示、基于 拾取点的三维图形的预配准和基于i c p 算法三维图形的完整配准、 误差值的求取和误差值的彩色显示等四个技术单元。 误差分析部分是本三维扫描误差分析系统的一个重要环节，本 文讨论了包括人机交互界面拾取、多视数据对齐定位及不同三维数 据间的误差值求取等技术。研究了一种快速的“基于正交射影法” 的空间点拾取技术并对i c p 算法进行了改进。最后对所做的工作进 行了总结，并对逆向工程技术的发展前景作了展望。 关键词：逆向工程；机器视觉；误差分析；配准；i c p 算法 哈尔滨1 ：稃人学硕f ：学何论文 a bs trac t r e v e r s ee n g i n e e r i n g ( r e ) i sac o m b i n a t i o no fa n a l y t i c a lm e t h o d s a n da p p l i e dt e c h n o l o g i e st oa b s o r ba d v a n c e dt e c h n o l o g i e s b ym e a n so f r e ，m a n u f a c t u r i n gi n d u s t r yo fo u rc o u n t r yw i l lb eb a s e do nah i g h e r b e n c h m a r k s oi ti s s i g n i f i c a t i v et os t u d yr ea n dd e v e l o pr e v e r s e e n g i n e e r i n gs y s t e mi n d e p e n d e n t l y t h e3 ds c a n n i n gm e a s u r e m e n ts y s t e mi sb a s e do nt h es t r u c t u r el i g h t s c a n n i n gb i n o c u l a rv i s i o nm e a s u r e m e n to fm a c h i n ev i s i o nd i f i r a c t i o n g r a t i n gc o d ep r i n c i p l et e c h n o l o g y c a r e f u lc h o o s i n ga n dd e s i g n i n gt h e h a r d w a r es y s t e m so f3 ds c a n n i n gm e a s u r e m e n ts y s t e ma n d d e t a i l e d e l a b o r a t i n g e s s e n t i a lt e c h n o l o g y a l g o r i t h m a n di t sa c h i e v e m e n ti n m e a s u r e m e n ts y s t e me r r o ra n a l y s i ss o f t w a r e t h i se r r o ra n a l y s i si s d i v i d e di n t ot h r e et e c h n o l o g i e su n i t ：t h er e a d i n ga n dd e m o n s t r a t i o no f 3 dd a t af o r m a t ，t h ep r e r e g i s t r a t i o no f3 dg r a p hb a s e do nc o l l e c t i n g p o i n ta n dt h ef u l lr e g i s t r a t i o no ft h r e ed i m e n s i o n a lg r a p h sb a s e do ni c p a l g o r i t h m ，a n dt h eo b t a i n i n ga n dc o l o rd i s p l a yo fe r r o rv a l u e t h ee r r o r a n a l y s i sp a r ti sa ni m p o r t a n tl i n ko ft h e3ds c a n n i n g m e a s u r e m e n t s y s t e m t h i s t h e s i sd i s c u s s e ss u c h t e c h n o l o g y a s m a n - m a c h i n ei n t e r a c t i v ec o n t a c ts u r f a c ec o l l e c t i n g m u l t i v i s i o nd a t a s j u s t i f ya n dl o c a l i z a t i o n ，e r r o rv a l u eo b t a i n i n go fd i f f e r e n t3 dd a t a t h i s p a p e rs t u d i e sak i n do fr a p i d c o l l e c t i n gp o i n tt e c h n o l o g y b a s e do n o r t h o g o n a lp r o j e c t i o nm e t h o d a n dm a d et h ei m p r o v e m e n tt ot h ei c p a l g o r i t h m f i n a l l ys u m m a r i z e st h ew o r kt h a th a sd o n ea n df o r e c a s tt h e p r o s p e c t so fr e v e r s ee n g i n e e r i n gt e c h n o l o g y k e y w o r d s ：r e v e r s ee n g i n e e r i n g ；m a c h i n ev i s i o n ；e r r o ra n a l y s i s ； r e g i s t r a t i o n ；i c pa l g o r i t h m 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的 指导下，由作者本人独立完成的。有关观点、方法、 数据和文献的引用已在文中指出，并与参考文献相对 应。除文中已注明引用的内容外，本论文不包含任何 其他个人或集体已经公开发表的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确 方式标明。本人完全意识到本声明的法律结果由本人 承担。 作者( 签字) ：扬宝宝 日期：加辟弓月，日 哈尔滨f ：科人学硕十：学位沦文 1 1 引言 第1 章绪论 随着社会经济的发展、科学技术的进步和人们生活水平的不断提高，工 业产品更新的速度越来越快，生产方式同趋小批量、多品种。此时工业产品 按传统方式丌发已经不能满足社会对产品更新速度及多样式的需求，冈此， 一i ：业产品丌发的速度和制造技术的柔性化就变得十分关键。在实际应用中， 由于用c a d 软件绘制零件模型相当费力，况且在实际工程中提供的往往都足 实物，需要由实物制造模具或在它的基础上改进设计。因此，提供了山实物 直接获得三维c a d 模型途径的逆向i 乖7 ( r e v e r s ee n g i n e e r i n g ) 技术便在此背 景下应运而生并得到迅猛的发展。 逆向工程技术是2 0 世纪8 0 年代后期出现在先进制造领域罩的新技术1 2 i 。 逆向工程就是根据零件( 原型) 生成图样，再制造产品。它是一种以先进的 产品设备的实物、样件、软件( 包括图样、程序、技术文等) 或影像( 图像、 照片等) 作为研究对象，应用现代设计方法学、生产工程学、材料学和计算 机技术等有关专业知识进行系统分析和研究、探索掌握其关键技术，进而丌 发出同类的更为先进的产品的技术，是针对消化吸收先进技术采取的一系列 分析方法和应用技术的结合。广义的逆向工程包括几何形状逆向、工艺逆向 和材料逆向等诸多方面，是一个复杂的系统工程。一般的逆向工程也称几何 逆向，是指在没有设计图纸或者设计图纸不完整以及c a d 模型的情况下，对 产品( 或零件) 的实物进行测量、数据处理，并在此基础上构造出产品( 或零件) 的c a d 模型，并在此基础上进行再设计的过程【3 】。本文研究的逆向工程，就是 几何逆向，技术主要集中在几何形状上，也即获取产品的三维尺寸罩建产品 实物的c a d 模型和最终产品的制造方面，称为“实物逆向工程1 4 j ，。 冈此，实物逆向工程，也就足几何逆向工程是我们通常所说的逆向工程， 简称逆向 ：程，就是针对现有零件( 样品或模型，尤其适合复杂不胤则的白 哈尔滨l ：样人硕十宁：1 市论文 由曲向) ，利用3 d 数字化测量仪器准确、快速地测量出轮廓坐标值，并建构 曲面，经编辑、修改后，将图档转至一般的c a d c a m 系统，再由c a m 所 产生刀具的n c 加工路径送至c n c 加工机制作所需模具，或者以快速成形机 ( r a p i dp r o t o t y p i n g ) 将样品模型制作出来，这一流程称为逆向工程1 5j ，如图 1 1 所示。 图1 1 逆向工程流程图 1 2 逆向工程与点云配准问题的提出 逆向工程有两个主要的研究内容：一是实物模型表面数据获取技术；二 足曲面重建技术。数据获取技术的发展为我们处理复杂物体模型提供了可能。 采样工具获取的实体表面数据通常是稠密的点集( 称为点云) ，曲面重建技术 就是根据获取的“点云”来恢复原始曲面的集合模型。以点云或者多边形模 型为笨础来进行实体表面的曲面重建，必须考虑以下两个问题：一是曲面数 据散乱而且实体表面形状复杂；二是物体表面通常难以用片曲面构成。 由点云数据进行曲面重建是逆向工程中的一个重要问题，广泛应用在逆 向工程与计算机视觉当中。而在工程实际中，用点云数据进行曲面蕈建，首 先要解决不同曲面片上点云数据的配准问题，然后才能构造光滑的整体曲面。 2 哈尔滨i ：种人学硕十学何论文 1 3 点云配准问题的研究状况 在得到了点云数据之后，为了得到完整的三维模型，必须将不一角度、 不同位置扫描得到的三维数据转换到统一的啦标系中，也就是我们说的点云 配准。 当前存在多种测黾数据的配准方法。直接的方法足在测量阶段对数据进 行标记，也就是说在被测物体上贴标签。标签一般应贴在相对较平坦的区域， 根据前后两个视角观察的三个或三个以上不共线的公共标签来对数据进行配 准。c t b a r e q u e t 等人1 6 j 在几何哈希技术基础上采用投票机制实现了部分曲面匹 配算法。还有使用卡尔曼估计子的三角片曲面匹配方法r 7 1 等。 c h e n i 8 j 等运用两个曲面在法矢方向的距离来代替某一点到其最近点的距 离，并将其作为匹配的目标评价函数。这一设想最初是山p o t m e s i l l 9 】于1 9 8 3 年提出的，在文献【8 1 中它被推广为最优加权的最小二乘方法。m a s u d a i m l 等对 点集进行随机采样，用最小中值平方误差作为度量准则，该方法在每次迭代 后都需要进行重新采样。j o h n s o n 】等使用特征提取策略去除没有启发信息的 平面点来提高配准速度，在点云数据法矢连续、突变比较少的情况下，其速 度没有明显的提高。文献l l 厶bj 通过引入参考点的方法末实现三维点云数据的 配准，这螳参考点实际也是一种标签，需要在测量前粘贴在被测物体上。 而应用最为广泛的是由b e s l 等提出的最近点迭代( i t e r a t i v ec l o s e s t p o i n t ，i c p ) 算 去l m l ，也被广泛理解为迭代对应点( i t e r a t i v ec o r r e s p o n d i n gp o i n t ) 算法，并产生了许多的变种算法【1 5 i 【1 6 j 。 三维盹面匹配技术在我国也有。定的研究和应用，例如华中科技大学图 像识别与人工智能研究所、北京大学重离子物理研究所等单位都对这一方面 做了一定的研究工作【1 7 】【1 引。此外，目前国内在本课题相关领域也进行了一定 的研究。南京航空航天大学、浙江大学、大连理工大学等都对三维几何模型 建立进行了研究。 1 4 国内外逆向工程测量技术研究、发展及应用概况 逆向工程技术具有广泛的应用领域和实用价值，因此世界上主要先进- t 3 哈尔滨i ：稗人了：硕十。7 ：何论文 业闰家纷纷投入巨资对此项技术进行研究外发和推广应用，他们无f i 站在2 l 世纪世界制造业全球竞争的战略高度来对待这一技术。目前该项技术已经广 泛应用于机械、汽车、航空航天、船舶、家用电器、轻工、工业设计、医疗、 建筑、工艺品制作以及儿章玩具等领域，取得了巨大的经济效益i l 圳，并凡随 着这。技术的不断发展和完善，其应用范围将会不断拓广。 目前的测量设备的发展，按通常的分类可以分为三坐标测量系统、柔性 三坐标测量系统、三维激光扫描测量系统、光学照相扣描测鼍系统等。 接触式的三坐标测量系统测量技术已经非常成熟，即使是光学测黾和其 他类型的三维测量手段同益普及的今天，传统c m m 仍是占市场份额最大的 三维测量手段。一般来讲，传统c m m 具有精度高、可靠性好、技术成熟等 特点，但测量速度慢、对被测物体的大小和重量有一定要求。精度最高的可 以达n l m m ) 较慢能无有很高 层析法较高0 0 2 5 m m较慢能无无较高 从上表叮以看出，基于结构光投影的测量法精度高，速度快，成本低。 因此考虑技术成熟性、测量速度和精度等多方面原因，本文采用基于结构光 投影的测量方法。 1 6 本文的主要研究内容 本文的主要研究内容如下： ( 1 ) 较为系统的阐述了逆向工程研究和发展概况，讨论了点云配准| 、u j 题的 研究现状及逆向工程! 孑快速成型技术的关系，简要介绍了逆向工程中的测最 方法。 ( 2 ) 围绕三维扫描误差分析系统的设计丌发流程，对相关知谚 作了必要的 阐述。介绍了机器视觉光学系统的基本知识，讨论了相关知识与硬件的关系， 初步选择确定了三维扫描误差分析系统的硬件，为进一步的工作奠定了硬件 基础。 ( 3 ) 讨论了三维扫描误差分析系统软件中人机交互界面拾取、多视数据对 齐定位及不同三维数据问的误差值求取等技术，并针对三维数据格式的读取 和显示、基于拾取点的三维图形的预配准和基于改进的i c p 算法的三维图形 的完整配准、误筹值的求取和误差值的彩色显示等三个技术单元做了详细的 论述。 最后对所做的工作进行了总结，并对逆向工程技术的发展f j 订景作了展望。 6 哈尔滨1 ：科人学硕 ：学何论文 第2 章机器视觉光学原理 三维扫描误差分析系统中光学系统的选择和设计对于测最系统来说至为 重要，本系统是基于机器视觉原理的，机器视觉原理的了解对于测量系统的 硬件选择具有荤要意义。 2 1 机器视觉简介 机器视觉( 也称计算机视觉) 是指用摄像机和计算机代替人眼对目标进 行识别、跟踪和测量等，它是人工智能领域最热门的研究课题之一，它和专家 系统、自然语言理解已成为人工智能领域最活跃的三大领域。尽管它还没有 形成完整的理论体系，在很多方面它解决问题的方法还是一种技巧，但它是 实现_ 1 ：业生产高度自动化、机器人智能化、自主车导航、目标跟踪，以及各 种工业检测、医疗和军事应用的核心内容之一，也是实现智能机器人的关键 冈素之一，它的发展不仅将大大推动智能系统的发展，也将拓宽计算机与各 种智能机器的研究范罔和应用领域。 机器视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学和技 术。机器视觉系统的首要目标是用图像创建或恢复现实世界模裂，然后认知 现实世界。机器视觉系统获取的场景图像一般是灰度图像，即三维场景在二 维平面上的投影。此时，场景三维信息只能通过灰度图像或灰度图像序列来 恢复处理，这种恢复需要进行多点对一点的映射逆变换。在信息恢复过程中， 还需要有关的场景知识和投影几何知识。 机器视觉是一个相当新且发展十分迅速的研究领域，并成为计算机科学 的重要研究研究领域之一。机器视觉是在2 0 世纪5 0 年代从统计模式i ： 别丌 始的，当时的工作主要集中在二维图像分析和识别上，如光学字符识别、工 件表面、显微图片和航空图片的分析和解释等。6 0 年代，r o b e r t s ( 1 9 6 5 ) 通过 计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的乏 维结构，并对物体形状及物体的空间关系进行描述1 2 引。7 0 年代中期，麻省理 7 哈尔滨f ：利人。7 ：硕十7 1 何论文 工学院( m 1 7 f ) 人工智能( a i ) 实验窒的d a v i dm a r r 教授于1 9 7 7 年提出了 、= i 亓j 于 “秋木世界”分析方法的计算视觉( c o m p u t a t i o n a lv i s i o n ) 理论，该理论在8 0 年 代成为机器视觉研究领域中的一个十分罩要的理论框架1 2 4 1 。 m a r r 视觉计算理论立足于计算机科学，系统地概括了心理生理学、神经 生理学等方面业已取得的所有重要成果。是视觉研究中迄今为止最为完善的 视觉理论。m a n 建立的视觉计算理论，使计算机视觉研究有了一个比较明确 的体系，并大大推动了计算机视觉研究的发展。人们普遍认为，计算机视觉 这门学科的形成与m a r r 的视觉理论有着密切的关系。m a r r 视觉计算理论将 整个视觉过程所要完成的任务分成三个过程，而获得这些表示的过程依次称 为初级视觉、中级视觉和高级视觉，如图2 1 所示。 i 铆像3 d 熊述 蛰衣罔 2 5 维 锶 图2 1m a r r 视觉过程中的三个阶段 8 0 年代中期，机器视觉获得了蓬勃发展，新概念、新方法、新理沦不断 涌现。有学者对计算机视觉理论的发展提出了不同的意见和建议。对m a r r 的 理论框架作了种种的批评和补充，综合这些意见及补充町得如图2 2 所示的 框架。 图2 - 2 补充的m a r r 理论框架 8 哈尔滨l ：稃人。节硕 ：学侮论文 i 暑宣宣葺i i 暑葺i 暑置每皇宣i i i i i 暑；i i i i ；i j 暑暑审i 暑置薯皇i i i i 宣置i i 宣i i i i 宣暑i i 昌置皇葺号宣罩i i ；i ；i i i 暑i i 宣i l 列时，在扩充的理论框架中，引入了主动视觉的研究方法，在研究中重 视了对定性、有目的的视觉等的研究【2 5 1 。比如，基于感知特征群的物体识别 理论框架、主动视觉理论框架、视觉集成理论框架等。 2 2 机器视觉光学基础 ( 1 ) 几何光学成像公式( b a s i cf o r m u l a ) 首先，我们会用到几何光学关于成像的基本公式，对于图中所示的成像 系统，就是： 11l _ + u 了= 7 2 - 1 ) y厂 这罩u 是物体到镜头的距离，即物距，v 是镜头到成像的距离，即像距， f 足镜头的焦距，也就是平行光入射到镜头时产生的会聚点到镜头的距离。从 这个公式可以看出，对于成实像的系统，像距总是大于焦距，而且物距越火， 像距越小，直到物距足无穷远时，成像在焦平面上。 ( 2 ) 放大率( m a g n i f i c a t i o n ) 这个光学系统的放大率是m ： m = 告= 一f o v = 兰 ( 2 - 2 ) hlu 这罩h 足像高，h 是物高。做机器视觉系统时，需要考虑物体怎样完整成 像到c c dj 芭：片上并保证对物体的分辨率，所以选择摄像机和镜头时需要综合 考虑放大率的影响。如图2 3 所示。 ( 3 ) 视场( f i e l do fv i e w ) 视场就是整个系统能够观察的物体的尺寸范围，也就是c c d 芯片上所成 图像对应的物体大小： f o v ：三( 2 3 ) m 这里l 是j 醛片的长边或短边，而对应的f o v 即是相应方向的物体大小。 当然f o v 也可以用角度来表示： 9 哈尔滨i 张大学硕+ 学位论文 t a n 0 ：土( 2 - 4 ) 2 u 经常可以看到镜头用角度来给出视场的大小。 - 一 i l r - 图2 - 3c c d 拍摄照片时候的简化光路图 ( 4 ) 工作距离( w o r k i n gd i s t a n c e ) 也就是物距，物体到镜头的距离u 。 ( 5 ) 分辨率( r e s o l u t i o n ) 分辨率描述的是光学系统能够分辨的最小物体的距离，这罩有个不确 定的风素，就是什么情况下可以认为是可以分辨的。一般采用的是所谓的瑞 利判据。如图2 - 4 所示，由于衍射、像差等影响，光学系统对一个点所成的 像的强度成钟形分南，那么两个相近的点所成的像会有重叠，两点越近，重 叠部分越大，两点中间的强度不再是零，而是越来越接近最大值。瑞利判掘 认为，重叠部分的强度小于最大值的8 3 时，人眼是可以分辨的丌的。当然， 对于摄像机来说，是否能够分辨的更好，仍然是一个未知的因素。 一般用成对的黑白相间线来标定镜头的分辨率，描述为能够分辨的黑白 线的频率，即每毫米多少线对0 p r a m ) 需要指出的是，像空问的分辨率和物空 间的分辨率相关，但是不同。对于c c d 像机的情况，至少需要两个像素来分 辨一对线，所以c c d 摄像机能够达到的最大分辨率是： r = 2 c c d s i z e ( 2 5 ) 哈尔滨i ：祥人学硕卜学位论文 门 图2 4 描述分辨率示意图 而相应的物体空问的分辨率是： 尺=万r(2-6) 有时，物体空问的分辨率被理解为能够测鼍的最小物体尺寸。分辨率一 般用黑白条纹或形状条纹的目标来进行标定。 ( 6 ) 对比度( c o n t r a s t ) 对比度和分辨率息息相关，对比度是描述图像的边缘区域是否能够有效 地区分，是不是黑的很黑而白的很白。区别越大，物体的细节越容易分辨， 当然分辨率越高。用数值来表示时，对比度定义为： c ：生吐兰坐 ( 2 7 ) j ，。瓠+ ，。缸 、 ( 7 ) 景深( d e p t ho ff i e l d ) 由于和分辨率同样的原因，图2 3 中所示的d 范围内所成的图像看起来 都是清晰的，也就是说，在物体空间内，在一定距离范围内的物体成像都是清 晰的，这个范围称为景深。换个方式说就足物体移动多大距离从清晰变得模 糊。景深和很多冈素有关，最重要的是光圈的大小。 物体在景深范围内时，图像可以保持一定的质量，超出这个范 嗣时，对 比度和分辨率都会下降。也就是说，景深只有在确定了分辨率和时比度后彳 有意义。 ( 8 ) 光 圈( a p e m u e ) 哈尔滨1 ：科人学硕十j 学位论文 光学系统中光线经过折射，反射等最后到达像面，这个传输过程中，并 不足所有进入系统的光线最后都能通过，而是有一部分被阻挡，这好像是光线 透过一个孔，这个孔的直径称为有效孔径，例如单个凸透镜的有效孔径就是 透镜的直径本身。为了能够调节透过的光强度，一般镜头中都设置了光圈， 也就足一个多叶片的机械装置组成的直径町变的圆孔，调整时这个孔的直径 可以连续变化，从i 面改变镜头的有效孔径。镜头光圈的大小一4 般用卜面描述 的f 数来表示。 ( 9 ) f 数( f j | j ) 假定光学系统的有效孔径足d ，焦距是f 3 9 么， f = 7 d ( 2 - 8 ) 这个参数描述了光学系统的采光能力，因为有效孔径越大，能收集到和 通过的光线越多，而焦距越短，这些光线能到达像面的可能性越大。例如，镜 头的焦距足5 0 毫米，有效孔径是8 9 毫米，则f = 8 9 5 0 = 1 5 6 ，一般镜头上 标记的都是f 的倒数：3 4 5 681 11 62 2 等，这些数一般称为镜头f 数。 到达像面的光照度和f 的平方成正比，这也征是为什么光圈标记用上面 的一系列数的原因，这样，光圈每调大一级，例如从8 到5 6 ，光照度就增加 一倍，使用起来非常方便。 从镜头指标中给出的最小f 数，我们可以了解该镜头的采光能力，例如 f 1 4 比f 1 8 的采光能力强的多，光线较暗时镜头的优势就显示出来了。 ( 1 0 ) 景深和光圈的关系( l i n k i n gd e p t ho f f i e l da n da p e r t u r e ) 景深和光圈的大小有直接关系，光圈越大，景深越短，光圈越小，景深 越长。这个原因很容易理解。如果光圈d , n 针孔左右，能够通过的光线全部 都足近轴光，有没有镜头都没有关系了，实际上形成了一个针孔像机，景深 是无穷大，不管景物远近成像都是清晰的；随着光圈增大，远轴光丌始起作 用，只有一定范围内的光线能够清晰成像，光圈放大到f 3 4 时，大约景深只 有几毫米了。 ( 1 1 ) 景深和焦距的关系( l i n k i n gd e p t ho f f i e l da n df o c a ll e n g t h ) 焦距越大，景深越短，反之亦然。例如，f = 8 0 m m 的镜头的景深很短，而 3 5 m m 焦距的镜头景深较长。从几何成像的基本公式可以看出，如果镜头的 1 2 哈尔滨i ：w 人了! 硕f j 学位沦文 焦距很短，物距大剑一定范围时，像距近似等于焦距，也就足说，一定距离 以外的物体成像都在焦平面附近，1 0 m 远的物体和l o o m 远的物体成像的位 置是一样的，景深很长。 ( 12 ) 快门速度( s h u t t e rs p e e d ) 快门速度决定了感光元件的曝光时间，不管是c c d 像机还足传统的胶片 相机都是一样的。不同的是，一般工业摄像机大都采用电子快门，而胶片像 机或科研用像机大都采用机械快门。机械快门的速度一般能达到2 0 0 0 分之一 秒，好的专业像机也只能达到1 8 0 0 0 秒，而电子快门要快的多，一般都能达 到1 1 2 0 ，0 0 0 秒，另一方面，机械快门町以慢到数f 秒，而电子快门一般最慢 在1 6 0 秒左右。机械快门的丌启和关闭需要一个过程，曝光时i 日j 很短时，这 个过程就变得比较重要了，因为随着快门的丌启，感光元件的一部分，：始感 光，而另一部分还没有，快门关闭的过程f 好相反，最先感光的部分最后关 闭，所以整个感光元件的曝光时间是不一样的。电子快门速度要快得多，虽 然感光元件一直在曝光，但是电子快门作用时，一般先清除积累的电荷1 次 到数次，然后丌始计时积累图像并读出，由于全部是电子控制，速度可以很快。 快门速度和帧频没有直接的关系，帧频是摄像机每秒钟拍摄图像的次数， 而快门速度是采集一幅图像时的曝光时问。 ( 13 ) 畸变( d i s t o r t i o n ) 畸变足由于放大牢随到光轴中心的距离变化造成的。随管像点的远离， 物体上对应的点离镜头中心的距离实际在增加，从几何成像公式得知像距在 缩小，也就是说成像会聚的点在像面之前，像面上探测到的图像实际已经离 焦，看起来就比原来的图像大。离轴线越远，这个现象越严重。这就造成了 图像的畸变，非常重要的一点足，图像的信息并没有丢失，只足位置不对， 如图2 5 所示。每个镜头都有一定程度的畸变，所以根据每个镜头的特性， 我们很容易校正畸变。实际上，如果我们用机器视觉来做精密的测量，首先 要做的就是畸变的校币。焦距越短，越难以校证畸变。 畸变的校讵一般用黑白分明的方格子图像来进行，过程并不复杂。一般如 果畸变小于2 ，人眼是观察不到的。当然，如果畸变小于c c d 的一个像素， 摄像机也足看不见的。 哈尔滨i i 利人学顾十学位论文 r rf 1lr i - 一 l l l j j l 酸受i 斛像b t t r r e i 嗡俊p i n c u s h io n 暾受 图2 5 镜头的畸变模型示意图 2 3 本章小结 简要介绍了机器视觉的概念及学科发展，并以m a r t ! i l 觉计算理论为基础 介绍了机器视觉的光学基础。三维扫描误差分析系统足基于机器视觉原理的， 机器视觉原理的了解和掌握对于测量系统的硬件选择具有重要意义。 1 4 哈尔滨l ：稃人。誓硕十学何论文 3 1 引言 第3 章图像采集及系统硬件的选择 图像采集是计算机视觉三维重建过程的第一个阶段。采集用于双f 1 立体 视觉三维重建的二维图像对的方式很多，实际选用时要考虑具体应用场合和 目的。在获取二维图像对时不但要满足应用要求，而且要考虑视点差异、光 照条件、摄像机性能以及景物特点等因素的影响，以有利于立体视觉计算。 采集数字图像需要两种装置( 器件) ，一种是对某个电磁能量谱波段( 如x 射线、 紫外线、可见光、红外线等) 敏感的物理器件，它能产生与所接收到的电磁能 餐成一比的( 模拟) 电信号；另一种足数字化器，它能将l 述模拟电信号转化为 数字形式。所有采集数字图像的设备都需要这两种装置。 常用的图像采集设备有扫描仪、数字摄像机、c c d 摄像机和视频采集每 等。目i j ，以c c d 摄像机与视频采集卡和p c 机结合进行视频捕获的方式应 用最为广泛，本课题就是采用的这种方法。 本系统日的足通过对同一场景的两幅图像的处理，利用双目立体视觉原 理，实现物体的三维重建。为了方便计算，左右两个视觉传感器相隔一个基 线k 度平行安装在同一水平面上，以采集后续处理所需要的图像对。 3 2 图像采集设备 3 2 1c o d 摄像机 自1 9 7 0 年贝尔实验室的w s b o y l e 和g e s m i t h 发明电荷祸合器件 ( c h a r g ec o u p l e dd e v i c e ，c c d ) 以来，随着半导体微电子技术的迅猛发展， 并在相继解决了像素缺陷、像晕、残像、暗电流、灵敏度和可靠性等一系列 技术问题后，c c d 在物体外形测量、表面检测、图像传真、智能传感等各个 高科技领域中得以迅速、广泛应用。 哈尔滨f ：w 人7 ：硕- ：丫：何论文 c c d 是一利以电荷包形式存储和传输信息的新型半导体器件，h 日订i i ：向 小型化与多像素化两个方向发展。c c d 作为摄像器件与传统的真空摄像管相 比，具备体积小、重量轻、功耗低、可靠性高、寿命长、成本低、略固抗冲 击、抗振动、耐强光、抗电磁f 扰等明显优势，在清晰度、分辨率、灵敏度、 残像、失真度、彩色与尺寸蘑现性等方面，也胜真空摄像管一筹。另外，c c d 测量速度快，所以不仅可用于静念测量，还可用于动态在线检测。冈此，本 文选用c c d 摄像机。 从芯片结构角度看，c c d 可分为面阵c c d 和线阵c c d 两种。线阵c c d 是将像素排成一维阵列，如要形成电视图像，还必须使被摄景物与其作相j = 垂直的机械运动，以形成二维像素。它主要应用于非接触光电检测及高清晰 图像摄影等方而，而面阵c c d 则主要应用于黑白和彩色摄像等方面。山于结 构光二= 三维测量机中的c c d 摄像机的工作是进行山二维像素组成的图像的拍 摄，因此，本文选用面阵c c d 摄像机。 面阵c c d 按其电荷转送方式的不同，可以分成以。f 三种类型：帧转移方 式( f r a m et r a n s f e r ，f t ) c c d 、行问转移方式( i n t e r l i n et r a n s f e r ，i t ) c c d 、 帧行问转移方式( f r a m ei n t e r l i n et r a n s f e r ，f i t ) c c d 。通常帧转移型c c d ：g 片尺寸大、价格高、性能较差，因而使用极少。使用最多的是行间转移犁 c c d ，但其缺点足图像易产生垂直拖尾现象，即摄像机在拍摄高亮度景物时， 在图像垂卣方向上出现明亮的带子杂波( 信号电荷以外的电荷) ，该杂波大小 与光通罱成j f 比。不过现在随着摄像镜头光系统与摄像机内部电路的改进， 行i 、日j 转移型c c d 的拖尾现象已经解决。帧行问转移型c c d 理沦上来说足最 好的，但其技术要求较高，因而使用也较少1 2 6 2 引。 选择哪一款c c d 是由应用中对物体的大小和分辨率的要求决定的。 3 2 2 图像采集卡 图像采集卡是一一种对模拟视频信号进行采样并作a d 转换而输出数字信 号的板矗，它广泛应用于图像传感、图像分析、信号处理、数字存储等领域。 目前市场上常见的图像采集卡有基于i s a 总线与p c i 总线两种。 l | _ r 本 文采用的控制装置为微型计算机( p c ) ，并且现在微型计算机的主板板膏捅槽 1 6 哈尔滨l ：样人7 ：硕十。7 7 何论文 多为p c i 总线插槽，i s a 总线插槽呈现逐渐被淘汰的趋势，闪此奉义选j j 艇 于p c i 总线的图像采集卡。 按照输f “图像的颜色来分，图像采集卡又分为黑白图像采集卡与彩色图 像采集卡两种。其中，彩色图像采集f 的价格大约是同档黑白图像采集卡的 2 倍。根据测量系统的设计要求，并考虑成本，本文选用黑白图像采集卡。 小同厂家、不同型号的黑白图像采集卡之i 、i j j 自勺功能、性能有很人的差别。 冈此，选择适合本图像采集系统设计与性能要求的图像采集卡足一项非常重 要的工作。首先，所选图像采集矗的p c i 接口应该严格按照p c i 规范2 2 进 行设计。其次，由于使用测量机的用户的主机系统可能有所不同，凶此要求 所选的图像采集卡能适戍各种规格的p e n t i u m 主机系统，从而使用户彳i 必担 心图像采集卡与丰机的匹配问题。第三，按设计要求，本系统的图像采集过 程! j 图像处理过程并行进行，这样就要求所选图像采集卡有完善的软硬件中 断处理功能，使图像采集卡向计算机内存采集图像的同时，c p u 町以独立地 作图像处理：i = 作( 即要求图像采集与c p u 图像处理能分享总线) 。第四，所 选图像采集苦采集的图像点阵应该具有较高的位置精度，经a d 转换后数宁 视频信号的误差要小。第五，所选图像采集卡驱动软件应能支持w i n 9 5 9 8 ， w i n m e ，w i n n t 4 0 ，w n 2 0 0 0 ，w i n x p 操作系统，这样可以使图像采集系 统软件的丌发有很大的扩展空l 日j ，从而小必受图像采集卡的限制。 3 3 图像输入、数字化和预处理 以c c d 摄像机与视频采集卡结合进行图像采集的图像采集模块包括硬 件和软件两个方面。 3 3 1 硬件连接 c c d 摄像机通过视频采集卡与计算机十订连。视频卡的f 确安装足保证其 i f 常工作的基础。视频矗的安装分两个步骤：首先将视频卡插入计算机辛板的 p c i 插槽内；然后要安装视频卡的驱动程序，正确设置系统资源。视频仁的设 置主要涉及的系统资源有：帧缓冲区、内存的幕地址、中断向量化( r i q ) 、d m a 1 7 哈尔滨i ：剃人学硕+ 学何论文 通道号、基本输入输出端i j 地址及视频标准。一般情况f ，在安装驱动程序 时选择生产厂商给出的默认值即可。 3 3 2 图像采集软件 c c d 摄像机输出图像有一定的分辨率，当图像分辨率是6 4 0 x 4 8 0 时，。一 幅图像由大约3 0 力个像素组成。一般每个灰度图像的像素用一个字竹表示， 而彩色图像的像素用3 _ 4 个字节表示。在视觉系统工作的全过程巾，图像处 理、特征提取和特征匹配是核心工作，为了能使这砦工作迅速有效的进行， 可以利用系统中图像设备的特有功能，对摄取的图像容量和质量进行适当调 整，在满足系统精度要求的前提下，减少图像信息容最来提高系统的响应速 f 事 i 叉。 根掘图像卡供货商提供的图像卡丌发库程序进行二次丌发，使图像采集 功能集成到系统的应用程序中。 在c m a i n f r a m e 类的i n i t l m a g e b o a r d 0 耳( 初始化采集参数，包括打丌关闭 指定图像采集卡( 函数o k o p e n b o a r d ( ) , f t lo k c l o s e b o a r d 0 ) 、视频源路选择( 函数 o k s e t v i d e o p a r a m 0 ) ，设置视频源目标体( v i d e o ) 的源窗口和采集目的目标体 ( v g a 屏幕s c r e e n ，帧存缓存b u f f e r ，帧存体f r a m e ) 的目的窗人小( 函 数o k s e t t a r g e t r e c t 0 ) ，设置视频输入的r g b 格式( 函数o k s e t v i d e o p a r a m 0 ) ， 设置帧缓存的r g b 格式( 函数o k s e t c a p t u r e p a r a m ) ，设置采集剪裁方式为中心 方式( 函数o k s e t c a p t u r e p a r a m 0 ) 等。 采集图像时首先预览，通过调j 了硬件来达到调整图像质量的目的，如调 节镜头的焦距、光圈的大小等使图像清晰。 3 4 系统硬件选择结果 本文所设计的硬件系统主要由一个运动驱动平台、两个c c d 摄像机、两 块图像采集卡、一块运动控制卡以及一台高性能的计算机组成，如图3 1 所 刀i 。 1 8 哈尔滨l ：拌人学硕十学位论文 敞 嬲 体 豁 ! 蕊 ，p z 、 l | j l 鼍：扎 | ；他p ：hi 键住泶袋 ： i l 镩 p t 图3 1 系统的硬件组成示意图 两台c c d 摄像机采集光栅投射到物体表面的漫反射图像后将视频信弓 输入到图像采集卡；图像采集卡对输入的视频信号进行a d 转换后将数字信 号送入计算机；计算机运行测景系统处理软件对图像进行滤波、二值化、细 化、匹配等处理，最终得到物体表面轮廓的三维坐标值，然后再进行下一步 处理。 根据机器视觉光学理论的指导和实验效果对比，本文所设计的二维扫描 误差分析系统最终选择了如下的系统硬件： ( 1 ) 面阵行问转移方式c c d 摄像机两个 ( 2 ) 基于p c i 总线的黑自图像采集卡两块 ( 3 ) c c d 镜头：定焦、手动光圈 ( 4 ) 透射光栅：按要求相关单位定做 ( 5 ) 步进 乜机、移动平台及运动控制卡各一个 ( 6 ) f | 炽光源一个 ( 7 ) i 角支架一个 ( 8 ) c c d 、光源及光栅支撑架，控制柜( 需白行设计与加_ _ 1 ：) ( 9 ) 摔制用高性能计算机一台 3 5 本章小结 图像采集是计算机视觉三维重建过程的第一个阶段，本章对本三维扫描 误差分析系统采用的c c d 摄像机和图像采集卡以及硬件连接和图像采集软 件作了简要介绍。同时根据机器视觉光学理论的指导和实验效果对比，为乏 维扫描误差分析系统选择了相关硬件设备，为f 一步 ：作做了必要准备。 1 9 哈尔滨l ：r ! 人学硕 ：学化论文 4 1 引言 第4 章摄像机标定 计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空 问中物体的几何信息，并由此重建和识别物体，而窄问物体表面某点的三维 几何位置与其在图像中对应点之问的相互关系是由摄像机成像的几何模型决 定的。这些几何模型参数就足摄像机参数。在大多数条件下这些参数必须通 过实验与计算j 能得到，实验和计算的过程称为摄像机标定( 也称定标) 。 根据摄像机参数性质可以分为内部参数和外部参数：内部参数描述摄像机 的内部光学和几何特性，如图像中心、焦距、镜头畸变等；外部参数就是相对 于世界班标系的摄像机坐标的三维位置和方向。 4 2 摄像机标定中的几个坐标系 在摄像机标定过程中，我们经常需要涉及到图像坐标系、摄像机 旌标系 和世界坐标系，在这罩作简要介绍。 4 2 1 图像坐标系 在计算机中，图像是以m x n 的二维数组的形式存储的，m 行n 列的图 像r ，的每一个元素我们称之为像素，其数值即为图像点的灰度。在图像l 定 义随角坐标系u v ，每一像素的坐标( u ，v ) 分别是该像素在数组中的列数与行 数，这足个以像素为单位的坐标系。由于( u ，v ) 只表示像素位于数组中的列 数与行数，并没有用物理单位表示出该像素在图像中的位置，冈而需要再建 立以物理单位表示的图像坐标系x y 。该坐标系以摄像机光轴与图像平面的交 点o i 为原点，x 轴和y 轴分别与u 轴和v 轴平行，如图4 1 所示。 2 0 哈尔滨i ：种人学硕f j 学位论文 若o l 在u v 坐标系中的啦标为( u ，v ) ，每一像素在x 轴与y 轴上的物理 尺寸为d 。和d v ，则图像中任意一个像素在两个坐标系下的举标有如下关系： x 秘2 + “。dx ” v 扩。孟+ 叩 ( 4 1 ) f r ， 1 1f ，? 图4 1 图像 旌标系 用齐次坐标与矩阵形式表示为： 4 2 2 摄像机坐标系 1 矧0 。翻l l y 2 ， 。1 譬山j 、 为了分析摄像机成像的几何关系，我们定义一个摄像机举标系。摄像机 坐标系原点在摄像机的光心七，x 轴与y 轴和图像坐标系中的x 轴孑y 轴平 行，z 为摄像机的光轴，它与图像