（控制科学与工程专业论文）视觉测量系统中的图像校正技术研究.pdf

一 f | i l ll li iii i iii iii iiiii y 19 0 5 5 2 2 r e s e a r c ho fi m a g ec o r r e c t i o nt e c h n o l o g yi nv i s i o nm e a s u r i n gs y s t e m g u a n h a i b i n g b e ( h u n a nu n i v e r s i t y ) 2 0 0 8 at h e s i ss u b m i t t e di np a r t i a ls a t i s f a c t i o no ft h e r e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro f e n g i n e e r i n g m c o n t r o ls c i e n c ea n de n g i n e e r i n g i n t h e g r a d u a t es c h o o l o f h u n a nu n i v e r s i t y s u p e r v i s o r a s s o c i a t ep r o f e s s o rz h a n gf a n a p r i l ，2 0 1 1 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律后果由本人承担。 作者签名： 镑搿兵 日期：踟ff 年瑚日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权湖南大学可以将本学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密囹。 ( 请在以上相应方框内打“) 作者签名： 管；荔丢 导师签名： 沾冲代 日期： z o l1 年，月，日 日期：戈以年上月护 硕士学位论文 摘要 视觉测量系统常用于产品或物件的形状检测和尺寸测量。视觉测量系统利用 摄像机得到的图像重构出物体的三维几何信息，如果摄像机图像存在失真必将造 成极大的测量误差。由于拍摄视角的原因会导致图像出现一定的线性倾斜形变， 不利于计算机对目标特征的提取和识别；同时在视觉测量系统中，受镜头制造精 度的影响，图像会出现不同程度的几何位置、尺寸、形状、方位等几何畸变，这 将影响到视觉测量系统的测量精度。因此在进行形状检测和尺寸测量之前必须对 图像进行倾斜形变校正和几何畸变校正。 视觉测量系统的图像校正过程一般是是首先对图像进行倾斜形变校正，再经 过几何畸变校正得到理想图像，最后通过灰度插值将校正得到的非整数化坐标插 值变成整数化的图像像素坐标，实现图像的校正。本文主要工作如下： ( 1 ) 介绍了图像倾斜形变的种类，分析了基于霍夫变换的倾斜校正方法和投影 法倾斜校正方法，并提出了能快速实现图像倾斜校正的改进k 均值聚类方法。 ( 2 ) 介绍了图像几何畸变的种类及模型，详细分析了经典的畸变校正方法包括 t s a i 标定方法、w e n g s 标定方法、张正友标定方法和几何不变性校正方法，并提 出了抗干扰能力强的基于等间距线的畸变校正方法。 ( 3 ) 对比分析了灰度插值方法中的邻近域方法、双线性方法和三次卷积法的插 值效率和效果，给出了不同视觉测量系统中选择合适的插值方法的一些建议。 最后将本文提出的校正方法应用在快件自动分类系统中，对其失真图像校正， 校正结果显示：图像几何畸变和倾斜形变均得到了明显的校正，本文提出的校正 方法能提高快件自动分类系统的测量精度。 关键词：视觉测量系统；快件自动分类系统；图像校正；倾斜形变校正； 几何畸变校正；灰度插值 a b s t r a c t v i s i o nm e a s u r i n gs y s t e m s a r ew i d e l yu s e dt od e t e c t es h a p ea n dm e a s u r e t h e d i m e n s i o no fo b j e c ti ni n d u s t r i a lf i e l d t h e y u s et h ei m a g e st or e c o n s t r u c tt h e3 d g e o m e t r i ci n f o m a t i o n i ft h ei m a g e d i s t o r t i o ni se x i t e d ，i tm u s tc a u s eb i gm e a s u r e m e n t e r r o r b e c a u s eo fs h o t t i n ga n g l eo ft h ec a m e r a ，t i l td i s t o r t i o nw i l la p p e a r ，a n d w h i c h1 s d i f f i c u i tf o rc o m p u t e rt o e x t r a c ta n dr e c o g n i z et h eo b je c t f e a t u r e s m c a n w h l l e ， b c c a u s eo ft h el e n sm a n u f a c t u r ep r e c i s i o n si n f l u e n c e ，g e o m e t r yd i s t o r t i o nw i l la p p e a r i ni m a g e ss u c ha sv a r y i n go fg e o m e t r yp o s i t i o n ，s i z e ，s h a p e ，p o s i t i o n ，a n d t h i sw 1 儿 r e d u 6 et h em e a s u r e m e n ta c c u r a c yo f v i s i o nm e a s u r e m e n ts y s t e m s s ob e f o r eo fs h a p e d e t e c t i o na n dd i m e n s i o nm e a s u r e m e n t ，w em u s tc o r r e c t t h et i l td i s t o r t i o na n dt h e g e o m e t r yd i s t o r t i o n t h ep r o c e s s i n go fi m a g ed i s t o r t i o nc o r r e c t i o ni nv i s i o nm e a s u r i n gs y s t e m 1 sa s f o i l o w ：f i r s tw ec o r r e c tt h et i l td i s t o r t i o n ，t h e nw e c o r r e c tt h eg e o m e t r yd i s t o r t i o nt o g e tt h eu n d i s t o r t e di m a g e s ，t h e nw e t u r nt h en o n 。i n t e g r a lc o o r d i n a t ei n t oi n t e g r a lp 1 x e i c o o r d i n a t eb yu s i n gt h eg r a yi n t e r p o l a t i o nt e c h n i q u e ，f i l l a l l y w ef i n i s ht h e1 m a g e c o r r e c t i o n m a i nt a s k si nt h i sp a p e ra r c a sf o l l o w s ： ( 1 ) t h ec a t e g o r y so ft i l t d i s t o r t i o na r ed e s c r i b e d ，t h e m e t h o db a s e do nh o f f t r a n s f o 锄a n dp r o j e c t i o nm e t h o da r ea n a l y z e d ae f f i c i e n tk m e a n sc l u s t e r i n g m o t h o d i sp r e s e n t e di nt h i sp a p e r ( 2 ) t h ec a u s a t i o na n dc a t e g o r yo fg e o m e t r yd i s t o r t i o n a r ed e s c r i b e d ，t h ec l a s s l c a l d i s t o r t i o nc o r r e c t i o nm e t h o d ss u c ha st s a im e t h o d ，w e n g sm e t h o d ，z h a n g sm e t h o d a n dg e o m e t r i c i n v a r i a n c e c a l i b r a t i o n m e t h o d sa r ea n a l y z e d a1 m p r o v e d a n t i i n t e r f e r e n c em o t h o d ，n a m e dg e o m e t r i cd i s t o r t i o n c o r r e c t i o nm e t h o db a s e do n u n i f o r m l y s p a c e dl i n e s ，i sp r e s e n t e d i nt h i sp a p e r ( 3 ) t h ee f f i c i e n c ya n de f f e c to ft h r e ed i f f e r e n tg r a yi n t e r p o l a t i o nt e c h n i q u e s s u c n a st h en e a r e s tn e i g h b o ri n t e r p o l a t i o n ，b i l i n e a ri n t e r p o l a t i o na n dc u b i cc o n v o l u t l o n i n t e r p o l a t i o ni ss t u d i e d ，s o m eu s e f u la d v i c e sf o rc h o o s i n g aa p p r o p r i a t ei n t e r p o l a t l o n m e t h o df o rd i f f e r e n tv i s i o nm e a s u r i n gs y s t e m a r eg i v e ni nt h i sp a p e r f i n a i i v t h ei m a g ec o r r e c t i o nm o t h o dp r e s e n t e di nt h i sp a p e r i st r a n s p l a n t e d1 no u r e x p r e s sa u t o m a t i cc a t e g o r i z a t i o ns y s t e m t h e r e s u l ts h o w st h a tm ym e t h o dc a n o b v i o u s l yc o r r e c tt h eg e o m e t r y d i s t o r t i o na n dt i l td i s t o r t i o n ，a n d1 m p r o v e t h e m e a s u r e m e r i ta c c u r a c yo fe x p r e s sa u t o m a t i cc a t e g o r i z a t i o ns y s t e m n i _ _ 一 视觉测量系统中的图像校正技术研究 k e yw o r d s ：v i s i o nm e a s u r i n gs y s t e m ；e x p r e s sa u t o m a t i cc a t e g o r i z a t i o ns y s t e m ； i m a g ec o r r e c t i o n ；t i l td i s t o r t i o nc o r r e c t i o n ；g e o m e t r yd i s t o r t i o n c o r r e c t i o n ；g r a yi n t e r p o l a t i o n i v 硕士学位论文 目录 学位论文原创性声明和学位论文版权使用授权书i 摘要i i a b s t r a c t ，i i i 第1 章绪论“1 1 1 课题的研究背景和意义1 1 1 1 课题的研究背景1 1 1 2 课题的研究意义3 1 2 国内外研究现状3 1 2 1 图像倾斜校正研究现状3 1 2 2 图像畸变校正研究现状3 1 3 本课题研究的内容与要求4 1 4 论文的章节安排一4 第2 章视觉测量系统原理6 2 1 视觉测量系统的概述6 2 2 视觉测量系统的构成8 2 3 本章小结1o 第3 章图像倾斜校正技术研究1 l 3 1 图像倾斜形变模型1 1 3 2 基于霍夫变换的倾斜校正方法1 3 3 3 投影法倾斜校正方法1 5 3 4 改进的k 均值聚类倾斜校正方法1 7 3 4 1 聚类方法简介1 7 3 4 2k 均值聚类方法原理1 9 3 4 34 均值聚类倾斜校正方法2 0 3 5 不同倾斜角度下校正效果对比图2 1 3 6 本章小结2 3 第4 章图像畸变校正技术研究2 4 4 1 摄像机成像模型2 4 4 2 图像几何畸变模型2 7 v 视觉测量系统中的图像校正技术研究 4 3 经典的畸变校正方法2 8 4 3 1 t s a i 标定方法2 8 4 3 2 w e n g s 标定方法3 0 4 3 3 张正友标定方法3 2 4 3 4 几何不变性校正方法3 5 4 4 基于等间距线的畸变校正方法3 8 4 4 1 畸变参数计算3 9 4 4 2 畸变中心计算4 l 4 4 3 图像畸变校正实现一4 2 4 5 不同几何畸变校正方法校正效果对比图4 2 4 6 本章小结4 4 第5 章图像灰度插值方法研究4 5 5 1 最近邻插值4 5 5 2 双线性插值：4 6 5 3 三次卷积法：一4 7 5 4 常用灰度插值方法比较一4 8 5 5 本章小结4 8 第6 章图像校正技术的应用一4 9 6 1 快件自动分类系统的硬件结构4 9 6 2 快件自动分类系统的软件实现_ 5 l 6 2 1 图像预处理5 1 6 2 2 图像分割和边缘检测5 l 6 2 3 图像校正及其灰度插值5 2 6 3 快件自动分类系统的测量精度分析5 2 6 4 本章小结5 3 总结与展望5 4 参考文献5 6 致 谢6 0 附录a ( 攻读硕士学位期间所发表学术论文目录) 6 1 v i 硕士学位论文 第1 章绪论 1 1 课题的研究背景和意义 1 1 1 课题的研究背景 ， 视觉是人类观察世界和认知世界的重要手段。通过视觉，人和动物感知外界 物体的大小、明暗、颜色、动静，获得对机体生存具有重要意义的各种信息，至 少有8 0 以上的外界信息经视觉获得，视觉是人和动物最重要的感觉【l 】。 视觉是一个生理学词汇，光作用于视觉器官，使其感受细胞兴奋，其信息经 视觉神经系统加工后便产生视觉。视觉不仅指感受细胞对光信号的感受，还包括 视觉神经系统对视觉信息的获取、传输、处理和理解的全过程。 随着计算机技术和图像处理技术的发展，人们试图用各种成像系统代替视觉 器官作为输入手段，由计算机来代替大脑完成相应的处理和解释。用计算机实现 对视觉信息处理的全过程，这样就形成了一门新兴的学科，即计算机视觉。计算 机视觉既是工程领域，也是科学领域中的一个富有挑战性的重要研究领域。计算 机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的 研究之中。其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学， 神经生理学和认知科学等【2 】。计算机视觉的研究对象主要是映射单幅或多幅图像 上的三维场景，例如三维场景的重建。计算机视觉的最终研究目标就是使计算机 能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。 作为一门学科，计算机视觉开始于6 0 年代初，2 0 世纪7 0 年代出现了一些视觉 应用系统，但在计算机视觉的基本研究中的许多重要进展是在8 0 年代取得的。 2 0 世纪6 0 年代，r o b e t s 开创了以理解三维场景为目的三维机器视觉的研究。 他提出了以世界模型为主要研究对象的“积木世界 计算机视觉理论1 3 】。r o b e r t s 认为周围的物体都是由多面体构成的，需要识别的物体可以用简单的点、直线、 平面的组合来表示。在研究中r e b o r t s 弓i 入了三维物体和二维成像之间的关系，采 用了一些简单的边缘特征提取方法并引入了组合线段的方法。随后人们对积木世 界进行了更加深入的研究，研究范围从边缘、角点等特征提取，到线条、平面等 几何要素的分析，一直到图像明暗，纹理、运动以及成像几何等，并建立了各种 数据结构和推理规则。积木世界的研究反映了视觉早期研究的一些特点，即从简 化的世界出发开始研究。这些研究对视觉的发展起了促进作用，但是对于稍微复 杂的景物难以凑效，原因是其对三维关系的分析仅仅依靠简单的边缘线段等约束 关系，并没有充分考虑到人类或其他动物视觉系统感知三维空间关系的方式。 视觉测量系统中的图像校正技术研究 2 0 世纪7 0 年代开始，以计算理论为核心的视觉模型得到了广泛的发展。这一 阶段计算机视觉的研究进入更为理性化的阶段，其主要出发点是从生理学、光学 和射影几何的方法出发，研究成像及逆问题，其主要工作集中在各种本质特征的 恢复，包括三维形状、运动、光源的恢复。这一阶段，以m a r r 为代表的一些研究 者提出了以表示为核心，以算法为中间转换过程的一般性视觉处理模型。m a r r 视 觉计算理论立足于计算机科学，认为对视觉系统的研究应该分成三个层次，即计 算机理论层次、表达和算法层次和硬件实现层次。m a r r 理论强调表示的重要性， 提出要从不同层次去研究信息处理的问题。对于计算理论和算法实现，又特别强 调计算理论的重要性。在三维信息的感知方面，根据人类感知深度的不同提出了 一系列从不同线索恢复图形的方法。在视觉研究的理论上，m a r r 的理论影响最为 深远，是目前计算机视觉研究的基本框架1 4 j 。 进入9 0 年代，计算机视觉系统进入了以应用为目标的计算机视觉方法。计算 机视觉从单纯的理论框架研究转入结合躯干运动、结合各种应用的研究。随着移 动式机器人等的研究，计算机视觉获得了迅速的发展，主动视觉、定性视觉等新 概念、新方法、新理论不断涌现。主动视觉是相对被动视觉而言的，其主要特点 是系统移动能力。在主动视觉测量系统中由于主体的运动可以提供附加约束，可 以使一些原本复杂的计算机可以得到化简，一些病态问题可以转换成良态问题， 从而得到圆满的解决。同时基于多视觉的视觉理论得到了迅速发展。计算机视觉 在工业环境中得到了广泛的应用。 计算机视觉的最大优点是与被测物体的对象无接触，因此对观测与被测者都 不会产生任何损伤。计算机视觉方式所能测量的对象十分广泛，例如，红外线、 微波、超声波等，计算机视觉能利用这方面的敏感元件形成红外线、微波、超声 波等图像。另外计算机视觉不知疲劳，始终如一地观测，所以计算机视觉可以广 泛地用于长时间恶劣的工作环境。不过，计算机视觉技术仍处于一个完善和发展 的阶段，其发展还远远落后于人们所给予的发展水平，由于当前对人类世界系统 和机理、人脑心理和生理的研究还不够，要建立一个可以与人类的视觉系统相比 拟的通用视觉系统是非常困难的，目前人们所建立的各种视觉系统绝大多数只是 适用于某一特定环境或应用场合的专业系统。 视觉测量是建立在计算机视觉研究的基础上的一门测试计量技术垆j 。视觉测 量系统是指运用摄像机和计算机代替人眼对目标进行识别、跟踪和测量，它把图 像当作检测和传递信息的手段或载体加以利用，从图像中提取有用的信号，通过 处理被测图像而获得所需的各种参数。在一些不适合于人工作业的危险工作环境 或人工视觉难以满足要求的场合，常用计算机视觉来替代人工视觉；同时在大批 量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用计算机视觉 检测方法可以大大提高生产效率和生产的自动化程度。因此，在现代自动化生产 2 硕士学位论文 过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。 随着计算机硬件性价比的不断提高，相关技术的不断发展，视觉测量以其柔性、 快速、非接触、精确、自动化程度高等特点将得到广阔的应用。 1 1 2 课题的研究意义 视觉测量的研究重点是物体的几何尺寸及物体的位置测量。视觉测量系统根 据用途不同可以分成两类，一类是高精度定量检测，例如显微照片的细胞分类、 机械零部件的尺寸和位置测量；另一类是定性或半定量检测，例如产品的外观检 查、装配线上的零部件识别定位、缺陷性检测与装配完全性检测。由于摄像头拍 摄角度会导致图像出现一定线性的倾斜形变，这不便于计算机对目标物件的辨别 和理解：同时在摄像机成像过程中，受镜头制造精度的影响，图像会出现不同程 度的几何位置、尺寸、形状、方位等几何畸变，这必将降低视觉测量系统的测量 精度，在进行形状检测和尺寸测量之前必须对图像进行校正。因此有必要深入地 研究视觉测量系统的图像校正技术，以寻找一种有效而高速的图像校正技术，来 满足视觉测量系统的实时性和精确性要求。 1 2 国内外研究现状 1 2 1 图像倾斜校正研究现状 图像倾斜形变是一种线性的形变，通常需要计算出图像的水平和垂直倾斜角 度再分别进行旋转和扭曲变换实现图像的校正。国内外学者已经对图像倾斜形变 校正技术进行了很多年的研究，并提出了许多可行的方法，例如霍夫变换、投影 法等等。其中最经典的是霍夫变换方法，它采用霍夫变换来计算图像空间目标像 素坐标在参数空间的可能轨迹，从而找到倾斜角度。霍夫变换方法对于线性图形 校正非常有效，但是计算量非常大，并且鲁棒性差。投影法是指将图像沿着某一 方向进行投影，实际中常沿着水平方向和垂直方向进行投影，当图像存在不同程 度的倾斜时，投影面上得到的投影黑点个数不同，黑点数和倾斜角度存在一一对 应关系，因此可由投影统计值确定图像在水平和垂直方向上的倾斜角，进行旋转 和扭曲变换即可实现图像的倾斜校正。 1 2 2 图像畸变校正研究现状 图像畸变广泛存在于各类摄像机图像中，怎样实现图像畸变校正是计算机视 觉三维重建技术的难题之一。图像畸变是影响视觉测量系统的形状检测和几何尺 寸测量精度的重要因素之一。在研究图像畸变校正方法中，许多学者将畸变校正 放在摄像机标定的内容里面，即在求取摄像机内参数和外参数的同时计算出畸变 参数。目前经典的图像校正方法有t s a i 标定方法、j u y a n gw e n g 标定方法，张正友 3 视觉测量系统中的图像校正技术研究 标定方法和基于特征点共线或无穷点特性的校正方法。t s a i 标定方法利用三维空 间中的已知坐标点来计算畸变参数，实现畸变校正。j u y a n gw e n g 标定方法利用三 维标定物来计算畸变参数，实现畸变校正。张正友标定方法是一种较为灵活的标 定方法，它只需要对平面标定图案在不同方向上进行拍照就能计算出摄像机的内 参数和外参数实现摄像机的标定，并计算出畸变参数，实现畸变校正。基于特征 点共线或无穷点特性的方法主要利用空间点线投影的几何不变性求解含有畸变参 数的方程而求出畸变参数，实现畸变校正。 1 3 本课题研究的内容与要求 为了满足视觉测量系统的精确性和实时性要求，本文介绍了图像倾斜形变和 几何畸变的种类和模型，分析了常用的图像校正方法，提出了改进的图像校正算 法，最后将非整数化的校正值进行灰度插值得到整数化的图像像素，实现了图像 的校正。课题研究主要内容如下： 介绍了图像倾斜形变的种类，分析了基于霍夫变换的倾斜校正方法和投影法 倾斜校正方法，并提出了能快速实现图像倾斜校正的改进k 一均值聚类方法。 介绍了图像几何畸变的种类及模型，详细分析了经典的畸变校正方法包括 t s a i 标定方法、w e n g s 标定方法、张正友标定方法和几何不变性校正方法，并提 出了抗干扰能力强的基于等间距线的畸变校正方法。 对比分析了灰度插值方法中的邻近域方法、双线性方法和三次内插方法的插 值效率和效果，给出了不同视觉测量系统中选择合适的插值方法的一些建议。 最后将本文提出的校正方法运用在快件自动分类系统中，对其失真图像校正， 并和未校正的测量结果比较，进行测量精度分析。 1 4 论文的章节安排 本文的章节安排如下： 第一章介绍视觉测量系统中图像校正技术研究的背景和意义，国内外研 究现状以及本文的主要研究工作内容。 第二章介绍了视觉测量系统概述和视觉测量系统结构。 第三章介绍了图像倾斜形变的种类，分析了基于霍夫变换的倾斜校正方法和投影 法倾斜校正方法，并提出了能快速实现图像倾斜校正的改进k 均值聚类方法。 第四章首先介绍了摄像机成像模型，其次介绍了图像几何畸变的种类及模型，详 细分析了经典的畸变校正方法包括t s a i 标定方法、w e n g s 标定方法、张正友标定 方法和几何不变性校正方法，并提出了抗干扰能力强的基于等间距线的畸变校正 方法。 4 硕士学位论文 第五章对比分析了灰度插值方法中的邻近域方法、双线性方法和三次卷积法的插 值原理和效果，给出了不同视觉测量系统中选择合适的插值方法的一些建议。 第六章将本文提出的校正方法运用在快件自动分类系统中，对其失真图像校正， 并和未校正的测量结果比较，进行测量精度分析。 总结与展望对本论文的所做的工作和结果进行总结，然后提出了系统中还存在的 问题的方向指导，作为以后的工作重点。 视觉测量系统中的图像校正技术研究 第2 章视觉测量系统原理 视觉测量技术是计算机视觉理论在测量领域的应用，近年来己成为仪器科学 中发展迅速的重要领域之一。视觉测量具有大量程、大视野、非接触、无损检测 等特点，发展前景广阔。它可用于机器人、在线检测和在线监控，更可以用于大 尺寸物体的检测，在一些场合是其他测量方法所不可比拟的。在现代自动化生产 过程中，人们将视觉测量系统广泛地用于工况监视、成品检验和质量控制等领域。 2 1 视觉测量系统的概述 视觉测量系统是一种非结接触的三维坐标测量方法，具有精度高、效率高、 自动化程度高等特点，得到了广泛的应用。视觉测量系统的任务是由摄像机拍摄 得到的二维图像出发，重建出三维实际物体，识别被拍摄的物体，并由此计算三 维物体的位置、形状等几何信息。要由二维图像重建出三维物体，其中最关键的 是知道三维物体和二维图像之间的对应关系或者数学几何模型。在射影几何中， 这种二维图像和三维物体之间的几何模型被称为摄像机模型。摄像机模型中包含 很多的参数，并可以将其分为摄像机内参数和摄像机外参数。摄像机内参数是指 摄像机的几何和光学参数，包括主点、实际焦距、尺度因子，镜头畸变参数；摄 像机外参数是摄像机相对于外部世界坐标系的方位，主要有旋转和平移转换参数。 求取上述参数的过程就被称为摄像机标定。摄像机标定方法根据是否需要标定参 照物来看，可分为传统的摄像机标定方法和摄像机自标定方法。其中传统的摄像 机标定方法使用一定的摄像机模型，并运用形状或尺寸已知的标定物，利用一些 数学变换和计算方法，求取摄像机内外参数。摄像机自标定方法不需要标定物， 而利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行 标定。经过摄像机标定，我们得到摄像机内参数和摄像机外参数。代入摄像机模 型，就能由图像平面像素坐标计算出空间物体三维几何位置，从而检测出被测对 象的几何尺寸和形状。 目前应用较多的视觉测量系统有：结构光学法、激光自动聚焦法、单目视觉 方法、双目视觉方法和多目视觉方法。 视觉测量系统按照照明方式和几何结构关系的不同分为被动视觉测量和主动 视觉测量两类。被动视觉测量方法利用不同视点上的两幅图或者多幅图像提供的 信息来重建三维结构，这种方法应用面广【6 】。根据图像获取方式的区别可以分为 普通立体视觉和由运动获得结构法两大类，普通立体视觉研究的是两个或多个摄 像机同时拍摄的图像；而由运动获得的结构法研究的是单个摄像机或物体沿轨道 运动时顺序拍下的两幅图或者多幅图像，其核心是需要计算出运动的速度，常见 6 硕士学位论文 的有直接测量速度法和光流法。主动式视觉测量是采用结构光照明，通过结构光 在被测物体上的精确定位来获取被测信息，实际中常利用测距仪器，如结构光、 激光测距器来获得程距图和深度图，用数学逼近的方法重建表面信息，根据模型 建立场景的物体描述来实现图像理解功能【_ 7 1 。 视觉测量系统按照摄像机数目的不同分为单目视觉测量系统、双目视觉测量 系统和多目视觉测量系统。其中多目视觉测量系统的理论基础和双目视觉系统是 相同的，因此可以将双目视觉看做是多目视觉系统的一种特例哺母j 。 单目视觉测量系统通常是被测物体固定不动，利用一台摄像机在不同的位置 提取物体图像，摄像机前后位移已知，或者摄像机固定不动，被测物体移动且位 移已知，然后利用运动图像序列分析的方法求取被测物体的形状和尺寸。单目视 觉测量系统的最大特点是只需要一台摄像机，标定方便，没有复杂的数学模型， 计算公式简单。但是单目视觉测量要求物体或摄像机移动，这就需要给视觉测量 系统增加必要的机械运动结构，同时在某些测量环境中由于被测空间有限不能满 足摄像机或被测物体的移动要求，这将限制单目视觉测量系统的广泛应用。 双目视觉测量系统模拟人类双目成像原理，采用双摄像头从不同角度同时获 得被测物的两幅数字图像，在两幅图像中我们可以获得同一空间点在不同摄像机 平面所对应的点，已知摄像机的投影中心的连线的距离即基线距离和视差角度就 能计算出目标和摄像机之间的距离，进而计算出物体的三维几何信息，重建物体 三维轮廓及位置。在实际的测量过程中，我们首先在一张图像中找出某些特征点， 再在另一张图像中找到与这些特征点对应的匹配点，这一过程就叫做立体匹配。 然而立体匹配问题始终是双目视觉测量的主要难点所在，国内外许多科学家提出 了许多利用约束条件减少匹配搜索范围和确定正确对应关系的原则，其中很有代 表性的是m p g 匹配方法和多通道结构匹配方法。这些方法有一定的局限性，例如 对于形状较复杂的物体进行测量时对于盲区部分无法处理。另外由于约束条件的 局限性，将出现目标特征模糊从而引起误匹配现象【l 。 多目视觉测量系统主要是增加了摄像头的个数，从而增加几何约束，减少双 目测量系统的立体匹配的难度】。多目视觉测量系统能消除双目图像匹配中的不 确定性，消除光滑区域引起的误匹配和减少周期性模式造成的误匹配。多目视觉 测量系统根据其中两部摄像机的透镜中心连线中点的距离为无限远还是有限远， 可以分为平行成像系统和会聚成像系统。多目视觉测量系统的原理是通过在多点 拍摄获取不同方位的图像，然后将多张图片拼接并投影在圆柱面或球面上，从而 形成全景图。这样观察者就可以在虚拟环境中平移、旋转和俯仰观察全景图，但 这种方法需要专业人员仔细地进行离线拼接，不适用于实时地观测系统。同时多 目视觉测量系统在结构上的复杂性也引入了测量误差，降低了测量效率，所以在 实际测量系统中应用较少。 7 视觉测量系统中的图像校正技术研究 2 2 视觉测量系统的构成 视觉测量系统以光学为基础，融光电子学、计算机技术、激光技术、图像处 理技术等现代科学技术为一体，组成光、机、电、算综合的测量系统。视觉测量 系统主要构成部分有：视觉传感器、图像采集卡，图像处理程序，计算机或嵌入式 处理单元及其外设组成等【1 2 44 1 。视觉测量系统的结构图如图2 1 所示。视觉测量系 统一般是由c c d 摄像机或其他传感器件对被检测对象及背景进行实时拍摄，经图 像采集卡将图像传入到计算机或嵌入式处理单元中，再经过图像处理软件对图像 进行分析和解释，进而得到检测结果，并通过计算机或嵌入式处理单元将检测结 果显示或通过外设直接用于工业控制领域。其中根据检测目的的不同，检测结果 可能是检测对象的几何尺寸，也可能是缺陷或字符等识别结果等。 图2 1 视觉测量系统结构图 视觉传感器主要由一个或两个图像传感器组成，有时还要配以光投射器及其 他辅助设备。视觉传感器是整个测量系统信息的来源，其主要功能是获取足够的 视觉测量系统要处理的原始图像。视觉测量系统中常采用的是c c d 摄像机，c c d 是指光电耦合器件，即是英文( c h a r g e c o u p l e dd e v i c e s ) 的缩写。在计算机视觉测 量技术中，c c d 几乎是不可缺少的图像传感器。c c d 摄像机包括点阵c c d 摄像机 和面阵c c d 摄像机，它们在计算机视觉的发展和应用中起着至关重要的作用。被 测信号的光信息通过光学成像系统成像于c c d 的光敏表面，c c d 的光敏像元将光 强度转换成电荷量，c c d 在一定频率的时钟脉冲的驱动下，在其输出端可以得到 被测信号的视频信号。随着半导体集成技术和超大规模细微加工技术的发展，面 8 硕士学位论文 阵c c d 摄像机不仅商品化，且具有较高分辨率和高工作速度。面阵c c d 摄像机具 有几何畸变小，灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点， 被广泛地应用在各类视觉测量系统中。其中光投射器可以是普通照射光源、半导 体激光器或者红外激光器，其主要功能是参与形成被分析的物体对象的特征：其 他辅助设备主要用于改善c c d 摄像机拍摄图像的光照、亮度、强弱等特征，以便 于图像的特征提取、理解及分析。 图像采集卡是图像采集部分和图像处理部分的接口。图像采集卡是由专用视 频解码器、图像缓冲器和控制接口电路组成的。图象经过采样、量化以后转换为 数字图象并输入、存储到帧存储器的过程，叫做采集。图像采集卡的基本原理是 将信号源( c c d 摄像机) 的图像信号送到图像采集卡的输入端口，首先对该信号进 i 行模数转换，然后送到数字解码器解码。模数转换器a d c 实际上也是一个视频解 码器，用于模拟信号解码和数字化。转换后的数字图像信号存储在图像采集卡上 的帧存储器内，该存储器被映射为微机内存的一部分，微机可通过访问这部分内 存来处理图像。当图像采集卡的信号输入速率较高时，需要考虑图像采集卡与图 像处理系统之间的带宽问题；同时在实际使用中，有可能在传输瞬间不能满足高 传输率的要求，为了避免与其他p c i 设备产生冲突时丢失数据，图像采集卡上应 有数据缓存。图像采集卡还提供了数字i o 的功能，在工业检测，交通道路，医学， 军事以及科研等系统中，输入输出的控制很重要，如果图像采集卡已经具有数字 i o 功能，能够产生摄像机和其他电子设备所需的选通、触发及其他电子信号， 对系统是很有用的。 图像处理软件是视觉测量系统的软件部分，也是视觉测量系统的重要部分， 它直接影响到视觉测量系统能否精确高效地计算出测量结果。根据实际应用系统 中被测对象和被测量的不同，需要设计不同的图像处理软件来实现。图像处理软 件主要包括图像的预处理、灰度化、噪声滤波、图像增强技术、目标特征的分割 和边缘检测技术、失真图像的校正技术、校正后图像灰度插值技术以及被测对象 的几何信息或其他信息提取和计算。上述的几个环节都会对视觉测量系统的测量 精度和效率造成影响，特别是在不同的应用环境中，c c d 摄像机的参数、被测对 象和背景、摄像距离及范围等等环境因素都造成影响，因此在设计的过程中我们 都应该慎重考虑。 计算机或嵌入式处理单元是视觉测量系统程序和算法运行的载体，也是视觉 测量系统的显示和控制中心。考虑到图像处理算法需要进行大量的计算，实际系 统中我们常采用计算机或高速的数字信号处理单元来实现。我们可以扩展一些常 用的外设如液晶屏来实时显示拍摄图像及检测结果；同时我们也可根据检测到的 结果进行一定的控制算法计算得到控制信号，再通过常用的外设如r s 2 3 2 或者其 他通信端口进行通信和控制，实现工业控制设备的控制。 9 视觉测量系统中的图像校正技术研究 2 3 本章小结 本章首先介绍了视觉测量系统的原理，利用二维图像到三维空间物体的投影 关系，重构出物体的三维几何信息，检测出被测对象的几何尺寸和形状。其次介 绍了视觉测量系统的系统构成和工作流程，具体介绍了c c d 摄像机、图像采集卡， 图像处理程序，计算机或嵌入式处理单元及其外设组成等组成部分。 硕士学位论文 第3 章图像倾斜校正技术研究 视觉测量系统是利用计算机来代替人眼对图像进行理解和识别。如果摄像机 拍摄得到的图像存在一定的线性倾斜形变，即由原来的竖直线变成了倾斜线，由 原来规则的正方形平面变成了菱形平面，计算机不能直观地从图像中抽象出物体 的几何信息。尽管通过三维重建技术能恢复出物体的原本几何位置信息，事实上 如果我们能够在信息提取之前对图像进行倾斜形变校正，再利用计算机来识别和 理解图像中的物体就会容易得多。 一 3 1 图像倾斜形变模型 视觉测量系统进行测量时，由于拍摄角度的原因会出现一定程度的倾斜形变。 通常情况下，图像倾斜形变大致有三种形式：( 1 ) 水平倾斜( 2 ) 垂直倾斜( 3 ) 水平垂 直倾斜，如图3 1 、图3 2 和图3 3 所示【1 5 1 8 j ： 】厂 。 l - 父穷三 彤 7 j 乏y 。冷 7汉a 7 图3 1 水平倾斜的两种情况 y x 0 1r y 图3 2 垂直倾斜的两种情况 x x 视觉测量系统中的图像校正技术研究 】厂 l 。 - x 久 a il 多 7 x l 上 k j | |r 7 a x 图3 3 水平垂