（计算机应用技术专业论文）基于双目立体视觉的测量技术研究.pdf

浙江理工人学硕上学位论文 摘要 随着计算机技术和光电技术的发展，出现了一种新的检测技术基于计算机视觉的 测量技术，该技术是一种利用c c d 摄像机作为图像传感器，综合运用图像处理技术进行 非接触测量的方法，具有精度高、速度快、成本低等诸多优点，在现代工业领域尤其是三 维测量方面有着广阔的应用前景。 本文在分析了国内外视觉测量现状的基础上，研究利用双目立体视觉对机械零件进行 测量。整个测量系统由图像输入、摄像机标定、特征提取、立体匹配、三维尺寸重建、结 果输出部分构成，本文针对其中的摄像机标定、特征提取、立体匹配三个关键部分展开了 研究，其主要研究内容和成果如下： ( 1 ) 在摄像机标定阶段，提出了一种改进的z h a n g 平面标定法。本文从三个方面对 z h a n g 平面标定法作出改进：首先，在摄像机成像模型中加入了切向畸变校正；然后，在 角点选取方法上作出改进，本文方法是通过选取标定图像中心附近畸变较小的角点来求解 初始值，而不是选取所有的角点；最后，将角点精度定位到亚像素级。 ( 2 ) 在图像预处理阶段，对常用的滤波方法进行了比较，根据实际测量图像的特点 及特征提取的需要，采用基于中值的加权均值滤波方法，获得了较好滤波效果。 ( 3 ) 在特征提取阶段，对h a r r i s 算法作了改进，有效地解决了角点冗余问题，并且 提高了角点定位的精度。首先，对图像目标区域分块及块内角点总数进行抑制；然后，对 初始检测出的角点进行邻域非极大值抑制；最后，利用角点附近灰度梯度特征实现了角点 坐标的亚像素定位。 ( 4 ) 在立体匹配阶段，对特征点匹配算法进行了研究，在基于相似度计算的特征点 立体匹配方法中，通过双向视差域约束和滑动平均邻域视差约束，有效地提高了特征点的 匹配速度和准确率。 ( 5 ) 在上述理论研究的基础上，实现了基于双目立体视觉的机械零件尺寸的精确测 量，并对测量误差和精度影响因素进行了分析。 关键词：视觉测量；摄像机标定；特征提取；立体匹配 浙江理工大学硕_ t 二学位论文 r e s e a r c ho nt h em e a s u r i n gt e c h n o l o g yb a s e do nb i n o c u l a rs t e r e ov isi o n a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g ya n dp h o t o e l e c t r i e i t y , an e wm e a s u r i n g t e c h n o l o g yb a s e do nc o m p u t e rv i s i o nh a sb e e np r e s e n t e d t h et e c h n o l o g yi san o n c o n t a c t e d m e t h o df o rd i m e n s i o n a lm e a s u r e m e n tu s i n gi m a g ep r o c e s s i n ga n dc c da st h ep i c t u r es e n s o r ， w h i c hh a ss h o w e dg r e a tp r o s p e c ti nt h ef i e l do fm o d e m i n d u s t r y , e s p e c i a l l yi nt h e3 dm e a s u r i n g d o m a i nf o rt h ec h a r a c t e r i s t i c so fh i g hp r e c i s i o n , f a s ts p e e d ，l o wc o s ta n de t c o nt h eb a s i so fa n a l y z i n gt h ed o m e s t i ca n di n t e r n a t i o n a lc u r r e n ts i t u a t i o na b o u tt h ev i s i o n m e a s u r i n gt e c h n o l o g y , t h i st h e s i sr e s e a r c h t h em e 瓠u r i n gm e t h o do fm a c h i n ep a r t su s i n g b i n o c u l a rs t e r e ov i s i o n t h em e a s u r i n gs y s t e mi sm a d eu po fi m a g ei n p u t , c a m e r ac a l i b r a t i o n , f e a t u r ee x t r a c t i o n , s t e r e om a t c h i n g ，t h r e e d i m e n s i o n a lr e c o n s t r u c t i o na n dr e s u l to u 印u t t h et h e s i s c o n c e n t r a t e so nt h er e s e a r c ho ft h r e ec r u c i a lp a r t s ：c a m e r ac a l i b r a t i o n , f e a t u r ed e t e c t i o n , s t e r e o m a t c h i n g t h em a i nc o n t e n ta n dt h ea c h i e v e m e n t so f t h er e s e a r c ha r ea sf o l l o w s ： ( 1 ) a tt h es t a g eo fc a m e r ac a l i b r a t i o n , a ni m p r o v e dm e t h o df o rc a m e r ac a l i b r a t i o nb a s e do n z h a n gp l a n et e m p l a t em e t h o di sp r e s e n t e d t h et h e s i si m p r o v et h em e t h o df r o mt h ef o l l o w i n g t h r e ea s p e c t s ：f i r s t l y , t h et a n g e n t i a ld i s t o r t i o na d j u s t m e n ti sa d d e di n t ot h ec a m e r ai m a g i n g m o d e l ；s e c o n d l y , i m p r o v et h ew a y o fs e l e c t i n gt h ec o i n e r st oc o m p u t et h ei n i t i a lv a l u eo fc a m e r a p a r a m e t e r sb ys e l e c t i n gt h o s ec o m e r st h a ta r o u n dt h ec e n t e ro fi m a g ew h o s ed i s t o r t i o n sa r e r e l a t i v e l ys m a l l e r ，b u tn o ta l lc o r n e r sa r es e l e c t e d ；f i n a l l y , a d j u s tt h ea c c u r a c yo ft h ec o m e r st o s u b p i x e ld e g r e e ( 2 ) a tt h es t a g eo fi m a g ep r e p r o c e s s i n g ，t h ec o m m o nf i l t e r i n gm e t h o d sa r ec o m p a r e d , a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fa c t u a li m a g ea n dt h en e e d so ff e a t u r ee x t r a c t i o n , t h ew e i g h t e d m e a nf i l t e r i n ga l g o r i t h mb a s e do nm e d i a ni ss e l e c t e da n dg a i n sag o o dr e s u l t ( 3 ) a tt h es t a g eo ff e a t u r ee x t r a c t i o n , t h et h e s i si m p r o v e dt h eh a r r i sc o m e rd e t e c t i n g a l g o r i t h m ，w h i c he f f e c t i v e l ys o l v et h ep r o b l e mo fc o m e r s r e d u n d a n c ya n di m p r o v et h ec o m e r s p o s i t i o n i n ga c c u r a c y f i r s t l y , p a r t i t i o nt h et a r g e ta r e aa n dr e s t r a i nt h ea m o u n to ft h ec o m e r s ； s e c o n d l y , s e l e c tt h ei n i t i a ld e t e c t i n gc o m e r sb yn o n - m a x i m as u p p r e s s i o ni nt h en e i g h b o r h o o d ； i i 浙江理r t 大学硕上学位论文 f i n a l l y , t a k ea d v a n t a g eo ft h ec h a r a c t e r i s t i c so ft h eg r e yg r a d i e n tn e a rt h ec o m e r st oa t t a i nt h e s u b - p i x e ll o c a l i z a t i o no f t h ec o m e r ( 4 ) a tt h es t a g eo fs t e r e om a t c h i n g ，t h et h e s i sr e s e a r c ht h em a t c h i n ga l g o r i t h mo ft h ef e a t u r e p o i n t s t h em a t c h i n go ft h ef e a t u r ep o i n t sa reb a s e do nt h ec o m p u t i n go fs i m i l a r i t y , t h ev e l o c i t y a n da c c u r a c yr a t eo ft h em a t c h i n gh a v eb e e ne n h a n c e de f f e c t i v e l yt h r o u g ht h ec o n s t r a i n to f t w o d i r e c t i o nd i s p a r i t ya n dm o v i n ga v e r a g en e i g h b o r h o o dd i s p a r i t y ( 5 ) b a s e do nt h ep r e s e n t e dt h e o r ya b o v e ，m e a s u r i n gt h em a c h i n ep a r t sb yb i n o c u l a rs t e r e o v i s i o ni sr e a l i z e d , t h ee r r o ra n dt h ea c c u r a c yo ft h em e a s u r i n gs y s t e ma r ea l s oa n a l y z e d k e yw o r d s ：v i s i o nm e a s u r e m e n t ；c a m e r ac a l i b r a t i o n ；f e a t u r ee x t r a c t i o n ；s t e r om a c h i n g i i i 浙江理工大学学位论文原创性声明 本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本 人在导师的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用 的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的 内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律 结果由本人承担。 学位论文作者签名：呵筝 日期：) 叩年多月o 日 浙江理工大学学位论文版权使用授权书 学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。 本人授权浙江理工大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密e l，在 不保密d。 学位论文作者签名：呵务 日期：沙7 年乡月，口日 年解密后使用本版权书。 留日 孑也细 r 、丫f 自 ，i【飞 一十厂 刻刀 浙江理r t 大学硕 ：学位论文 1 1 课题研究背景及意义 第一章绪论 视觉是人类观察世界、认知世界的重要手段，人类通过眼睛和大脑来获取、处理和理 解视觉信息。据统计，人类从外部所获得的信息约有8 0 来自于视觉，这既说明视觉信息 量巨大，也表明人类对视觉信息有较高的利用率。周围环境中的物体在可见光照射下，在 人眼的视网膜上形成图像，由感光细胞转换成神经脉冲信号，经神经纤维传送入大脑皮层 进行处理和理解。所以，视觉不仅指对光信号的感受，还包括对视觉信息的获取、传输、 处理和理解的全过程。 随着信号处理理论和计算机技术发展，人们试图用摄像机获取环境图像并将其转换成 数字信号，用计算机实现对视觉信息处理的全过程，这就形成了一门新兴的学科一计算 机视觉。计算机视觉是用计算机实现人的视觉功能对客观世界的三维场景的感知、识 别和理解，即计算机借助各种视觉传感器( 如c c d ，c m o s 摄像器件等) 获取场景的图像， 而感知和恢复3 d 环境中物体的几何性质、姿态结构、运动情况、相应位置等，并对客观 场景进行识别、描述、解释，进而做出决断【l j 。 从计算机视觉概念和方法出发，将计算机视觉应用于空间几何尺寸的精确测量和定 位，从而产生了一种新的计算机视觉应用概念视觉测量。视觉测量就是检测被测目标 时，把被测目标的图像当作检测和传递信息的手段或载体加以利用的检测方法，通过提取 图像的特征信号，最终从图像中获取被测对象的实际信息。与计算机视觉研究的视觉模式 识别、视觉理解等内容不同，视觉测量技术重点研究物体的几何尺寸及物体的位置测量， 它以光学为基础，融光电子学、计算机技术、激光技术、图像处理技术等现代科学技术为 一体，组成光、机、电、算综合的测量系统。 随着加工、制造业技术和水平的提高，传统的人工测量或接触式测量存在测量误差大、 费时费力的缺点，已经不能满足实时、非接触、高精度的需要，迫切需要一种新的测试方 法。基于计算机视觉的视觉测量是近年来在测量领域中迅速发展起来的崭新技术，该技术 具有非接触、全视场测量、高精度、自动化程度高、稳定性好等特点，不仅在理论上，而 且在实践中都有很大的价值，正成为一种提高生产率和保证产品质量的重要关键技术。视 觉测量在电子学、光电探测、图像处理和计算机技术不断成熟和完善的基础上得到了突飞 浙江理工人学硕十学位论文 猛进的发展，获得了广泛的应用，如应用于产品在线质量监控、微电子器件( i c 芯片、p c b 板、b g a 封装) 的自动检测、各种模具三维形状的测量及生产线中机械手的定位与瞄准等。 然而在实际应用中还有许多需要解决的问题，如处理对象的多样性、在线处理的实时性、 稳定性、精度性和性价比等。 当前，国外许多测量软件具有精度高、性能好、功能强大等特点，但其价格昂贵，操 作复杂，在国内的客户主要为有实力的大型企业。而对于国内大多数的中小型企业，虽然 非常希望提高自动化检测水平，但无法负担如此昂贵的费用。于是，他们希望国内能够开 发出相关的测量软件，以满足企业产品的检测需求。 本课题对机械零件尺寸的实时测量展开研究，对提高测量效率、降低制造测量成本等 方面具有积极的意义。 1 2 国内外视觉测量的研究现状和发展趋势 视觉测量的研究和发展是在计算机视觉理论基础上发展起来的一项测量技术。在国 外，视觉测量自上世纪八十年代初开始已经得到了广泛的研究，并获得了蓬勃的发展，新 概念、新理论、新方法不断涌现，在各方面得到了广泛的应用。m a r u y a m a 2 】等人给出的电 子元件生产线机器人手眼在线插拔系统，在1 0 0 m m x1 0 0 m m 范围内的定位精度为0 2 m m ， 测量2 0 个位置用时1 2 秒：l u o 3 】等人设计了一个立体视觉系统用来测量圆柱形物体，并 获得了较高的精度；r e i c h t 4 】等人提出的集成近景摄影测量与编码结构光的测量技术对大型 复杂曲面进行三维测量；h u n g t 5 】等人提出基于视觉技术的全景曲面三维测量；l a h a j n a r l 6 】 等人设计了对电路板自动检测的机器视觉系统，应用亚像素边缘检测技术和半自动校正系 统来分辨，系统的精确度达到0 0 3 毫米，一块电路板的测量速度大约是o 3 秒；a l e i x o s 7 】 等人建立了一个用机器视觉进行柑橘分类和缺陷检测的系统，将机器视觉系统安置在商品 运输带上，实现了对柑橘尺寸和颜色的分类，并对柑橘存在的缺陷进行检测。 在国内，视觉测量研究从上世纪九十年代才开始得到重视，最近几年有了突飞猛进的 发展。邹定海【8 】等人研究和开发了汽车车身视觉检测系统；李明哲 9 1 等人研制了一种基于 计算机视觉的板材曲面三维测量系统；左奇【1 0 】等人提出了一种基于机器视觉的胶囊完整性 检测方法；冯斌【i l 】等人提出了一种基于计算机视觉的水果大小检测方法；卞晓东【1 2 1 等人介 绍了一种利用视觉伺服技术进行车辆尺寸检测的方法；徐德【1 3 】等人利用结构光视觉实现了 焊接的自动识别、测量与跟踪。 在最近二十年里，国内外对视觉测量技术进行了广泛的研究，视觉测量技术发展迅速 2 浙江理工人学硕士学位论文 并得到了广泛的应用。高速、大尺度、高精度、特殊复杂型面的测量是目前计算机视觉测 量领域的研究重点，这也是将来视觉测量研究发展的趋势，归纳起来主要体现在以下几个 方向f 1 4 1 ： ( 1 ) 实时测量 在工业领域要降低产品成本、提高生产效率和质量，实时三维测量成了测量领域急待 解决的问题。为了及时、准确地进行三维坐标显示和测量，关键是要提高计算速度，从而 满足在线生产的需要，实现生产控制和在线质量检测。 ( 2 ) 高精度大范围测量 大多数测量系统根据测量范围折衷测量精度，因此大尺度测量往往以降低测量精度为 代价，而在工业生产中又需要实现大型面、高精度的三维测量，在该领域还存在一系列问 题急待解决。 ( 3 ) 特殊复杂型面物体形状测量 对诸如模具等高镜面反射金属光滑曲面和网状表面进行三维形状测量是一个困难和 紧迫的任务。虽然近年来在这方面取得了一些研究成果，但效果不是很理想。目前相对成 熟的测量方法需要在被测表面涂上粉末或哑光涂层，但这样是以减慢测量速度和降低测量 精度为代价。另外透明及无反射的特殊型面三维测量也是视觉测量的难点，在生产实际中 有较大的需求。 ( 4 ) 阴影和遮挡问题 阴影和遮挡问题是视觉测量中经常碰到的，这也是视觉测量研究中的瓶颈问题。多年 来研究人员对这方面进行了大量的研究和探索，也提出了很多解决问题的方法，但问题还 没有得到根本解决。 ( 5 ) 测量系统标定和优化 系统标定和优化是提高测量精度的关键因素。多年来人们进行了大量研究，也取得了 丰富成果，但总的来说，有关系统标定还有很多问题值得研究。 ( 6 ) 图像处理技术提高 数字图像处理是计算机视觉测量的基础，通过提高摄像机分辨率可以直接提高测量系 统的精度，但摄像机价格随分辨率的提高呈指数曲线上升，因此通过提高摄像机分辨率来 达到提高测量系统精度的目的是不经济的，而通过图像处理算法提高特征提取精度同样能 提高测量系统精度。另外，在视觉测量中存在的各种图像畸变和噪声，对系统测量精度也 会产生很大影响，完善图像处理技术是解决这些问题的有效途径。 3 浙江理工大学硕士学位论文 1 3 视觉测量的一般方法和关键技术 1 3 1 视觉测量的一般方法 随着计算机技术和光电技术的发展，基于光学原理、以数字图像处理和计算机视觉为 主要理论基础的三维曲面非接触式测量技术得到了飞速发展，研究人员提出了各种各样适 用的测量方法，并应用到许多领域。下面简单介绍几种常用的测量方法。 ( 1 ) 干涉法测量 干涉测量法是利用光的干涉原理对物体进行测量，其基本思想是通过改变与被测物体 形状光学位相相关的灵敏度矩阵形成干涉条纹。随着激光技术的发展，出现了双光束干涉、 多光束干涉、外差干涉、全息等多种方法。传统的干涉测量法的特点是测量精度高，达到 n l t l 级，但测量尺寸范围小，对环境要求苛刻。 ( 2 ) 激光扫描法 该方法利用了光学中著名的三角关系，它采用激光为光源，从光源投射一亮点或直线 条纹到实物表面，从c c d ( c h a r g ec o u p l ed e v i c e ) 相机中获得光束影像，再根据光源、实 物表面反射点和成像点三点间的三角关系计算出表面反射点的三维坐标。 ( 3 ) 双目立体视觉测量 双目立体视觉测量有时简称为体视测量，是利用多幅图像获取物体三维几何信息的方 法。在计算机视觉系统中，双目立体视觉测量一般是由双摄像机从不同角度同时获取周围 景物的两幅数字图像，或由单摄像机在不同时刻从不同角度获取周围景物的两幅数字图 像，并基于视差原理即可恢复出物体三维几何信息，重建周围景物的三维形状与位置。 ( 4 ) 结构光三维视觉测量 在双目立体视觉测量中，当用光学投射器代替其中一个摄像机时，光学投射器投射出 一定的光模式，如光平面、十字光平面、网格状光束等，对场景对象在空间的位置进行约 束，同样可以获取场景对象上点的唯一坐标值，这样就形成了结构光三维视觉测量。结构 光三维视觉测量是基于光学三角法测量原理，利用光源和成像系统之间的三角几何信息进 行三维形面测量。 1 3 2 视觉测量关键技术 视觉测量系统主要性能指标包括测量精度、测量范围、测量速度、自动化智能程度、 4 浙江理工人学硕士学位论文 易维护性等方面。围绕这些指标，视觉测量的共性关键技术有【1 5 1 ： ( 1 ) 视觉测量模型 视觉测量模型是实现视觉测量的基础，在此基础上通过对视觉图像中的各种特征信息 进行处理、分析和计算，才可以实现被测物体三维几何尺寸、形貌及位置的测量。一般来 讲，视觉图像是二维图像，如何从二维图像恢复出三维场景，这需要视觉测量模型给以描 述，即视觉测量模型表征了从二维图像集合向三维场景集合的映射关系。视觉测量模型对 视觉测量系统的测量精度、测量范围及测量速度有着直接的影响。在视觉测量模型的建立 中，不但要求模型准确、简洁，而且要求通用性好、适用性强。 ( 2 ) 视觉传感器结构优化 一般来讲，三维视觉传感器主要包括双摄像机构成的双目视觉传感器以及单摄像机与 光投射器构成的结构光视觉传感器，这两种传感器在三维视觉测量系统中起着重要作用。 为了获得较高的测量精度，要求传感器的基线距，即两个摄像机之间或者单摄像机与光学 投影器之问的距离尽可能大，这必然导致传感器的体积增大，重量增加。因此，解决传感 器结构与传感器精度要求之间的矛盾成为传感器设计的主要内容。 ( 3 ) 视觉视频信号实时采集 视觉传感器获取的通常是模拟视频信号，必须转换为数字图像信号才能作进一步的处 理。通常的商用图像采集卡，可以实时地将图像信号采集到计算机内存，能够满足大多数 场合的应用要求，然而正是因为它的通用性，很难满足多传感器视觉测量系统的图像采集 特殊要求，它不能向专用硬件前端处理器提供合理的有效接口。研究一种专用实时图像采 集系统，使之能够向计算机和专用硬件处理系统同时提供处理信号，并保证图像采集和图 像处理能够同时进行，是实现三维在线视觉测量的前提条件之一。 ( 4 ) 视觉视频信号前端实时处理 视觉图像信息数据量大，对于在线测量或多视觉传感器测量，能够完成视觉图像特征 提取与处理的视觉视频信号前端实时处理技术尤为重要。因此，研制视觉视频信号前端实 时处理系统，最大程度地减少计算机处理的数据量，使计算机只完成主要的高级处理任务， 是提高整个系统测量速度的最有效途径。 低级图像处理的速度一直是图像界的热门话题之一，也是具有挑战性课题之一。由于 图像数据量大，数据传输率高，同时低级图像处理算法涉及的数据领域性很强，这些因素 促使人们去寻找新的提高图像处理速度的策略，构造新的处理体系结构。 ( 5 ) 摄像机内部参数标定 5 浙江理工大学硕十学位论文 采用共面标定参照物的传统摄像机的内部参数标定，必须由摄像机获取多幅相互位置 已知的二维标定物参照图像，才能求得摄像机内部参数。这种标定方法只能在传感器固定 在测量架之前进行，要求高精度标定参照物以及精密移动导轨。首先应将标定参照物与导 轨的垂直度调整到要求的范围内，然后每一个摄像机的标定都至少要求标定参照物精确移 动到三个位置，因此标定劳动强度大、效率低。而且在安装标定好的传感器时，需要特别 小心以保证传感器在固定前和固定后的结构不发生任何变化，因此不易维护。如何能够减 轻标定劳动强度，并且保证摄像机的标定状态与使用状态完全一致，降低对标定设备的要 求，成为当今摄像机标定技术的主要研究方向。 ( 6 ) 视觉传感器结构参数现场标定 标定视觉传感器的结构参数，即两摄像机之间的平移和旋转参数或单摄像机和光学投 影器的位置关系，是视觉传感器能够进行三维测量的必要i ； 提。同样，研究视觉传感器的 现场标定方法，是保持传感器标定状态和使用状态完全一致的有效途径，同时也为降低劳 动强度，降低对标定设备的要求提供了可能。 ( 7 ) 多传感器视觉测量系统现场全局标定 多传感器视觉测量系统是由两个以上( 含) 视觉传感器构成视觉三维测量系统。多传 感器视觉测量系统可以克服单视觉传感器测量中存在的盲区问题，同时又能够组成视觉测 量站，实现大型物体尺寸和形位参数的测量，解决大范围空间尺寸三维坐标的现场测量。 多传感器视觉测量系统现场全局标定是建立多传感器视觉测量系统的核心技术，其作 用是把各个视觉传感器的测量数据统一到一个总体世界坐标系中，也就是确定各个视觉传 感器坐标系相对总体世界坐标系的旋转矩阵和平移矢量。 ( 8 ) 其他关键技术 除了以上关键技术外，视觉测量的关键技术还包括被测物体的硬定位和软定位、视觉 测量系统小型化与可靠性设计、系统电气网络控制、机械结构设计、测量软件编制及测量 数据分析及质量预测等。另外，建立通用视觉测量系统及研究开发基于彩色图像与多谱图 像的视觉测量也是视觉测量的关键技术。 1 4 论文的主要研究内容及结构安排 1 4 1 论文的主要研究内容 本课题来源于一中小企业对机械零件实时检测项目，通过对机械零件的边缘尺寸进 6 浙江理工人学硕上学位论文 行实时测量，检测其是否为合格产品。 一个完整的双目立体视觉系统可以划分为六个模块：图像获取，摄像机标定，特征提 取，立体匹配，三维信息恢复和后处理。图像获取是计算机视觉的物质基础，采集的图像 要根据具体的需要满足相应的要求；摄像机标定是根据有效的成像模型，确定摄像机的内 外部属性参数，以便正确建立空间坐标系中物点与它在图像平面上像点之间的对应关系； 特征提取就是从两幅图像中提取便于匹配的特征基元；立体匹配是根据所选特征的计算来 建立特征问的对应关系，从而建立同一个空间点在不同图像中的像点之间的关系，并由此 得到相应的视差图像；三维信息恢复是恢复场景中的三维信息；后处理包括深度插值、误 差校正和精度改善。这六个模块对系统的实现和精度都有重要的影响。 本论文的主要研究内容是利用双目立体视觉对机械零件边缘长度进行尺寸测量，具体 的研究内容和成果如下： ( 1 ) 在广泛阅读国内外文献的基础上，对计算机视觉测量的理论和方法进行深入研 究，在此基础上设计了基于双目立体视觉的机械零件尺寸测量系统。 ( 2 ) 针对影响测量系统精度的关键环节摄像机标定进行了系统的研究。本文摄 像机标定方法基于z h a n g 平面标定法，并对标定过程做了改进，通过实验证明，改进后的 标定方法有效提高了摄像机标定精度。 ( 3 ) 在图像预处理阶段，对采集的图像进行了滤波处理。本文对常用的滤波方法进 行了比较，根据实际测量图像的特点和特征提取的需要，采用了基于中值的加权均值滤波 方法，获得了较好的滤波效果。 ( 4 ) 在角点提取中，对h a r r i s 角点检测算法作了改进。首先，对图像目标区域分块 及块内角点总数进行抑制，在提取所需角点的同时，有效控制冗余的角点数量；然后对初 始检测出的角点进行邻域非极大值抑制，剔除冗余的角点，使角点在邻域内唯一性得到提 高；最后，利用角点附近灰度梯度特征实现了角点坐标的亚像素定位，有效提高了角点定 位精度。 ( 5 ) 对特征点匹配算法进行了研究，在基于相似度计算的特征点立体匹配方法中， 通过双向视差域约束和滑动平均邻域视差约束，缩小了搜索范围，有效提高了特征点的匹 配速度和准确率。 ( 6 ) 在上述理论研究的基础上，实现了基于双目立体视觉的机械零件尺寸的精确测 量，并对测量误差和精度影响因素进行了分析。 7 浙江理工人学硕上学位论文 1 4 2 论文结构安排 第一章为绪论。介绍了本课题研究的背景和意义、国内外的研究动态、视觉测量的一 般方法和关键技术，最后介绍了本论文的主要研究内容和论文的结构安排。 第二章为摄像机标定。介绍了摄像机成像模型，详细阐述了z h a n g 平面法标定过程， 并提出了基于z h a n g 平面标定法的改进方法，最后通过实验验证了改进方法的有效性和准 确性。 第三章为图像预处理与特征提取。介绍了图像预处理、边缘检测、角点检测的常用方 法，详细介绍了h a r r i s 角点检测算法，并对h a r r i s 角点检测算法做了改进。 第四章为立体匹配。介绍了立体匹配相关理论和常用的立体匹配方法，详细阐述了基 于相似度计算的特征点立体匹配方法，并通过双向视差域约束和滑动平均邻域视差约束的 方法有效提高了匹配速度和准确率。 第五章为实验系统的建立与实现。介绍了实验系统的测量原理和数学模型，对测量系 统进行了软硬件设计，并实现对机械零件的测量，最后对测量误差和精度影响因素进行了 分析。 第六章为总结与展望。对本文的工作做一总结，并对以后要研究的工作做进一步展望。 8 浙江理工大学硕上学位论文 第二章摄像机标定 视觉测量系统应能从摄像机获取的图像信息出发，计算三维空间中物体位置、形状等 信息，并由此计算物体相应的结构参数。空间物体表面某点的三维几何位置与其在图像中 对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机 参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机 标定。标定过程就是确定摄像机的几何和光学参数、摄像机相对于世界坐标系的方位。 摄像机标定问题可分为两个子问题：建立成像模型和求解摄像机参数。这两个子问题 紧密相连，因为采用不同的摄像机成像模型对应不同的参数集合，不同的参数集合又对应 不同的求解方法。因此，要根据实际应用场合选择合适的摄像机标定方法。 2 1 摄像机成像模型 2 1 1 坐标系统 在摄像机成像模型中会涉及到不同坐标系统之间的变换，在对3 d 空间景物成像时涉 及到的坐标系统主要有以下几种： ( 1 ) 世界坐标系 世界坐标系( l ，匕，乙) 也称为全局坐标系，它是由用户来定义的三维空间坐标系，用 来描述摄像机和物体的位置。 ( 2 ) 摄像机坐标系 摄像机坐标系( 鼍，艺，z c ) 一般以摄像机光心为原点，z c 轴与摄像机光学轴重合，与摄 像机成像平面垂直，取摄影方向为正向。 ( 3 ) 像平面坐标系 像平面坐标系( x ，y ) 是在摄像机内所形成的平面坐标系统，一般以光轴与图像平面的 交点为原点，x 、】，轴分别平行于k 、e 轴。 ( 4 ) 计算机图像坐标系 计算机图像坐标系( z ，v ) 是在计算机内部数字图像所使用的坐标系统，以图像左上角为 原点，以像素为单位，“、1 ，分别表示该像素在数字图像中的列数与行数。 q 浙江理工人学硕一l ：学位论文 2 1 2 摄像机线性模型 在计算机视觉领域中，通常使用的摄像机线性模型是针孔模型，如图2 1 所示，它是 一种理想的成像模型。在此模型中，三维空间物体上任一点p 投影n - - 维图像平面上，要 经过下列坐标变换： 图2 1 摄像机针孔模型 ( 1 ) 世界坐标系到摄像机坐标系的变换 设p 点在世界坐标系下的齐次坐标为( k ，匕，乙，1 ) 7 ，在摄像机坐标系下的齐次坐标为 ( k ，艺，互，1 ) 7 ，则世界坐标系与摄像机坐标系的变换关系为： x c 】，。 z c l = 眵 x 。 匕 乙 l 2 一( 1 ) 其中，r 是两坐标系之间的3 3 正交旋转单位矩阵，是两坐标系之间的3 1 平移向量。 ( 2 ) 摄像机坐标系到像平面坐标系的变换 在针孔摄像机模型中，三维空间中物体上任一点p 在像平面坐标系中的投影p 可以用 光心p 与p 点的连线与像平面坐标系平面的交点来表示，这种关系也称为中心影射或透视 投影。设p 的像点在像平面坐标系下的齐次坐标为( x ，y ，1 ) 7 ，摄像机焦距为，则摄像机 坐标系到像平面坐标系的变换关系为： 1 0 r = u 浙江理t 大学硕f ：学位论文 用矩阵表示为： 00o l l f0 0 l 010l x c 艺 z c 1 2 - ( 2 ) 设像点p 在计算机图像坐标系中的齐次坐标为 ，1 ，1 ) r ，摄像机主点0 在计算机图像 坐标系下的坐标为( 1 , 1 0 ，v o ) ，每个像素在x 轴和y 轴方向上的物理尺寸分别为出和咖，则像 i 归五+ u o 【i 胪万y + 苫渊i 2 郫， 由上面的变换关系可以得到空间点p 的世界坐标( 瓦，匕，乙) 到计算机图像坐标( 1 ，) 1 a x 0 u o 0 1 a yv o oo1 口j 0 u o 0 0 口j ， 1 ，o 0 0o1o f 0 0 f oo oo oo 1o x w l z 。 1 i i x 。 匕 z 。 l = m l m 2 r = m p w 2 - ( 4 ) 一乏饵一乏 = | l x y ，cll 厂0 0 l = 1j x y l 。l 乙 浙江理工人学硕上学位论文 其中，吒= s d x ，q = 厂方分别称为计算机图像坐标系甜轴和1 ，轴的尺度因子，m 称 为摄像机内部参数矩阵，只与摄像机内部结构有关；鸩称为摄像机外部参数矩阵，完全 由摄像机相对于世界坐标系的方位确定；m 称为投影矩阵。 2 1 3 摄像机非线性模型 虽然针孔模型简单，但在实际的镜头并不是理想的透视成像，而是带有不同程度的畸 变，使得空间点所成的像并不在线性模型所描述的位置。为了不破坏线性模型中空间点、 投影中心、像点的共线关系，需要通过非线性模型修j 下像点的坐标值后，才能用于线性模 型。 设空间点在线性模型所描述的位置为( x b ，y ) ，受到镜头失真影响后所得的实际像平面 坐标为( x ，y ) ，描述非线性畸变可以用下列公式： f x = x + 8 ， ，：2 一( 5 ) 【y 2y + 田 其中，以和4 是非线性畸变值，它与图像点在图像中的位置有关。 w e n g l l q 在1 9 9 2 年提出了精确的摄像机的非线性误差修正模型，认为摄像机系统存在 径向畸变和切向畸变，把摄像机系统畸变分为三种情况：径向畸变、离心畸变、薄棱镜畸 变。 ( 1 ) 径向畸变。径向畸变使得图像点相对理想位置发生向内或向外的偏移，又称为 对称的径向失真，如图2 2 所示。这种畸变主要是由于组成摄像机的光学系统的透镜组不 完善( 光学镜头径向曲率变化) 所引起的，有正负两种偏移效应。负的径向畸变使得外部 的点向内部集中，尺寸随之减少，称为桶形畸变；正的径向畸变使得外部的点继续向外扩 散，尺寸随之变大，称为枕形畸变。径向畸变相对于光轴是对称的。 在忽略高阶项情况下，径向畸变可以用下面的表达式表示出来： i 正= 毛x ( x 2 + y 2 ) 【= 乞y ( x 2 + y 2 ) 1 2 浙江理丁大学硕一i - 学位论文 j赫 厂 l一 像点 图2 2 径向畸变图2 3 离心畸变 ( 2 ) 离心畸变。又称为图像中心点偏移失真，如图2 3 所示。这种畸变是由于透镜组 的光学中心不是完全在一条直线上而造成的。离心畸变包括径向和切向两个分量，它可以 通过使用变焦距镜头方法准确估算光心来克服。一个好的透镜，中心偏移失真非常小，在 一般的视觉系统中可以忽略不计，但在高精度的计算机视觉测量系统中必须考虑。 在忽略高阶项的情况下，离心畸变可以用下面的表达式表示出来： i 疋= p i ( 3 x 2 + y 2 ) + 2 仍砂 【= p 2 ( x 2 + 3 y 2 ) + 2 p l x y ( 3 ) 薄棱镜畸变。这种畸变是由于透镜设计、生产的不完善和摄像机的不完善( 如 一些透镜或者图像传感器发生轻微的倾斜) 所引起的。这种畸变可以用在光学系统中加一 个薄三棱镜的方式来修正，但这又引起了额外的径向和切向畸变。 在忽略高阶项的情况下，薄棱镜畸变可以用下面的表达式表示出来： i 正= 而( x 2 + y 2 ) 【= s 2 ( z 2 + y 2 ) 经过上面的介绍，完整的畸变校正模型可用以下公式表示【1 7 】： 雾二毛x+yy：2)+(见pl(33xx2：+yy2：)+2p2xy)+s,(x2：+yy2k2y(x) + 2 p 。x y ) + s 2 ( x ：j 2 一( 6 ) 1 4 = 2 + y 2 ) + ( 见( 3 x 2 + y 22 + y 2 ) u _ 其中，露、4 的第一项称为径向畸变，第二项称为离心畸变，第三项称为薄棱镜畸变， 式中的毛，哎，a ，p 2 ，而，s 2 称为非线性畸变系数。 一般情况下，上述畸变修正模型的第一项径向畸变已能足够描述非线性畸变，引入过 多的非线性参数往往不能提高精度，反而引起解的不稳定。为此，本文主要考虑镜头的径 向畸变和切向畸变，即只取式2 ( 6 ) 的第一项和第二项。 浙江理工大学硕上学位论文 2 2 摄像机典型标定方法 2 2 1 摄像机标定方法分类 摄像机标定方法根据标定方式的不同，大致可以分为三类：传统标定方法、基于主动 视觉的标定方法、自标定方法。 ( 1 ) 传统标定方法：是在一定的摄像机模型下，在摄像机前放置一个己知的标定参 照物，通过建立标定参照物上己知一些点的三维坐标与其图像坐标的对应关系，经过对其 进行图像处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。 其中具有代表性的方法有t s a i 1 8 1 在1 9 8 6 年提出经典的两步法对摄像机进行标定：w e n g 1 6 】 在t s a i 的基础上提出更为全面的标定与畸变修正模型。这类方法优点在于可以获得较高的 精度，但不适用于在线标定和不可能使用标定块的场所。 ( 2 ) 基于主动视觉的标定方法：是将摄像机固定在一个精确控制的平台上，且平台 的运动参数可以从计算机中读出，只需控制摄像机做特殊的运动，利用在不同位置上所拍 摄的多幅图像对摄像机进行标定。其中具有代表性的方法有a g a p i t 0 1 1 9 1 等人通过摄像机绕光 心作旋转运动，对摄像机进行标定；马颂德【2 0 l 提出了将摄像机作两组三正交运动对摄像机 进行线性标定的方法；李华【2 i 】等人提出了利用5 组平面正交运动实现摄像机参数的线性标 定。这类方法的优点是算法简单，往往能获得线性解，鲁棒性比较好，缺点是需要精准的 控制平台，造价昂贵，不能适用于摄像机运动未知或无法控制的场合( 如手持摄像机等) 。 ( 3 ) 自标定方法：是通过多视图对应点之间的几何关系直接进行标定。其中具有代 表性的方法有m a y b a n k l 2 2 1 等人提出基于k r u p p a 方程的摄像机自标定方法；l u o n 9 1 2 3 1 等人利 用基于特定代价函数的非线性最小二乘优化算法对摄像机进行标定；h a r t l e y 2 4 】提出的摄像 机自标定方法；孟晓桥1 2 5 1 等人提出的基于圆环点的摄像机自标定方法：吴福朝1 2 6 1 等人提出