（模式识别与智能系统专业论文）基于计算机视觉的三维测量实现方法研究.pdf

东北大学硕士学位论文摘要 基于计算机视觉的三维测量实现方法研究 摘要 基于计算机视觉的测量技术作为种非接触式的先进测量技术，具有精度高、非 接触、效率高、成本低等诸多优点，随着计算机技术摄像机制造工艺的提高，以及图 像处理技术的不断发展，其测量精度也在不断的提高，在生产实践中的应用也同盏广 泛，越来越受到人们的重视。 本文在分析研究了大量相关技术和文献的基础上，针对实际应用需要和存在的问 题，提出了一套基于计算机视觉的三维测量系统，分析了可行的技术路线，并针对其 中的一些关键技术：摄像机标定、角点检测、角点匹配、基本矩阵的计算以及点的三 维重建，进行了深入的研究，旨在寻求一种精度高、简单、自动化程度较高的三维测 量解决方案。 本文首先给出了摄像机的线性和非线性模型，分析比较了几种不同i | i 勺摄像机标定 方法，并在张正友的平面模板标定法摹础上结合非线性摄像机模型完成了摄像机的高 精度标定；其次本文分析比较了基本矩阵的多种计算方法，给出了一种基本矩阵的鲁 棒估计算法；针对对应点匹配准确率低的问题，本文利用已有的匹配方法和随机抽样 一致算法相结合，提出了一种改进的对应点匹配方法，实验结果表明，匹配的准确率 较高；最后介绍了一种由运动恢复结构( s f m ) 的三维重建方法，在此基础一j ：丌发了 套基于点的三维重建的三维测量实验系统，并得到了阶段性研究结果一字间点的j 维坐标恢复，实验结果表明本文所设计的基于计算机视觉的测量系统整体框架是可行 的，且算法的精度非常高。 本文所开发的实验系统为本课题的研究提供了平台，同时对视觉测量领域的桐关 研究工作也有一定的使用价值和借鉴意义。 关键词：视觉测量；摄像机标定：运动恢复结构：基本矩阵；角点匹配：三维重建 东北大学硕士学位论文 a b s t r a c t i m p l e m e n tt e c h n i q u er e s e a r c hf o r3 d m e a s u r e m e n tb a s e do nc o m p u t e rv i s i o n a b s t r a c t a sa na d v a n c e dm e a s u r e n l e n tt e c h n o l o g y , c o m p u t e rv i s i o n ( c v ) m e a s u r e m e n t t e c h n o l o g yh a sm a n ym e r i t ss u c ha sh j l g ha c c u r a c y , n o n t o u c h ，h i g he f f i c i e n c y ，l o wc o s t ，e t c w i t ht h ei m p r o v e m e mo f t h ec o m p u t e rt e c h n o l o g ya n dt h et e c h n i q u e so f c a m e r af a b r i c a t i o n a n dd e v e l o p m e n to fi m a g ep r o c e s s i n gt e c h n o l o g y ，c vh a sb e e na d o p t e da sap r a c t i c a lt o o t a n dp l a y e da p o w e r f u lr o l ei ni n d u s t r ym e a s u r e m e n t i nt h i sd i s s e r t a t i o n ，b a s e do na n a l y z i n gt h ee x i s t i n gr e s e a r c hw o r k sa n dl i t e r a t u r e so f 3 dv i s i o nm e a s u r e m e n t ，a i m e da tt h ee x i s t i n gp r o b l e ma n df i n d i n gah i g h a c c u r a t e ，s i m p l e r o b o t i c i z e dm e a s u r e m e n ts y s t e m ，a3 dv i s i o nm e a s u r e m e n ts y s t e mi sp u tf o r w a r da n di t s f e a s i b l et e c h n i c a lr o u t i n ei sa n a l y z e da sw e l l s o m eo fc r u c i a lt e c h n o l o g i e ss u c ha sc a m e r a c a l i b r a t i o n ，c o r n e rd e t e c t i o n ，c o r n e rm a t c h i n g ，c o m p u t i n gf u n d a m e n t a lm a t r i xa n d3 d p o i n t sr e c o n s t r u c t i o na r es t u d i e d ， f i r s t l y , l i n e a ra n dn o n l i n e a rc a m e r am o d e la r ee s t a b l i s h e d , s o n 3 em e t h o d so fc a m e r a c a l i b r a t i o n e x p e r i m e n t o fc a m e r ac a l i b r a t i o nw i t hn o n l i n e a rc a m e r am o d e li s a c c o m p l i s h e d ； s e c o n d l y ，v a r i o u sc o m p u t a t i o n a lt e c h n i q u e so ff u n d a m e n t a lm a t r i xa r ea n a l y z e da n d c o m p a r e da n dc o m p u t i n gf u n d a m e n t a lm a t r i xr o b u s t l yi sa c c o m p l i s h e d ； t h i r d l y , an e wc o m e rm a t c h i n ga l g o r i t h mi sb r o u g h tf o r w a r db a s e do na ne x i s t e d m e t h o da n dr a n d o ms a m p l ec o n s e n s u s t h ea l g o r i t b a ni sr a p i d ，a c c u r a t ea n d1 1 0f a l s e m a t c hc o r n e ri nt h em a i n a tl a s t ，w i t ht h ef o u n d a t i o no fa3 dr e c o n s t r u c t i o nm e t h o dc a l l e d “s t r u c t u r ef r o i n m o t i o n ”ac vm e a s u r e m e n te x p e r i m e n t a ls y s t e mw h i c hi su s e dt or e t r i e v et h ec o o r d i n a t e o f3 dp o i n t si nw o r l dr e f e r e n c ef l a m ei ss e tu p ，s ot h ep r e s e n t - - s t a t er e s e a r c hr e s u l ti s r e c e i v e d t h er e s u l to f e x p e r i m e n tp r o v e dt h a tt h ec vm e a s u r e m e n ts y s t e md e s i g n e di nt h i s d i s s e r t a t i o ni sf e a s i b l ea n dh i g h a c c u r a t e 7 曲ec vs y s t e me x p e r i m e n t a lp r o v i d e s8p l a t f o r mt ot h es u b j e c t ：a n d i ti s u s e f u la n d 东北大学硕士学 主论文 r e f e r e n t i a lt ot h er e s e a r c hw o r ko f v i s i o nm e a s u r e m e n t k e yw o r d s ： v i s i o nm e a s u r e m e n t ；c a m e r ac a l i b r a t i o n ；s t r u c t u r ef r o m m o t i o n f u n d a m e n t a lm a t r i x ；c o r u e rm a t c h i n g ；3 dr e c o n s t r u c t i o n 独创声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除 加以标注和致谢的地方外，不包含其他人已经发表或撰写过的研究成果，也爿i 包括本 人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已存论文中作了明确的说明并表示诚挚的谢意。 学位论文作者签名碳蹿 j 签字日期：h w _ 弦 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定： 即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅 和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检 索、交流。 ( 如作者和导师同意网上交流，请在卜方签名：否则视为不同意) 学位论文作者签名 签字n 期 导师签名： 签字f = 1 期 东北大学硕士学位论文第一章绪论 1 1 引言 第一章绪论弟一草结论 在科学与工程技术研究的过程中，各种观测和实验数据都需要通过测量的方法获 得，各种物理量都需要经过测量才能得出结果。测量技术是发展技术和工业得必要条 件，是促进其进步的重要因素。测量的精度和效率，决定着科学技术和工业的水平。 传统的测量方法，虽然精度较高，但同时也具有价格昂贵，控制复杂，以及便携 性差等缺点。近年来，基于计算机视觉的检测技术正在成为一种提高生产效率和保证 产品质量的重要检测技术手段，应用日趋广泛，例如零件的三维测量，逆向工程，机 器人的智能控制等。 基于计算机视觉的检测系统，是指利用c c d 摄像机作为图像传感器，综合运用图 像处理、精密测量等技术进行非接触二维或者三维坐标测量的检测系统。 基于计算机视觉的测量方法具有速度快，精度高，便携性好等特点，是当前的研 究热点之一。目前，由于计算机技术和有关光学、数字图像处理和计算机视觉等方面 的技术不断的发展，因此研究基于光学、数字图像处理和视觉信息融合的大型复杂曲 面便携式快速三维测量方法，既具有重要的理论意义，又具有重大的实用价值，应用 前景卜分广阔。 1 2 常用三维测量技术及分类 人们对三维测量技术进行了长期的研究，已经提出了各种各样的理论和方法，按 其是否q - 被测物体相接触，三维测量技术可以分为接触式和非接触式两类： f 1 ) 接触式 早期的三维测量仪器一般都是接触式的，这类测量系统通常都具有复杂而精密的 机械结构，并在机械结构的末端装有高精度的接触式传感器，依靠精确移动测量传感 器或被测物体来获取测量数据，这种测量技术的典型代表是三坐标测量仪( c o o r d i n a t e m e a s u r em a c h i n e ，c m m ) 和机械测量臂； f 2 ) 非接触式 非接触式测量系统通常是指利用光学进行测量的计算机视觉系统。非接触式测量 义可分为主动式和被动式两类l ： r a l 被动式： 东北大学硕士学位论文 第一章绪论 被动式测量系统是指不向被测物体发射任何可控光束，根据拍摄的物体图像直接 计算三维信息，其代表性技术有双目立体视觉、多目运动视觉、近景摄影测量和由x 恢复形状( s h a p ef r o mx ，x 通常指运动、纹理、物体表面的明暗等) ； ( b ) 主动式： 主动式测量系统是指向被测物体发射可控光束，然后采集光束在物体表面卜所形 成的图像，通过几何关系计算出被测物体三维信息。相对被动式测量系统，主动式测 量系统更加“智能”，可以适应不用的应用。其代表性技术有结构光测量、光度立体 测量和激光雷达测距等。 常见的三维测量技术及分类如图1 1 所示， 幽11 常见的三维测量方法及分类 f 嘻1 1c o m m o n 3 dm e a s u r e m e n tt e c h n i q u ea n di t sc l a s s i f i c a t i o n 1 3 三维测量技术的发展概述 二十世纪五十年代末，出现了三坐标测量仪( c o o r d i n a t em e a s u r em a c h i n e ，c m m ) ， 它是早期三维测量技术的典型代表。这种测量方法的精度高，主要通过探针测头沿着 习 先规划好的路径精确移动接触被测对象来测量接触点的三维坐标c 目前，它仍然是 东北大学硕士学位论文 第一章绪论 典型的标准三维测量设备。但是其价格昂贵，实时性差，测量路径规划控制复杂的特 点，使得在相当长一段对问内，采用该技术实现复杂物体的三维测量与数字化建模是 一件非常困难的事情。 在二十世纪六、七十年代，利用激光、超声波等进行非接触式测量的技术得到了 很好的发展，这种技术是由测距器主动向被测物体表面发射信号，通过检测返回信号 可以计算出物体表面的空间坐标。这种方法测量精度高，但扫描速度比较慢，而且对 应用环境和被测物体的条件有一定限制。 机械测量臂也是多年来不断发展的三维测量技术，如f a r o 研制的机械测量臂可 以测量飞机发动机、卫星天线及汽车等产品上的大型复杂曲面。它沿用c m m 的测量 原理，将探针的坐标轴伺服驱动机构改为可精确定位的多关节随动式机械臂，出人牵 引装有探针的机械臂在物体表面滑动、扫描，实时测量各关节的转动角度可以得到被 测量物体的三维坐标，该技术克服了c m m 控制复杂的缺点，且装置简化、结构轻巧、 成本低，但测量速度还不能满足快速测量的要求i 2 l 。 1 9 6 5 年r o b e r t 发表论文“三维物体的机器感知”，提出了利用计算机视觉技术获 取物体三维信息的可能。到了二十世纪八十年代，计算机、激光、c c d ( c h a r g e d c o u p l e d e v i c e ) 技术飞速的发展，加上对数字图像处理、计算机视觉理论研究的4 i 断深入，基 于光学，数字图像和计算机视觉的三维测量技术已经成为三维测量领域最具前景的高 新测量技术。国外对此投入了大量的研究，并取得很多成果。例如h u n g 提出基于视 觉技术的全景曲面三维测量f 3 ，p e n g 研究光度立体测量技术，g s a n s o n i 采用主动立体 视觉和结构光快速获取物体表面三维点云数据等，这些测量方法在精度、速度、易操 作性等方砸均达到较高水平。 从二十世纪九十年代中期开始，科研工作者已经开始研究大型复杂曲面的三维测 量，并取得了一些成果。人们开始注重同时利用多种线索来处理三维重建问题，即多 感知源的信息融合，这样使问题得到了简化，同时又提高了结果的速度和精度，因此 基于信息融合的大型曲面三维测量应该是该领域的主要发展方向之一。德国的g o m 公司是将光学视觉三维测量应用于工业领域的典型，1 9 9 5 年开始推出a t o s 系统，采- i j 了结构光投影测量法。此系统可以在1 分钟内完成一幅包括4 3 0 0 0 0 , 像测量，精 度可达到o ，0 3 m m ，不过它存在图像获取和处理时洲长，测量量程较短等问题。1 9 9 6 年又推出基于编码特征图标的近景摄影测量系统t r i t o p ，并将两者集成实现大型曲面 三维测量。该集成系统精度依赖于近景摄影测量精度，而且需要高精度的专业数字摄 像机( 分辨率达4 k 4 k ) 。 东北大学硕士学位论文第一章绪论 国内的研究工作者也在该领域开展的研究，并且在结构光测量、多目视觉、近景 摄影测量等方面取得了一定的成果。如中科院自动化模式识别国家重点实验室采用平 面激光的主动三维信息获取研制成功三维面像采集与重建系统【4 j ，并应用于口腔医学 中；赵建刊。等利用双目视觉测量技术与三坐标测量机( c m m ) 相结合，开发了一种汽车 形貌三维曲面测量装置，能实现大范围的非接触测量1 5 ；邹定海等研究白车身三维激 光视觉检测系统f 6 1 ”，采用激光技术，利用基于三角法的主动和被动视觉检测技术实现 被测三维坐标的准确测量，实现整个白车身的尺寸检测，目前已用于汽车生产线；华 中科技大学国家数控系统工程技术研究中心对线机构激光一一机器视觉三角测量光 路进行了研究，给出了通用光路计算公式，该公式对机器视觉测量系统的光路结构设 计具有一定的指导意义【8 1 。这些研究均在视觉检测方面取得的突出的成绩。但是，由 于起步相对较晚，加上发达国家的技术封锁，国内的视觉测量领域的研究与工业发达 国家相比还有一段距离。 1 4 基于计算机视觉的三维测量技术介绍 基于光学、数字图像和计算机视觉的三维测景是当前的一大研究热点，近年来适 用于各种各样不同情况的视觉测量理论和方法也是层出不穷。这单介绍几种经典的测 量方法。 1 4 1 近景摄影测量 从传统意义上讲，摄影测量主要指对用各种照相机拍摄的可见光图像进行的测量。 随着科技的迅猛发展，尤其是以红外以及各种射线成像的技术的发展，摄影测量的范 畴不断的扩大，概括的讲，通过对摄影得到的光学图像进行的各种几何参数和其它参 数的测量，都可以认为是摄影测量的范畴。摄影测量学是光学图像处理的最重要和最 普遍的应用之一一j 。 摄影测量按成像手段的不同可以分成普通光型、微光型、红外型、紫外型、x 射 线型和- g 射线型等，按照测量对象的距离不同，摄影测量大致分为遥测、远景摄影 测量、近景摄影测量和显微( 超近景) 摄影测景。 近景摄影测量的基本原理如下：在满足针孔模型假设的前提下，像点、光心和物 点满足三点共线。对于单摄像机的情况，如果光心和像点已知，就可以确定像点和光 心组成的唯一射线，而物点必然在此射线上。那么，在使用两台或多台摄像机的条件 下，利用各个摄像机的光心和像点组成的射线都应该通过空问物点。这就是近景摄影 东北大学硕士学位论文 第一章绪论 国内的研究工作者也在该领域丌展的研究，并且在结构光测量、多目视觉、近景 摄影测量等方面取得了定的成果。如中科院向动化模式识别国家重点实验室采用平 面激光的主动三维信息获取研制成功三维面像聚集与重建系统1 4 l ，并应用于口腔医学 中：赵建爿等利用双日视觉测量技术与三坐标测量# i , ( c m m ) 相结合，开发了一种汽车 形貌三维曲面测量装置，能实现大范围的非接触测量口】；邹定海等研究白车身= 三维激 光视觉检测系统 6 , 7 1 ，采用激光技术，利用基于三角法的主动和被动视觉榆洲技术实现 被测j 维坐标的准确测量，实现整个白车身的尺寸检测，目前已崩于汽车生产线i 华 中科技大学国家数控系统工程技术研究中心对线机构激光一一机器视觉三角测量光 路进行了研究，给出了通用光路计算公式，该公式对机器视觉测量系统的光路结构设 计具有一定的指导意义 s l 。这些研究均在视觉检测方面取得的突出的成绩。但是由 于起步相对较晚，加上发达国家的技术封锁，国内的视觉测量领域的研究与工业发达 国家相比还有一段距离。 1 4 基于计算机视觉的三维测量技术介绍 基于光学、数字图像和计算机视觉的二维测量是当前的 大研究热点，近年采适 用于各种各样不同情况的视觉测量理论和方法电是层出不穷。这甲介绍几种经典的洲 量方法。 1 4 1 近景摄影测量 从传统意义上讲，摄影测量主要指对用各种照相机拍摄的可见光图像进行的测量。 随着科技舶迅猛发展，尤其是以红外蛆及各种射线成像的技术的发展，摄影测量的范 畴不断的扩大，概括的讲，通过对摄影得到的光学图像进行的各种几伺参数矛u 其它参 数的测量，都可以认为是摄影测量的范畴。摄影测量学是光学图像处理的最重要和鹾 普遍的府用之【”。 摄影测量按成像手段的不同町以分成普通光型、微光型、红外型、紫外型、x 射 线型和y 射线型等，按照测量对象的距离不同，摄影测量大致分为遥测、远景摄影 测量、近景摄影测量和显微( 超近景) 摄影测量。 近景摄影测量的基本原理如下：在满足针孔模型假设的前提下，像点、光心和物 点满足三点共线。对丁单摄像机的情况，如祟光心和像点已知，就司以确定像点和光 心组成的准一射线，而物点必然在此射线上。那么，在使用两台或多f 摄像机的条件 下，利用各个摄像机的光心和像点组成的射线都应该通过空间物点。这就是近景摄影 下，利用各个摄像机的光心和像点龋成的射线都应该通过空间物点。这就是近景摄影 东北大学硕士学位论文第一章绪论 国内的研究工作者也在该领域开展的研究，并且在结构光测量、多目视觉、近景 摄影测量等方面取得了一定的成果。如中科院自动化模式识别国家重点实验室采用平 面激光的主动三维信息获取研制成功三维面像采集与重建系统【4 j ，并应用于口腔医学 中；赵建刊。等利用双目视觉测量技术与三坐标测量机( c m m ) 相结合，开发了一种汽车 形貌三维曲面测量装置，能实现大范围的非接触测量1 5 ；邹定海等研究白车身三维激 光视觉检测系统f 6 1 ”，采用激光技术，利用基于三角法的主动和被动视觉检测技术实现 被测三维坐标的准确测量，实现整个白车身的尺寸检测，目前已用于汽车生产线；华 中科技大学国家数控系统工程技术研究中心对线机构激光一一机器视觉三角测量光 路进行了研究，给出了通用光路计算公式，该公式对机器视觉测量系统的光路结构设 计具有一定的指导意义【8 1 。这些研究均在视觉检测方面取得的突出的成绩。但是，由 于起步相对较晚，加上发达国家的技术封锁，国内的视觉测量领域的研究与工业发达 国家相比还有一段距离。 1 4 基于计算机视觉的三维测量技术介绍 基于光学、数字图像和计算机视觉的三维测景是当前的一大研究热点，近年来适 用于各种各样不同情况的视觉测量理论和方法也是层出不穷。这单介绍几种经典的测 量方法。 1 4 1 近景摄影测量 从传统意义上讲，摄影测量主要指对用各种照相机拍摄的可见光图像进行的测量。 随着科技的迅猛发展，尤其是以红外以及各种射线成像的技术的发展，摄影测量的范 畴不断的扩大，概括的讲，通过对摄影得到的光学图像进行的各种几何参数和其它参 数的测量，都可以认为是摄影测量的范畴。摄影测量学是光学图像处理的最重要和最 普遍的应用之一一j 。 摄影测量按成像手段的不同可以分成普通光型、微光型、红外型、紫外型、x 射 线型和- g 射线型等，按照测量对象的距离不同，摄影测量大致分为遥测、远景摄影 测量、近景摄影测量和显微( 超近景) 摄影测景。 近景摄影测量的基本原理如下：在满足针孔模型假设的前提下，像点、光心和物 点满足三点共线。对于单摄像机的情况，如果光心和像点已知，就可以确定像点和光 心组成的唯一射线，而物点必然在此射线上。那么，在使用两台或多台摄像机的条件 下，利用各个摄像机的光心和像点组成的射线都应该通过空问物点。这就是近景摄影 东北大学硕士学位论文 第一章绪论 测量的基本原理。图1 2 是多摄像机对空问物点p 成像的示意陶。可知物点p 为摄像 机光一i i , q 和相应的像点p 组成的射线的交点。 图1 2 多摄像机三维交会 f i g 12m u l t i c a l n e r ai n t e r s e c ta tap o i n t 1 4 - 2 结构光测量 在某些情况下，物体表面比较光滑，则提取特征会变得十分困难。这时，可以用 结构光法形成特正点。特别是对于平坦的、无明显灰度、有纹理和形状变化的表面区 域，用结构光可形成明显的光条纹，便于做图像分析和处理，这一点对于较平坦表面 的物体是相适应的。结构光方法还具有计算简单、测量精度较高的优点，因而在实际 视觉测量系统中被广泛应用【1 0 1 1 , 1 2 。 结构光方法中由激光投射器( 或投影仪) 和c c d 摄像机共同作为结构光传感器，其 测量过程主要包括两个步骤： 第步：由激光投射器( 或投影仪) 根据测量需要投射可控制的光点、光条或光两 结构光到物体表面形成的特征点，并由c c d 摄像机拍摄图像； 第二步：按物体表面投射光图案的几何形态特征解释投影模式，利用三角法测量 原理可求得特征点与c c d 摄像机镜头主点之间的距离，即特征点的深度信息。在标 定出激光投射器和c c d 摄像机在世界坐标系中的位姿后，即可求得特征点在世界坐 标系中的三维坐标。 常用的结构光测量法有：云纹法：单光束三维表面测量法1 3 l ；条纹结构光测量法 东北大学硕士学位论文 第一章绪论 1 4 3 运动恢复结构 从运动恢复结构( s t r u c t u r ef r o mm o t i o n ，s f m ) 是计算机视觉中的一个重要问题，此 问题可描述如下：假定输入时刻t 。，时的运动物体图像，要求分析出图像中 物体的三维模型及各个拍照时刻摄像机的空间位置，即要求从2 d 图像中恢复3 d 结 构。 给定一个点的2 维投影，它在3 维空问的位置川。在从摄像机光学中心向某一方向 发出的射线的任意位置。当足够的点在从不同方向获得的一组图像上的投影已知时， 从理论上有可能得出这些点的3 维位置和照相机的位置。从原理上s f m 和近景摄影 测量有些相似，其实从某种意义卜s f m 也是近景摄影测量的一种。 解决此问题的一般采取如下方法：第一步是求出各个图像中的对应的特征，进行 匹配，即找出物体上同一特征在各个图像中的像。这里的特征。般指物体上的点、线 或者面等；第二步是依据这些特征的对应关系，在物体为刚体的假设下求出物体的运 动以及形状和位置。 对于第一步，需对图像进行分割和边缘提取，再在图像问进行立体匹配，恢复对 极几何。这方面现有的算法对噪声的处理大多不是很理想。对于第二步，即从对应关 系恢复运动和结构，现在有很多算法，但在实际情况中由于噪声及其它一些系统误差 的存在，其鲁棒性大多不足很好，这就需要在算法的最后一步加入非线性优化模块， 这样，就会使得算法变得相对比较健壮，在有噪声的情况下，也能得到满意的结果。 1 4 4 视觉信息融合测量 利用多种信息融合来处理三维恢复问题，即多感知源的信息融合，这样可使问题 简化，同时可提高处理结果的准确性，最具代表性的方法是光度立体技术、纹理立体 技术和多种测量手段集成技术。 光度立体测量是使用在不同方向上的三个光源作用同一被测物体，获取三幅图像， 在三幅图像的成像过程中摄像机和被测物体静止不动，确定被测物体的表面反射特性 就可以计算出这三个光源照明的所有点的局部表面方位。陔方法的主要优点是三幅幽 像中的点是完全配准的，因为在测量过程中摄像机和被测物体皆静止不动，在光源呵 控的条件下是一种恢复物体表面方向的较好方法。多种测量手段集成测量技术是当前 三维测最技术的一个发展方向。最典型的实例是德困g o m 公司推出的a t o s 系统和 t r i t o p 系统集成实现人型复杂曲面测量。有关光度立体测量法的详细介绍参见“。 6 东北大学硕士学位论文 第一章绪论 1 5 本文的研究意义及主要内容 1 。5 1 本文的研究意义 本文的研究属于计算机视觉理论基础上发展起来的一项测量技术。计算机视觉本 身就是一个发展中的交叉性学科，涉及到图像处理，射影几何，人工智能及计算机技 术等领域的相关知识，但其理论体系还不完备，新的理论、新算法及新的应用技术还 在不断的涌现。另外，高速、较高精度的便携式测量是目前计算机视觉三维测量领域 的研究重点和热点之一，并且在某些领域已经出现了一些成功应用的例子。所以，该 项研究既具有重要的理论意义，又具有重大的实用价值，其应用前景和市场前景十分 的广阔。 1 5 2 本文的主要内容 本文在总结国内外已有的计算机视觉理论和系统方案的基础上，针对实际应用的 需要和存在的问题，旨在寻求一种精度高、简单和自动化程度较高的三维测量解决方 案。并利用v c + + 7 o 和m a t l a b 给出其初步的系统实现。具体内容如下： 第一章，概述性介绍了三维测量技术的分类、发展，并介绍了几种比较主流的三 维视觉测量技术； 第二章，给出本文所提出的视觉系统的总体框架，阐述了基本的技术路线，并介 绍了本文所用到的些计算机视觉的基础知识； 第三章，介绍了几种目前常用的摄像机标定方法一一b a i 的万能标定法，w e n g s 标定法，以及张正友提出的平面板标定法，并在张氏平面模板标定方法的基础上，完 成了本文的标定实验； 第四章，阐述了两幅图像间唯一的几何约束一一对极几何约束，简要介绍了对极 几何的代数实现一基本矩阵f 的概念和性质。详细介绍了基本矩阵的线性和非线性 计算方法，最后给出一种鲁棒估计基本矩阵的方法； 第五章，首先介绍了两种常用的角点检测器一- - h a r r i s 角点检测器和s u s a n 角点检测器；然后在张正友提出的一种匹配方法的基础之上，结合r a n s a c 方法， 提出了一种对应点匹配方法，实现了角点的高准确率匹配； 第六章，介绍了一种运动恢复结构( s t r u c t u r ef r o mm o t i o n ，s f m ) 的三维重建方法， 在此基础上完成了本文的三维视觉测量实验系统，利用该系统对实际的照片进行了实 验，并对实验结果进行了分析：最后分析了三维重建中常见的影响精度的误差因素。 东北大学硕士学位论文第二章基于计算机视觉的三维测量系统 第二章基于计算机视觉的三维测量系统 本文所给出的三维视觉测量系统属于近景摄影测量范畴，同时结合立体视觉技术， 完成了角点的匹配、基本矩阵的估计等部分，最后利用“运动恢复结构”技术，得到 了物体或场景的测量结果( 也是重建结果) 一一空间离散点的三维坐标。 2 1 系统框架及技术路线 本文提出的三维测量系统的整体系统实现框架，如图2 1 所示，该系统同时也是 一个典型的三维重建系统。 翻2i 三维测量( 重建) 系统的整体框架 f i g2 1o v e r a l lf r a m eo f 3 dm e a s u r e m e n t ( r e c o n s t r u c t i o n ) s y s t e m 东北大学硕士学位论文 第二章基于计算机视觉的三维测量系统 该系从输入图像序列到得出物体的重建模型进行测量要经历如下的步骤： ( 1 1 图像的获取 即利用图像采集装置进行图像的采集，并量化成数字图像( 序列) 作为系统的输 入。本文采用c c d 摄像机作为图像采集装置，所需的输入图像序列有待测物体的 图像序列，以及张氏摄像机标定方法所需的平面标定板的图像序列： f 2 1 摄像机的标定和图像的矫正 摄像机标定就是求取摄像机参数的过程。摄像机参数包括摄像机内参和摄像 机外参：内参包含摄像机的内部结构信息，而外参表示摄像机的运动信息。另外， 实际拍摄中还存在者畸变，这样就需要标定出镜头的畸变系数，然后还需要利用 标定结果进行图像的矫正( 包括去处畸变，纠正主点偏移等) 。能否精确的标定是 影响重建和测量的精度的重要因素之一； f 3 ) 特征点的检测以及匹配 特征点，即要重建的基本元素，通过得到空间物体上的点的坐标可以重建m 物体三维模型，以达到测量的目的。本文采用的特征点是角点，即图像中局部( 扶 度值) m 1 率最大的特征点，可以看成是空间物体表面亮度突变的点在像平面上的 投影。 特征点的匹配是找出空间物体上的点在所有像平面上的投影点的过程，这些 投影点构成r 组匹配点集( 两幅图像的情况下就是匹配点对) 。特征点的匹配 直以来都是难点问题之，也是影响重建和测量结果精度的重要因素之 。 本文的角点检测采用一种常用的h a r r i s 角点检测器，而角点的匹配是基于 张正友提出的一种鲁棒性很好的匹配方法6 1 的基础上给出的； f 4 ) 求取基本矩阵f 对极几何关系是两幅视图之间唯一可得的几何约束关系，它的主要内容可以 概括为：对于幅图像上的每点x ，在另幅图像中存在一条对极线7 ，而在第 二幅图像上，任何与该点x 匹配的点x 必然在对极线z 上。基本矩阵f 是对极j l 何关系的数学表达，它是一个3 3 秩2 的方阵。 至今为止已有许多求取基本矩阵的方法，在这些方法的基础上，本文介绍了 一种鲁棒性较好的基本矩阵求取方法，通过实验得到了很好的结果； ( 5 1 三维重建 如果得到了物体上离散点的三维坐标，就可以重建出物体的三维模型，从而 达到测量的目的。在标定，角点检测和匹配，摹本矩阵的求取都完成的情况下， 9 东北大学硕士学位论文 第二章基于计算机视觉的三维测量系统 谚乓 五乙 ( 1 ) 世界坐标系( h ，儿，o ) 也称全局坐标系。它足由用户任意定义的三维空问坐标系，通常是将被测物体和 摄像机作为一个整体来考虑的坐标系； ( 2 ) 摄像机坐标系( ，儿，z 。) 摄像机坐标系的原点为摄像机的光心，z c 轴与摄像机的光轴重合，且取摄影力 向为j 1 二方向。一、p 轴通常与图像物理坐标系的x 、y 轴平行。如图2 2 所示： 一i n 东北大学硕士学位论文 第二章基于计算机视觉的三维测量系统 ( 3 ) 图像坐标系 图像坐标系分为图像像素坐标系( “，v ) 和图像物理坐标系( x ，y ) 两种，其定义分别 为： ( a ) 图像像素坐标系( “，v ) ，图像像素坐标系是以图像左上角为原点，以像素为坐 标单位的直角坐标系。, 、v 分别表示该像素在数字图像中的列数与行数； ) 图像物理坐标系( x ，y ) ，图像物理坐标系是以光轴与像平面交点为原点，以 毫米为单位的直角坐标系。其x ，y 轴分别与图像的像素坐标系的, 、v 轴平行。 2 2 2 摄像机成像线性模型 线性模型是一种理想化的成像模型，通常使用的摄像机线性模型是针孔模型 ( p i n h o l em o d e l ) 。基本的成像公式如f ： 三：三十一1( 2 1 ) j - “ v 其中，f 为焦距，u 为物距，v 为像距，当u fh , 1 ，1 “一 o 。所以，u 可以忽略， 基本成像的公式变为分f = v ，这就是针孔模型的假设。针孔模型是现阶段应用最为j 。 泛的摄像机模型。 在针孔模型的假设下，结合刚体变换知识，空i h j 点p 投影到像平面一点p 要经 历如下过程： ( 1 ) 世界坐标系到摄像机坐标系的变换 k y 。 z c 1 = ( 享 j x ” y 。 z ” l ( 2 2 ) 其中，( x c ，儿，z 。，1 ) 7 1 足点p 在摄像机坐标系下的齐次坐标；( x 。y 。，z 。，1 ) 7 是j 鼍p 在 世界坐标系下的齐次坐标；r 和t 表示摄像机坐标系相对世界坐标系的位姿：r 是3 3 的f 交旋转矩阵，t 为3 1 的平移矢量； ( 2 ) 摄像机坐标系到图像坐标系的变换 理坐标系下的齐次举标 ( 2 3 ) ( 工，y ，1 ) 7 为投影点在图像物 、，j瘫 k 儿乙，焦i j i i 川效 0 o o 等 o o 1 即 o ，o 离 d 何枷 | i 一团子瓶 ，；，0， r，0腺 心 兕 机 像摄为 其 东北大学硕士学位论文 第二章, 基- i - i + 算机视觉的三维测量系统 1 # ，删i a ， 其中，( “，v ，1 ) 7 为投影点p 在像素坐标系下的齐次坐标；d x ，d y 为像素坐标中每个 像素在x 轴和y 轴方向上的物理尺q ；( u o ，) 为摄像机的主点的像素坐标，即摄像 x z q 1 x w 乙， 1 x z i ， 1 = m l m 2 = m x ( ，25 ) 其中，疋= 厂d x 和，= f d v 表示焦距f 在图像x 轴和y 轴方向的投影距离；m 为投影矩阵；吖矩阵的参数只与摄像机的内部结构有关，称为摄像机内参矩阵，有 时内参矩阵也用k 、a 等字母表示；m ，表示摄像机相对世界坐标系的位姿，称为外 参矩阵。r 有三个独立参数，t 包含三个变量，通常情况下外参有六个参数，但也可 以将t 在相差一个公共的尺度因子f 确定( 例如，将t 的第三分量变为1 ) ，从而使外 参变为5 个参数。式( 2 5 ) 即摄像机的线性模型。 2 2 _ 3 摄像机成像非线性模型 由1 二实际成像系统中存在着各种误差因素，如透镜和成像平面与透镜光轴并不垂 直等。这样，像点、光心和物点在同条直线上的假设并不成立，这表明成像模型并 不满足线性关系，而是一种非线性关系。非线性摄像机模型可以用卜式描述： 弦x d 一( )f 2 6 ) y 2 儿+ 瓯( 置_ y ) 其中，芩和每，表示非线性畸变值的x 、y 轴分量。 对于中焦距普通质量的镜头，在图像的边界大致有l 3 个像素大小的畸变误差。 在使用广角镜头，在图像边界的畸变误差会更大。此时如果仍然继续采用针孔模型， 必定会带来较大的测量误差。圜此为了获取较高的测量精度，必须采用非线形模型来 n r 矿 ，l 叭习 o o l0 ，o ，o 0 ，。， o协。 胁o o n 、 = 、， “v l ，。，l 乏 力 r ，、 、l， o厂叶0 r _ o o ，。， f f 八j ， 0 f 啼o ，o 0 o ，。l = 东北大学硕士学位论文 第二章基于计算机视觉的三维测量系统 对摄像机进行标定。 经过科研工作者多年来大量的研究， 一般认为描述点的非线性畸变可以用f 述公 式： 脓y 羞k 2 “y ( x x 嘏：嚣：y y 麓2 p 潞菇：冀 b ， i 巧。( x ，) =2 + y 2 ) + ( p 2 ( 3 2 2 + 2 ) +l 习7 ) + 5 2 ( x 2 + y 2 ) 其中，占，或d 。的第一项称为径向畸变，第二项成为离心畸变( d e c e n t e r i n g ) ，第三 项成为薄棱镜畸变( t h i n p r i s m ) 。式中的k 。、k 2 、p l 、p 2 、s l 、s 2 称为非线性畸变参数， 确定非线性畸变系数也是摄像机标定的重要步骤之一。 一般情况下，上述非线性模型的第一项径向畸变已足以描述非线性畸变，t s a i ”“ 在1 9 8 6 年曾指出，由于在考虑非线性畸变时对摄像机标定需要使用非线性优化算法， 引入过多的非线性参数往往不仅不能提高精度，反而引起解的不稳定。这里采用的非 线性成像模型可以用下式描述： jg。(xx，,y)：=yx(k毛i(x。2，+yy2。)+k2(xx2，+y2，)2：+y k 2y ； ( 2 8 ) f j ，( x ，) = y ( 惫1 ( x 2 + y 。) + ( x 。+ 2 ) 。+ ) 其中，、k 2 称为径向畸变系数。 2 3 本章小结 本章给出本文所提出的视觉测量系统的总体框架，阐述了基本的技术路线，并介 绍了本文所用到的一些计算机视觉的基础知识。 东北大学硕士学位论文 第三章摄像机标疋 3 1 引言 第三章摄像机标定 三维计算机视觉系统应能从摄像机获取的图像信息出发，计算三维空问物体的位 置、形状等信息，并由此识别环境中的物体。图像上每一点的亮度反映了空间物体表 面某点反射光的强度，而该点在图像上的几何位置则与空间物体表面相应点的几何位 霄有关。这些位置的相互关系，由摄像机成像的几何模型所决定。该几何模型的参数 称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机 标定【1 8 1 。 摄像机标定是立体视觉不可缺少的步骤。至今已经有许多摄像机标定的方法，可 以将它们分为如下几类： f 1 ) 摄影测量标定法 标定是通过对一个标定物体进行拍摄和计算完成的，这个标定物体的几何尺、j 是 已知的。此类标定方法是十分高效的。具有代表性的是由t s a i 提出的标定方法f 1 9 l 。此 外，还有- 些方法是利用摄像机的纯平移的运动来拍摄一个已知尺寸的平面物体1 2 0 1 。 张正友于1 9 9 4 年左右提出了一种从不同角度拍摄同+ 标定平面( 标定板) 的方法，该方 法不要求摄像机做限制性的运动，而且具有很好的鲁棒性，足本文的主要介绍方法2 1 1 ： ( 2 自标定 此类标定方法不需要任何标定物体。仅仅靠摄像机拍摄静态场景，利用拍摄的场 景信息一般可以提供摄像机内参的两个约束【2 2 1 。但是，此类方法还没有成熟口”，因为 有太多的参数需要估计，利用此类方法估计出的结果并不可靠： ( 3 ) 其它标定方法 难交方向上的消影点标定法【2 4 j 2 5 】，利用纯旋转变换进行标定等等。 3 2 典型的标定摄像机标定方法 3 2 1t s a i s 万能摄像机标定法 t s a j 在1 9 8 7 年s p i e 会议上首次发表他的摄像系统万能标定法。该方法被大会 评定为杰出论文。这个方法具有精度较高、方法相对