（通信与信息系统专业论文）基于计算机视觉的几何特征三维重构研究.pdf

西南科技大学硕士研究生学位论文第1 页 摘要 几何尺寸测量是现代工业检测中的重要内容，基于计算机视觉的测量方 法不仅能提升检测精度，而且能提高检测效率。物体边缘中包含着丰富的几 何特征信息，因此论文以获取物体边缘的三维信息为目标，研究了影响边缘 特征获取的光源和照明技术、图像边缘特征的检测技术以及基于三目立体视 觉的边缘点立体匹配方法。 图像平滑之后，给出了三种常用边缘检测原理和结果比对。为了提高精 度，采用了基于z e r n i k e 正交矩的通用模型亚像素边缘检测，并提出该模型 下新的边缘判断条件和边缘点定位公式。实验结果表明，该方法比c a n n y 检 测算子能检测出更多类型的边缘，同时边缘定位精度达到0 0 2 个像素。 在边缘的立体匹配中使用分层匹配策略，即先进行边缘与边缘的匹配， 然后对匹配边缘进行点与点之间的匹配。实验表明，当极线与边缘平行时产 生的匹配模糊性，使用三目极线约束下仍不能很好解决。针对该问题提出了 仅保留无模糊性的初始匹配对，并将点云去噪方法运用于误匹配点对的去除， 最后使用精确的匹配点集，引导匹配该边缘上存在匹配模糊性的点。 在重构精度提升上采用了畸变矫正和亚像素边缘检测，取得了良好的测 量效果。最后利用长度为8 0 0 0 0 0 毫米的标准测量块进行精度验证，多次重 复实验结果表明本文方法的测量精度为0 0 2 5 毫米。 关键字：三目立体视觉边缘匹配引导匹配z e r n i k e 正交矩 照明技术 西南科技大学硕士研究生学位论文第1i 页 a b s t r a c t t h em e a s u r e m e n to fg e o m e t r i cs i z ei sv e r yi m p o r t a n ti nm o d e r ni n d u s t r i a l i n s p e c t i o n t h em e t h o db a s e do nc o m p u t e rv i s i o nc a nn o to n l yr a i s e t h e a c c u r a c y ，b u ta l s oc a ni m p r o v et h ee f f i c i e n c yo fi n s p e c t i o n b e c a u s et h ee d g e s c o n t a i np l e n t i f u li n f o r m a t i o n ，t oo b t a i n3 di n f o r m a t i o no fo b j e c te d g e ，w es t u d y t h el i g h ta n dl i g h t i n gt e c h n o l o g y , w h i c hi m p a c to b t a i n i n gf e a t u r e s ，a n df e a t u r e d e t e c t i o nt e c h n o l o g yi no b j e c t si m a g e ，a n dt h ee d g ep o i n t sm a t c hb a s e do n t r i n o c u l a rs t e r e ov i s i o n s m o o t h e dt h ei m a g e ，w ee m p l o yt h r e ec o m m o n l yu s e dm e t h o d st od e t e c t e d g e ，a n dt h e i rp e r f o r m a n c e sa r es h o w e di nt h i sd i s s e r t a t i o n i no r d e rt oi m p r o v e a c c u r a c y ，as u b p i x e lc o m p o s i t ee d g e sd e t e c t i o nb a s e do nz e r n i k eo r t h o g o n a l m o m e n ti sa d o p t e d ，a n dan e wj u d g e m e n tc o n d i t i o n sa n dl o c a t i o nm e t h o db a s e d o nt h i sm o d e l t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ei m p r o v e dm e t h o dc a n d e t e c tm o r ek i n d so fe d g e ，m o r eo v e ri t se d g el o c a t i o np r e c i s i o n c a na c h i e v eo 0 2 p i x e l s ah i e r a r c h i c a lm a t c h i n gi d e ai sp r o p o s e di ne d g em a t c h i n g t h ef i r s ts t e pi s t om a t c hb e t w e e ne d g e si nd i f f e r e n ti m a g e s ，t h e nt om a t c ht h ee d g ep o i n t so n m a t c h e de d g e s e x p e r i m e n t ss h o wt h a tu s i n gt r i n o c u l a rs t e r e ov i s i o nc a nn o t f u l l ys o l v et h em a t c h i n ga m b i g u i t yw h e nt h ep o l a rl i n ep a r a l l e lt h ee d g e i n b i n o c u l a rs t e r e ov i s i o n f o rt h i sp r o b l e m ，t h e s em a t c h e dp o i n t s w i t h o u t a m b i g u i t ya r er e t a i n e d ，a n dt h en o i s ep o i n tr e d u c t i o n m e t h o di sa p p l i e dt o r e m o v ef a l s em a t c h e s ，t h e no t h e rp o i n t sw i t hm a t c h i n ga m b i g u i t ya r em a t c h e d w i t ht h eg u i d i n go ft h ee x a c tm a t c hp o i n t s d i s t o r t i o nc o r r e c t i o na n ds u b - p i x e le d g ed e t e c t i o np e r f o r m a n c eg o o di n i m p r o v et h em e a s u r e m e n tp r e c i s i o n f i n a l l y ，w eu s e t h es t a n d a r dm e a s u r e m e n t b l o c kw i t hl e n g t ho f8 0 0 0 0 0m mt ov e r i f yt h e3 dr e c o n s t r u c t i o np r e c i s i o n ， s e v e r a lr e p e a t e de x p e r i m e n t ss h o wt h a tt h ep r e c i s i o nc a na c h i e v eo 0 2 5m m k e y w o r d s ：t r i n o c u l a rs t e r e ov i s i o n ； o r t h o g o n a lm o m e n t ；l i g h t i n gt e c h n o l o g y e d g em a t c h ；g u i d i n gm a t c h ；z e m i k e 西南科技大学硕士研究生学位论文第1 页 1 绪论 1 1引言 人类获取的外界环境信息中，有8 0 来源于视觉。从2 0 世纪5 0 年代 以来，视觉理论和技术得到了迅速发展，使得计算机、机器人等拥有人类部 分的视觉功能，服务于现代社会生产中。物体的三维信息比二维信息能更全 面、更真实的反映客观物体的特性，为人们提供更多的信息量。因此在现代 工业生产中，越来越注重获得产品的空间信息。2 0 世纪8 0 年代，随着计算 机视觉的飞速发展，各种技术被广泛应用到物体的三维测量中。对获得的三 维数据进行分析处理后，广泛应用于计算机辅助设计与制造( c a d c a m ) 、逆 向工程( r e ) 、快速原型( r p ) 及虚拟现实( v r ) 等领域，具有较高的实用价值和 社会价值。 同时机器工作时比人类更能适应一些恶劣的工作环境，如高温、寒冷、 真空、大气压力、太空等；此外机器不仅能二十四小时不问断地工作，而且 可以在高速的生产线上执行1 0 0 的在线( o n l i n e ) 监视，而监视的准确度 也接近1 0 0 。因此，生产单位在提升生产自动化上和质量管理的检验上， 也大量地采用计算机视觉，对计算机视觉的依赖也将会越来越重。 1 2计算机视觉发展和国内外研究现状 1 2 1 计算机视觉的产生与发展 计算机视觉是利用计算机实现对外界场景三维信息的感知、识别和理解。 它最早出现于2 0 世纪5 0 年代的统计模式识别领域，当时的重点集中在二维 图像的分析、识别与理解上，如光学字符识别、工件表面、显微图片和航空 照片的分析与解释等。 2 0 世纪6 0 年代，r o b e r t s 提出“积木世界 理论，在该理论下周围的物 体都是由多面体组成，需要识别的物体可以用简单的点、直线、平面的组合 表示。通过计算机程序从数字图像中提取出诸如立方体、棱柱体等多面体的 三维结构，并对物体的形状及空间关系进行描述。 1 9 7 5 年，第一次出现了计算机视觉概念，从此引起计算机视觉研究热潮。 西南科技大学硕士研究生学位论文第2 页 1 9 7 7 年m a r r 提出了不同于r o b e , s 的“积木世界 的计算机视觉理论，该理 论成为了2 0 世纪8 0 年代计算机视觉领域中十分重要的理论框架。m a r r 的视 觉理论将视觉系统研究分为3 个层次，即： ( 1 ) 计算理论层次，在该层次中需要给出系统各部分的目的和策略。 ( 2 ) 表达与算法层次，给出各部分的信息表达和实现各部分目标的具体算 法。 ( 3 ) 硬件层次，该层次解决的问题的是如何用硬件实现算法和描述。 m a 仃在将系统分为三个层次的实质是视觉系统构建过程中必须经历的 步骤。同时，m a 盯还将视觉系统分为了早期、中期、晚期三个阶段，各个阶 段的输入信息和输出信息如图1 1 所示。 图像早期视中期视晚期视 3 d 描述 jl r j l r 觉处理觉处理 觉处理 要素图 2 5 维图 图1 - 1m a r r 框架的视觉三阶段 f i g1 1 t h r e es t a g e so fm a r r sv i s i o nf r a m e 1 2 2国内外计算机视觉中主要重构算法 计算机视觉的任务是从二维图像中得到所需要的三维信息，例如物体表 面的平整度、圆柱形物体的长度和半径等特征量他引。计算机视觉经过三十 多年的发展，形成了各种理论和不同的方法，其分类方法也有所不同。根据 数据获取方式的不同可以分为主动式和被动式。被动式三维重构不需要改变 光照和摄像机的位置和姿态，主要用于一些需要保密的场合；而主动式三维 重构是指向物体的表面投射一定特殊结构的光栅或者控制光源、改变相机的 姿态等，以满足系统需要的状态。根据立体匹配原理的不同可以将三维重构 的方法分为基于区域的视觉方法、基于特征的视觉方法、基于相位的视觉方 法h 1 三种，在杜娜的论文中对这三种匹配方法的原理和适用场合进行了详细 的介绍啼】。同时根据三维重构所使用的相机个数，又可以分为单目视觉、双 目视觉、三目视觉或多目视觉。 西南科技大学硕士研究生学位论文第3 页 ( 1 ) 单目视觉方法 单目视觉就是使用一台摄像机，从图像中获得需要的三维信息。虽然可 以利用单个相机的运动从两个或多个角度拍摄图像，构成双目或者三日系统。 但这里一般将用单个相机从一幅图像上获得三维信息的方法称为单目视觉。 本质上来讲，从一幅图像上是不能获得物体的三维信息，但是，在已知物体 的形状和性质的条件，能够从二维图像中推导出三维信息。这种利用图像上 的二维信息获得实际的三维信息的方法统称为由x 恢复形状( s h a p ef r o mx ) 。 这里的x 主要包括明暗度( s h a d i n g ，) 、纹理( t e x t u r e n ) 、几何光学法、运动 ( m o t i o n t 耵) 和轮廓( c o n t o u r s t 们) 等，但这些方法不能测定绝对距离。 几何光学测量法们的基本原理是根据已知相机焦距和像距，利用透镜成 像原理求物距。该方法包括聚焦法和离焦法两种。聚焦法的基本原理是通过 调整摄像机的像距，使摄像机相对于被测点处于聚焦的位置。若摄像机的像 距和焦距已知，则可由透镜成像公式求得物距。这种方法的关键是调焦精度， 要避免调焦过程中离焦所带来的误差。聚焦法原理和结构都比较简单，但其 精度受到镜头的景深和焦深的限制，且不同深度区域需要多次聚焦并获得多 幅图像，因此测量速度较慢。离焦法根据标定出的离焦模型计算被测点相对 于摄像机的距离，如图卜2 所示。尽管它避免了寻找精确的聚焦位置，但却 增加了标定过程的复杂性。 图1 - 2离焦法原理示意图 f i gl 一2p r i n c i p l ed i a g r a mo fd e f o c u sm e t h o d 单目视觉大多运用于车辆的测距、机器人的定位、图像测量中的尺寸测 量等领域，由于其使用方法的繁琐，很少有用于物体三维形貌恢复。 ( 2 ) 双目立体视觉法 西南科技大学硕士研究生学位论文第4 页 双目立体视觉利用立体视差的原理( 见图卜3 ) ，获得同一场景点p 的 二幅不同图像、厶，通过寻找p 点在左右两幅图像上的匹配像点翻和防， 计算得到该点的三维坐标信息。双目立体视觉重构算法一般包括六个部分： 、相机模型建模及双目标定；、特征提取；、特征匹配；、视差和 三维计算；、三维信息内插：、三维点云的多视拼接。 空间点在双摄像机中的成像关系见图1 _ 3 。d w 置，k ，乙，为空间世界坐标， c 。、c ：表示两个摄像机，q 、d 2 分别为两个摄像机对应的光心。空间点尸点 在c ，中的像为p l ，坐标为( 嘶，m ) ，p 点在c ：中的像为兄，坐标为( u ，v ，) 。当r 世界坐标系建立在c ，上，选定针孔模型为摄像机成像模型，则根据空间几何 关系可以推导出空间点p ( x , y ，z ) 的三维坐标，见式( 1 1 ) 。其中，( 五儿z ) 是 待求量，即空间点的三维坐标。 r 3 乞 r 60l 表示两个摄像机之间旋转、平 r 9 乞j 移矩阵，z ) 表示左右摄像机的焦距，( 五，巧) ，( 墨，r ) 分别表示空间点在左 右摄像机像面上的坐标，( u l ，) 表示空间点在图像上的像素坐标，v o ) 表 示主点坐标。 图1 - 3 双目立体视觉基本原理 f i g1 - 3 b a s i cp r i n c i p l eo fb i n o c u l a rs t e r e ov i s i o n 由公式( 1 1 ) 可知只要获得了两个相机的内外参数，就可以计算得到空间 点的三维坐标。相机标定的目的就是获得摄像机的内外参数。由于成像视角 的差异，往往一次无法得到物体的全貌三维信息，需要将不同视角下的点云 进行拼接。 西南科技大学硕士研究生学位论文 第5 页 _ 一 ，一 ! 五刍二笠垒2 。t ( 吻五+ 巧+ 石为) 一f ( ，i 五+ 眨巧+ 石吩) z x i _ z z ( 1 - 1 ) x i 7 l ，y 27 t，l 一，h 五= ( u ，一“o ) 木d ，巧= ( v ，一v o ) 枣d 双目立体视觉中最关键也是难度最大的一步是立体匹配。目前的双目立 体匹配算法可分成三大类：第一类是基于面积的立体匹配n 引，第二类是基于 特征的立体匹配m 1 4 5 】，第三类是基于编码结构光的匹配1m 引。目前使用 得比较多的是基于特征的立体匹配和基于编码结构光的匹配。 图1 - 4g o m 公司产品 f i g 1 - 4 t h ep r o d u c to fg o m 图卜5 b r e u c k m a n n 公司s t e r e o s c a n3 d 产品 f i g 1 5 t h es t e r e o s c a n3 do fb r e u c k m a n nc o m p a n y 目前在市场上采用比较多的是基于双目立体视觉。德国的g o m 公司 m ，( 见图卜4 ) 和b r e u c k m a n n 公司1 ( 见图卜5 ) 首先研制出实用的产品，在国 西南科技大学硕士研究生学位论文第6 页 际上处于领先地位。这两家公司的产品特点都是将近景摄影测量与结构光方 法相结合，得到各种尺寸( 包括大尺寸) 结构的三维表面形貌。这种新产品 迅速得到工业界的欢迎。 ( 3 ) 三目视觉方法 在上一小节中的基于特征的双目视觉中，存在以下不足之处：当边缘 或者轮廓的一段与外极线几乎平行的时候，匹配无法正确完成；图像中重 复或者相似性目标，容易造成虚假匹配，如标记点的匹配；当基线过长的 时候公共区域少，匹配的点少，并且精度下降。 这些问题广泛引起了学者的关注。针对问题三，张广军等人研究了基线 与被测距离的比值在o 8 2 2 时系统的测量精度比较小。针对问题二提出了 使用编码标记点的方法口，。针对问题一，采用了三目视觉方法。三目视觉 的理论基础与双目视觉是相同的，因为增加了一个相机，多了2 个极线约束， 使匹配更加的准确。现有的三日系统按照摄像机的分布结构来分可以分为直 角三角形结构、共线结构。 直角三角形结构的三目视觉 图1 - 6 直角三角形的三目视觉 f i g1 - 6 t r i n o c u l a rv i s i o no f t r i a n g l ed i s t r i b u t i o n 直角三角形结构的三目视觉系统如图卜6 所示，三个相机的光心为 c 、g 、g ，设其中一个摄像机作为参考，所获取的图像用r e f 表示，其他 两个相机获得的图像用i m g l 和i m g 2 表示。经过外极线矫正之后，r e f 和 i m g l 中的外极线与扫描线平行，r e f 中点的列坐标等于在i m g 2 中对应点 的列坐标。韩严丽乜2 1 指出，该方法虽然避免了边缘与外极线平行，但如何综 合两个图像对所得到的深度信息来求得更准确和完整的深度图，到目前为止， 西南科技大学硕士研究生学位论文第7 页 还未有一个很完善的方法。 目前市场上已有的三目视觉产品不是特别多，具有代表性的是海克斯康 的白光系统e 2 3 。它是一种用于车间工程、生产和装配工艺的便携式、高性能 尺寸测量平台。该系统可以在毫秒之间获取数据，是目前最快的测量系统。 不受恶劣的生产场地条件的限制，不要求特殊的测量物体，能测量和分析各 种零件、夹具、检具和总成件，不论其形状和大小如何，并与c a d 或主零 件对比，提供综合全面的曲面和特征测量。 图卜7 海克斯康的白光系统c o g n i t e n sw l s 4 0 0 m f i g1 7c o g n i t e n sw l s 4 0 0 mo fh e x a g o n 共线结构的三目视觉 共线结构的三目视觉中的共线指的是三个摄像机焦点共线，设有三个相 机沿着x 轴方向的左、中、右排序。令d ，、砟、d 。分别为同一空间点在左、 中、右三幅图像中沿扫描线的偏移( 视差) ，则立体匹配的搜索区域是一个三 维立方体，但考虑到对于任何一点，d ，、d r 或d d 。所确定的深度应相等， 则有2 办= d 。+ d ，成立，从而使得匹配的搜索区域从三维立方体减小到上面约 束所确定的二维空间，从而增加了匹配的正确性。 目前大多数的三目系统使用的都是基于特征的立体匹配，尤其是线段的 匹配，直角三角形结构的三目视觉虽然解决了边缘与外极线平行时的匹配问 题，但加入第三个摄像机的主要目的是对匹配结果的一种检验，以确定前两 个摄像机的匹配结果是否满足外极线约束，通过这一约束的判别，减少误匹 配点。c m u 的t o d dw i l l i n a l o s n 2 4 】等人利用多基线视觉的方法研究了用于道 路t 障碍物检测的三目视觉系统。取得了很好的效果采用了多种方法。如为 西南科技大学硕士研究生学位论文第8 页 了满足障碍物检测的高精度，t o d dw i l l i m a o s n 采用了长焦距镜头、长基线结 构；在减少错误匹配点上，使用多基线立体视觉的匹配原理；为了有效的剔 除误匹配点，又采用了平面拟合的方法。而图卜7 中的海克斯康的白光系统 则向被测物体上投射一种不规则的光栅来减少误匹配。 1 3本文的研究背景及意义 工业生产过程中，常常需要对产品、生产环境进行测试和检验，其结果 影响产品的质量和生产效率。其中形状检测是产品检测中重要的环节。传统 的几何特征尺寸检测手段有卡尺、量规、万能工具显微镜、轮廓仪等，这些 检测手段在工业生产中发挥着巨大的作用，但是随着现代工业的发展和进步， 特别是在一些高精产业，传统的检测手段己经不能满足生产的需要，卡尺、 量规等检测手段虽然简便、快捷，但测量数据较少，精度不高，且均由人工 操作，对诸如红热锻件的高温环境等很难长时间检验。万能工具显微镜、轮 廓仪等检测手段虽然有较高的精度，但不能所能检测的物体，对大型物体或 者不规则物体很少得到正确测量结果。上述检测方法不但工作量大，效率低， 而且检测过程同生产过程是分离的，不能满足现代工业生产的在线检测、实 时控制。 随着现代化大生产的发展，许多检测的工序不仅要完成外观的检测，同 时需要准确获取检测数据，比如零件的宽度、圆孔的直径以及基准点的坐标 等等，这些工作很难靠人眼快速完成。基于计算机立体视觉和结构光的三维 重构，通过采集和分析物体表面调制的相移光栅，从而获得物体表面稠密三 维点云。该方法集成了计算机、光电、成像几何等知识为一体，具有高精度、 非接触等优点。利用该方法获得的点云数据导入第三方软件，如g e m a g i c 等 三维处理软件中，不仅可以获得物体的外观尺寸、球和圆柱的直径、平面的 平面度等参数外，还可以获得物体表面各点与c a d 模型之间误差，从而可 以在产品出产前进行修正。但基于结构光相移光栅的方法由于需要投射数幅 光栅，相对于不需要光栅的系统来说运行的时间长。除了平面度以外的大多 数形状检测，只需要物体特征的三维信息即可，而不需要物体表面的整个三 维数据。这方面的研究如c a r n e g i em e l l o n 大学计算机实验室设计的爬行机器 人，该机器人检测飞机表皮的圆孔( 见图卜8 ) 。 西南科技大学硕士研究生学位论文第9 页 图1 - 8c a r n e g i em e ii o r l 大学爬行机器人 f i g1 - 8 c r a w l i n gr o b o to fc a r n e g i em e l l o nc o l l e g e 另外，本课题组的崔晓光对相移光栅进行了深入的研究，指出基于结构 光的三维测量方法受到物体表面的纹理和颜色影响，使得物体特征部分的解 相精度不如缓变曲面心5 | 。将被测物体喷白，能消除颜色和部分纹理的影响， 但是物体边界处的精度至今仍无法得到完好解决。图卜9 是在一块白色的板 子上贴有数个黑色的圆形标记点，使用结构光获得的三维点云在g e m a g i c 中 的效果如右图，其中可以清楚的看到在圆形标记点周围点云失真比较严重。 图卜9边缘处点云质量降低 f i g1 - 9 d i s t o r t i o np o i n tc l o u d sa te d g e s 本文正是在三维特征检测的市场需求下，针对绵阳铁牛科技有限公司的 t n3 d o m s s ( 铁牛三维光学测量系统) 在物体边缘处点云解相精度不高的 问题，研究基于计算机视觉的几何特征三维重构，并且分析影响重构精度的 西南科技大学硕士研究生学位论文第10 页 因素。 图1 - 1 0 t n3 d o l l l s s 系统硬件 f i g1 1 0 h a r d w a r eo f t n3 d o m s ss y s t e m 1 4本文主要研究内容及结构安排 基于数字光栅投影的双目立体视觉在物体边缘处出现了精度降低的问 题。为了解决此问题，获得物体边界处准确的三维坐标信息，同时为了快速 获得物体三维特征信息，本文采用了基于三目视觉的边缘重构方法。使用该 方法获得的三维点代替上述系统在边缘处的点云，可以提升整体点云的精度。 特征重构中常用的特征是角点和直线段，但为了获取更多的三维特征信 息，本文采用了更能表征物体的边缘信息。目前绵阳铁牛三维光学测量系统 中，基于张正友的平板标定和双目立体重构技术已成熟，为本文的研究工作 做了很好的铺垫，但在边缘检测和边缘点的匹配上还未展开研究。 因此，在借鉴已有的成熟技术基础之上，以重构物体边缘点三维坐标为 目标，重点研究图像边缘检测和边缘点的立体匹配工作。本文的主要研究内 容如下： ( 1 ) 计算机视觉中的光源和照明技术：以不同的光源、不同的照明技术在 获取图像上的差异为出发点，研究了光源的基本特性和以及选择的标准，并 了解不同的照明方式所产生图像效果，为以后的特征检测做好前期铺垫工作。 ( 2 ) 三维测量中的边缘检测技术：研究边缘产生的物理原因，针对实际运 用中边缘类型的不确定性研究了基于z e r n i k e 正交矩的通用亚像素边缘检测 模型，从而解决模型不正确引起的边缘检测误差。同时为了提高运行的速度， 先采用改进的c a n n y 边缘检测，然后再进行亚像素检测。 ( 3 ) 边缘点的立体匹配：研究边缘点如何在不受光照变化、不受旋转平移 西南科技大学硕士研究生学位论文第1 1 页 下的鲁棒匹配方法。特别是三目系统仍然无法很好解决极线与边缘平行时出 现的匹配模糊问题，以及快速实现边缘点匹配的的搜索策略。 ( 4 ) 边缘点重构误差分析和控制：分析了影响三维坐标精度的因素，并从 畸变矫止和亚像素边缘检测两方面做了研究，克服了由镜头的光学畸变带来 的误差。虽然摄像机的标定和三维重构的模型也是影响边缘点重构精度的重 要因素，但是不属于本文研究的重点内容。 最后选用含有各种圆孔、倒角、直线等特征的钣金件为被测对象，使用 三目视觉系统测量其轮廓边缘点的三维信息，验证本文方法的正确性和可行 性。 本文的主要结构如下： 第一章介绍计算机视觉的发展历程，综述计算机视觉中常用的重构方法， 重点说明双目重构的原理，引出三目视觉系统产生的背景。对工业生产中形 状参数检测的各种方法进行了比对，说明本文的研究背景和意义、主要研究 内容和章节安排。 第二章先介绍计算机视觉中的常用的光源种类和光源的六大特征，并给 出光源的选择原则。然后介绍背光照明技术、正向照明技术、同轴照明技术 以及选择原则，并给出几组实例以及对被测物体进行了分析。 第三章先介绍三种常用的滤波方法，针对添加的椒盐噪声和高斯噪声进 行去噪效果的比对。然后对边缘形成的物理机制以及边缘的种类进行介绍。 针对实际中边缘种类的多样性，采用基于z e m i k e 正交矩的通用性亚像素边 缘检测。 第四章概要的介绍基于特征的立体匹配方法和基本原理，列出匹配中常 用的几种约束。针对未进行极线矫正的图像边缘，提出了使用分层匹配的思 想，即先将图像中的边缘分为闭合区域与非闭合区域，利用区域信息进行边 缘轮廓的大致匹配，将立体匹配的搜索范围从整幅图像上的极线进一步缩小 到匹配轮廓上的极线。对匹配边缘上点的匹配进行了重点研究。最后还给出 了点云的去噪的方法在去除误匹配上的运用。 第五章给出边缘点三维重构的硬件图、操作过程和系统界面、重构结果， 与物体的真实值进行了比对。对边缘重构误差来源进行了分析，并从图像畸 变矫正和亚像素两方面进行了精度提升，获得了较好的结果。最后设计了精 度评判实验进行精度评价。 西南科技大学硕士研究生学位论文第12 页 2 计算机视觉中的光源和照明技术 视觉系统设计时必须重点注意光源的选择，在一定程度上，光源的设计 与选择往往是决定整个系统成败的关键。图像分割是大多数计算机视觉系统 的必要环节。合适的光照系统会极大地突出物体与背景之间的差异，即提高 物体边缘和背景之间的陡峭变化，从而简化图像分割算法，提高对物体的测 量精度。而设计不当的光照系统会产生阴影或者图像曝光过度，这不仅使整 个图像的光照不均匀，丢失重要的细节部分，而且增加图像传感器转换带来 的噪声，从而加大图像分割难度，降低测量精度。甚至有时候不合适的光源 会导致整个视觉系统无法进入正常工作。 2 1光源特性及选择标准 2 1 1光源特性 光源具有纵多的特点，但在光源设计或者选择中需要重点考虑光源的五 个重要特性： ( 1 ) 方向：光源具有方向性。控制和调节照射到物体上的入射光方向是计 算机视觉系统最基本因素。光源的类型以及光源相对于被测物体的放置位置 共同决定光源的方向。光源的方向，可以分成许多种类，最基本的是直射光 和漫射光( 见图2 - 1 ) 两种方式，从这两种方式可以延伸出其他所有的方式。 两者的特点列于表2 - 1 中。 嗣曰譬 删八 a ) 直射光b ) 漫射光 a ) d i r e c tl ig h tb ) d i f f u s el ig h t 图2 - 1直射光和漫反射光的示意图 f i g2 l s c h e m a t i cd i a g r a mo fd i r e c tl i g h ta n dd i f f u s el i g h t 西南科技大学硕士研究生学位论文第13 页 表2 - 1直射光与漫射光特点 t a b l e2 1f e a t u r e so fd i r e c tl i g h ta n dd i f f u s el i g h t ( 2 ) 光谱：光由一种或者多种光谱组成，由一种光谱组成的光称为单色光。 多光谱的光如白光，其光谱由红外到紫外组成，人眼能感受到的光谱范围在 3 8 0 n m 7 8 0 n m 之间，可见光的光谱图见图2 - 2 。图中的数字代表的是光的波 长。光的颜色取决于光源所产生的光的类型，以及覆盖在光源上的光学滤色 镜。 g a m m a 綮外线缝外缝 f m嫒波 图2 - 2可见光光谱 f i g2 - 2 v i s i b l es p e c t r u m ( 3 ) 偏振性：偏振性是光波的一种特性，又称极化光。一般情况下光传播 时的震动方向是不定的，而极化光的震动方向位于一个确定的平面上，例如 线性极化的振荡轴与传播方向垂直。在镜面反射光中保留了入射光的偏振性， 而在漫反射光中丢失了入射光的偏振性。因此可以利用光的偏振性来消除反 射光的影响。 ( 4 ) 强度：光照的强度会影响摄像机的曝光，外界光照不足则意味着图像 对比度低。若增大摄像机的增益，图像亮度提升的同时也将噪声放大；光照 不足时也可增大镜头光圈，但景深减小。当光照强度过大则浪费能量，并带 来散热的问题。有时对光照强度的调节会带来意想不到的效果。 ( 5 ) 均匀性：均匀的光照对几乎所有的视觉系统都很重要，因为所有的光 西南科技大学硕士研究生学位论文第14 页 源随着照明距离的增加和照射角的偏离，其照射强度减小，对大面积照明时 无疑会带来较大的问题，有时只能在视场的中心保持均匀。 2 1 2光源的分类 光源的种类很多，其划分方式也各不相同。从能源的角度分，光源分为 自然光源和人工光源。自然光源主要是指太阳光以及利用太阳光变化的光源。 人工光源是人为将各种能源( 主要是电能) 转换得到的光源。人工光源按照 发光器件本身的发光机理可以分为以下几类： ( 1 ) 热辐射光源：例如白炽灯、卤钨灯、黑体辐射。 ( 2 ) 气体放电类光源：例如汞灯、荧光灯、钠灯、金属卤化物灯、空心阴 极灯、惰性气体灯。 ( 3 ) 固体发光光源：例如场致发光二极管、l e d 灯。 ( 4 ) 激光光源：如气体激光、固体激光、染料激光等。 表2 - 2机器视觉中三种光源主要参数比较 f i g2 - 2 p a r a m e t e r sc o m p a r i s o nb e t w e e nt h et h r e el i g h t si nc o m p u t e rv i s i o n 但视觉系统中常用的光源有三种，分别是高频荧光灯、光纤卤素灯、l e d ( 发光二极管) 光源，图2 - 3 中左上为高频荧光灯，左下为光纤卤素灯，右 边为l e d 灯。三种类型的光源主要性能对比如表2 2 所示。其中l e d 灯以 其高稳定性、寿命长、价格适中、颜色种类多等优点深受用户喜爱。另外根 西南科技大学硕士研究生学位论文第15 页 据灯的几何形状可以分为环形、方形、穹形、长条形等等；根据发光的特性 可以分为点光源、线光源、面光源等；根据照射角度又可以分为直射、间射、 同轴、平行等。每一种光源的分类不是特定的，可以同时属于多种类型的光 源。 鞠i - 一 哙 图2 - ：3视觉系统中常用的三种光源 f i g2 - 3 t h et h r e el i g h t sc o m m o n l yu s e di nc o m p u t e rv i s i o n 2 1 3光源的选择标准 影响照明方案的因素很多，例如光的强度、颜色、均匀性、光源的结构、 大小、照明方式以及被测物体的光学特性、距离、物体大小、背景特性等。 因此不同的视觉系统的照明设计不一样。即使是测量同一物体，但是测量的 内容不一样也需要不同的照明设计。 在众多的光源中，并不是能够照明的光源都是适合机器视觉系统的。在 选择正确的光源时需要考虑以下三个因素： ( 1 ) 检测内容 检测的内容通常有：外观检测，如检测是否有划痕、缺失等；字符 识别，如识别标签上的生产日期等；尺寸测量，比如测量圆的半径等； 定位，如两个圆孔中心之间的相对方位。不同的检测内容需要选用不同的光 源。 ( 2 ) 检测对象 检测同一对象时，根据检测的目的不样，检测的内容就不一样，比如 西南科技大学硕士研究生学位论文第16 页 检测异物、伤痕、缺损、标识、形状等。同时还需要观察检测对象的特性、 被测物体表面的性质、表面的颜色、表面材料的反光特性( 如漫反射、镜面 反射) 、物体外形尺寸、在被测量的距离之内光源能否稳定均匀等。 ( 3 ) 限制条件 通常在选择光源的时候除了要考虑检测内容和检测物体本身的特性外， 还需要注意一些限制条件，比如相机是线阵或者面阵的，工作距离的远近， 需要照明的视场的大小，周围的环境有没有散射光等影响。 虽然选择光源时需要考虑纵多因素，但其本质的目的就是选择一款合适 的光源使得图像的对比度大，即能很好区分被测对象和背景。这里的对比度 定义为被测量的特征与其周围区域之间有足够的灰度梯度。当两种光源产生 的对比一致时，应首选亮度更高的光源，因为亮度高的光源，需要的镜头光 圈小，从而景深大。当两种光源不仅对比度一致，亮度也一致的时候需要考 察光源相对于相机视野的均匀性，一般来说越均匀的光源越好，除一些需要 不均匀光的特殊情况除外。 2 2照明技术及选择原则 利用各种不同性能和结构的光源，以及物体和背景对光的反射和传送特 性可以设计出不同的照明方案。照明技术分背光照明、正向照明和同轴照明 三大类，每一类又有很多小类以及不同的组合。 2 2 1背光照明 背光照明是指将被测物体放置于光源和相机之间，如图2 - 4 所示。在该 照明方式下可将物体边缘清晰地勾勒出来，常用于物体外形检测和尺寸检测 等等。由于在图像中被遮挡的地方为黑色，未遮挡的地方为白色，因而形成 “黑白分明 易于系统分析的图像。图像测量系统中运用背光照明这种方式 高达9 0 ，光源公司的宣传资料上一般都是背光照明。 背光照明的方式可以细分为三种，漫射式：背光照明中用得最多的一 种，。该方式是在光源的前面放有一块大的透明或者半透明的平板，使光线从 平板中射出来。凝聚式：使用镜头将光线集中于一个方向，使用于背光照 明中建立定向光特性。黑场：光线与镜头成9 0 0 方向射入，例如从透明物 西南科技大学硕士研究生学位论文第17 页 体的边缘进入，常用于检测物体中的裂痕、气泡等。 2 2 2正向照明 图2 - 4 背光照明方式及其实例 f i g2 - 4 b a c k l i g h tm o d ea n di t si n s t a n c e 正向照明与背光照明相反，它是将光源置于被测物体与相机之前。在实 际运用中绝大多数采用这种方式。正向照明又分为亮场照明、暗场照明和黑 场照明。图2 - 5 中从左到右分别为亮场照明、暗场照明和黑场照明。 - i 仑、，一寸睁一一如 、7 l 卜一r 一。驴 图2 - 5 正向照明常用的三种照明方式 f i g2 - 5 t h r e el i g h t i n gw a y so ff o r w a r dl i g h t i n g 图2 - 6 芯片的亮场照明实例 f i g2 - 6b r i g h t - f i e l di l l u m i n a t i o ni n s t a n c eo nc h i p 西南科技大学硕士研究生学位论文第18 页 正向照明的优点是亮度大、灵活、容易适应包装的要求；缺点是会出现 阴影和反光。正向照明常用于漫反射的平面和纹理表面的检测。亮场照明效 果如图2 6 所示，左边是实物图，右边是亮场照明的效果图，该亮场照明中 的光直射到物体上，属于直射光。在右图中可以非常清晰的看到芯片表面的 字迹，而在一般漫射光照明下的实物图中看不清楚字迹。 正向照明中的黑场照明，光源以接近18 0 0 角照射物体。与背光照明的黑 场基本相同，该方式容易突出被检测物体的边缘和高度变化，凸显物体表面 结构，增强图像的拓扑结构，同时容易引起热点和极度阴影。该方式一般运 用于检测平面和有纹理的表面。其照明效果如图2 - 7 所示，左边是实物图， 右边是照明效果图。从右图中可以看到，在这种照明方式下，硬币的边缘及 字迹的边缘显示非常清晰。 图2 - 7 黑场照明方式实例 f i g2 - 7 d a r k - f i e l di l l u m i n a t i o ni n s t a n c e 2 2 3同轴光照明 所谓的同轴指的是光的照射方向与镜头的光轴几乎成平行的状态。l e d 高强度均匀光线通过半镜面后成为与镜头同轴的光，如图2 8 所示。具有特 殊涂层的半镜面可以抑制反光和消除图像中的重影，特别适合检测镜面上的 划痕。 5 蚴束毋妒 - 西南科技大学硕士研究生学位论文第19 页 f i g2 - 8 s c h e m a t i cd i a g r a mo fc o a x i a lo p t i c a li l l u m i n a t i o n 2 2 4 照明系统设计的原则 在机器视觉系统讲座之二强盯中总结了以下三条选择照明方式的原则： ( 1 ) 选择主动照明方式：为了得到稳定、一致的图像，消除环境的影响， 常常采用主动照明方式，也就是说，在机器视觉系统中一般要采用人工光源 来照明被检测的对象。 ( 2 ) 优先选择l e d 光源：在光源的选择上，尽量选择l e d 光源作为机器 视觉系统的照明光源，因为，l e d 光源具有输出光强稳定、寿命长、响应时 间短、形状多样、功耗低、造价低等突出的优点。 ( 3 ) 选择正确的照明方式：根据所需检测目标的特性，选择合适的照明方 式。 表2 - 8 照明方式的选择 t a b l e2 3t h ec h o i c eo fl i g h t i n gw a y 照明方式适用情况 透射式照明 发射式照明 检测目标的外轮廓 目标在透明的材质上 检测目标的外轮廓 检测目标内部某个部分 亮视场照明机器视觉中最常用照明方式 表面污物检测 表面划痕检测 暗视场照明 小突起的目标检测 表面划痕检测 颜色照明区分目标色彩有差异 西南科技大学硕士研究生学位论文第2 0 页 2 3视觉系统不同光源和照明方式的实例 通过以上各种光源特性的分析以及选择的标准和照明方式的介绍，可以 满足小日j 物体不同测量内容。图2 9 、图2 - 1 0 中是关于明视野与暗视野照 明的两个例子，左边为明视野采集的图像，右边是暗视野采集的图像。在明 视野中是用直射光来观察对象，此时散乱光呈黑色，而在暗视野中是用散乱 光来观察对象，散乱光呈白色，这一点在硬币的图像中尤其得到体现。 哆霸0 篝- f | ： 誊攀； 卜蠖。薹? 籼 图2 - 9明视野与暗视野采集的图像比较1 f i g2 - 9 t h ef i r s tc o m p a r i s o ni m a g e sb e t w e e nb r i g h tf i e l da n dd a r kf i e l d f i g2 1