（检测技术与自动化装置专业论文）计算机视觉在渗漏检测中的应用.pdf

摘要 摘要 计算机视觉检测技术是一种非接触式的先进检测技术，具有精度高、非接 触、效率高、成本低等诸多优点。 随着城乡建设的发展，对渗漏检测的要求越来越高；为了辨明原因、明确 责任、及时修复，迫切需要全面准确地检测和分析渗漏的各种手段。 将计算机视觉检测技术应用于墙体渗漏检测，可以非接触方式快速测量， 得到较高精度的渗漏轮廓和渗漏面积数据，为满足非接触、精确、高效和低成 本的检测需要提供了新的方案。 本文实现了基于立体视觉的墙体渗漏检测系统，并根据墙体渗漏的需要， 对特征点识别、立体匹配、立体重构等立体视觉技术进行了改进；然后通过边 缘检测，应用神经网络和模糊控制对校正结果进行分析判定。经实验验证，立 体视觉系统的检测结果符合实际精度需要。 最后，本文通过数据融合技术，将应用接触式墙体渗漏检测仪的检测结果 与基于计算机视觉的墙体渗漏检测系统得到的结果进行融合与分析，从而得到 了更加符合实际情况的渗漏判定结果。 关键词：计算机视觉，墙体渗漏、特征点识别，立体匹配，边缘检测，数据融 厶 口 a b s t r a c t a b s t r a c t c o m p u t e rv i s i o nt e c h n o l o g y i sa l la d v a n c e da n dn o n - t o u c hm e a s u r e m e n t t e c h n o l o g y i th a sm a n ya d v a n t a g e s ，s u c h 嬲h i 曲a c c u r a c y , n o n - t o u c h ，h i g he f f i c i e n c y , l o wc o s t ，e t c w i t ht h ed e v e l o p m e n to fc i t ya n dr u r a lc o n s t r u c t i o n , a n di no r d e rt of i n dt h er e a s o n , c l e a rt h er e s p o s i b i l i t ya n dr e p i r ei nt i m e ，w en e e dam o r ep o w e r f u la n da c c u r a t ew a l l w a t e r - l e a k a g ed e t e c t i o n a n da n a l y z i n gm e t h o di nu r g e n t t h eu s a g eo fc o m p u t e rv i s i o nt e c h n o l o g yi nw a l lw a t e r - l e a k a g ec a l lr e a l i z et h e n o n - t o u c hq u i c km e a s u r e m e n tt h a tc a ng e tt h ep r e c i s er e s u l t so fw a t e r - l e a k a g ef i g u r e a n da r e ad a t a , a n dp r o v i d e san e wm e t h o do fn o n - t o u c h ，a c c u r a t e ，h i 曲e f f i c i e n c ya n d l o w - c o s tf o rt h ew a l lw a t e r - l e a k a g ed e c t e c t i o n t h i sp a p e rr e a l i z e dt h ew a l lw a t e r - l e a k a g ed e t e c t i n gs y s t e mb a s e do ncv i s i o n t e c h n o l o g y a n di tm a d es o m ei m p r o v e m e n to nt h em e t h o d so fc h a r a c t e r i s t i cp o i n t r e c o g n i z i n g ，s t e r e o s c o p i cm a t c h i n gt om e e tt h er e q u i r e m e n to fw a l lw a t e r - l e a k a g e t h e nt h i sp a p e ru s e de d g cd e t e c t i o n , a n na n df u z z yc o n t r o lt e c h n o l o g yt om a k ew a l l w a t e r - l e a k a g ea n a l y s i sa n dj u d g m e n t t h ee x p e r i m e n tp r o v e st h a tt h er e s u l t sf r o m s t e r e o s c o p i cv i s i o nr e a c ht h ep r e c i s i o nr e q u i r e m e n t a tl a s t t h i sp a p e ru s e dt h ed a t af u s i o nm e t h o dt of u s et h er e s u l t sf r o mt h ew a l l w a t e r - l e a g a g ed e c t e c t i n gm a c h i n e r e a l i z e db ys i n g l e c h i pm i c r o c o m p u t e ra n dt h ew a l l w a t e r - l e a k a g ed e t e c t i n gs y s t e mb a s e do ns t e r e o s c o p i cv i s i o nt e c h n o l o g y t h e ni tg o t t h em o r ea c c u r a t er e s u l to fw a l lw a t e r - l e a k a g e k e yw o r d s ：c o m p u t e rv i s i o n ，w a l lw a t e r - l e a k a g e ，c h a r a c t e r i s t i cp o i n tr e c o g n i z i n g , s t e r e o s c o p i cm a t c h i n g ，e d g ed e t e c t i o n ，d a t af u s i o n i i 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： p 未壶秀午 名帕g 年乡月f 。日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 年月日年月日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：够多矸 力伽磐年乡月，0 1 日 第1 章绪论 第1 章绪论 1 1 引言 自然界的物体都是三维的，人类是通过两眼分别同时获取物体的二维图像，然后 经过大脑的处理，而得到物体的三维立体信息。但一般的摄影系统只能把三维的物体 以二维的形式保存、记录下来，丢失了大量信息。计算机立体视觉技术则运用计算机 技术和光学手段在获取的一幅或多幅图像中还原出被摄物体的立体形状，获得三维数 据值。 随着我国房地产业的长足发展，近几年我国建造了大量的现代化建筑，并对8 0 年 代和9 0 年的老公房和老厂房进行了改造。人民的生活和住房环境得到了极大的改善， 城市变得更加美丽。然而建筑的巨大需求和有限的建筑能力产生了矛盾，由于项目周 期的缩短和节约成本的需要，房屋质量下降。由此凸显出的问题之一是墙体渗漏。为 了辨明原因、明确责任、及时修复，需要全面准确地检测和分析墙体的渗漏情况。当 前迫切需要一种可以满足墙体渗漏需要的检测方法。 将立体视觉技术应用于墙体渗漏检测是一种新思路。基于立体视觉技术的检测系 统以c c d 摄像机为图像传感器，综合运用图像处理、精密测量等技术进行非接触二维 或三维坐标测量的检测系统。可以非接触方式快速测量，得到较高精度的渗漏轮廓和 渗漏面积数据，有效地弥补了传统接触式检测方法的不足。 1 2 计算机视觉基本理论与发展现状 1 2 1m a r r 的计算机视觉理论框架 上个世纪7 0 年代中期n 8 0 年代初，m a r r 首次从信息处理的角度出发，在图像处理、 神经生理学及精神病学的研究成果基础上，提出了第一个较为完善的视觉系统理论框 架。虽然i f i a r r 提出的视觉系统理论框架仍然存在不完备的地方，但它极大地推动了计 算机视觉的发展，并最终形成了这一领域的主导思想。 m a n 表述了视觉系统研究的三个层次，即计算理论层次、表达与算法层次、硬件 实现层次。计算理论层次解决的是系统各部分的计算目的与计算策略问题，即各部分 的输入输出关系是什么，有什么变换或约束。m a r r 对视觉系统的总输入输出关系规定 了一个总的目标，即输入是二维图像，输出是由二维图像重建出来的一维物体的位置 第1 章绪论 与形状。m a r r i x 为，视觉系统的任务是对环境中的三维物体进行识别、定位与运动分 析。三维物体千差万别，应存在一种计算理论层次上的一般性的描述。如果达到了这 一目的，则不管是什么具休物体，视觉任务均可完成。m a r r j x 为，这一目的就是要通 过视觉系统重建三维物体的形状、位置。而且，如果在每一时刻都能够做到这一点， 则可以实现对物体的运动分析。表达与算法层次的研究是要给出各部分的输入、输出 和内部信息的表达，以及实现计算理论层次所规定的一般性目的的算法。表达与算法 是比计算理论低一层次的问题，不同的表达与算法，在计算理论层次上可以是相同的。 硬件实现层次则是要解决如何用硬件实现以上算法的问题。目前计算机视觉的研究工 作主要集中在计算理论和表达与算法这两个层次上，对于硬件实现，目前已有一些比 较成熟的部分，如低层次图像处理中的去噪声，边缘抽取。对简单二维物体识别及简 单场景下的视觉方法，己有专用芯片或并行处理体系结构方面的研究与试验产品。 在计算理论这一层次上，m a n 将三维重建这一过程分为三个阶段。视觉信息从最初 的二维图像到最终对三维环境的表达经历了三个阶段的处理。第一阶段构成基元图， 基元图e h - - 维图像中的边缘点、直线、曲线、顶点、纹理等基本几何元素或特征组成。 第二阶段，m a r r 称为对环境的2 5 维描述。2 5 维描述是一种形象的说法，即对环境部分 的、不完整的三维信息描述，就是重建三维物体在观察者为中心的坐标系下的三维形 状与位置。当人眼或摄像机观察周围环境物体时，观察者对三维物体最初是以自身的 坐标系来描述的，另外，观察者只能看到物体的一部分，另部分是物体的背面或被其 它物体遮挡，因此，重建结果是在观察者坐标系下描述的部分三维物体形状，称为2 5 维描述。这一阶段中存在许多并行的相对独立的模块，如立体视觉、运动分析、由灰 度恢复表面形状等不同的处理单元。仅有2 5 维描述是不够的，事实上，从各种不同角 度去观察物体，观察到的形状都是不完整的，2 5 维描述必须迸一步处理，以得到物体 的完整三维描述，而且必须是物体本身某一固定坐标系下的描述，这一阶段称为第三 阶段，即三维阶段。基元图和对环境的2 5 维描述这两个阶段，有些文献称为视觉的低 层次处理，或早期视觉， 也有人将第一阶段称为早期视觉，第二阶段称为中期视觉。 m a n 的理论比较系统地、一般地揭示了用二维图像恢复三维物体形态的可能性和 基本方法，具有划时代的意义，为计算机视觉称为- i - j 学科奠定了重要的基础。这一 框架虽然在细节上甚至在主导思想上还存在不完备的方面，许多方面还有很多争议。 但至今仍是目前计算机视觉研究的基本框架。此后，计算机视觉理论和技术已有了很 大的进步，但是大部分工作仍可以用他的理论框架概括。 2 第1 章绪论 1 2 2 计算机视觉技术的发展现状 从6 0 年代中期开始，计算机视觉开始了其开创性工作。计算机视觉技术的诞生标 志是美国m i t 的r o b e r t s 把过去的二维图像分析推广到三维景物，从而完成了三维景 物的分析工作。在随后的2 0 多年中，计算机视觉迅速发展成为- - f - j 新兴的学科。特别 是m a r r 创立的视觉计算理论对立体视觉的发展产生了巨大的影响，现在m a n 体系己 经是涵盖从图像获取到最终的景物可视表面重建的完整体系。经过2 0 多年的研究，计 算机视觉在军事应用、航空测绘、工业检测、及医学诊断中的应用越来越广泛，研究 方法从早期的以统计理论为基础的相关匹配，发展到具有很强生理学背景的特征匹配； 从直接依赖于输入信号的底层处理到依赖特征、结构、关系和知识的高层次处理。计 算机视觉的性能不断提高，其理论也正处在不断发展与完善之中。 从二维图像还原景物的三维信息是计算机视觉的关键技术。目前，获取三维信息 的方法和技术有很多，每种方法各有优缺点，因此其其适用范围不一。一般来说，常 用的三维测距技术分为主动和被动两类。【2 】前者使用专门的光源装置提供目标物体的照 明，后者则使用物体本身的自然反射光线。 ( 1 ) 主动测距方法 主动测距方法的基本思想是利用人为控制的特定辐射源，如光源、声源等，对景 物目标进行照射，根据物体表面对光学、声学的反射特性来获取目标的三维信息。其 特点是抗干扰能力强、实时性强和具有较高的测距精度。目前主要的方法有：光投影 法，干涉波纹法、时间差雷达观测法和相位差雷达观测法等方法。 ( 2 ) 被动测距技术 被动测距技术是目前研究最多、应用最广范的三维测距技术。被动测距技术不需 要人为设置辐射源，只利用在自然光照下得到的二维图像来重建景物的三维信息。这 种方法具有实现手段灵活，造价低，适应性强特点。但是，由于需要从低维信号计算 高维信号，技术上的困难较大。对这项技术的研究涉及计算机科学视觉、数学、物理 学以及心理和生理学等学科的内容，是计算机视觉最为活跃的领域之一。目前，主要 有以下几种被动测距方法：s h a p ef r o mx ，光度立体视觉和立体视觉等方法。 立体视觉是计算机视觉技术中重要的三维测距技术之一，它通过对人类视觉处理 景物方式的模拟，可以在不同环境下灵活地测量景物的立体信息。立体视觉中最关键 的技术是多幅二维图像的特征点匹配问题，即立体视觉匹配，简称立体匹配。双目立 体匹配算法就是在两幅二维图像的特征匹配点之间建立对应关系的过程，它是双目立 体视觉系统的关键。 第l 章绪论 立体匹配算法中对视差测距的约束主要体现在所采用的匹配策略上。根据匹配所 采用的图像特征不同，在很大程度上匹配策略也是不同的。立体视觉匹配算法可以分 为三大类：区域匹配、特征匹配和相位匹配。 ( 1 ) 基于区域灰度的匹配算法 基于区域灰度的算法是利用图象处理中所称的区域相关方法，它是解决元对应问 题的一个最直观最简单的方法。在一幅图象中以一点为中心选定一个区域，在另一幅 图象中寻找与该区域相关系数最大的区域，把匹配区域的中心点与原始区域中心匹配， 形成匹配点对。 基于区域的算法计算量很大，而且对噪声很敏感，但可以得到整幅图象视差图。 灰度区域的窗口较大，可能形成的匹配选择越多，误匹配的可能性较大。对于分布均 匀的图象使用灰度区域法，将产生一对多点匹配，误匹配概率大，因此不适合分布均 匀的图像中使用该方法。 ( 2 ) 基于特征的匹配算法 鉴于灰度区域相关方法的局限性，许多研究集中于对灰度区域匹配的改进。在实 际环境中，图象的特征是很有规律地分布的，反映了场景的核心，数量少，处理方便。 基于特征的立体视觉匹配算法，通过建立所选基元的对应关系获取稀疏深度图。如果 需要，再经过内插等方法可以得到整幅深度图。这一类法因各自采用的匹配特征点不 同而相异。概括而言，该类匹配算法都是建立在待匹配特征点之间的相似性度量基础 上的，是以特征点的各项参数信息为依据的部特征相似程度的度量。这种度量方法与 摄像机模型相结合，可以大大减小配时的搜索空间。具体实现中一般采用概率度量、 松驰法迭代或者聚类等模识别算法来实现。 基于特征的匹配算法特别适用于具有较明显特征信息的环境，算法具有速度快、 精度高的特点。 ( 3 ) 基于相位的匹配 相位匹配算法认为像对应点的局部相位是相等的。根据傅立叶平移定理，信号在 空间域上的平移产生频率域上等比例的相位平移。频率域相位信号分析在数学表达上 更有助于区域分析。一般地，相位匹配方法对带通滤波信号的相位信息进行处理得到 像对之问的视差。目前，相位匹配方法主要有相位相关算法和相位差频率算法。 当前，对立体匹配算法的评价还没有一个统一的方法。一般从以下几个方面来比 较各种匹配算法：匹配点对之间的精度；总体分类误差的程度；适于不同场景的能力； 硬件成本，系统复杂性和算法计算量等。因此在不同实际情况下需要选择最适合的立 4 第1 章绪论 体匹配方法，才能达到理想的效果。 1 3 墙体渗漏检测方法的发展现状 据建设局有关部门统计分析，目前房屋建筑工程的质量通病3 0 集中于建筑单位 工程外墙渗漏水。墙体渗漏问题出现后，轻则会在墙体表面出现一片片湿印迹，重则 墙体面砖剥落，墙体开裂。同时也会导致室内家具地板由于长时间浸水而发霉。建筑 物外墙渗漏水问题直接影响着业主对房屋的使用。实际工程中，查明墙体渗漏原因并 采取相应技术措施及时修补，能使墙体抗裂、抗渗漏的能力获得极大提高。因此，对 墙体渗漏现状的分析和判断是很有必要的。 传统的墙体渗漏检测技术大致分为以下两种：传感器检测和红外线法检测。 ( 1 ) 传感器检ne 3 j ：该方法是在铺设防水材料时，就将传感器预先埋没在防水材 料的下面，并由恒流装置和数据控制箱组成。防水层在正常情况下为绝缘体，不能导 电；但防水层材料一旦出现损坏，电流即可通过，传感器则出发信号，从而及时知道 出现渗漏现象，由于埋没在墙体的传感器呈网式排布，可准确定位渗漏部位。但是该 方法有其显著的弱点，即需要在墙体建筑的过程中同时埋入传感器，前期投入的成本 较高；并且对于已经建筑完成的房屋和墙体无法使用。因此，此方法对一般的墙体渗 漏检测并不适用，缺乏普及性。 ( 2 ) 红外线法检n c 4 1 ：建筑物的防水层出现渗漏部位，必然产生一些物理现象， 如在渗漏部位和非渗漏部位存在一定的温差。使用红外线仪根据该现象将形成的温差 变成可视图像，从而确定渗漏。这套装置由能够捕获防水层的不同温度发生的红外线 摄像机、将红外线转变成为温度信号的处理机、监控电视机、记录用视频信号磁带录 像机等组成。但是该方法的缺点是成本较高，结果不够准确，实际使用中受到的干扰 因素较多。 1 4 本文的研究内容和论文结构 1 4 1 立体视觉在渗漏检测中的应用 以上两种传统的墙体渗漏检测方法之所以无法达到墙体检测需求，原因在于其无 法满足墙体渗漏检测中的高精度和非接触式要求。如传感器检测成本昂贵，并且传感 器一旦埋入墙面将无法移动，其效率低下。而红外线法检测则精度低。在实际的工程 中，墙体的检测常常受到实际情况的限制，如渗漏墙体处于外墙、处于高处或者墙体 第l 章绪论 表面不可损坏等等。接触式墙面湿度仪对墙体渗漏的检测也有局限性。因此，墙体渗 漏检测系统需要满足精度高，非接触，低成本和高效率的要求。 通过计算机视觉技术在墙体渗漏检测中的应用，其非接触性的特点，可以较少受 到实际工程情况的限制。通过立体视觉系统可以得到的渗漏轮廓数据和渗漏面积结果 具有稳定性好，精度较高的特点。通过对立体视觉系统的检测结果与墙体表面电阻检 测系统的检测系统应用数据融合技术，可以得到更符合实际情况并且分辨率较高的检 验结果，将此结果应用于渗漏程度判定和渗漏原因判定，得出更真实更符合实际情况 的判定结果。 立体视觉技术的核心是立体匹配技术。考虑到墙体渗漏实际情况的需要，本文使 用基于特征的匹配算法。原因在于：第一，提取墙体渗漏表面与普通墙体之间区别的 明显特征，可以得到精度高的特征匹配点对：第二，由于墙体表面常常在一个平面上， 而基于特征的匹配算法的结果为有限个特征匹配点对，这有限个点对可以满足平面三 维信息的还原的要求。第三，由于得到的是有限点对，因此匹配算法速度快、效率高。 第四，基于特征的匹配算法与基于灰度和基于相位的匹配算法相比精度较高。第五， 基于特征匹配技术属于被动测距技术，其硬件实现为普通的摄像器材，不需要通过特 殊仪器辅助完成三维信息提取。与主动测距技术比较成本较低。综上所述，应用基于 特征匹配的立体视觉技术适用于墙体渗漏检测的非接触，精度高，速度快，效率高和 成本低的要求，具有实际应用价值。 1 4 2 论文结构安排 本论文共分为九章： 第一章绪论，介绍了计算机视觉技术的基本理论和发展现状，以及墙体渗漏检测 的发展现状。引出立体视觉墙体检测技术，并对其与传统方法做出比较，明确其优点 与可行性。并对本论文的结构做出安排。 第二章摄像机标定技术及其实现。摄像机标定是立体视觉检测的预备步骤，本论 文采用未标定的c c d 摄像头，并通过软件进行标定。通过软件标定不仅能够节约成本， 同时可以根据实际需要加强标定效果和精度。 第三章立体匹配基本理论与特征点检测。特征点检测方法是立体视觉检测的第一 步，它通过特征点检测算法得到被测图像的特征点，为下一步的匹配做好准备。本文 根据墙面渗漏检测的实际要求，改进了检测角点的s u s a n 算法，提高特征点的检测精 度，从而提高了立体视觉检测系统的精度。 6 第l 章绪论 第四章立体匹配算法及其实现。详细介绍了立体匹配算法，先通过灰度相关匹配 和松弛迭代法得到一一对应匹配点对。然后通过对极几何理论和基础矩阵求解滤除误 差较大的点对，得到更加精确的匹配点对。立体匹配算法是立体视觉检测的核心，匹 配点对的正确与否直接影响立体视觉检测系统的精确性。 第五章立体重构与误差分析。介绍了如何通过立体匹配点对得到立体重构图像。 并且通过带有定位点的样本图像对立体视觉检测系统的精度进行计算。 第六章立体视觉系统对墙体渗漏的判定。对得到的立体视觉校正图像进行渗漏判 定，具体包括：通过边缘检测技术实现渗漏范围和面积的判定；通过神经网络和模糊 控制理论实现渗漏程度和原因的判定。进而对得到的判定结果进行分析。 第七章墙体表面电阻检测仪的设计与实现。介绍了基于嵌入式单片机l p c 9 3 8 的 墙体表面电阻检测仪硬件系统和软件设计的实现。墙体阻值通过数据采集，数据重组 等步骤得到墙体含水量的检测结果。 第八章系统结果融合。通过第五章得到通过立体视觉技术校正的墙体渗漏图像， 通过第七章得到墙体表面电阻检测仪结果。通过数据融合技术将这两个结果进行融合， 再通过模糊控制器对渗漏程度和原因进行判断，从而得到更精确结果和更实际的分析 判断，给出墙体渗漏情况的综合报告。 第九章总结与展望。总结了本论文所完成的工作，并且展望了本课题的后续完善 工作。 第2 章摄像机标定技术及其实现 第2 章摄像机标定技术及其实现 2 1 引言 当通过摄像器材获取实际景物图像后，实际图像由三维空间投影成二维图像，场 景中的众多因素，如光照条件、景物几何形状、噪声干扰和镜头畸变等，都被综合成 单一的二维图像灰度值。图像上每一点的亮度反映了空间物体表面某点反射光的强度， 而该点在图像上的位置则与空间物体表面相应点的几何位置有关。这些位置的相互关 系，由摄像机成像几何模型所决定。该几何模型的参数称为摄像机参数，这些参数必 须由实验与计算来确定，实验与计算的过程称为摄像机标定。这是立体视觉技术从二 维图像中获取三维信息的第一步。 摄像机标定技术主要解决两个紧密相连的问题：摄像机成像模型的建立和摄像机 参数的求解。不同的摄像机成像模型对应不同的参数集合；不同的参数集合又对应不 同的求解方法。 摄像机标定分为线形模型和非线性模型。线性模型是根据小孔成像原理，建立像 点和对应物体表面空间点的几何位置关系，描述的是理想情况，即像点、投影中心和 空间点三者是共线关系。实际应用中，由于立体视觉系统多采用非量测摄像机，其物 理构造导致产生各种畸变，使得实际像点位置会偏移理想像点位置，造成像点、投影 中心和相应的空间点之间的共线关系受到破坏，所以需要建立畸变校正模型，即非线 性模型。 2 2 摄像机模型 摄像机模型就是对景物成像到图像平面物理过程的数学描述，在理想状态下，摄 像机成像模型可以等价为小孔成像的线性成像模型，图2 1 所示为针孔摄像机模型。【5 】 第2 章摄像机标定技术及其实现 图2 1 摄像机模型中的坐标关系 在理想状态下，世界坐标系( ，y w ，z 。) 、摄像机坐标系( t ，此，乙) 、图像物理平面 坐标系( 工，y ) 和图像像素平面坐标系( “，1 ，) 之间的变换数学关系如下所示。 系( ，y ，z 。) 与摄像机坐标系( t ，y c ，z c ) 之间的转换公式： ( 2 1 ) ( 2 ) 摄像机坐标系( t ，y 。，乙) 与图像物理平面坐标系( x ，y ) 之间的转换公式： 限匿 9 ( 2 2 ) 1，j w w w 氐凡气 蜥 尺。 界 = 世1ij ，炸乙， 10j t 咒乙 1，j o 0 o o o 1o ，o 第2 章摄像机标定技术及其实现 眺引日 3 ， 厂1 一 i e o ； 怿叫专一f引u c o s u o 丘，i s i n 秒 u f o1 i 其中，五= f d ，z = f a , 。t 和嘭分别表示在单位像素的物理尺寸，角度9 为图 像物理坐标轴的夹角。k 为相机模型中的内参矩阵。r 和t 分别表示旋转和平移矩阵。 上述表达式是忽略畸变的线性成像模型。 2 3 基于平面模板的摄像机标定 2 3 1 基本方程 本文使用的摄像机标定方法采用针孔模型。如图2 1 所示，该方法考虑了一般摄像 机的标定方法。【1 1 由于采用了平面模板，因此控制点坐标z = o ，设旋转矩阵r 的第i 列 向量为i ，可得： r i = 彳r 眨吩r ， x 】， o l 叫j 闭 5 ， 记平面模板上点为m ，m = 【x ，y 】，记m = 【z ，y ，1 】7 为点m 的奇次坐标，记朋= 【掰，u 1 r 通过上式可得点m 可以通过一个单应性矩阵h 与图像上点m 联系起来： r m 、= h m ( 2 6 ) 其中h = 4 吃f 】。图像平面上点m 和平面模板上点m 理论上符合上式，但是由 于提取点时存在噪声，它们不完全符合。我们设定提取点m 的均值是0 ，方差为以的 高斯噪声。对h 的最大似然估计可以通过最小化下面的公式来获得： 1 0 第2 章摄像机标定技术及其实现 瑟哪一弼y ( 群一弼) f ( 2 7 ) 其帆_ 壶 畿t 】，这里万为单应矩阵h 第i 列。由于点的采集是个独立的 过程，故我们可以设以= 盯：1 。那么上面的m l 估计转化为非线性最小二乘法解决最小 化问题，即求解m i i l 慨一m it l l 2 ，可通过l e v e n b e r g - m a r q u a r d t 算法实现。但是此算法 需要初始值估计，我们可以从下述方法中得到。 设工= 【红。，红1 ，吃11 ，那么可以得到： 一0 - u m , 卟r = 。 眩8 ) 可简写为l x = 0 ，如果给定n 个标定点，那么l 为2 n x 9 的矩阵，x 的值为矩阵 最小奇异值所对应的右奇异向量。在l 中，有常数1 、像素坐标、世界坐标，还有像素 坐标和世界坐标的乘积，这使得l 严重病态，因此在求解x 之前对，对数据进行归一 化。 ( 2 ) 内部参数约束条件 利用上式可估计出单应性矩阵h ，记为h = 哺，如，j 1 3 】，由此可得： 【7 l i 绣】_ 五彳【，i r z r 3 】 ( 2 9 ) 式中，五为任意的比例因子，由于，；和吒是正交的，故有r i f t 2 = 0 ，也即 磊。彳叫彳- 1 级= 0 扛r 彳一7 彳一1 曩= 吃7 么一r 彳一1 2 1o ) 以上两个式子是求解摄像机内部参数的两个约束条件，由于平面模板的单应性矩 阵具有8 个自由度，其中外部参数就占了六个( 三个旋转参数和三个平移参数) ，所以 只能得到剩下的两个约束。 2 3 2 摄像机标定参数 下面详述摄像机相机的内外参数求解过程。先初步求解摄像机的内外参数，然后 考虑镜头畸变。将求解的内外参数和畸变参数作为迭代的初始值，采用最大似然估计 ( m l ) 进一步求解相机的内外参数和畸变值。 ( 1 ) 求解相机内外参数( 迭代初始值) 第2 章摄像机标定技术及其实现 设b = 7 4 - 1 = i 骂： 1 ， d s 0b v o s 一夕 0b 届： 骂， & 昆 民如 j 矗b s1 一上一 0 学j 荸 如一u o v o 0 营毋 vos-uop 毒8 s(vos-uo乃vo。 & 磅学 百( v o s - u o f l ) 2 + 善+ l 0 毋j 营j 1 ( 2 1 1 ) 由上式可知b 是对称矩阵，则定义一个六维的矢量b ： b = 骂l ，届：，如，县3 ，吃，忍3 】 ( 2 1 2 ) 记h 矩阵的第i 列为晦= 【， ：，魄，】r ，则可以得到： 群b h j = v ，t ，6 ( 2 1 3 ) 其中，v u = 忽乃t ，忽哆2 + 噍z 嘭- ，忽2 吃z ，噍s 乃+ 忽。哆s ，忍s 乃：+ 忽z 哆，】。 由上式，根据单应性矩阵给出的两个摄像机内部参数的约束条件，可得： 髓厂p 泣 如果用于标定的是n 幅平面模板图像，那么我们可以得到n 个单应性矩阵。可表 示如下： v b = o ( 2 1 5 ) 在式中，v 是一个2 n x 6 的矩阵。若彪3 ，则可以列出六个方程，可以解出六个参 数，得到的解并不是唯一解，而是通过一个比例系数缩放的；如果刀2 ，为了便于解 出所有内参，则认为常用的c c d 传感芯片是方形的，即s = o ( 如果n = l ，我们只能求解 出二个内部参数，其它的参数必须默认是已知的，比如默认和是图像中心，并且 s o ) 。上式的解b 是v 的最小奇异值所对应的右奇异分量，即可得b ，相应的可以求解 各个内部参数。 1 2 第2 章摄像机标定技术及其实现 = ( 垦2 蜀，一e 。芝。) ( 蜀。芝2 一e 1 2 2 ) 名= 马3 一 珑+ v o ( n , 2 骂3 一尽。哎，) 】e 。 a = i x n , l = 4 x b , 。( e 。2 一a 1 2 2 ) s = 一e 2 a 2 1 7 1 2 u b = s v o p b i ，a 2 a 得到内参之后，可以得到外参的表达式，如下： 吒= l k l 磊 吃= 材1 忽 ( 2 1 6 ) 巧= ，i r e ( 2 1 7 ) t = 允f 1 屈 其中，a = , i i i a 。圳= 1 | i 彳一圳。由于噪声的存在，我们所得的旋转矩阵尺= ，；，吒，吩】并 不符合旋转矩阵的正交性，也即r 7 r ：1 。那么我们接下来的任务就是寻找一个最接近旋 转矩阵r 的最优旋转矩阵q ，使之满足q = l ，这里所指的最优指的是q r 的值最小， 也即解决如下问题： 唾n i i q r i i ；( q r q = 1 ) ( 2 1 8 ) 由于一r 幢= t r a c e ( ( q r ) 7 ( q r ) ) = 3 + t r a c e ( r r r ) 一2 t r a c e ( q r r ) ，那么求解上式的问题就 转化为求解t r a c e ( q 7 尺) 的最大值问题。将r 奇异值分解，记为r = u s v 7 ，其中 s = d a g ( a 。，c r 2 ，q ) 。我们定义一个正交矩阵z ，表示为z = v 7 q 7 u ，则可得：， t r a c e ( q r r ) = t r a c e ( q r u s v r ) = t r a c e ( v r q r u s ) = t r a c e ( z s ) = z i i q q i = l - - i ( 2 1 9 ) 由式可知，当q = 沙7 时，z = i ，t r a c e ( q 7 尺) 有最大值，这时的q 就是最优的j 下交矩 阵。 2 3 3 透视畸变模型与畸变校正 在一些精度要求比较高的场合或使用一些畸变比较明显的镜头，必须考虑镜头的 各种畸变。【6 1 由于摄像机光学系统并不是精确地按理想化的小孔成像原理工作，存在有 透视畸变，物体点在摄像机成像面上实际所成的像与理想成像之间存在有光学畸变误 1 3 第2 章摄像机标定技术及其实现 差。主要的畸变误差分为三类：径向畸变、离心畸变和薄透镜畸变。第一类只产生径 向位置的偏差，后两类既产生径向偏差，又产生切向偏差。 ( 1 ) 径向畸变：径向畸变主要是由镜头形状引起的。径向畸变最重要的性质就是 畸变关于主光轴对称，其数学表达式如下 艿肼= k l p 2 + k s p 4 + k s p 6 + 万：，：k 2 p 2 + k 4 p 4 + k 6 p 6 + 2 2 0 式中p ：理想成像点到像面圆点的距离，p 也是像点在像面物理坐标系中的极坐标。 毛，屯：径向畸变系数，毛为一阶径向畸变系数，如为二阶径向畸变系数，以此类推。 ( 2 ) 偏心畸变：偏心畸变主要是由于光学系统中心与几何中心不一致造成的，即 镜头的光学中心不能严格共线。这类畸变即含有径向畸变又有切向畸变。畸变表达式 如下： 勤( 吒，儿) = 2 p l 屯咒+ p 2 ( 3 x ：+ 尤) + + 研( 吒，咒) 4 】 ( 吒，咒) ：a ( + 3 z ) + 2 仍吒耽+ 研( 吒，咒) 4 】 2 2 1 ) 其中p i ，p ：偏心畸变系数。 ( 3 ) 薄透镜畸变：薄透镜畸变是由于镜头设计缺陷和加工安装误差所造成的。如 镜头和像面有很小的倾角。这类畸变相当于在光学系统中附加了一个薄透镜，不仅会 引起径向偏差，而且会引起切向偏差。其表达式如下： 屯( 吒，乩) = ( + 戈) + c l ( x ，咒) 4 】 屯( 毛，儿) ：是( + ) + 0 【( 吒，咒) 4 】 2 2 2 其中墨，岛薄透镜畸变系数。 实际透视畸变误差 有效视野是两个摄像机视野的相交部分，因此为了获得较大的视野，往往采用焦 距较小的镜头，这时，线性模型无法准确描述成像的几何关系，在离图像中心越远处 几何畸变越大，由于摄像机光学系统设计和加工存在误差，获取图像包含了各种几何 畸变。通过上述三种畸变叠加，得到实际畸变的表达式，如下： x = x + 6 x = x 七6 盯七6 试七6 田 = x + l q x r 2 + ( 2 k 3 x y + k 4 ( r z + h 2 ) ) + 镌， y = y + 6 y = x + 砖+ 如 ( 2 2 3 ) = y + k j r 2 + ( 包( 厂2 + 2 x a ) + 2 k 4 x y ) 魄，2 其中，屯，甄为径向畸变量，屯，屯为偏心畸变量，x 和y 为理想状态下的图像坐标， 1 4 第2 章摄像机标定技术及j 实现 拥；为实际图像的坐标，r 为巧7 。 由“= + 六工+ 和y = v o + f r y 可得下式： l ( u - u o ) r 2 0 2 ( u - u o ) yz ( ，2 + 2 x 2 ) 六r 2 0 l l0 ( v - v o ) r 2 ( ，2 + 2 x 2 )2 x ( v v o ) 0l r 2l 毛 岛 岛 以 屯 丸 广 1 _ - 1u 叫l ( 2 1 4 ) l y v j 其中( “，v ) 和( “，y ) 分别表示理想无畸变的和实际有畸变的归一化像素坐标。理想值 ( 石，y ) 和( “，v ) 通过线性投影关系从空间点的已知坐标求得。给定a 个图像的m 个点， 并通过最小二乘法求得这个方程的解，即摄像机的畸变系数。 通过以上方法得到的参数与实际参数还有一定误差，还需要通过极大似然估计对 结果进行优化。假设成像点被相同的独立噪声破坏，那么极大似然估计可以通过最小 化以下代价函数实现： z z l l m , f ，- t h ( a ，r ，m ，毛，如，如，心，恕，氏) 0 ( 2 1 5 ) i = lj = l 其中，m ；，是第j 个点在第i 幅图像上的像素坐标矢量，膨，是第j 个点的空间坐标， 豌似，尽，m ，k l ，如，乞，也，屯，心) 是通过已知的初值得到的像点的估计坐标，使代价函数 最小的就是这个问题的最优解，初始值为前面求得的线性结果。 2 4 实验结果与分析 2 4 1 摄像机标定实验 标定首先需要一个精确定位点阵的平面模板，如下图所示。然后通过自由移动摄 像机或标定模板，使摄像机至少在2 个不同位置拍摄模板图像，通过模板上的点和其 图像的单应性来确定摄像机的内差，然后可以进一步解出摄像机的外参。 1 5 第2 章搬像帆标定技术c 实现 幽2 2 图像模板 本文的摄像机采用未经过内部标定和畸变枝下，分辨率为3 2 0 * 2 4 0 的普通摄像头 标定模板采用7 * 9 棋格模板，存5 个不同方向拍摄标定平而图像，如下图所示 毪2 3 拍摄得到的标定平面图像 然后提取各个图像中标定模板范围内的角点，建立对应关系。角点提取通过下一 章介绍的s u s a n 角点检测方法。 蔓! 芏型堡! ! 整星茎苎星基壅墨 国匦匦 豳因 圈2 4 标定平面捌像的角点信息 通过本章的标定算法得到摄像机的各内部参数如下： 口= 4 1 6 9 8 6 4 3 为1 1 方向摄像机焦距( 即上) f l = 4 1 75 0 1 4 8 为v 方向摄像机焦距( 即上) u 。= 1 6 02 5 9 8 v o = 1 2 02 3 6 8 s = o0 0 0 0 2 7 6 24 2 畸变校正实验 通过畸变校正算法，得到畸变校正系数参数如下 盘= - 0 4 3 5 6 9 舷= 0 7 2 9 8 3 k = - 4 ) o l l 2 1 t = 0 0 6 4 2 5 觑= 0 0 0 0 9 8 疋= 00 0 0 2 5 得到的重投影平均误差如下： e r r = 0 1 4 肪= n 1 3 图2 5 畸变校正后的标定平面图像 对原始图像进行校正，可以得到如上图的效果。从图中可见经过畸变校正的图像 与原始图像相比，消除了明显的橘形畸变，校正效果明显。实验证明，本算法同时考 虑径向畸变、偏心畸变和薄透镜畸变所建立的校正模型可以有效地进行畸变校正。 第3 章立体匹配基本理论与特征点检测 第3 章立体匹配基本理论与特征点检测 3 1 立体匹配基本理论 在由图像获取、摄像机标定、特征提取、立体匹配、立体重构这5 个步骤构成的 计算机立体视觉系统中，立体匹配是其中一个重要的部分。 立体视觉主要存在的问题在于：对存在特殊结构的景物，如平坦，缺乏纹理等部 分容易产生假匹配；对方向平行于外极线的特征匹配会出现岐义；在基线距离长的双 目视觉模型中，由于遮挡以及公共视区太小，会产生失配。因此要获得良好的匹配结 果必须获得唯一、可靠和实际存在的对应特征。 立体匹配的难点在于以下的三个方面： ( 1 ) 特征信息的判断依据是什么，选用哪种特征作为判断依据。 ( 2 ) 如何正确的对应特征信息。 ( 3 ) 如何进行快速的匹配，因为特征点的匹配搜索量很大，大量的计算工作将导 致算法效率低下。 3 1 1 特征基元的选择 对应性问题不是简单的把两幅图中像素的灰度作比较就能解决的。左右图像中单 个像素点的灰度不够稳定，即使认为它们是稳定的话，也很容易出现在相当大的区域 里像素具有相同灰度的情况，这样就造成了严重的多义性问题，或假目标问题。 立体视觉处理中对搜索对应点时的多义性问题可分两步来解决。【7 j 第一步，是在单 幅图像作预处理时通过抽取图像局部结构较为丰富的描述来减少错误对应的可能性； 第二步，是在两幅图像的对应点间作匹配时应用选择性规则来限制搜索空间。各种算 法问的区别主要在于它们在匹配时选择什么样的特征匹配基元作为表面位置标志的基 本元素，以及选用什么规则来限制搜索空间和删除不合适的匹配。 选择匹配基元时要考虑基元的稳定性和敏感性。由于图像对中不可避免的存在光 度学和儿何学的畸变为了在这种情况下，仍能可靠的检测所需的位置标志，所选用的 匹配基元应能经受上述两方面的崎变，也就是应有较高的稳定性。同时，从减少出现 不正确匹配的可能性来看，所选的匹配基元应能灵敏的反映两个匹配基元之间的差别， 这就是说要有较高的敏感性。人类的立体视觉经受图像对之间对比度差别很强，这意 1 9 第3 章立体匹配基本理论与特征点检测 味着在人的立体视觉中可能应用了如局部灰度梯度最大