（精密仪器及机械专业论文）机器视觉在在线检测中的应用(精密仪器及机械专业优秀论文).pdf

机器视觉在在线检测中的应用 摘要 视觉测量是机器视觉理论在测量领域的应用，这项技术在国外已经得 到了深入研究和广泛的应用，在国内也受到了越来越多的重视。随着计算 机硬件性价比的不断提高，相关技术的不断发展，视觉测量以其柔性、快 速、非接触、精确、自动化程度高等特点将很快得到广阔的应用。 本文以图像处理为基础，围绕视觉测量系统中的摄像机成像及其标定 技术，进行了深入研究。归纳起来论文的主要工作和成果如下： 1 分析了与视觉测量相关的数字图像的基本理论及图像处理的基本 方法，主要包括图像增强、图像分割等，并通过对平面模板的图像处理， 获得了其特征点的像素坐标。 2 系统论述了视觉测量中的摄像机理想及径向准直约束模型的数学 模型，对影响摄像机成像质量的镜头畸变作了深入分析，给出了常用的 几种数学模型。 3 研究了比较常用的摄像机参数标定方法。并在此基础上对单平面 模板优化了标定过程，即在考虑径向准直约束的条件下，利用已经预标定 的一些摄像机内部参数，通过解线性方程组对摄像机的外部参数以及有效 焦距，径向畸变等进行标定。并通过实验验证了可行性。 4 结合单平面模板的摄像机标定，给出了线结构光平面的标定步骤， 并对其误差进行了概要分析。 关键词：视觉测量图像处理摄像机标定径向准直约束线结构光 a p p l i c a t i o no rv i s i o nm e a s u r e m e n ti nr e a l t i m e m e a s u r e m e n tt e c h n i q u e a b s t r a c t v i s i o nm e a s u r e m e n ti sa na p p l y i n gt e c h n o l o g yo fm a c h i n ev i s i o nt h e o r y i nt h em e a s u r e m e n tf i e l d ，w h i c hh a sb e e na sp o p u l a ra th o m ea sw e l la s r e s e a r c h e df u r t h e ra n da p p l i e dw i d e l ya b r o a d w i t ht h er a t i oo fc o m p u t e r h a r d w a r ea n dp e r f o r m a n c ei n c r e a s i n g ，t h er e l a t i v et e c h n o l o g yd e v e l o p i n g ，t h e c h a r a c t e ro ff l e x i b i l i t y ，f a s ts p e e d ，n o n - c o n t a c t ，h i g hp r e c i s i o na n dh i g h d e g r e eo fa u t o m a t i o n ，t h ec o m p u t e rv i s i o nm e a s u r e m e n tw i l lb ea p p l i e do n m o r ef i e l d s w i t ht h eb a s et h e o r yi m a g ep r o c e s s i n g ，c a m e r ai m a g ea n dc a l i b r a t i o ni n v i s i o nm e a s u r e m e n ta r es t u d i e d r e s e a r c h e sa r em a i n l yf o c u s e do nt h e f o l l o w i n ga s p e c t s ： f i r s t l y ，t h eb a s et h e o r yo fn u m e r i c a li m a g ea n dt h eb a s et e c h n i q u eo f i m a g ep r o c e s s i n g a r ei n t r o d u c e d s u c ha s i m a g ee n h a n c e m e n t ，i m a g e p a r t i t i o ne t c p i x e l sc o o r d i n a t e so fp a r t i c u l a rp o i n ta r ep r o v i d e dt h r o u g h i m a g ep r o c e s s i n gi np l a n em o d e l s e c o n d l y ，t h ep e r f e c tp r o j e c tt r a n s f o r m a t i o na n dt h er a d i a la l i g n m e n t c o n s t r a i n tm o d eo fv i d e oc a m e r a si nv i s i o nm e a s u r e m e n ti si n t r o d u c e d t h e l e n sd i s t o r t i o n sh a v i n gi n f l u e n c eo nt h eq u a l i t yo fi m a g e sa r es t u d i e da n da f e w m a t hm o d e l so fu s u a l l yu s e da r ep r e s e n t e d t h i r d l y , s e v e r a i m e t h o d so f3 dv i s i o nc a m e r ac a l i b r a t i o na r e r e s e a r c h e d ，o nw h i c ht h ec a l i b r a t i o np r o c e s so fs i n g l e p l a n ei so p t i m i z e d t h a ti so nt h er a d i a la l i g n m e n tc o n s t r a i n tc o n d i t i o n ，t h ei m a g es c a l ef a c t o r h a sb e e nc a l i b r a t e d ，t h ec a m e r ae x t e r n a lp a r a m e t e r se f f e c t i v ef o c a ll e n g t h a n dt h er a d i a ll e n sd i s t o r t i o nc a nb e e nc a l i b r a t e dt h r o u g ht h el i n e a ra l g o r i t h m i ta l s oi sp r o v e db ye x p e r i m e n t s l a s t l y ，t h es t e p so fs t r u c t u r e d - l i g h tp l a n ec a l i b r a t i o na n dg e n e r a le r r o r a n a l y s e sa r ep r o v i d e d ，a c c o r d i n gt ot h es i n g l e p l a n ec a l i b r a t i o no f c a m e r a k e yw o r d s ：v i s i o nm e a s u r e m e n t ，i m a g ep r o c e s s i n g ，c a m e r ac a l i b r a t i o n ，r a d i a l a l i g n m e n tc o n s t r a i n t ，s t r u c t u r e d l i g h t 插图清单 图1 - 1 视觉系统结构框图 图2 - 1 针孔模型成像原理示意图 图2 2 理想透镜成像原理图 图2 - 3 摄像机理想透视变换模型 图2 4 径向畸变 图2 - 5 切向畸变 图2 - 6 畸变结果 图2 7 点结构光传感器 图2 - 8 线结构光传感器 图3 1 均值滤波前后图片 图3 2 中值滤波前后图像 图3 3 频率域滤波原理 图3 4r o b e r t s 算子边缘检测 图3 5s o b e l 算子边缘检测一 图3 - 6p r e w i t t 算予边缘检测 图3 7l o g 算子边缘检测 图4 1 径向准直约束图解 图4 2 模板与拍摄所的图像 图4 3 交比不变性 图4 - 4 透视模型中的交比不变 图4 5 测量原理图 图4 - 6 标称量块的测量 o j h n m加殂控拼“筋拍曲的 表格清单 表3 1 质心法处理结果2 9 表4 - 1 特征点空间坐标3 8 表4 - 2 特征点像素坐标3 8 表4 3 横向结构光坐标系特征点对应坐标4 1 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得金g b 王些盍堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均己在论文中作了明确的说明并表示谢意。 学位论文作者签名：芬名彩 签字日期：，f 年彳月7 v 同 学位论文版权使用授权书 本学位论文作者完全了解合肥工业大学有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文 被查阅和借阅。本人授权合肥工业大学可以将学位论文的全部或部分内容 编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇 编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：以缸 签字同期：“年月同 学位论文作者毕业后去向 工作单位： 通讯地址： 导师签名： 签字同期：铑瑰 电活 邮编 致谢 本学位论文是在金施群副教授的悉心指导和关怀下完成的。导师最大 限度地提供了良好的学习和科研条件。从课程学习到按研究方向所进行的 论文选题，课题立项、论证、研究、实验、总结、论文撰写和修订中，金 老师始终给予了我悉心地指导，倾注了大量的心血，使得课题的研究取得 了很好的成果，论文也得以顺利完成，我的专业技术和科研能力有了长足 进步。金老师渊博的知识、严谨的治学态度、和诲人不倦的敬业精神，使 我受益匪浅。在此，向尊敬的金老师表示衷心的感谢和最诚挚的敬意。 感谢王彭、李杰、刘安生、黄亮、朱汇风、张梅、倪化生、王霞、章 赞、卢兴国、王标、张士峰、黄永刚等同学，感谢刘军、葛茂根、喻远洋 等朋友。在我的学习、科研和生活中，他( 她) 们给予了很多启发和帮助， 并使我研究生期间的生活增添了很多快乐。 还要特别感谢我的父母，他们是我无私的后盾，在我最困难的时候他 们总是在我身后用他们独有的温暖帮助我、鼓励我。在此，我要向他们深 深地鞠躬，希望我能在未来用更多更好的成绩来回报他们。 再一次感谢所有帮助我和关心我的人们，祝他们身体健康、心想事成。 作者：卞铭 2 0 0 6 年6 月 1 1 引言 第一章绪论 机器视觉检测简称视觉检测，也称之为视觉测量，是建立在计算机视觉【i 】 研究的基础上的一门测试计量技术。它把图像当作检测和传递信息的手段或载 体加以利用，从图像中提取有用的信号，通过处理被测图像而获得所需的各种 参数。与计算机视觉研究的视觉模式识别、视觉理解等内容不同，视觉测量的 重点研究物体的几何尺寸及物体的位置测量，它以光学为基础，融光电子学、 计算机技术、激光技术、图像处理技术等现代科学技术为一体，组成光、机、 电、算综合的测量系统。如图所示其视觉测量系统的结构主要有c c d 摄像机【3 】、 图像采集卡、图像处理软件、计算机及其外设等组成【2 】，其工作过程为：将被 检测物体置于尽可能均匀照明的可控背景前，c c d 和图像采集卡将被检测对象 采集到计算机里，计算机里面的图像处理软件对所得的图像进行处理分析和解 释等，进而做出某些决策，最后计算机通过外设输出检测结果或者直接将结果 用于控制工业过程等。根据检测目的的不同，检测结果可能是检测对象的几何 尺寸，也可能是缺陷或字符等识别结果等。针对不同的检测目的，系统硬件方 面几乎无需改动，而仅需要改变图像处理软件，可见图像处理软件在整个视觉 检测过程中有着极其重要的地位。 图1 1 视觉系统结构框图 1 2 测量系统采用的c c d 摄像机和图像采集卡 1 2 1c c d 面阵摄像机 我们在测量中采用的是c c d 面阵摄像机。c c d 是英文( c h a r g e c o u p l e d d e v i c e s ) 的缩写，意即“电荷耦合器件”。c c d 是固态图像传感器的一种，固态 图像传感器是指把布设在半导体衬底上的许多感光小单元的光一电信号，用所 控制的时钟脉冲读取出来的一类功能器件。它又分线阵( 一列光敏元件) 和面阵 ( 多列光敏元件) 两种，其功能和摄像管类似。它与传统的真空管式光导摄像管 相比，有体积小、重量轻、寿命长、稳定性好、耐震动、速度高，几何失真小 及耐高压等一系列优点。且其制造工艺和一般半导体集成电路的制造工艺相比 并不十分复杂，因而自7 0 年代出现以来获得了很大的发展。 1 2 1 ic c d 的基本结构 构成c c d 最基本的单元是m o s ( 金属一氧化物半导体) 电容器，或称m o s 结构，这些彼此非常靠近的一系列m o s 电容器组成c c d 最基本的结构。这些 电容器用同一半导体衬底制成，衬底上面生长均匀、连续的氧化层，只是各个 金属化电极互相绝缘，但只相隔极小的距离。这是保证相邻势阱的耦合和电荷 能够转移的基本条件。 i 2 1 。2c c d 基本工作原理 所谓c c d 就是紧密排列在半导体绝缘表面上的电容器，它可以用来贮存和 转移以电荷包形式出现的信号。硅半导体有光电效应，当它受光照射时，产生 的自由电子与光强成正比，故由许多光敏单元组成的c c d 可作为传感元件， c c d 感光元件的表面为透光部分，位移寄存器的表面为遮光部分。每一光敏单 元产生的电荷正比于光强和光积分时间。当转移栅有控制脉冲时，各电荷包并 行转移至c c d 位移寄存器。若按适当顺序对着c c d 位移寄存器的电极加上脉 冲，则通过位阱形状韵变化，就会使电荷包转移，如果能串行输出各单元信号， 就成了c c d 面阵传感器。 1 2 2 图像采集卡 c c d 获得图像的信息是模拟量，要对视频图像进行数字化才能输入计算 机。图像采集卡可以将摄像机摄取的模拟图像信号转换成数字图像信号，使计 算机得到所需要的数字图像信号。 图像采集卡集信号放大、滤波、模数( a d ) 转换、存储、输入，输出0 o ) 接口于一体。图像采集卡完成的主要工作是a d 转换，使信号数字化。来自 信号源( c c d 摄像机) 的图像信号到达图像采集卡的输入端居，由预处理电路 进行电压幅值标准化、亮度调节和对比度调节，再经过卡上的a d 转换，将模 拟信号转换成为数字图像信号。转换后的数字图像信号存储在图像采集卡上的 帧存储器内，该存储器被映射为微机内存的部分，微机可通过访问这部分内 存处理图像。 图像数字化后，我们从计算机上所得的图像数据是由一个个像素所组成的， 每个像素都对应于物体上的某一点。每个像素的值，一般由灰度值来描述，灰 度值与该像素所对应的物体点亮度所对应，灰度值越大表示其亮度越亮。如果 每个像素的灰度值由8 位二进制来表示，亮度的变化即可从0 变化到2 5 5 。一 张经过数字化后的图像的品质的好坏和其分辨率有密切的关系，分辨率越高图 像的品质越好。但是因为图像被分割得越细，需要的存储空间就越大，处理的 时间就越长。 1 3 视觉测量系统的测量方法的分类4 4 l 根据照明方式和几何结构关系的不同，大体上可以分为被动视觉法和主动 视觉法两大类。 被动视觉是采用非结构光照明方式，它的光源来自自然环境或者专用照明 系统，但光源的能量和照明方向不受控制，然后根据被测空间在不同像面上的 相互匹配关系，来获得空间点的三维坐标；被动视觉的最基本原理是基于立体 视差法。该方法从人的双目成像原理出发，通过两台( 或更多台) 相对位置固 定的摄像机，完全利用现有的非结构光照明条件获取同一场景的两幅( 或多幅) 图像，计算空间点在两幅图像中的视差，再由推导出物体表面的深度信息。在 基于立体视差的视觉系统中，最困难的部分是视差本身的计算，它要求特征匹 配，即找出左右两幅图像中的对应点，而这在被测物体上各点反射率没有明显 差异，也没有先验知识和明显标志的条件下是十分困难的。因此，该类方法主 要适用的场合要求有一定的己知的约束条件，如平行直线、已知距离的线段、 建筑物的直角等，有了一些受限物体后，对图像中的简单特征可以进行精确匹 配，速度也较快。 主动视觉采用了结构光照明技术，其照明所用的光源多为激光，因为激光 具有方向性好、亮度高、能量集中等优点。通过向待重建三维场景投射特定结 构光，而三维场景表面对结构光场的空间或时间进行调制，那么观察到的光场 中就携带了三维表面的信息，对该光场进行解调，可以得到三维表面数据。基 于不同的测量原理，可以将其简单分为以下几类： 1 ) 基于三角原理的主动视觉p 5 j 该形式的传感器是利用特殊的光源所提供的几何结构信息帮助提取物体表 面的三维坐标信息。根据不同的结构光方式，可以分为：点结构光、线结构光、 多线结构光、编码结构光传感器。 ( 1 ) 点结构光传感器：多以半导体激光器作为光源，其产生的光束照射到 被测表面，经表面散射( 或反射) 后，用面阵c c d 摄像机接收，光点在c c d 敏感面上的位置将反映出表面在法线方向上的变化。 ( 2 ) 线结构光传感器：半导体激光器产生的激光经柱面镜变成线结构光， 投射到被测区域形成一激光带，用面阵c c d 摄像机接收散射光，从而获得表面 被照明区域的截面形状或轮廓 ( 3 ) 多线结构光传感器：半导体发射的激光经扩束后照射到光栅上，便产 生了多条结构光，投射到被测表面上形成多亮带，同样用面阵c c d 摄像机接收， 可获得表面的三维信息。 ( 4 ) 编码结构光传感器：该类型结构光传感器主要是为了在简化匹配问题 的基础上得到更多的三维信息，那么就需要设计可区分的不同结构光条( 或光 点) ，并使其遍布整个图案，各光条( 或光点) 之间的关系可通过对激光的某一 特征进行编码来确定，如黑白编码、彩色编码、宽度编码等。该传感器可一次 得到所有光源照射点的三维坐标，此时的匹配问题表现为寻找主动光源所发射 的结构光与结构光图案之间的对应关系。 2 ) 基于相位测量原理的主动视觉【3 9 l 利用相位干涉仪进行三维测量的方法由b a h l 和l i b u r d y 提出，并获得满意 的结果。物体表面深度信息由投射到物体表面的干涉条纹的相位变化和物体深 度之间的关系获得。m o i r e 条纹技术也属于这种方式。这种方法的优点是：可 以获得很高的测量精度。但是这种方式需要一个高质量的光栅投射器和稳定的 光学平台以防止振动对测量的影响，这使得测量系统的成本相当高。另外测量 过程中的精确定位和相位差的高强度计算( 包括快速傅立叶变换和傅立叶逆变 换) ，使得测量速度不可能很快，因此不适合在线测量。 1 4 视觉检测中图像处理理论基础和概述 二十世纪7 0 年代，m a r r 提出了视觉计算理论【8 】和三维视觉理论，比较系 统地、一般地揭示了用二维图像恢复三维物体形态的可能性和基本方法，成了 计算机视觉的重要理论依据，m a r r 认为描述三维物体有三个层次。 ( 1 ) 图像特征。由二维图像中的边缘点、线、纹理等基本几何元素或特 征构成要素图或基元图： ( 2 ) 2 5 维骨架。它在以观察者为中心的坐标系中，表示可见表面的外法 线方向、离观察点的距离以及他们不连续点的轮廓等。 ( 3 ) 三维模型的表示，描述了三维物体的形状和他们在空间的结构。 这一理论框架为机器视觉这门学科形成起了重要的作用。 视觉检测作为计算机视觉的一个运用取得的一个在巨大成就是应用在医 学上计算机断层摄影技术，简称c t 。它是由1 9 7 2 年英国e m i 公司工程师 h o u s f i e l d 发明的装置，这项技术获得了诺贝尔奖，说明它对人类作出了划时代 的贡献。 将机器视觉引入到工业测量已经在很多领域得到了广泛的应用，如：印刷 电路板的视觉检查、钢板表面的自动探伤、大型工件平行度和垂直度测量、容 器容积或杂质检测、汽车车身检测、纸币印刷质量检测、印刷套色识别、机械 零件的自动识别分类和几何尺寸测量等。这种作为人类视觉的延伸，视觉技术 在现在和未来将获得更广阔的应用。这一切应用的很重要的一步就是对获得图 像的处理。 视觉检测中的图像处理就是将图像装换成一个数字矩阵存放在计算机中， 并采用一定的算法对其迸行处理，以提高图像的质量或达到人们所预期结果。 图像处理的基础是数学，最主要的任务就是各种算法的设计和实现。根据应用 领域的不同要求，可以将图像处理技术划分为许多分支，与视觉检测相关的主 要有以下几点。 ( 1 ) 图像的数字化：通过采样与量化将模拟图像变换成便于计算机处理的 数字形式。图像在计算机内通常用一个数字矩阵来表示，矩阵中的每 一个元素称为像素。图像数字化的设备主要是各种扫描仪与数字化 仪。 ( 2 ) 图像增强：主要目的是增强图像中的有用信息，削弱干扰和噪声，使 图像清晰或将其转换为更适合人或计算机分析的形式。图像增强并不 要求真实的反映原始图像。 ( 3 ) 图像分割与特征提取：图像分割是将图像划分为一些互不重叠的区 域，通常用来分割的对象从背景中分离出来。图像的特征提取包括了 形状、纹理特征和岩石特征等。 ( 4 ) 图像分析：对图像中的不同对象进行分割、分类、识别、描述和解释。 以上的图像处理内容在视觉测量中是相互联系的，首先是对图像的数字化 将一个图像变换为适合计算机处理的形式，图像增强可以为后续的图像处理工 作做准备，图像分割得到图像的特征。这里预先图像处理得到的图像特征是和 实际空间物体相关的，这种相关关系是由摄像系统的成像模型来决定，有了摄 像的的成像模型。我们就可以依据成像模型标定出其参数包括相机的内部几何 参数、光学成像参数以及相机相对于空间某坐标系的方向和位置参数。有了这 些参数我们就可以利用图像和空间物体的特征点对应关系完成对空间物体的重 构与检测。 1 5 视觉测量中标定的概述 摄像机标定”1 主要研究在计算机视觉系统内摄像机的定位和内外参数的识 别问题，是后期视觉的主要研究内容。随着计算机视觉应用的不断普及，摄像 机标定技术作为视觉系统不可缺少的前提和基础部分受到国内外学者的广泛关 注。对摄像机标定技术的研究作为计算机视觉中首先必须解决的关键问题有着 很重要的意义，为计算机视觉在相关的各个领域的广泛应用奠定了坚实的基础。 计算机视觉系统应能从视觉传感器( 如摄像机) 获取的图像出发，计算出三 维环境物体的位置形状等几何信息，并由此识别环境中的物体，才能做出正确 反应，因此计算机视觉的中心任务就是利用计算机实现对三维景物的描述和识 别。所谓描述是由三维信息生成二维图像的过程，而识别则是二维图像的三维 恢复，无论哪种任务首先必须解决的都是三维物点与二维像点的对应关系问题。 这种对应关系是由摄像机成像几何模型决定的而确定，这种对应关系的过程即 摄像机标定，一旦建立了这种对应关系，就可以通过二维像点坐标推出物点三 维世界坐标，或相反的从已知的三维信息推出二维信息。目前对摄像机标定已 经进行了广泛的研究，特别是成像模型和畸变补偿这两个摄像机定标中的研究 热点，已经取得了一系列成果。有专家指出：摄像机标定的理论问题已得到较好 的解决，对摄像机标定的研究来说，当前的研究工作应该集中在如何针对具体 的应用问题，采用简便、实用、快速、准确的标定方法。 根据是否需要放置标定参照物摄像机标定技术可以分为两类“”：一是传统 的摄像机标定技术；二是自标定技术1 。传统的摄像机标定是在一定的摄像机 模型下，基于特定的实验条件，如形状、尺寸己知的标定物，经过对其进行图 像处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部 参数。不依赖于标定参照物的摄像机标定，仅利用摄像机在运动过程中周围环 境的图像与图像之间的对应关系对摄像机进行标定，称为摄像机自标定方法， 它又分为基于主动视觉的摄像机自标定技术( 基于平移运动的自标定技术和基 于旋转运动的自标定技术) 、利用本质矩阵和基本矩阵的自标定技术、利用多幅 图像之间的直线对应关系的摄像机自标定以及利用灭点和通过弱透视投影或平 行透视投影进行摄像机标定等。自标定方法非常地灵活，但是其标定过程复杂， 不宜用于实时性要求较高的场合，并且其最大的不足是鲁棒性不足，一般来说， 当应用场合所要求的精度很高且摄像机的参数不经常变化时，传统标定方法为 首选。而自标定方法主要应用于精度要求不高的场合，如通讯、虚拟现实等。 目前，在简洁性的基础上采用高精度标定方法的视觉成像坐标测量技术己经成 为国内外视觉测量领域中的研究热点。 1 6 论文的结构与主要内容 本论文工作是在合肥工业大学校基金项目“机器视觉在线检测技术研究” 资助下进行的，同时也是省重点项目“大范围自由曲面视觉坐标测量机技术研 究”研究内容的组成部分。 本论文主要从视觉测量中的图像处理着手，围绕计算机视觉的标定进行了 论述，在对成像的模型有了深刻认识之后，提出了相应的标定方法。论文的主 要结构如下： 6 第一章为绪论。解释了什么是视觉测量，对视觉测量方法作了介绍；对视 觉测量中的图像处理和标定进行了简要的橛述。 第二章标定的基本概念和摄像机成像的数学模型理论的论述。 第三章研究了图像处理的基本知识，特别是研究了获取平面模板特征点中 将会应用到的一些图像处理方法，如图像增强、图像分割等。并对模板利用 m a t l a b 工具箱函数给出特征点的处理结果。 第四章分析了几种传统的摄像机标定方法，并在此基础上提出了一种简化 的摄像机标定数学处理方法。同时在摄像机标定的基础上给出了线结构光平面 的标定方法，以及标定的步骤，利用标定结果对标准量块进行测量实验，并对 试验误差作了概要分析。 第五章对全文的研究结果进行了总结，并提出进一步研究的主要问题。 第二章摄像机标定基本理论及数学模型 视觉测量可以简单表述为从已获得的二维图像中获取物体的三维信息的问 题。该问题同样可以表述为：由摄像机标定所确定的模型和参数能够在计算出 某目标点图像坐标，确定一条目标点必在其上的空间直线，利用两幅图像，即 可由两条直线的交点确定该目标点的空间位置，完成目标的三维测量和三维重 构。 摄像机( c c d ) 所获取的三维物体的二维图像是以像素为单位的，如何确 定物体的三维空间坐标和二维图像的对应关系是摄像机标定工作所要解决的基 本问题。空间物体表面某点的三维几何位置与其在图像中对应得相互关系是由 摄像机成像的几何模型决定的。这些几何模型参数就是摄像机参数，参数的获 得过程就是摄像机标定。 对摄像机进行标定的前提是对摄像机成像建立合适的数学模型，所建的模 型越接近测量的实际情况就越能清晰准确的把测量中所用的参数和测量结果准 确精确的表达出来。 2 2 视觉测量中摄像机成像的数学模型 在视觉检测系统中，c c d 摄像机是重要的组成部分，是视觉系统获取三维 信息最直接的来源，传感器的建模就是建立摄像机像面坐标系与测量参考坐标 系之间的关系。根据模型的参数选择，建模方法主要有以下两种【1 9 2 0 】： 1 ) 完全利用投影变换理论，通过无任何物理意义的中间参数，将图像坐标系与 测量参考坐标系联系起来。对该类数学模型的局部标定就是计算中间参数的过 程，且对这些参数无任何约束，只要它们结合在一起能完成正确的三维测量即 可。 2 ) 通过具有明确物理意义的几何结构参数，如光学中心、焦距、位置以及方向 等，建立图像坐标系与测量参考坐标系的关系。这类方法的模型参数一般分为 摄像机内部参数和传感器结构参数两部分。摄像机内部参数指摄像机内部的几 何和光学特性，视觉系统的结构参数指图像坐标系相对于测量参考坐标系的位 置参数。这种模型直观，可根据使用场合及要求达到的精度不同建立不同复杂 程度的数学模型。因此，在视觉检测技术中被广泛使用。 机器视觉检测系统通常是多视觉系统即有多个摄像机联合组成的系统。摄 像机( c c d ) 成像的数学模型的准确性对系统的功能、精度和效率有着较大的 影响。本章将基于第二种建模方法，从摄像机的成像模型出发，建立摄像机成 像的数学模型。 2 2 1 摄像机成像模型的描述 在机器视觉检测系统中，摄像机是视觉传感器的主要功能元件，被测对象 的位最、形状等几何尺寸是从摄像机获取的图像信息中计算出来的。图像上每 一点的亮度反映了空间物体表面某点散射光的强度信息，而该点在图像上的位 置与空间物体表面相应点的几何位置有关。这些位置的相互关系，由摄像机成 像模型决定。摄像机的几何模型，即3 d 景物到2 d 图像的变换模型一般定义为： x = g ( x ) ( 2 - 1 ) 式中是g 关于3 d 景物点x = ( 而y ，z ) 7 到2 d 图像点x = ( x ，y ) 7 之间的不可逆变换 函数，显然它与成像几何、透视模型和所选择的坐标系直接相关。 三维空间中的物体到像平面的投影关系即为成像模型。理想的投影成像模 型是光学中的中心投影，也称为针孔模型【2 ，即假设物体表面的反射光都经过 一个“针孔”而投影在像平面上，满足光的直线传播条件。图2 - l 是针孔模型 成像原理示意图。小孔成像由于透光量太小，需要很长的曝光时间，并且很难 得到清晰的图像，而使用镜头可以很好地解决上述问题。因此实际摄影系统通 常是由透镜或透镜组组成的。图2 2 是理想单透镜成像原理图。比较可以看出， 透镜成像与针孔成像两者的焦距并不是一样的概念，在针孔成像中焦距等于像 距，而在透镜成像中，焦距并不等于像距。但两者的成像关系是一致的，即像 点是物点和光心的连线与图像平面的交点，所以可以用针孔模型作为摄像机成 像模型。 图2 - 1 针孔模型成像原理示意图 9 圈2 - 2 理想透镜成像原理图 在视觉检测中摄像机的成像模型一般用理想透视成像模型来近似。如图 2 3 所示，图中o 点为成像透视中心，o z 为摄像机的光轴，它与摄像机的像平 面( 对应于摄像机c c d 阵列) 垂直，0 为光轴与像平面的交点，它是像平面的 光学中心，但不一定是摄像机c c d 的几何中心，因为c c d 阵列可能未对中。过0 点作像平面坐标系，其j 轴平行于像素横向阵列，】，轴垂直于x 轴，使0 一x y z 形成右手直角坐标系，再过。点作摄像机坐标系。一x y z 平行于像平面坐标系。 光学中心0 点在计算机坐标系中的坐标为( c 。c ，) ，摄像机的投影中心在物体世 界坐标系o 。一x w y 。z 。中的坐标为( x 。，y 。，z 。) ，0 ) 、+ 、k 为物体分别绕摄像 机坐标系x 、y 、z 三坐标轴旋转的欧拉角( e u l e ra n g l e ) ，旋转方向按逆时针 方向，首先绕x 轴，然后绕y 轴，再绕z 轴。则空间物点p ( x ，y ，z ) 在像平面上对 应的理想像点是p u ( x 。，y o ) ，实际像点是p d ( x 。，y d ) ，在计算机坐标系中的坐标 为p d ( u ，v ) ，如果摄像机无镜头畸变，则有p a x 。，y u ) = p d ( x 。，y d ) ，因此摄像机 的数学模型可通过以下四个步骤来求得【2 。”l ： 1 世界坐标系到摄像机坐标系的坐标变换 为了求出物体上的点p 在像平面上的坐标，首先要把p 点在物体世界坐标 系中的坐标p ( x 。，y 。，z 。) 转换为摄像机坐标系。一x y z 中的坐标e ( x ，y ，z ) ，这种变 换包含平移与旋转变换，可由一个正交旋转变换矩阵和一个平移变换矩阵表示 为： 用齐次矩阵表示为 l o 、， 2 _ 2 ，l 1j x y z l 。，。l + 1lj w w w x y z 。，。，。，l1j b k b 屯b h i h 0 l = t+ j w w x y z 。l r 1 | ，j x y z l 图2 - 3 摄像机理想透视变换模型 r lr 2 r 4 r 7r 8 00 r l = c o s 4 c o s k r 2 = s i n m s i n + c o s k - c o s m s i n l l ： b = c o s o s i n + c o s k + s i n c o s i n k h = c o s d p s i n k r 5 = s i n s i n 击s i i l l ( + c o s c o c o s k r 6 = c o s o s i ns i n k s i n ( 0 c o s k f 2 - 2 a ) r 7 = s i n 6 r a2s i n o c o s 巾 r 9 。o 。8 。0 8 十 ( 2 2 b ) t x2 q x w o r 2 y w o - q z w o t y2 一r 4 x w o r s y w o r 6 z w o t z 。- r t x w o q y w o r g z w o 2 理想投影变换 在理想的情况下，物体上的点通过透视中心，按直线方式投影到摄像机的 c c d 像平面上。在摄像机坐标系下，空间点p ( x ，y ，z ) 到像平面的投影变换关系为： k 凡 丌iiiiiiii儿 k b k ， x 。：f _ x z y u = f 羔 z 式中，为摄像机的有效焦距。用齐次坐标表示，可写成 p f x l l l f f 。1 1 i ； ( 2 - 3 ) ( 2 - 4 ) 摄像机的像平面中的光敏单元在x 方向( 水平方向) 的个数为n 。( 像数) ，相 邻光敏单元中心距离为d 。，y 方向( 垂直方向) 的个数为札。( 像数) ，相邻光 n8 x ? ：l x a + c x ( 2 - 5 ) 刚剥 4 摄像机模型关系式 当不考虑摄像机的镜头畸变时，x 。= 以，巧= l ，则综合l 、2 、3 步，把 式( 2 - 2 ) 和式( 2 - 4 ) 代入式( 2 - 6 ) 并化简，得到从3 d 世界坐标系到2 d 计算 机坐标系的理想摄像机模型变换关系式为： 式中九0 为比例因子。 兰 ，2，3 吒，6 r 9 ( 2 7 ) 上式也可以写成表达式的形式： x d = s i i d 。( u c 。) y d = d y ( v c ，) f 坠芷旦生型k 生：x ( 2 8 ) r 7 x w + r g y w + r g z w + l z f 垒兰! 垒兰! 堡兰! ! ! r 7 x w + r s y w + r g z w + l 2 2 2 摄像机畸变成像模型 = y d 由于摄像机光学系统存在加工误差和装配误差，物点在摄像机像面上的实 际像点与理想像点之间存在着光学畸变误差，主要的畸变误差类型有三种：径 向畸变、偏心畸变和薄透镜畸变，第一类畸变仅使像点产生径向位置的偏差， 而后两类畸变使像点既产生径向位置偏差，又产生切向位置偏差。如图2 4 、 2 5 、2 - 6 所示，图中实线无畸变，虚线为有畸变。在图2 - 4 中为a 桶形畸变， b 为枕形畸变，图2 - 6 为径向畸变与切向畸变合成的效果。 终 叼莎 、 j ， ：岔咧呵， 理想位i ! 瓣 p 一 图2 _ 4 径向畸变图2 - 5 切向畸变图2 - 6 畸变结果 径向畸变主要是由镜头形状缺陷造成的，这类畸变是关于摄像机镜头主光 轴对称的，枕形畸变又称正向畸变，桶形畸变又称为负向畸变，其数学模型为： 6 ，= k l r 3 十| i ，r 5 + 后；r 7 十 ( 2 - 9 ) 式中r = x ：+ 巧为像点距像面中心的极距。k l ，k 2 ，k 3 ，为径向畸变系数t 一般 前两项起主要作用。若令x d = r s i n c t ，巧；r c o s c t ，则上式可化成： h 儿钆 r叫ijjjjjjl t 0 t ，o o l c q o 布o j d o o j j 。l 1 1 1，j v 矿 p。l 九 ( 2 1 0 ) 偏心畸变主要是摄像机镜头光学系统的光学中心与几何中心不一致造成 的，即镜头器件的光学中心不严格共线，这类畸变既含有径向畸变，又含有摄 像机镜头主光轴不对称产生的切向畸变，其数学模型为： 式中为。最大切向畸变与x 轴正向夹角，如图2 - 5 所示。设p 。= - 1s i n ( 1 。， p 2 = j lc o s a 。，按式( 2 - 1 2 ) 可将式( 2 1 1 ) 转成x 轴与i ，轴的形式： 阱一c o s o l - s i n a l 肛 8 , 。d 。 蚴 6 n _ p 1 ( 3 础+ y 2 ) + 2 ，p 2 x d ，y d + 一( 2 - 1 3 ) 1 6 n = 2 p i x d y d + p 2 ( x ：+ w ) + 式中p i ，p ，为切向畸变系数。 薄棱镜畸变是由于镜头设计缺陷与加工安装误差所造成的，如镜头与摄像 机像面有小的倾角等，这类畸变相当于在光学系统中附加了一个薄棱镜，不仅 引起径向位置偏差，而且引起切向偏差，其数学模型如下： j 2 ( 7 2 + i 2 r 4 + ) s i n ( o r - - a i ( 2 - 1 4 ) l 如= ( f l r2 + i 2 r 4 + - ) c o s ( a q ) 式中。l l 为最大切向畸变与x 轴正向夹角，设 = - i ls i n c e l ，j 2 = c o s a l ，则上式 可写成直角坐标形式： 6 ”剐麒：+ 9 ( 2 - 1 5 ) 【6 = s 2 ( x j + 巧) + 由上述可知，像平面上的理想点坐标值( x 。，e ) 应等于实际像点坐标值 ( x 。，匕) 和畸变误差值之和，即： 耄蒜8 x ” i 艺= 巧+ 6 圹+ 。+ 6 阳 把式( 2 - 1 0 ) 、( 2 - 1 3 ) 、( 2 - 1 5 ) 代入式( 2 1 6 ) ，并只考虑式( 2 1 0 ) 的前两项， ) 斗 伊p 啸砖 矿 七屯 + r ，以 孙讹 = = 削 ” 8 6 筠 啪灿 耖， 吖 姒如 可得摄像机的像面坐标理想值与实际值之间修正公式： x ”2 局( 1 + 七一2 + 七z j 4 ) + p ( 3 j ：+ r d ) + 2 p z z 一匕+ 5 - ( 一；巧) ( 2 - 1 7 ) 【v o = 匕( 1 + 后l r2 + 后2 r4 ) + 2 p i 局巧+ p 2 ( x ；+ 聍) + s 2 ( ；+ 巧) 由前面的分析可知，偏心畸变与薄棱镜畸变最终都可分解为径向畸变与切 向畸变，因此可以说，摄像机的畸变只有两种，即径向畸变和切向畸变。一般 来说，只要考虑径向畸变，并只需要考虑式( 2 1 0 ) 中前两项就可以了，任何更 加复杂的畸变模型，不但不能提高最终的测量精度，反而会由于模型的复杂使 得数值计算产生不稳定现象。因此实用的畸变修正模型为： 式中，= 正惭。对于高精度的测量也可以考虑一阶径向畸变和一阶切向畸 变。 由上述分析可知，当考虑摄像机镜头畸变时，摄像机模型变换关系式为： x a = s ：1 d 。( u q ) 匕= 以( 矿一q ) ，r l x 。+ 也y 。+ r 3 z 。十t 。吩x 。+ y 。+ z 。+ ，x 。+ 吩y ，+ 吃z 。+ l 。x 。+ y 。+ 岛z 。+ t 2 3 结构光视觉传感器数模型 二x d + 疋，+ 毛 ( 2 1 9 ) = y d + 6 + 6 v t 在视觉检测系统中，以激光作光源的结构光传感器的应用尤为常见，下面 从摄像机模型出发，来建立各种结构光视觉传感器数学模型。 2 3 1 点结构光视觉传感器数学模型 点结构光视觉传感器的光透射