（控制理论与控制工程专业论文）基于双目线结构光的大型工件测量.pdf

哈尔滨工程大学硕士学位论文 摘要 大型工件的三维测量是对整个工件生产质量、装配质量的重要评价标准， 获得其相关尺寸可以及时反馈给生产制造过程。在实际生产现场中，这类检 测方法一直没有得到较好的解决，普遍存在精度差、效率低等诸多问题，大 大制约了产品的质量和生产效率。论文根据现代测量技术的发展，针对大型 工件的尺寸测量需求和应用，将线结构光应用到大型工件的测量系统中。 ：本文结合现代船舶建造大尺度三维数字化测量系统的开发实践，对项目 所涉及到的线结构光三维视觉检测中的系统建模、参数标定、扫描方式的选 择等关键问题进行了研究和相关实验，为大型工件测量的现场实用化奠定了 基础。 基于线结构光测量基本原理，出现了许多不同的系统模型及建模方法。 本文除了根据三角原理建立系统的模型外，还针对以一般结构光传感器扫描 中的“盲区 问题，提出了一种双目结构光传感器，建立该系统的模型和结 构，并就需要对系统进行了标定，对标定的精度进行了实验验证。提出了利 用双置标定来辅助系统结构参数标定以提高精度的方法，以及在采集中涉及 到传感器转动轴心的标定方法。 针对大型工件尺寸测量的特点，设计给出了系统的硬件结构用以辅助扫 描的实现，采用基于移动坐标测量系统的扫描方式，对工件中的特征部分而 不是全部外貌信息进行扫描，采用位置信息触发相机进行图像采集，实现系 统的高精度，并最大程度地实现了测量的高效率。 关键词：视觉检测；线结构光；双目；三维测量；标定 哈尔滨工程大学硕士学位论文 a b s t r a c t t h e3dc o o r d i n a t em e a s u r e m e n to nl a r g es c a l ew o r k p i e c e sh a sa ni m p o r t a n t s i g n i f i c a n c e t ot h ee n t i r e w o r k p i e c e s p r o d u c t i o n a n d a s s e m b l i n gq u a l i t y o b t a i n i n go ft h er e l a t e ds i z e so fw o r k p i e c e s c a nf e e db a c kt o p r o d u c t i o n m a n u f a c t u r ep r o c e s sp r o m p t l y i nt h ep r a c t i c a lp r o d u c t i o n ，t h ep r o b l e m ss u c ha s l o wa c c u r a c ya n de f f i c i e n c yi nt h i sl 【i n do fm e a s u r e m e n th a v en o tb e e nw e l ld e a l t 、析t 1 1 i tg r e a t l yr e s t r i c t e dt h ep r o d u c te f f i c i e n c ya n dp r o d u c t i o nq u a l i t y a c c o r d i n gt ot h ed e v e l o p m e n ta n dp r a c t i c eo fm o d e r ns h i p b u i l d i n gh u g e s i z e3 - dn u m e r a lm e a s u r e m e ms y s t e m ，w ed i dad e e pr e s e a r c ha n dm a n yr e l a t e d e x p e r i m e n t so nl i n e s t r u c t u r e dl i g h to ft h i sp r o je c t ，i n c l u d i n gs y s t e mm o d e l i n g ， c a m e r aa n ds t r u c t u r ep a r a m e t e r sc a l i b r a t i o na n ds e l e c t i o no fs c a n n i n gm o d e t h e s ew o r k sp r o v i d eaf o u n d a t i o nt o p r a c t i c a la p p l i c a t i o n o fl a r g es c a l e w o r k p i e c e sm e a s u r e m e mi ni n d u s t r i a ls c e n e m a n yd i f f e r e n tk i n d so fs y s t e mm o d e l se m e r g e do nt h eb a s eo ft h ep r i n c i p l e o fl i n e - s t r u c t u r e dl i g h t n o to n l yt h e s y s t e mm o d e lo nt h ep r i n c i p l e o f t r i a n g u l a t i o nw a sb u i r ，b u ta l s oab i n o c u l a rl i n e s t r u c t u r e dl i g h ts e n s o rw a sp u t f o r w a r di n t h i s + p a p e ri nv i e wo ft h e “b l i n d i n ga r e a p r o b l e m i n g e n e r a l l i n e s t r u c t u r e dl i g h ts c a n n i n g t h es y s t e mm o d e lw a se s t a b l i s h e d ，a l s oc a l i b r a t e d d u et ot h er e q u i r e m e n t t h ea c c u r a c yo fc a l i b r a t i o nw a sp r o v e db ye x p e r i m e n t s t h em e t h o du s i n gt h eb i n o c u l a rc a l i b r a t i o na s s i s t ss y s t e mp a r a m e t e rc a l i b r a t i o nt o i m p r o v et h ep r e c i s i o nw a sp r o p o s e d ，a n da l s o t h ec a l i b r a t i o nm e t h o do ft h e r o t a t i o n a la x i sp o s i t i o no ft h i ss e n s o rw a sm e n t i o n e d a c c o r d i n gt o t h e c h a r a c t e r so fl a r g es c a l ew o r k p i e c e s ，h a r d w a r es t r u c t u r e w a sd e s i g n e dt oa s s i s tt h es c a np r o c e s s as c a n n i n gm e t h o db a s e do nm o b i l e c o o r d i n a t i o nm e a s u r i n gs y s t e mw a su s e dt os c a nt h ef e a t u r ep a r t s ，n o tt h e c o m p l e t ea p p e a r a n c eo ft h ew o r k p i e c e s p o s i t i o n a li n f o r m a t i o nw a s u s e dt ot r i g g e r t h ec a m e r ag r a b b i n gi m a g e s i tf i n a l l yr e a l i z e da h i g hp r e c i s i o na n de f f i c i e n c y k e yw o r d s ：v i s i o ni n s p e c t i o n ；l i n e s t r u c t u r e dl i g h t ；b i n o c u l a r ； 3 dm e a s u r e m e n t ；c a l i b r a t i o n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用己在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体己 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者。签字，：t 乏塑 日期：铲8 年弓月t ，日 哈尔滨【群大学硕十学位论文 第1 章绪论 1 1 研究背景及意义 本论文研究课题来源于与渤海船舶重工合作项目“现代船舶建造大尺度 三维数字化测量”的研究实验工作。本文主要对项目中所涉及到的用线结构光 三维视觉测量大型工件尺寸的一些关键问题进行了研究与实验，并在此基础 上提出了一种线结构光双目视觉测量传感器的结构，用以实现大型物体的三 维扫描，为实现相应检测设备的实用化奠定了良好的基础。 外形及尺度测量是人类认识和改造世界的最基本技术手段之一。在过去 的几十年中，经典的几何量如长度、角度、平面度、直线度等一维和二维的 测量与检测手段已经日益成熟。而随着现代工业的发展，。传统的测量手段已 经不能满足需要，物体的外形的三维数据成为测量领域中的一个新的重要的 研究方向。特别是大型工件的三维测量，是对整个工件生产质量、装配质量 的重要评价标准，获得其相关尺寸可以及时反馈给生产制造过程。然而在实 际生产现场中，这类检测方法一直没有得到较好的解决，很多单位仍在用传 统的检测方法，这些方法普遍存在精度差、效率低等诸多问题，大大制约了 产品的质量和生产效率。由于三维测量的复杂性和特殊性，特别是大尺寸的 不规则形体，如船体分段等大型工件，如何快速、高精度的获取这些大型物 体三维数据，成为现代工业发展中的一个亟待解决的问题u 4 。 现在虽然已经出现了各种三维测量设备并已经产品化，但是它们普遍存 在着测量范围小，针对性强，价格昂贵等不足，特别是国内这方面的研究还 很不成熟，应用还有一定差距。因此大尺寸，大量程，高精度，低成本的三 维测量技术的研究具有重要的意义。 1 2 工业目标的三维测量方法综述 从测量技术的发展来看，我们经历了由接触式到非接触式，由一、二维 到三维，从手工到自动化测量的过程。工业目标的一、二维测量发展己较成 熟，而三维测量，由于其自身的复杂性产生了多种应用于某种专用场合的测 量方法，这些方法各有利弊，并且仍是科技界研究的热点。分类大致如图1 1 哈尔滨工程大学硕士学位论文 所示。下面就主要对大尺度的测量方法作介绍。 图1 1 三维测量方法分类示意图 1 2 1 三维测量非视觉方法 三坐标测量机( c m m ，c o o r d i n a t em e a s u r i n gm a c h i n e ) ：该方法是对三维 物体表面轮廓进行测量的传统方法，广泛应用于机械制造、电子、汽车和航 空航天等领域；其数据采集方式有触发式和连续式。技术已相当成熟h ，其 核心部件是相互垂直精密运动的三个运动轴。量测范围从三轴几百毫米到1 0 米左右都有，一般分辨率都可到g n 级。精度与被测长度有关，但即使在几 米的量测长度上，精度一般也不低于o 1 聊m 。三坐标机的特点是测量精度高， 但这类方法要求必须与实物接触，因而不适合柔软物体的测量，且对测头不 能触及的表面无法测量；另外，它的扫描数字化速度受到机械限制，测量速 度慢，且需补偿测头直径，从而影响了测量效率。c m m 价格昂贵，结构复 杂，对工作环境要求较高，必须防震，防灰，恒温等，使其应用范围受到了 限制。 飞行时间测量法( t i m eo f f l i g h t ) ：是基于雷达原理的距离传感器，即向空 间发射信号，然后接受反射信号并与反射信号进行比较，以确定目标的方位。 根据所采用的受控源具体可分为激光雷达法、超声波法和连续波法。 2 哈尔滨工程大学硕士学位论文 基于测角仪器测量法：常用的设备是经纬仪、电子经纬仪或全站仪。角 度误差可以为4 - 2 ”、士1 ”、士0 5 。应用的是空间三角测量原理。一般使用两 个或四个经纬仪。经纬仪间的相互位置关系在测量之前要首先确定，并建立 测量坐标系。而后通过瞄准目标点时的水平和垂直角度，计算目标点的坐标 值。也必须在被测物体上放置反射靶标。测量的是离散点，且需人工瞄准， 会受人为因素影响。 1 2 2 计算机视觉测量方法 美国制造工程师协会( s m e ) 机器视觉分会和美国机器人工业协会( e d a ) 自动化视觉分会对机器视觉下的定义为：“计算机视觉是通过光学的装置和非 接触的传感器自动地接受和处理一个真实物体的图像，以获得所需信息或用 于控制机器入运动的装置”。计算机视觉的研究目标是使计算机具有用图像创 建恢复现实世界模型，通过二维图像认知三维环境信息的能力。这种能力将 不仅使机器能感知三维环境中物体的几何信息，包括它的形状、位置、姿态、 运动等，而且能对他们进行描述、存储、识别和理解p “。 随着计算机视觉技术的发展，用视觉检测方法对三维物体进行测量开始 得到应用，并出现了许多不同的视觉测量方法。基于计算机视觉的测量更强 调精度和稳定性。根据所采用的照明方式和几何关系的不同，可把视觉检测 方法主要分为两大类：被动视觉检测方法和主动视觉检测方法。除此之外， 还有如纹理梯度法、遮挡阴影法、光流法p 以u 等，但较少采用，在这里不作详 细讨论。 1 2 2 1 被动视觉测量方法 单目法只采用一个摄像机，所以结构简单，相应的对摄像机的标定也较 为简单，同时避免了双目视觉中立体匹配的困难玎2 。3 1 ，分为聚焦法和离焦法。 1 聚焦法：就是使摄像机相对被测点处于聚焦位置，然后根据透镜成像公式 即可求得被测点相对于摄像机的距离。摄像机偏离聚焦位置则会带来测量误 差，寻求精确的聚焦位置是关键所在。2 离焦法：这种方法不要求摄像机相 对于被测点处于聚焦位置，而是根据标定出的离焦模型计算被测点相对于摄 像机的距离。这就避免了由于寻求精确的聚焦位置而降低测量效率的问题， 哈尔滨工程火学硕十学位论文 但离焦模型的准确标定是该方法的主要难点。 双目视觉检测方法原理类似人的双眼，利用双目立体不一致性，用两台 性能相同的摄像机，获取同一景物的两幅图像，计算同一空间点在两幅图像 中的“视差”，便可得该点的深度信息一1 3 - 1 6 1 。所谓立体视差是指空间被测点在 两台摄像机像平面上成像点位置的差异。但视差本身的计算是立体视觉法中 最困难的部分，它要求特征匹配，即找出左右两幅图像中的对应点。通常在 无特征区域内或者边界处会产生错误。虽然双目法原理直观，构造简单，人 们对其研究也很多，在实际中也得到了较为广泛的应用。但双目法始终存在 着立体匹配困难的问题。虽然这一问题引发了大量的研究，然而到目前为止， 仍然没有一种有效的方法可以实现1 0 0 的准确匹配。 三目( 多目) 法是在双目法的基础上再增加一个或多个摄像机，其目的主 要是为了增加几何约束条件，减小双目立体匹配的困难，即减少错误匹配。 但在具体实现结构上的复杂性也引起了测量误差，降低了测量效率，所以在 实际测量中应用较少m 以9 1 。 1 2 2 2 主动视觉测量方法 由于被动视觉检测直接利用的是“自然图像”，而工业检测环境中被测工 件的“自然图像”往往没有鲜明的可供利用的特征信息，这就使得被动视觉检 测方法在很多情况下显得无能为力。而主动视觉检测方法却恰恰能够“主动 地”产生必要的特征信息，并且避免了被动视觉所固有的立体匹配困难，因而 在工业检测中得到了最为广泛的应用。 主动视觉测量方法是指向被测物体发射能量和方向可控制的光束，从而 在被测物体表面形成可供利用的特征信息的方法。该方法通过接收器接收物 体表面反射的光信息来计算被测物体表面的距离或深度信息。该方法主要有 激光测距法、莫尔条纹法、简单三角法、结构光法和时间差法等。 激光测距法与单目法中的聚焦法有些类似，只不过是通过激光束的自动 聚焦，实现对物体的主动测量。这样就将接触式坐标机测量方法转化为非接 触式测量，同时克服了被动视觉基于“自然图像”的缺点b 们。 简单三角法：测量绝对距离效果最显著的方法要数简单三角法，它是在 一个三角形上使用一个简单光源口卜2 3 1 。视场中的小部分图像被聚焦到一个光电 4 哈尔滨工程大学硕士学位论文 探测器上，从一个相对于探测器可横向移动的光源发出一窄束光扫过视场。 如果探测系统以光栅序列方式探测物体，则系统对于每个点在一个合适的平 面内扫描光源柬，当探测到反射光流时记下相应的角度值，即很容易的建造 一个可信的距离图。有时由于遮隐或表面吸收，使探测器接收不到反射光， 距离图不完整。探测器和光源之间的基线距离越大，测距越精确，但因方向 遮隐引起的“盲区”也越明显；距离越近，测量也越精确。 结构光法：结构光视觉传感器不仅具有快速、精确、高分辨力、抗干扰 性好等优点，而且该类传感器结构简单、经济、易于实现，在实际中有很多 的应用，也是本文所选用的方案，将在下面章节中对其进行详细论述。 1 。3 大型工件空间的三维测量问题研究 1 3 1 大型工件与普通工件三维测量差别 工业测量目标繁多，但各个领域都离不开尺寸测量。目标大小可以从小 于1m m 直到大于1 0 m 。通常我们把尺寸大于1m 的目标成为大型工件，由 于大型工件的三维坐标测量问题具有其特殊性和复杂性，与普通尺寸的零件、 物体在测量精度、测量环境、测量方法上都有着不同的要求。 1 精度要求：现有的测量精度要求一般可分为n m 级、t u n 级、亚m m 级 到m m 级及m m 以上。通常尺寸越小的目标其精度要求就越高，对集成电路、 m e m s 中微结构、光纤参数等小尺寸的测量研究也是目前的一种发展方向， 其精度要求往往要求达到n m 级、m 级。另外由于很多的小尺寸零件都是标 准化，要求具有良好的互换性，所以精度要求也较高。相对于小型零件，大 尺寸工件往往都是单个生产，不要求甚至不可能达到互换性，其精度要求相 对较低，随尺寸的增大可以从亚毫米直到几个毫米。例如本文课题来源“现代 船舶建造大尺度三维数字化测量”，根据船舶建造中分段对接的实际要求，对 于单向尺寸小于4 0 米的各类平直、双曲形状的船体构件和分段，测量误差( 绝 对精度) 要求在3 - - 5 m m 以内，就比现有的测量方法有很大的提高，足以满 足船舶建设中的要求。 ， r 2 测量环境：普通零件的测量通常可以在室温恒定、外界影响很小的环 境下进行，而大尺寸测量多为现场测量，条件较差，温度的变化大、冲击、 振动等的影响都经常存在，不确定性和误差来源多、传递复杂。相对于实验 哈尔滨工程大学硕士学位论文 室的环境，大型零件的尺寸检测，是一件十分重要而又困难的工作。 3 测量扫描方式：中小尺寸的测量扫描方式较为简单，常用的有回转式 扫描和移动式扫描，以及两者相结合的方法。一般不需要进行过多的数据拼 接就可以获得待测物体的完整的三维全貌。大型工件尺寸超出一般测量器具 的测量范围，工件的尺寸比较大，通过对其整体全部外形的三维重现来反映 工件的总体装配质量、外形质量并不现实。一般采用特征点测量方式，在工 件表面待测点位置直接刻画标记点，如以十字划线的交叉点为特征点，或者 采用直接刻划的特征点，如投射的光点、光条、光面形成的特征点。无论采 用哪种方式，只有获得这些特征点的准确空间三维坐标值，才能进一步完成 对整个大型工件的总体装配质量、外型质量等的评价，以及相关尺寸的测量 和返修工作。通过这种方法要求的特征点的数量很多，而且这些点在工件表 面上的分布也很分散，大大制约t n 量精度和测量效率的提高。另外，特征 点的精度取决于扫描过程和测量过程两部分的精度。扫描过程从物理本质上 是一个视觉的工作过程，而测量是以精确瞄准为前提的。一次无论采用何种 测量方法，制约测量精度和效率的决定性因素是瞄准和测量过程的精度与效 率，因此如何实现准确的瞄准与测量始终是一个关键而且困难的问题。 1 3 2 大型工件测量性能指标 实际生产中对大型工件的测量系统一般有以下的脾i l t 厶匕f j i 匕指标要求洲： 1 测量精度：测量精度是任何检测系统最基本的性能指标，由于大型工 件特征点空间坐标测量问题本身所具有的特殊性和复杂性，给测量精度的提 高带来了较大的困难； 2 测量效率：由于检测系统应用于工业现场及生产线上，所以必须具有 较高的检测效率。但由于大型工件上的特征点分布很分散，所以在一定程度 上降低了测量效率； 3 自动化，智能化以及良好的人机界面：检测系统应该尽量减轻操作人 员的工作强度，方便操作人员的使用，减小人为因素对检测结果带来的影响， 使系统具有自动化和智能化的特点； 4 柔性：检测系统本身只作较小或适当的调整，即可对不同型号的工件 和具有不同表面纹理特征和法线方向的特征点进行测量； 6 哈尔滨t 程大学硕士学位论文 5 开放性：在原有检测系统的基础上可以比较容易地增加新的功能，而 不需要对原有检测系统作较大的改动； 6 易维护性：检测系统出现故障后应能较为迅速的恢复，并及时恢复到 正常的工作状态； 7 测量盲区：检测系统应该尽量避免或减少测量盲区； 8 环境适应性：检测系统在实际生产现场应该能够稳定，可靠的工作， 对于外部环境应该具有良好的抗干扰性。 现有的测量方法各有利弊，没有能够较好地满足上述各项指标要求，往 往难以将准确性与高效性二者很好的结合起来以达到令人满意的综合效果， 使大型工件特征点空间坐标测量问题往往成为“瓶颈”问题，拖延了整个研制， 生产的周期，同时由于测量精度偏低，给产品质量的评定以及有关实验结果 的分析带来了一定的困难，因此针对工程实际中迫切需求，如何准确高效的 完成大型工件特征点的空间坐标测量成为具有十分重要的意义而且迫切需要 解决的问题。总之，有关大型工件特征点空间坐标测量的理论和方法的研究 具有很大的现实意义。 本文将在实际项目背景以及现有各种测量方法的基础上，采用线结构光 视觉传感器对大型工件进行测量的方法。对测量方法本身从理论上进行探讨， 在若干关键的核心问题上着重加以研究，对测量方法的误差进行分析，最后 对所提测量方法进行实验验证，通过以上研究工作，为进一步完成实用化的 检测系统打下一个良好的基础。 1 4 论文的研究目的和主要工作 现在虽然已经出现了各种三维测量设备，有的已经产品化，但是它们普 遍具有测量范围小，针对性强，精度较低，价格昂贵等不足，特别是国内在 此方面的研究还不成熟，应用还有一定差距。因此，进行大尺寸，大量程， 高精度，低成本，适应性强，应用面广的大型工件测量技术的研究具有重要 的现实意义。 本文结合船体分段这种大型工件测量系统的开发实践，对关键的技术进 行深入细致的研究，包括系统建模、参数标定、无“盲区”扫描的实现，对大 型工件快速扫描的方法等。主要工作有以下几个方面： 7 哈尔滨工程大学硕士学位论文 首先阐述了本文的研究背景和意义，对工业目标的三维测量方法研究现 状进行了综述，对大型工件测量问题进行了评述，阐明了大型工件与普通工 件测量的差异，给出了测量性能指标。通过分析采用了线结构光法应用于大 型工件测量，详细介绍了线结构光的检测原理、系统模型，并对模型的精度 进行了分析给出了结构设计的指导。在此基础上，针对实际测量中遇到的遮 挡问题，提出了能够解决测量“盲区”的双目结构光传感器，并给出其模型原 理。 针对双目线结构光传感器视觉系统的标定，包含摄像机的标定和模型结 构参数的标定问题，给出了系统所采用的标定方式和最后的配合精度，提出 了用双目视觉提高结构参数标定精度以及双目视觉用来标定传感器转轴中心 位置的理论和方法。 详细论述了利用线结构光进行大型工件视觉测量的实现方案，介绍了系 统的硬件结构，提出了基于移动坐标测量系统针对关键部分的扫描策略和位 置触发摄像机进行图像采集的方式，以及用双目结构光用来提高采集速度的 实现。 最后对本文的工作进行了总结并对以后的研究进行了展望。 8 哈尔滨t 稃大学硕十学何论文 第2 章双目线结构光视党检测 目前，关于视觉检测的方法有很多。由于线结构光视觉传感器不仅具有 快速、精确、高分辨力、抗干扰性好等优点，而且该类传感器结构简单、经 济、易于实现，是视觉检测中的首选方案，广泛的应用于三维目标的精确测 量，并且已经达到了成功应用的程度。作为工业目标精确测量的一个主要方 法，线结构光三维视觉检测在理论和实际工程中受到越来越多的学者和工程 师的青睐，成为了近年来的研究热点。但在遇到有物体表面互有遮挡的复杂 情况下，普通的线结构光往往容易产生“盲区”现象。在本章中，我们从普通 结构光入手，详细的介绍线结构光的原理及模型，在此基础上将双目结构引 入到线结构光测量中，有效的解决测量中的“盲区”现象。 2 1 结构光三维测量 结构光法( s t r u c t u r e dl i g h t ) 是一种主动式光学测量技术，其基本原理是由 结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，配有图 像传感器( 在本系统中为摄像机) 通过系统几何关系，利用三角原理计算得到 物体的三维坐标。 结构光视觉测量方法是为了解决立体视觉中图像匹配的难题而提出来 的，该法不仅具有快速、精确、高分辨率、抗干扰性好等优点，而且结构简 单、易于实现。根据照射系统采用的结构光方式不同可划分为：点结构光、 线结构光、多线结构光、网格结构光、二进制编码、灰度编码及彩色编码方 法等。下面分别对各种结构光测量方法作简单的介绍。 ( a ) 点结构光( b ) 线结构光 图2 1 结构光测距原理示意图 9 基线 ( c ) 多线结构光 哈尔滨t 程大学硕士学位论文 点结构光：在点结构光测量方法中，激光器发出的光束投射到被测物体 表面上产生一个光点，光点经透视投影成像在摄像机的像平面上，形成一个 二维像点。摄像机的视线和光束在空间中于光点处相交，形成一种简单的三 角几何关系。通过一定的标定可以得到这种三角几何约束关系，并由其可以 唯一确定光点在某一已知坐标系中的空间位置，图2 1 ( a ) 为其原理示意图， 图中c c d 摄像机可以为p s d ( 位置敏感探测器) 。点结构光法满足在线检测、 快速、实时的要求。另外，由于测量中坐标系的许多参数在选取时有很大的 随机性，这样就可方便的求出传感器的结构参数。但其不足是每次只能获得 物体表面一个点的位置，信息量少，因此实用中多采用快速扫描方式瞄孓2 6 。 线结构光法：较点结构光法测量的信息量大大增加，而其实现的复杂性 并没有增加，因而得到广泛应用，其原理如图2 1 ( b ) 所示。该方法大多数也 是基于三角测量原理，但是采用线光源代替点光源，它由光投射器在空间投 射出一个光平面，当光平面与物体表面相交时便在物体表面产生一亮的光条。 该光条由于物体表面深度的变化以及可能的间隙而受到调制，表现在图像中 则是光条发生了偏移和断续，偏移的程度与深度成比例，断续则显示出了物 体表面间的物理间隙。通过采用线结构光，_ 方面可以减少对物体表面的扫 描时间，另一方面通过简单的运算就能够进行图像匹配。在本文所研究的大 尺度三维测量系统中，正是利用了这种方法来测取模型的三维信息，并且保 证了较高的精度，在后面的文章中将作为重点加以详细阐述。 多线结构光测量方法：是线结构光方法的一种变化形式，是采用光栅进 行测距口卜2 8 1 。测量中向物体表面投射了多条光条，其目的一方面是为了在一幅 图像中可以处理多条光条，提高图像处理的效率，另一方面是为了实现物体 表面的多光条覆盖从而增加测量的信息量，以获得物体表面更大范围的深度 信息，这种方法也就是所谓的“光栅结构光法”，如图2 1 ( c ) 所示。较之光带法， 多线结构光法检测的效率提高，范围增加，但同时增加了标定复杂性和光条 匹配问题。而对于本文所研究的大型工件测量，其带来的复杂性并不能赢得 更多的效率。 彩色编码结构光：采用彩色结构光编码，简化了编码光的识别与匹配过 程，提高了测量效率和精度。但是编码结构光系统有一个缺点：它限制了被 照射物体表面特性以及场景的照明状况。这种要求常常并不能得到广泛的满 1 0 哈尔滨工程人学硕士学位论文 足，所以在实际应用中并不广泛。“。 网格结构光法：又称为网格编码法。由于光点式或光条式结构光方法需 要进行连续扫描才能完成对整个表面的测量，所以降低了测量效率。而如果 将编码结构光( 网格式等) 投射到被测物体表面上则无需进行连续扫描测量。 根据标定出的摄像机和光投射器的内部几何参数以及外部方向、位置参数和 结构光编码方式，利用三角法即可测量出被测物体表面各点的三维坐标口”5 1 ， 但这种技术针对测量小范围内的物体轮廓模型。 2 2 线结构光三维视觉测量模型 正如图2 1 ( b ) 所示，当激光投射器投射的激光平面万，与空间某一位置 处的物体表面相交时，将在被测物体表面形成一亮的光条，光条，上的点包 含了其所在处被测物体表面点的三维信息，即三维物坐标( ，y i ，z 。) 。反映 到c c d 摄像机的像平面上，则得到一幅光条珀勺二维图像。光条图像上的二 维像点坐标记为( “，v ) ，则由二维像点坐标( “，v ) 便可以重构其对应的三维物 点坐标( ，y 。，z 。) ，这就是线结构光视觉检测的基本原理，如何实现重构， 则是结构光视觉检测的基本任务，- 也即得到如下的关系： ( x 。，y i ，z w ) = f ( u ，y )( 2 一1 ) 结构光三维视觉测量模型的建立主要有基于精确数学模型的解析法如简 单三角法p 鲫1 、基于透视投影的方法p 、基于摄像机平面和结构光平面之间直 接的仿射变换方法和基于非数学模型的方法如人工神经网络法等m “”。根据系 统要实现的对于大型工件的检测，在能够完成检测任务和满足检测精度的前 提下，要尽可能选用结构简单、易于实现、稳定性好、视觉信息量较大的传 感器。线结构光传感器则恰好具备上述特点，在工业检测中得到了广泛的应 用。以下主要讨论如何建立线结构光视觉测量模型。 2 2 1 常用坐标系 为了建立摄像机模型以及测量系统模型，我们首先需要建立几种常用的 坐标系，其中包括图像坐标系、摄像机坐标系与世界坐标系嗍。 哈尔滨工程大学硕士学位论文 2 2 1 1 图像坐标系 摄像机采集的图像经过模数转换离散采样后得到离散数值的数字图像。 每幅数字图像在计算机内为m n 数组。m 行列的图像中的每一个元素称 为像素，每一个元素的数值为图像的灰度值( 针对灰度图像) 。如图2 2 所示， 在图像上定义直角坐标系u ，1 ，每一像素的坐标( “，1 ，) 分别是该像素在数组 中的列数与行数。所以，( 甜，1 ，) 是以像素为单位的图像坐标系的坐标。同时我 们还需要建立以物理单位( 例如毫米) 表示的图像坐标系。该坐标系以图像内 某一点为原点，x 轴与y 轴分别与“，1 ，轴平行。通常原点o 定义在摄像机光 轴与图像平面的交点，该交点一般位于图像中心处，但由于摄像机制作的原 因，也会有些偏离，若o 在u ，1 ，坐标系中的坐标为( ，) ，每一个像素在x 轴与y 轴方向上的物理尺寸为出，咖，则图像中任意一个像素在两个坐标系 下的坐标有如下关系： u2 _ + “o d 。 、 1 ，= 车+ v 0 d y u 用齐次坐标和矩阵形式将上式表示为 i ： 1 0u o d z 1 0 _ d y oo1 ( 2 2 ) ，( 2 - 3 ) 2 2 1 2 摄像机坐标系 摄像机成像几何关系可由图2 3 表示。其中q 点称为摄像机光心，x 。轴 和匕轴分别与图像的x 轴和y 轴平行，z 。轴为摄像机的光轴，它与图像平面 垂直。光轴与图像平面的交点即为图像坐标系的原点，由点q 与x 。tz c 轴 组成的直角坐标系称为摄像机坐标系。q d 为摄像机焦距。 1 2 哈尔滨工程大学硕七学位论文 2 2 1 3 世界坐标系 由于摄像机可安装在环境中的任何位置，我们在环境中还需选择一个基 准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标 系称为世界坐标系，也称为全局坐标系，由用户任意指定，并且由原点d 。和 x 。匕z 。轴组成。 2 2 2 摄像机模型 摄像机模型是光学成像几何关系的简化，最简单的模型为线性模型，或 称针孔模型( p i n h o l em o d e l ) 。当计算精度要求较高，尤其是当摄像机的镜头 是广角镜头时，线性模型不能准确地描述摄像机的成像几何关系。于是我们 在讨论摄像机线性模型后，接着介绍摄像机的非线性模型。 d j ( “0 ，y f ) 7v y 乙) ( 垂直 平面) 图2 2 图像坐标系图2 3 摄像机坐标系与世界坐标系 2 2 2 1 线性摄像机模型( 针孑l 模型) 空间任何一点p 在图像上的成像位置可以用针孔模型近似表示，即任何 点p 在图像上的投影位置p ，为光心q 与尸点的连线q p 与图像平面的交 点。这种关系也称为中心投影或透视投影。由比例关系可得如下关系式： ，瓮 哇 ( 2 4 ) 其中，( x ，y ) 为p 点的图像坐标；( 五，z ，乙) 为空间点p 在摄像机坐标系 哈尔滨- 丁程大学硕十学位论文 下的坐标；f 为摄像机焦距。我们用齐次坐标与矩阵表示上述透视投影关系： 00 o l f0 0l 0 10l - , i x c 艺 z c 1 ( 2 5 ) 。其中，f ，1 ，。，d x ，d ，共5 个参数，它们只与摄像机内部结构有关，我们 蒌 = r 耋 _ 丁 c 2 - 6 ， 其中，r 是3 3 旋转矩阵，记为r = 匡薹薹 ，平移矩阵丁亏医 。正 2 2 2 2 非线性摄像机模型 当计算精度要求较高时，线性模型不能准确地描述摄像机的成像几何关 系，在远离图像中心处会有较大的畸变，需要对线性模型加以修正。其中下 列公式就是一种描述非线性畸变的模型脚1 ： 。 蓦y ：耋 p 7 ， 歹=+ 万。( x ，y ) 、7 其中，( i ，歹) 为由针孔模型计算出来的图像点坐标的理想值；( x ，y ) 是实 1 4 ，o 0 。l = 1j x y l 。l 乙 哈尔滨工程大学硕士学位论文 际的图像点坐标，瓯与6 。是非线性畸变值，它与图像点在图像中的位置有关， 可用以下公式表达： 耋然y 缸k 2 y ( x 2 2 徽p 2 。( 3 ，x z 鬟2 扔p 黧2 y 2 毛 p 8 ， 万，( x ，) =2 + y 2 ) + (2 + ) ，2 ) +l 渺) + s 2 ( x 2 +2 ) 、。 其中，艿，或艿。的第一项称为径向畸变，第二项称为离心畸变，第三项称 为薄棱镜畸变。式中的白，岛，p l ，p 2 ，墨，是称为非线性畸变参数。 一般情况下，上述非线性模型的第一项径向畸变已能足够描述非线性畸 变，t s a i 曾指出，由于在考虑非线性畸变时对摄像机标定需要使用非线性优 化算法，引入过多的非线性参数( 如上述模型的第二项与第三项) 往往不能提 高精度，反而引起解的不稳定。 如果只考虑径向畸变，式( 2 7 ) 与( 2 8 ) 可写成 孑= x ( 1 + 矿) ) 歹= y ( 1 + 乞，2 ) 其中r = x 2 + y 2 。该式表明，x 方向与y 方向的畸变相对值( 瓯x ，6 y y ) 与 径向半径的平方成正比，即在图像边缘处的畸变较大。 此时，与线性模型不同的是，非线性模型的摄像机内部参数由线性模型 的参数厂，v 。，吐，d ，与非线性畸变参数相对值毛，乞，扔，p 2 ，s 。，屯一起构成。 2 2 3 基于三角几何的线结构光模型 在介绍本文所采用的基于三角几何的线结构光模型之前，我们先介绍一 下基于透视投影变化的结构模型1 。三角几何的模型正是在这种模型简化的 基础上产生的。 基于透视投影变换的线结构光三维视觉测量模型如图2 4 所示。图中的 几个坐标系分别为：摄像机坐标系啡一儿乙，为右手系；像平面坐标系 o t - - b l v ；模块坐标系0 一吒儿气，为右手系。 模块坐标系吒一吒耽气的x l o l y l 坐标面在结构光光平面万内，o l z 轴与 光平面万正交，并与万的法向方向一致，则光平面在模块坐标系下的方程为： z f = 0 ( 2 一1 0 ) 哈尔滨i ：程大学硕十学位论文 萨繇 ，：，7 7 , t 结构光s 二弋7 摄像机坐标系 图2 4 基于投影变换的线结构光三维视觉检测模型 摄像机坐标系与模块坐标系的空间位置关系与式( 2 6 ) 的形式相同，结合 式( 2 - 5 ) 得到 i = 爹爹r 曩9 爹 x | y l z | ， l ( 2 - 1 1 ) 其中，( ，4 ，乃) 、( 吒，吩，r 8 ) 和( r 3 , r 6 ，玛) 分别表示坐标系0 l x y l z l 的吃轴， 耽轴和气轴的方向向量。 善溺列 亿蚴 的坐标( 扎，几，乙) ，还需要增加一个方程的约束，才能够消除这种多义性。 为此，建立结构光光平面刀在模块坐标系0 。一_ y 。乙( 注：其建立是任意的) 1 6 哈尔滨1 = = 程大学硕士学位论文 c l + 砂l + c z l + d = 0 ( 2 1 3 ) 山，山山 、 这样，联立式( 2 1 1 ) 和式( 2 一1 3 ) ，便得到了另外一种线结构光视觉测量模 型的表达形式，重写如下： i = 孕孕矧 a x l + b y l + c z l + d = 0 黾 y l z l 1 ( 2 1 4 ) 式( 2 1 2 ) 与式( 2 1 4 ) 的本质是一样的，可以在不同情况下选择使用。 图2 5 是基于几何三角的线结构光传感器模型的图示。我们假设结构光 平面的出射点a 在x 。0 。y 。坐标平面上，且结构光平面正交于x 。0 。z 。平面，交 线为a b ，b 为o c z 。轴即摄像机主光轴与结构光光平面的交点。令b 为a 和d c 点之间的距离，成为基线。么鲥o c = p ，臼q a = 。 系 系 图2 5 基于几何三角的线结构光传感器模型 在摄像机坐标系下，由基线b ，投射角秒，摄像机主光轴与基线夹角等具 有明确物理意义的结构参数描述的结构光平面方程为： c 喀( 口+ 历x c - z c i 吾i 孑6 = o ( 2 - 1 5 ) s m i + 结合式( 2 5 ) 可以得到如下线结构光传感器的模型： 1 7 哈尔滨t 程大学硕士学位论文 甜 x f2z c _ 1 1 ， y c2z ci ) s i n9l s i n ( 口+ 历_ uc t g ( o + p ) + l ( 2 1 6 ) 2 2 4 结构光三维测量模型精度分析 我们对所建立的结构光三维测量模型进行分析，因为测量精度受诸多因 素影响，而在摄像机、激光器等硬件设备及测量环境等非人为因素一定的情 况下，传感器的测量精度将主要受到其本身结构参数的影响。而传感器本身 的结构参数又主要受主观设计的影响，因此，有必要对传感器的模型检测精 度进行分析，以获得最佳的结构参数，来指导传感器的设计。 基于以上模型，对模型的三维检测精度进行分析，下面从系统误差、随 机误差、灵敏度等多个角度进行分析，以寻找最佳的传感器结构参数。 ( 1 ) 模型的系统误差分析 所谓模型的系统误差就是指三维物点( x 。，y 。，z 。) 由二维像点( “，v ) 的系统 误差所引的误差。( 甜，v ) 的系统误差指c c d 摄像机像平面上相邻两个物理像 元中心分别在“和v 方向的距离，用出、砂来表示。 基于上式，设等= m ，称为放大倍率，通过微分运算，系统误差计算如 1 下： 气：笙d x + 笙咖：f s i n ( o + f 1 ) m 2 d x 一 抛 o v 。 b s i l l o 占，监d x + 监咖一f c o s ( o + f 1 ) m 2 d x + m d y 弘 砒 o v 。 b s i n e l ：坠d x + 坠d y ：f c o s ( o + 3 ) m 2 d x 一 抛o vb s m 0 ( 2 ) 模型的随机误差极限误差分析 所谓模型的极限误差就是指三维物点( x 。，y 。，z 。) 由二维像点( 甜，y ) 的随机 哈尔滨工程大学硕七学位论文 误差所引的误差。( “，v ) 的随机误差是在测量中有诸多因素引起的，用瓯和瓯 来表示。这里计算随机误差中的极限误差。仍设；2 誓，模型的极限误差计 算如下： 氏= 6 旧= 6z c = = 警m 2 皖d s m = 警班 = 一，i ， ，7 d s l n 由上面几个式子可以得到如下结论： 1 ) 当占+ = 9 0 。时，即摄像机光轴方向与激光投射面垂直时，占。= o ，z 。 方向及深度方向系统误差最小，且不受任何其他参数的影响。 2 ) 基线6 越大，各个坐标方向的系统误差越小，反之，则越大。 3 ) 放大倍率m 越大，各个坐标方向的系统误差越大，反之，则越小。 说明被测物体离摄像机越远，测量精度越低。 ， 在实际的传感器设计中，某一参数的变化往往引起另外参