（测试计量技术及仪器专业论文）视觉图像检测技术教学实验平台的研制.pdf

中文摘要 视觉图像检测技术近年来已广泛的应用于现代制造业中，非接触、速度快、 柔性好等优点使该技术前景广阔。在测控技术与仪器、光学信息等专业的本科生 和研究生的教学中，该技术是的重要的授课内容，但国内各大高校一直缺乏针对 性较强的视觉图像检测技术实验仪器。 本文研究了视觉图像检测技术和国内视觉图像教学实验仪器的现状，国内 市场上已有的教学实验系统偏向于数字图像处理，很少涉及摄像机标定及三维扫 描测量技术，为了让学生在一个简单的实验平台上，掌握更多视觉检测中标定和 测量等原理，本文在原有工作基础上，设计了一套实验装置，可完成单目摄像机 t s a i 氏标定、双目摄像机全局标定、双目视觉测量圆孔直径和线结构光扫描三维 四个教学实验内容，设计并实现了整体实验平台的控制系统，研究了三维扫描实 验的图像处理算法，完善了标定和测量圆孔直径的软件，编写了三维扫描实验的 系统软件并优化了整体实验平台界面。学生能够通过这一系列实验，实践学习视 觉检测技术的标定原理、图像处理、三维扫描测量基础知识。 本平台已用于天津大学测控专业本科生精密测试基础课程的实验教学。 在教学过程中，学生利用该实验平台，不仅掌握了摄像机标定、视觉图像测量的 基本方法，而且对三维扫描测量实验有了基本的认识和了解，对三维扫描技术产 生了浓厚的兴趣。经过实际教学效果证明，该平台结构简单，操作方便，能够为 学生将来进行视觉图像三维测量研究打下良好的基础，适于在高校范围内推广使 用。 关键词：线结构光三维扫描测量摄像机标定图像处理教学实验平台 a b s t r a c t v i s u a li m a g et e s t i n ga n dm e a s u r e m e n tt e c h n o l o g yh a db e e nw i d e l yu s e di n m o d e r nm a n u f a c t u r i n gi nr e c e n ty e a r s i th a saw i d ep r o s p e c tb e c a u s eo ft h ef e a t u r e s s u c ha sn o n - c o n t a c t ，f a s ta n df l e x i b l e u n d e r g r a d u a t e sa n dm a s t e r sw h o s em a j o r sa r e m e a s u r e m e n ta n do p t i c a le n g i n e e r i n gs h o u l dg r a s pt h eb a s i so f t h i st e c h n o l o g y b u ti n m o s td o m e s t i cu n i v e r s i t i e s ，t h e r ea r e1 1 0s u p p o r t i n ge x p e r i m e n te q u i p m e n t s i nt h i sp a p e r ，t h ep r e s e n ts t u d ys i t u a t i o no fv i s u a li m a g et e s t i n ga n dm e a s u r e m e n t t e c h n o l o g y a n dt h ee x p e r i m e n t e q u i p m e n t s f o rt e a c h i n go fv i s u a l t e s t i n g a n d m e a s u r e m e n th a sb e e nd i s p l a y e d m o s to ft h ee x p e r i m e n te q u i p m e n t so fd o m e s t i c m a r k e ta r eb i a s e di ni m a g ep r o c e s s i n gb u tl a c ko fc a m e r ac a l i b r a t i o na n d3 ds c a n n i n g m e a s u r e m e n t i no r d e rt oa l l o ws t u d e n t st om a s t e rm o r ev i s u a lk n o w l e d g eo fc a l i b r a t i o na n d m e a s u r e m e n to n as i m p l e p l a t f o r m , t h i sp a p e rh a sp e r f e c t e d a l le x i s t e n tv i s u a l m e a s u r i n gp l a t f o r m o nt h eb a s i so ft h ee x i s t i n gw o r k , t h em o n o c u l a rt s a i f sc a m e r a c a l i b r a t i o n , b i n o c u l a rc a m e r ac a l i b r a t i o na n db i n o c u l a rv i s i o nm e a s u r e m e n to fh o l e d i a m e t e r , al i n es t r u c t u r e dl i g h t3 ds c a n n i n ge x p e r i m e n th a v eb e e nd e s i g n e do no n e e x p e r i m e n t a le q u i p m e n t t h ec o n t r o ls y s t e mo ft h eo v e r a l lp l a t f o r mh a sb e e n d e s i g n e d t op e r f e c tt h es o f t w a r eo ft h ee x p e r i m e n ts y s t e m , t h ei m a g ep r o c e s s i n g a l g o r i t h mo f3 ds c a n n i n ge x p e r i m e n th a sb e e nr e s e a r c h e da n dd e v e l o p e d s t u d e n t s c a l ll e a r nt h eb a s i ck n o w l e d g eo ft h ec a l i b r a t i o n , i m a g ep r o c e s s i n g ，3 ds c a n n i n g m e a s u r e m e n t t h ee q u i p m e n th a sb e e na k e a d yu s e di ne x p e r i m e n t a lt e a c h i n g s t u d e n t sn o to n l y c a nm a s t e rt h ec a m e r ac a l i b r a t i o na n dv i s u a lm e a s u r e m e n tt e c h n o l o g y , b u ta l s ot h e3 d m e a s u r e m e n t i na d d i t i o nt h e ys h o wg r e a ti n t e r e s t si n3 ds c a n n i n gt e c h n o l o g y b y u s i n gi na c t u a lt e a c h i n g ，t h ep l a t f o r ms t r u c t u r ei ss i m p l ea n de a s yt oo p e r a t e i tc a nl a y as o l i df o u n d a t i o nf o rt h e mt or e s e a r c hi nv i s u a l3 dm e a s u r e m e n ti nt h ef u t u r ea n di t i ss u i t e dt op r o m o t ei nu n i v e r s i t i e s k e yw o r d s ：l i n es t r u c t u r e d l i g h t ，3 ds c a n n i n g c a l i b r a t i o n , i m a g ep r o c e s s i n g ，t e a c h i n ge x p e r i m e n t a lp l a t f o r m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 弩芳签字日期：扰衫 年月孕日 学位论文版权使用授权书 本学位论文作者完全了解墨鲞盘鲎有关保留、使用学位论文的规定。 特授权鑫盗苤堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：翮啤纾 签字日期：狮7 年6 月年日 | 导师签名 签字日期切日 天津大学硕士学位论文 第一章绪论 第一章绪论 机器视觉技术作为计算机科学的一个重要分支，在近三十年中有迅猛的发 展。由于机器视觉系统可以快速获取大量信息自动进行数据处理，易于同设计信 息及加工控制信息集成，因此，在现代自动化生产过程中，机器视觉系统被广泛 用于工况监视、成品检验和质量控制等领域。 视觉检测技术是建立在机器视觉研究基础上的一门技术，把计算机处理的快 速性、可重复性与肉眼视觉的高度智能化和抽象能力相结合，具有抗干扰能力强， 效率高，组成简单等优点，适合生产现场的在线、非接触检测及监控。 三维测量技术是视觉检测技术中的重要研究领域，以获取被测物体三维轮廓 数据为目的。伴随着光电传感器件以及机器视觉技术的日趋成熟，三维测量技术 得到了不断的丰富和发展，越来越广泛的应用对该技术的发展也提出了新的要 求。近年来，国内外许多科研机构致力于利用各种方法实现三维测量，高精度、 快速、低成本是这项技术研究一贯追求的目标。 视觉检测技术是测控技术与仪器、光学信息等专业的本科生和研究生的重要 授课内容，与该课程所配合的实验课程可帮助学生快速形象地理解和掌握所学知 识。本文开发了一套集视觉检测技术中摄像机标定、双目视觉测量和三维扫描测 量技术于一体的实验系统平台。 1 1 视觉检测技术及其应用 1 1 1 视觉检测技术系统构成与工作原理 典型的视觉测量系统一般由四部分组成：一台或者多台c c d 摄像机组成的 视觉传感器、图像采集设备、计算机、图像处理软件包。 视觉检测系统工作原理为c c d 摄像机将被检测的目标转换成图像信号， 传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成 数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征， 再根据预设的允许度和其他条件输出结果，实现自动识别功能。 在视觉检测技术中，图像的获取、图像的处理和分析、输出或显示是关键技 术。其中图像获取是视觉检测信号的来源，它的精度直接影响到测量的精度，随 着企业自动化要求的提高，对于图像采集的速度的要求也大大提高，因此快速、 天津大学硕士学位论文第一章绪论 精确获得图像是视觉检测的基础：图像的处理包括图像分割、特征抽取、图像识 别等，经过处理的图像可咀比较容易地得到其中的有用信息点，好的图像处理算 法有助于我们提高测量精度；测量结果的输出或显示是视觉检测技术的核心，有 效的将测量结果显示给测量员是有利于及时发现问题，特别是对于闭环钡i 量过程 可以及时地控制生产测量过程。 1 1 2 视觉检测技术的应用 传统视觉三维检测技术主要应用于工业制造与设计，逆向工程和计算机辅助 设计等领域。随着计算机、网络多媒体技术的不断发展，视觉三维检测技术得到 了不断丰富，其应用范围已不仅局限于工业制造，更扩大至娱乐业，医学，刑侦 学，考古学，军事科技等领域。下面介绍几种近年来三维测量技术的应用领域： ( 1 13 d 锡膏检测仪器 p c b 贴片元器件的精细化发展，组件板尺寸越来越小，焊接质量已成为产品 质量的关键因素。焊点可靠性是焊接质量的关键而影响焊点可靠性的一个重要 因素就是锡膏印刷的质量。3 d 锡膏检测设各是一种用在表面封装( s m t ) 之前的设 备。采用无铅化标准之后，这种设备的地位显得越来越重要。锡膏的质量很大程 度上决定了贴装后的质量，3 d 锡膏检测设备的使用有功于减少印刷流程中产生 的焊点缺陷而且可通过最低的返工( 如清洗电路板) 成本来减少废品带来的损 失，焊点的可靠性也能得到保证。图1 - l 为天津大学自主研发设计的3 d 锡膏检测 设备图“j 。 图li3 d 锡膏检测设备 ( 2 ) 汽车制造业中的应用 机器视觉在以汽车制造业为代表的大批量生产过程中，广泛地用于标志识 别、工况监视、产品( 零部件) 检验和质量控制等领域，对提高生产效率、自动化 程度以及改善企业的运行质量发挥了很大的作用。为了防止批量生产条件下的 作业工程( 如：汽车发动机的装配工序) 出现诸如零件的错装、漏装，安装不到位 天津大学硕士学位论文第一章绪论 及其他种种问题的发生，必须提高作业的可靠性。建立在机器视觉辨识功能基础 上的各种有针对性的自动识别系统，对提高装配作业的可靠性发挥了积极的作 用。 天津大学和南京依维柯汽车有限公司合作研制的“依维柯车身三维尺寸视觉 检测系统 是国内第一套在现场使用、大型完整的视觉检测系统。自该系统运行 以来，因自动化程度高、速度快、精度高、使用成本低等突出优点，受到汽车厂 的热烈欢迎。以南京依维柯汽车有限公司视觉成功应用为基础，天津大学在国家 “九五”攻关的资助下，和天津微型汽车厂全力合作，为夏利轿车1 5 万辆生产 线研制在线车身尺寸视觉检测系统。该系统完全应用在制造现场的生产线上，按 生产节拍，实时对每一个车身实现1 0 0 的检测，以全面反映车身总成的制造质 量【3 】o ( 3 ) 虚拟现实中的应用 三维激光扫描技术的产生拓展了虚拟视景和模型生成的技术实现手段，提供 了简化模型构造过程的可能，进而使人们对于虚拟现实技术又有了跨越式的应 用。在电子商务、电脑游戏制作行业，运用各种三维轮廓测量手段，真实的、直 接的、高精度的、数字矢量化的采集到三维视景的三维实测数据，进而使虚拟现 实技术中的模拟视景跨越到三维精确数字化的仿真视景，可以很大程度提高开发 速度并简化流程。同样，三维轮廓测量技术使得利用计算机仿真许多虚拟环境变 得越发容易，可将一些现实中无法亲历现场进行的活动转移到电脑中去解决，极 大地提高了工作效率 4 】。 ( 4 ) 医学、人体工学设计中的应用 目前三维图像扫描技术己被广泛应用于核磁共振、x 光断层照相、放射线医 学等领域。三维图像扫描技术还可应用于遥控医学、外科手术仿真训练、整形外 科仿真、假肢设计、筋骨关节矫正。对面部软组织进行标准、系统、快速、准确 的三维测量是正畸、正颌外科以及整形美容外科医师客观真实评价面部形态的前 提与基础。激光三维扫描测量技术目前被认为是最先进的软组织测量技术，简便 易行、对人体无伤害而又能精确反映面部软组织形态，并使之可视化的方法，已 成为学者们研究的热点。而在服装设计和日用品造型设计中，人们越来越追求造 型与体形达到完美结合，保证使用者的最佳舒适感。利用三维人体测量技术获取 人体的三维外形数据，进行人体工学造型设计，具备十分广阔的市场前景【6 】。 1 2 视觉图像检测教学仪器的现状研究 视觉检测技术是测控技术与仪器、光学工程等专业的本科生和研究生的重要 授课内容。在国内各大高校的视觉检测技术的教学中，大部分高校没有配套的教 天律大学硕士学位论文第一章绪论 学实验仪器。国内市场上现有的视觉教学实验系统中，大多是数字图像处理的实 验，没有关于视觉图像检测原理的实验。 下面介绍几种国内教学仅器公司的实验系统 1 图1 2 是西安智敏测控科技有限责任公司他m v s l 2 0 0 机器视觉教学实 验平台。包括工件尺寸测量实验、群孔面积测量实验、字符识别实验、条码识别 实验、边缘与线段提取实验、图像分割与融合研究型实验等基本实验：为进一步 培养学生独立思维和实践创新能力，还设置了由学生自定义的研究型实验5 个 包括图像获取、图像处理、模式识别、跟踪检测和图像信息融合等。不仅适用于 高校自动化、机械测量、电气工程、计算机等专业本科生相关课程基本实验开设 也适用于模式识别与智能系统、检测技术与自动化装置、仪器科学与技术、机械 电子工程、精密仪器及机械、测试计量及仪器等学科的研究生和博士生创新型研 究工作的开展。 图1 - 2 西安智敏2 m v s l 2 0 0 机器视觉教学实验平台 2图1 - 3 是陕西维视图像开发的m v - v s 8 6 0 机器视觉教学实验平台针对 大学和研究机构开展机器视觉教学和研究，提供包括图像测量、检测、定位、跟 踪识别等多个图像处理库函数，可覆盖工业生产、机器视觉、智能交通、航空航 天等众多图像处理应用领域。此开发平台提供多种图像处理实验，如图象分割、 图象融合、机器学习、模式识别、图象铡量、图象处理、模式识别和人工智能、 三维测量、取目立体视觉等实验。使用者可利用其配套的工业相机、l e d 光源、 工业镜头、支架、算法软件等措建自己的视觉处理系统原型，了解图像采集设各 等配件的应用和选型，轻松设计、印证和评估自己的视觉系统，适合于大学和研 究机构开展机器视觉教学和科研工作。 天津大学硕士学位论文第一章绪论 幽l 一3 陕西维视图像m v - v s 8 6 0 机器视觉教学实验平台 3 世科机器视觉v s l 2 0 0 视觉智能测控装置教学平台是针对机器视觉的 教学和科研开发的包含b l o b 分析、形态学、模式识别、测量、三维摄像机标 定、双目立体视觉等算法，运行在高可靠性实时操作系统平台下，随平台嵌入了 一些图像处理算法和其它软件功能提供给用户。此开发平台智能化程度高、拥有 大量常用的图像处理软件库，支持二次开发，满足各类工业的特定用途，包括一 维尺寸测量实验、二维配准测量实验、3 d 重建测量实验、表面划痕检测实验、 形状识别宴验等。 4 美国s o u t h e r n i l l i n o i s u n i v e r s i t y 开发的c v i p t o o i s 计算机视觉与图像处理 实验软件是专门针对图像处理技术的u n i x 操作平台下的实验教学软件。 c v i p t o o l s 是一个电脑影像工具程式，提供使用者三种层次应用方式。最下面的 阶层为c v i p t o o l s 函数库( 应用程式设计界面) 。以c v i p t o o l s 函数库为基础的是 c v i p t c l 与c v i p w i s hs h e l l s 。c v i p t c ls h e l l s 是t c l 的扩充并增加c v i p 的能力。利用 “1 p t c l 使用者可以借着命令列进行影像处理或是写一段c v i p t c ls h e l ls c r i p t 进行 批次处理。c v i p w i s h 则是e v i p t c l 的延伸，并建立在g u i 上。最上的阶层为 c v i p i o o i sg u i ，可以让生手实验一些影像处理的工具，而不须具备程式设计的 能力。c v i p 属于开放原始码，只要加入作者的版权声明，便可以自由散布或修 改。但是，国内的本科生及研究生的图像处理硬件条件非常薄弱，还没有相应的 多用途u n i x 操作环境。 1 3 本课题的研究意义及主要内容 本课题是天津大学教改项目精密测试基础课程实验平台的研发。在实际 的本科生实验教学中可以体会到本科生对于机器视觉和视觉检测技术没有很牢 固的知识基础，对于实验的理论和操作理解起来有_ 。1 定得难度，并且对图像处理 知识接触较少，因此我们需要一套涉及摄像机标定、视觉检测、三维测量技术和 圈像处理的基础实验设备。 目前国内市场上的视觉图像教学实验仪器多数侧重于图像处理及视觉检测 技术的工业应用，本课题完善了天津大学精密羽4 试技术及仪器国家重点实验室开 发的视觉图像三维测量教学实验平台，推出了利用一套设备完成单目摄像机 天津大学硕士学位论文第一章绪论 t s a i 氏标定、双目摄像机全局标定、测量圆孔直径和线结构光扫描三维测量四个 实验的视觉图像测量教学实验平台。其中单目、双目摄像机标定知识能帮助同学 们更好的掌握机器视觉的基本原理，测量圆孔直径和线结构光扫描测量两个实验 可使同学们对视觉检测技术及图像处理的应用有一个直观的认识和理解。并且本 平台具有较大的智能化，可进行二次开发，增加实验功能。 本文研究的主要内容有： 1 分析了视觉图像检测技术和视觉图像检测教学仪器的研究现状，阐述了研发 本套视觉图像检测技术教学实验平台的意义： 2 在深入学习视觉检测理论的基础上，利用一套实验装置设计了单目摄像机 t s a i 氏方法标定、双目摄像机全局标定、双目摄像机测量圆孔直径和线结构 光扫描测量四个实验内容，完善了原有实验系统中的摄像机标定和测量圆孔 直径实验： 3 完善了程控直流电压源，设计了电控平移台及控制箱； 4 在原实验系统平台基础上增加了线结构光扫描测量实验内容，设计了易于实 现的光平面标定靶标； 5 改进了原有标定和测量软件，编写了线结构光扫描测量软件，优化了整个系 统平台界面； 6 参与2 0 0 6 级本科生精密测试基础实验教学，指导本科生进行实验。 天津大学硕士学位论文 第二章视觉图像测量技术 第二章视觉图像测量技术 视觉图像测量的基本任务之一是从摄像机获取的图像信息出发计算三维空 间中物体的几何信息，并由此重建和识别物体。而空间物体表面某点的三维几何 位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的， 这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验与计 算才能得到，通过实验与计算求解摄像机参数的过程称为摄像机标定。在立体计 算机视觉系统中，一般需要使用两个或更多的摄像机，所以除需要知道单个摄像 机的参数外，还需要知道各个摄像机之间的几何关系。摄像机参数的标定在图像 测量应用中是非常关键的环节，其标定结果的精度及算法的稳定性直接影响测量 结果的准确性。 确定了摄像机参数后，对采集到的物体图像进行处理，得到特征点的图像坐 标，根据摄像机成像的几何模型就可以计算出物体上该点在空间的三维坐标，从 而求得对工业生产有利的面积、长度、数量、位置等信息。图像处理技术包括图 像预处理、图像分割、特征提取和目标识别等，是视觉图像测量应用中的关键环 节。特征点图像坐标的提取直接影响到最终计算得到的三维尺寸的准确性。 本课题研究了具有代表性的t s a i 氏的基于径向约束的两步法标定方法，双 目视觉原理，包括双目视觉标定原理、测量原理；研究了线结构光扫描三维测量 原理和数学模型。 2 1 单目摄像机标定原理 2 1 1 摄像机透视变换模型 图2 1 是c c d 摄像机透视变换模型【1 0 】，在这个模型中有四个坐标系：物空间 坐标系o ，一k y 。z 。，摄像机坐标系o 。一t 只乙，像平面坐标系q 一墨r 和计算机 图像坐标系。一u v 。 空间一点p 点在物空间坐标系0 。，一石，y 。z 。，中的坐标为m 呐y 。，z w ) ，在摄像机 坐标系0 c t 以乙中的坐标月k ，y c ，乃) 。点p 经摄像机成像在c c d 上，并通过图 像采集卡采集到计算机中，最终显示在屏幕上，在屏幕上的坐标为( “，v ) 。 天津大学硕士学位论文第二章视觉图像测量技术 图2 1 摄像机透视变换模型 在此过程中，由3 d 世界坐标p ( x w ，j ，舻w ) 到2 d 计算机图像坐标p ( u ，d 包括四 个坐标系和四步转换： 1 ) 物空间坐标系0 ，一x 。z 。中的坐标p ( k ，儿，z 。) 到摄像机坐标系0 c t 咒乙 中的坐标p ( t ，只，乙) 的转换： 小阱 ( 2 - 1 ) 式中，r = 兰薹薹 为3 3 旋转矩阵；丁= 芝 为平移矢量，尺和r 决 2 ) 三维摄像机坐标到二维理想像面坐标e ( _ ，y ，) 的转换，根据透视投影关 互：互 ( 2 2 ) 天津大学硕士学位论文 第二章视觉图像测量技术 式中，厂为摄像机成像镜头的有效焦距，即摄像机坐标系原点到像面的距离。 3 ) 引入镜头畸变后，理想像点只( 为，y ，) 到p 的实际像点( 吻，均) 的转换： f 置= x d ( 1 + k l r 2 ) 1 巧：y d ( 1 + k l r 2 ) ( 2 3 ) 式中，k ，为摄像机镜头的径向畸变系数；r = x ：+ 巧；与切向畸变相比， 径向畸变是影响视觉测量传感器的主要因素，同时高阶畸变系数将导致标定计算 量的大大增加，因此我们在这里只考虑一阶径向畸变。 4 ) 实际像点坐标乃( 劫，均) 到计算机图像坐标p ( u ，v ) 的转换： 在实际测量中，我们可以直接获得的是计算机内存中的图像数据，它是在计 算机图像坐标系下的图像点的坐标值( “，v ) ( 2 4 ) 式中，( ，) 是成像中心在计算机图像坐标系中的坐标；d x 和西分别为c c d 感光面在工和y 方向上的光敏单元的中心距；文是工方向上的不确定图像比例因 子。 综上四步转换，由以上各式可以得出空间坐标p ( k ，y ，z ，) 和计算机图像坐 标p ( u ，v ) 的关系： 互= 1 d a u u o ) ( 1 + 盔r 2 ) r = d ，( ，一v o ) o + 岛r 2 ) f 5 兰芝垒兰! 垒三竺垒：x ， 。 r 7 x w + 少，+ z 。+ f ： 厂r4x+rsy+r6z+ly=rl ( 2 - 5 ) 公式( 2 5 ) 是c c d 摄像机的透视成像模型，它建立了空间点的三维坐标 p ( h ，y 。，乙) 和其像点在计算机坐标系中的二维坐标p ( u ，功之间的关系。 2 1 2 单目摄像机标定技术 摄像机透视模型中的参数分为内部参数和外部参数两类。内部参数确定了 j 叫啪趣加苌 天津大学硕士学位论文第二章视觉图像测量技术 物点在摄像机坐标系下的三维坐标与计算机图像坐标间的关系，包括c c d 光敏 单元的中心距么和d y , 像面中心坐标( ，v o ) ；比例因子炙、镜头的有效焦距厂 和径向畸变系数k ，。外部参数包括：摄像机坐标系相对于空间坐标系的旋转矩阵 尺和平移矢量丁，它们确定了摄像机相对于物空间坐标系的方向和位置。摄像机 标定就是根据一组点，已知其在世界坐标系的坐标( x w , y 。，z 。) 并测出对应的计算 机图像坐标( z ，) ，来计算这些内部参数和外部参数【1 2 】。 利用透视变换矩阵进行摄像机标定的缺点是没有考虑镜头的非线性畸变，精 度不高。利用非线性优化进行摄像机标定，虽然精确设计了摄像机模型，但是非 线性求解的结果取决于设定的初始值。如果设定的初始值不合适，就很难得到正 确的结果。r o g e r t s a i 在1 9 8 7 年提出的两步标定方法就是将二者结合起来的方法。 先利用直接线性变换方法或透视投影变换矩阵求解摄像机参数，然后以求得的参 数作为初始值，考虑摄像机畸变因素，利用非线性优化方法进一步提高标定的精 确度。该方法计算量适中，精度较高，平均精度可达1 4 0 0 0 ，深度方向精度可达 1 8 0 0 0 。 r o g e rt s a i 的基于径向约束的标定方法第一步，利用径向准直约束条件，如 图2 1 ，即无论径向畸变如何，向量d ，只和向量p p 的方向相同： 得到如下关系： 进而得到 整理为： d ，e p p = 0 x cx l x d 一= = _ 一= 一 艺，；巧 至三芝垒兰兰圣三芝! ；：卫 r 4 x 。+ r s y 。+ r 6 z 。+ 弓s x y a 【x y a 儿圪z , y d 匕叶。以- y , x d z 。以】三= 髟 l - - i t ；1 ，i 文巧1 吃文巧1 弓i 1 & 巧1 巧1 r 5 了1 7 ( 2 6 ) ( 2 - 7 ) 采集标定靶标上的每一个特征点，都可以得到相对应的一对坐标( x w ，y ，z 。) 和( z ，v ) ，联合方程( 2 4 ) 和( 2 7 ) ，并结合正交矩阵约束条件，用最小二乘法求解， 得到尺和t 的f f i r , ，r 2 ，r 3 ，r 4 ，r 5 ，r 6 ，r 7 ，r s ，r 9 ，t x ，t 。，t 以及最的解；第二步，把所得参 数代入( 2 5 ) 式，采用迭代法可求出其他参数的最终精确解m 1 。 天津大学硕士学位论文第二章视觉图像测量技术 根据获取特征点的不同，r a c 法分为共面标定和非共面标定，其中非共面 标定的精度比较高，经常被采用。它要求采集靶标在摄像机光轴的垂直方向上的 几个不同位置的图像。所以实验经常采取的方法是，让靶标在一个固定导轨上每 移动应采集一次图像，可以得到若干非共面的特征标定点。对这些点建立合适 的空间坐标系，就可以得到每个特征点在空间坐标系的坐标( 瓦，y w ，z 。，) 和在计算 机图像坐标系中的坐标( 甜，1 ，) ，最后应用r a c 法进行求解。 2 2 双目摄像机标定技术 如图2 2 所示，设左摄像机坐标系为d x y z ，像面坐标系为q 一巧有效焦 距嬲；右摄像机坐标系为0 ，- - x r y ，乙，像面坐标系为o r 一墨r ，有效焦距瓤， 三 = 马 耋 + 乃， 季 = b 耋 + i c 2 - 8 ， p 图2 2 双目视觉传感器模型 出左摄像机坐标系d x y z 和右摄像机坐标系为0 ，一x r y r z ，的空间位置关系为 耋 = 尺 三 + 丁，尺= 兰囊凳 ，丁= 至 c 2 - 9 ， 天津大学硕士学位论文第二章视觉图像测量技术 式中，r = r r & ，t = 乃一r r 叫z 。 2 3 双目视觉测量技术 如图2 3 所示，由摄像机透视变换模型有 刚绷朝 , f ：oo l b ( 2 - 1 0 ) ( 2 - 1 1 ) 由式( 2 9 ) 至( 2 1 1 ) 可知，坐标系表示的空间点在两摄像机像面上点之间的对 应关系为 z x l | l z r , l i , z l 于是，双目立体视觉传感器三坐标测量的数学模型可以表示为 ( 2 1 2 ) j c = z x , z y = z y l | 弘瓦两百篇r 9 杀斋岛丽r 3 e ( 巧z + z + z ) 一，( 五+ 吃z + 彳) 、7 石( ，t ，一，：t ) r r ( 巧x i + r 8 巧+ 吩z ) 一，( 置+ 吩髟+ 彳r 6 ) 已知焦距石、石和空间点在左右摄像机中的图像坐标，只要求出旋转矩阵r 和平移矢量7 就可以得到被测物体点的三维空间坐标。 饥以乞乃鸟铂饥吩吃吩龟肌饥嗉7 加加r = 1j 墨r 天津大学硕士学位论文第二章视觉图像测量技术 2 4 线结构光扫描测量原理与数学模型 2 4 1 线结构光扫描测量原理 基于激光三角法的线结构激光测量是3 d 测量领域中运用的较为成熟的一 种技术。通过线结构光传感器投射出的光平面与物体相交成一光条，利用c c d 摄像机摄取灰度光条图像，由于光条的亮度明显高于没有被照亮区域的亮度，图 像中光条区域的像素灰度值明显高于周边像素的灰度值，因此可以利用灰度分割 的方法将光条区域的像素坐标提取出来。系统测量数学模型建立了像素坐标系和 世界坐标系之间的映射关系，根据一定算法，光条上点的世界坐标可以利用其成 像的像素坐标计算出来。由于利用光条图像的像素坐标只能反求出对应空间点在 空间坐标系上的两个坐标值x 和y ，但最终需要测量的是整个被测表面的三维信 息，这就需要使光平面以扫描的方式投向物体表面，光平面对被测表面进行扫描 相对运动。因此，需要利用一定的位移装置使传感器和被测物体产生相对位移， 形成多个光平面测量，从而获得扫描场内物体表面的3 d 轮廓信息，完成对整个 被测表面的测量。 2 4 2 扫描测量的两种方式 光平面扫描物体表面有两种方式，一种是被测表面和传感器相对位置固定， 即物体和摄像机固定不动，其视场可以覆盖被测表面全场，利用马达或旋转棱镜 折射的方式，形成可以运动的线结构激光源，使光平面对被测表面进行自动扫描。 对于其中每一个光平面，都要确定一个光平面坐标系，这样可以通过每个光平面 与物体表面相交成的光条的像素坐标反求出各自对应的光平面坐标，最终通过标 定，将各个光平面坐标统一到一个空间测量坐标系下，这样达到了对全视场被测 表面进行测量的目的。这种扫描方式因为是光平面自己运动形成扫描运动，称为 线结构激光主动扫描方式。在这种方式下，光平面和摄像机的相对位置在不断变 化中，因此，对于每一种相对位置状态都需要标定其对应的外部参数，并且最终 还需要建立一个统一的空间坐标系，即设计一定的标定方法和靶标将各个光平面 坐标系进行统一，标定过程比较麻烦，尤其是坐标统一的标定方法不易寻找，常 常需要比较昂贵的靶标来实现。当然这种主动扫描法的优点在于可以实现无导轨 的曲面测量，比较适合便携式测量系统 1 5 - 1 6 】。但由于在模型中建立了多个坐标系， 标定环节较多，产生的标定误差较多，测量精度难以达到很高。 另一扫描方式称为被动扫描方式，这种扫描方式下，光源投射的线结构光和 摄像机的相对位置固定，利用导轨去带动被测物体或传感器实现它们之间的相对 运动【1 7 一引，这样相当于在物体表面投射了多个光平面以测量全场的3 d 轮廓信息。 天津大学硕士学位论文第二章视觉图像测量技术 这种扫描方式由于光平面和摄像机的相对位置只有一个，所以传感器的外部参数 只有一组，标定比较方便，而且无须将各光平面对应的光平面坐标系统一到同一 个空间坐标系下，各光平面之间的关系可以通过精密导轨的运动方程来确定和约 束，标定过程比较简单，标定误差给测量带来的影响较小。 考虑到需要建立一种标定简单，精度较高的测量系统，我们利用导轨按被动 扫描方式建立测量系统。固定传感器，被测物体沿垂直于激光平面的方向平行步 进移动，即平移扫描方式，主要应用于对部分曲率变化较小、起伏不大的被测表 面的测量。 2 4 3 扫描系统结构组成 扫描系统由两大部分组成，单目视觉传感器和形成传感器与物体间相对运动 的扫描装置，系统的结构简图如下： 图2 3 平移扫描方式示意图 如图所示，线结构光传感器主要由一个激光器和一台c c d 摄像机组成，半 导体激光器直接投射出线结构激光到物体表面，与物体表面相交成一光条，激光 器旁固定c c d 摄像机与激光器成一定角度，用来摄取光条图像，经图像采集卡 转化为数字信号传入计算机。 传感器前方放置了一个电控平移台，通过调整传感器的位置，保证投射光平 面垂直于电控平移台的移动方向。扫描时，将被测物体放在电控平移台上，计算 机通过串口发送信号至控制箱，从而控制电控平移台按照一定的运动流程移动， 形成光平面相对于物体的扫描运动，从而达到测量物体表面3 d 轮廓的目的。 2 4 4 线结构光传感器视觉模型 图2 - 4 所示为本系统采用的线结构光视觉传感器的数学模型，基于投影透视 变换的摄像机模型建立。其中d c 点为成像透视中心，即物镜的光学主点，啡z 。 为摄像机物镜光轴，垂直于c c d 像平面。o 为光轴与像平面的交点，是像平面 的光学中心。o 和啡间距离厂为物镜成像的有效焦距。以o 点为原点建立像平面 天津大学硕士学位论文第二章视觉图像测量技术 坐标系o - x y ，其中o x 轴沿像素横向方向，缈轴垂直于o x 轴。以d f 点为原点建 立摄像机坐标系0 。一t 此乙。o c z 。轴和o c y c 轴分别平行于o x 轴和缈轴。 图2 4 线结构光视觉传感器测量模型 按照如下的方式建立测量系统的世界坐标系0 。一w 。z 。，其中0 。一y 。面与 光平面重合，调整传感器的固定位置使光平面垂直于移动台的移动方向，移动台 的平移方向向右定义成为o w z 。轴。设空间中任意一点的世界坐标为m w ，y w ，z w ) ， 其在c c d 传感器像面上的坐标为p 。( x u ，儿) ，但由于镜头径向成像畸变的存在， 实际成像点为易( 勤，儿) ，最终该点成像于计算机图像中的像素坐标为( “，v ) ，式 ( 3 1 ) 表示了空间任意一点世界坐标与对应计算机图像坐标中像素坐标的转换关 系： x d = 是叫以 一) 匕= d ，( v v o ) 五= 义0 ( 1 + 七( 叉苫+ 巧” = 匕( 1 + 七( 霹+ 巧) ) ( 2 一1 4 ) 厂rixw+r2y+r3z+tx：置。 巧h + r s y 。+ 吩z ，+ 乞 。 ，r 4 x w + r s 儿+ r 6 z h 4 - t v1 ， ，- - - o = = ， 。r 7 x w + r s y w + r g z 。+ 乞 “ 其中k 是镜头径向畸变系数，反和巩分别是水平和垂直方向上c c d 感光阵 列的像元间距，曲是由于图像采集扫描或抽样时延误差而引起的水平方向不确定 比例因子，为像面中心，即透视中心在计算机图像的像素坐标所有参数 中：厂，s x ，k ，么，西， 0v o 为摄像机参数，需要通过摄像机标定确定。而光平面参 天津大学硕士学位论文第二章视觉图像测量技术 数。，眨，吒，_ ，r 5 ，r e ，r 7 ，r 8 ，r 9 ，f ，乞表示从摄像机坐标系到世界坐标系的转换关系， 通过光平面标定确定。系统的测量模型，给出了空间一点世界坐标与对应像素坐 标的转换关系，视觉三维测量的关键就是在测量过程中，按照坐标转换关系，从 已知的像素坐标数据( “，v ) ，求取对应点在世界坐标系下坐标( x w ，y w ，z w ) 。本系统 在线结构光扫描测量和背影轮廓法测量中，需要利用两组坐标之间不同转换方向 的一一映射关系进行测量。 2 4 5 光平面参数标定方法 在线结构光视觉传感器模型( 2 1 4 ) 式中，参数，r 2 ，r 3 ，r 4 ，r 5 ，r 6 ，r 7 ，r 8 ，r 9 ，t y ，t ：定 义了从摄像机坐标系到世界坐标系的转换关系，实际上它们定义了光平面在摄像 机坐标系下的空间位置，因此称其为光平面参刻2 们。光平面参数标定的目的是确 定光平面参数的值，同时确定测量系统的世界坐标系，即系统进行三维测量的基 准 2 1 - 2 2 】。 传统光平面参数标定方法光平面标定通常的思路是设计一个靶标，在靶标上 确定一个空间坐标系0 ，一x w y w z 。，然后利用光平面投射到靶标上产生的标记点或 者靶标本身的标记点作为特征点。依据靶标几何形状的线面关系，确定特征点在 世界坐标系下坐标值 彬舻w ) ，再提取这些特征点在摄像机像面的像素坐标 ( ，v ) ，将特征点的己知坐标值对代入模型进行标定计算。为了使标定过程直观、 方便，并且能够同时标出两套传感器，设计了一种光平面标定靶标： i d 。 7 ， 。： ，一 。t 一对齐刻度 图2 5 平行线平板靶标 标记线 中心线 条 如图2 5 所示为针对本系统设计的平板靶标，该靶标为一矩形平板，表面刻 画有一组水平阵列直线，直线与直线之间的间距固定为d 。，位于中间一条直线 定y 为e p 心线，位于中间一条直线的两侧有另外两条平行直线与其距离为以， 天津大学硕士学位论文第二章视觉图像测量技术 并且呸 d i s t ；d i s t 为预设好的双峰间 的最小距离，实验中我们取d i s t = 8 0 。确定阈值t h r e s h = ( m x + m n l 式中r 是双峰分割系数，通常的做法取黄金分割比例，或直接取o5 。实验中对于同一 个被测物体，光条图像的闭值分布情况类似；而不同的被测物体的阕值则差距比 较大。因此在对不同物体进行扫描时，我们要先拍摄一幅光条图像，调节，值观 察光条处理效果，然后在设定效果最好的，值来进行阈值分割9 “。 4 5 3 光条的细化 光条图像具有一定的宽度，我们需要提取一组准确的像索数据( 虬曲，即把光 条轮廓图像细化到为单一像素或者亚像素宽度的曲线，也就是要在光条上运行提 取中心，做为该行上提取像素点的横向坐标。奉套系统中我们经过反复的实验， 最终选择了灰度重心法来提取光条中心点。图4 1 0 为光条细化效果圈。 1 ) 在设定好的区域内的第一行搜索最大灰度的点坐标，并记下此灰度值。 2 ) 若光条上某行缺少信息点，即根据最大灰度作判断，