（控制理论与控制工程专业论文）基于编码结构光的视觉三维测量系统软件设计.pdf

中文摘要 摘要 随着计算机和信息等现代科学技术的发展，以机器视觉为代表的现代检测技 术也取得了根本性的进步。光学与视觉相结合的检测模式，由于所具有的非接触、 无破坏等优点，正在逆向工程技术领域为人们所接受，这些技术在工业检测、文 物保护、刑侦医疗等领域也正在得到越来越广泛的应用。 基于上述技术背景，本研究采用编码结构光测量法和计算机图像处理技术研 制出了一套光学三维扫描系统，开发出了系统软件，实现了对三维物体的测量。 主要工作及贡献概括如下： l 、在编码结构光的投射原理的基础上加入相移增加了所能获取的信息量。给 出了改进系统的标定方法； 2 、搭建了三维测量实验平台，编制了一套控制图像采集、系统标定、图像处 理和三维点云显示的软件，实现了标定和测量的自动化以及测量结果的实 时显示； 3 、针对测量精度不高的问题，优化了图像处理的算法，提高了测量的精度。 并加入了对三维点云数据的后处理环节； 4 、在所搭建的实验平台上通过对多个物体的检测实验，验证了所开发的三维 检测结构的有效性，并分析了影响测量精度的主要因素。 本论文所做的工作完善了编码结构光三维测量系统，为以后更加深入的研究 提供了完整的试验平台。 关键词：编码结构光；三维测量；标定；软件设计；图像处理； 英文摘要 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e r sa n di n f o r m a t i o ne t c m o d e ms c i e n c ea n d t e c h n o l o g y , o b v i o u sp r o g r e s so fm o d e mm e a s u r e m e n tt e c h n o l o g i e ss u c ha sm a c h i n e v i s i o ne r e i sh a p p e n i n g t h em e a s u r e m e n ta p p r o a c h e st h a ta r eb a s e do no p t i c sa n d v i s i o na r eb e i n ga c c e p t e di nr e v e r s ee n g i n e e r i n gt e c h n o l o g yf i e l dd u et oi t sn o n - c o n t a c t a n dn o n d e s t r u c t i v e f e a t u r e t h e s e t e c h n o l o g i e s a r e b e i n gu s e d i n i n s p e c t i o no f m a n u f a c t u r i n go rm a c h i n i n g ，a n t i q u ep r o t e c t i o n ，m e d i c a ls y s t e ma n ds oo n t h e r e s e a r c hm o t i v a t i o n o ft h et h e s i si sb a s e do na b o v e t e c h n o l o g yb a c k g r o u n d c o n t r i b u t i o n so ft h et h e s i si n c l u d et h ef o l l o w i n g ： 1 f o r g e t t i n gm o r er e c o n s t r u c t i o ni n f o r m a t i o n ，g r a yc o d e + p h a s es h i f t i n g m e t h o dw a su s e d s y s t e mc a l i b r a t i o nm e t h o da n ds o m ek e yp r o b l e m sw e r e d i s c u s s e di nd e t a i l 2 t h r e e - d i m e n s i o n a lm e a s u r e m e n tt e s t i n gb e dw a se s t a b l i s h e da n dt h es o f t w a r e w i t ht h ef u n c t i o n so fi m a g ea c q u i s i t i o n ，s y s t e mc a l i b r a t i o n ，i m a g ep r o c e s s i n g a n dp o i n tc l o u d sd i s p l a y i n gd e v e l o p e d f r o mt h ep r e s e n t e ds o f t w a r ep a c k a g e ， t h ec a l i b r a t i o nc a nb ed o n ea u t o m a t i c a l l y , a l s o ，t h em e a s u r e m e n tr e s u l tc a nb e t r a c k e dr e a l t i m e 3 f o ri m p r o v i n gm e a s u r e m e n tp r e c i s i o n ，a n o p t i m a la l g o r i t h m f o ri m a g e p r o c e s s i n gw a sp r e s e n t e d ，a n ds o m ep o i n tc l o u dp o s t - p r o c e s s i n gf u n c t i o nw a s a d d e di n t ot h ep a c k a g e 4 s o m eo b j e c t s 谢md i f f e r e n ts u r f a c es t r u c t u r ew e r em e a s u r e df r o mt h et e s t i n g b e d ，t h ee f f e c t i v e n e s so ft h ep r e s e n t e d s y s t e ma r ed e m o n s t r a t e db yt h e s u c c e s s f u lr e s u l t s t h ea c c u r a c ya n a l y s i si sg i v e n t h ew o r ko ft h i st h e s i si m p r o v e dt h ec o d e ds t r u c t u r e d 1 i g h t3 dm e a s a r e m e n t s y s t e ma n dp r o v i d e dac o m p l e t ee x p e r i m e n t a lb e df o rt h ef u t u r ew o r k k e yw o r d s ：c o d e ds t r u c t u r e d - l i g h t ；3 dm e a s u r e m e n t ；c a l i b r a t i o n ：s o f t w a r e d e s i g n ：i m a g ep r o c e s s i n g ； 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成硕士学位论文= = 基王缠码缱掏丝的褪鲎三丝测量丕统达往遨让：。除论文 中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文 中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经公 开发表或未公开发表的成果。本声明的法律责任由本人承担。 学位论文作者签名： ! 虱! 虱盗 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学 位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。同意将本学位论文收录到中国优秀博硕士 学位论文全文数据库( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论文全 文数据库( 中国科学技术信息研究所) 等数据库中，并以电子出版物形式出版发 行和提供信息服务。保密的论文在解密后遵守此规定。 本学位论文属于：保密口在年解密后适用本授权书。 不保密一( 请在以上方框内打“，) 论文作者签名：，虱，虱瞎导师签幽、 日期：驯7 年7 月日 基于编码结构光的视觉三维测量系统软件设计 第1 章绪论 1 1 概述 现代测量技术是- - f - j 集光学、电子、传感器、图像、制造及计算机技术为一 体的综合性交叉学科，涉及广泛的学科领域，它的发展需要众多相关学科的支持。 在现代工业制造技术和科学研究中，测量仪器具有精密化、集成化、智能化的发 展趋势。 对于当今工业而言，从组件到系统、设计到生产，测量工作是不可或缺的一 环。工厂必须借助测量获知产品效能，作为产品设计的参考依据；在生产过程中， 往往需要测量设备把握工厂的命脉。可以说没有测量就没有现代工业，就没有科 技的发展和进步。随着科技的发展对测量的要求越来越高。对测量的要求不仅有 精度要求而且要求测量的快速性，能够实时的对工艺流程进行检测，在许多领域 还要求测量的非接触性等。单一的测量工具已经很难满足科技和生产的需要，测 量的工具由刻度尺，千分尺等机械测量器具发展到现在的电动的、气动的、光学 的、声学的测量仪等等。每种测量工具都有其自身的优点，能够满足一定的工业 需要。在这些测量工具中，基于视觉的测量技术虽然起步晚，但是由于具有众多 优点已经取得了巨大的发展，并在测量领域占据了重要地位。 随着3 s 技术的的发展，人类对空间信息需求的进度和速度在快速增长，但常 规的数据获取方式远远不能满足人类在某些领域对信息的需求，比如在文物保护、 古建、考古、工厂建模规划、土木工程等。另外三维激光扫描仪技术可用于工厂 管道测量、船舶形体和体积( 容积) 测量、桥梁高速公路测量、故现场调查测量、 普通地形测量等。三维视觉测量系统作为一种新兴测量手段，它集成激光扫描技 术、数码相机、计算机通讯技术于一体，高速、高精度的获取空间数据三维数据， 必将得到广泛的应用。 1 2 计算机视觉的发展 视觉是人类获取信息的一种强有力手段，人类是通过眼睛与大脑来获取、处理 和理解信息的。周围环境中的物体在可见光的照射下，在人眼的视网膜上形成图 像。由感光细胞转化成神经脉冲信号，再经神经纤维传入大脑皮层进行处理和理 第1 章绪论 解。视觉，不仅指对光信号的感受，也包括对视觉信息的获取、传输、处理、存 储和理解的全部过程。信号处理科学与计算机技术出现以后，人们利用摄像机获 取景物图像并转换成数字信号，用计算机实现对视觉信息处理的全过程，从而逐 渐形成- - l q 新兴的学科，即计算机视觉【。 现实世界中的物体都是三维的，人眼所获得的景物图像都是二维的，但是人类 的视觉系统能够很容易地从二维图像中感知三维世界，获得三维世界的信息。计 算机视觉的研究目标就是使计算机具有通过一幅或多幅图像认知周围环境信息的 能力。这种能力不仅包括能够感知环境中物体的几何信息，如其形状、位置、姿 态、运动等，而且能够对他们进行描述、存储、识别理解【1 】【2 】。 计算机视觉是一个多学科交叉的新领域，涉及到计算机科学、人工智能、机 器人、信号处理、模式识别、控制理论、生物医学、心理学等多个学科领域。其 发展得益于神经生理学、心理学与认知科学对生物系统的研究，需要各学科的研 究人员联合起来对人脑的认知过程进行从宏观到微观的深入研究。虽然由于人脑 的高度复杂性，这种跨学科的研究还远远不够深入，但从事计算机视觉的研究者 们己经发展起来一套独立的计算理论和算法，从而能对视觉信息( 或者说，对图像) 进行分析和处理。随着跨学科基础研究的不断深入，随着计算机性能的快速提高， 计算机视觉会有更为广阔的应用前景【3 】。 1 3 三维测量方法概述 1 、点结构光 点结构光法以半导体激光器作为光源，其产生的光束照射被测表面，经 表面反射后，用面阵c c d 摄像机拍摄反射光点，光点在c c d 敏感面上的位置 将反映出被测物体深度信息的变化。点式结构光法原理简单，但是只适用于 一维测量。如果应用于三维测量，则需要借助于高精度的三维移动平台，且 点式激光携带信息少，相对于线式、面式激光不能快速的反映物体表面信息， 且此方法需要通过逐点扫描物体进行测量，图像摄取和图像处理需要的时间 随着被测物体的增大而急剧增加，难以完成实时测量。 2 、线式结构光法 基于编码结构光的视觉三维测量系统软件设计 线结构光法利用半导体激光器产生的激光经柱面镜变成线结构光，投射 到被测物体形成一条变形的激光带，根据c c d 摄像机上的位置信息及摄像机 的模型就可以得到光平面与被测物截面的轮廓。线式结构光法较点式结构光 携带的信息量大，提高了数据采集的速度，而且精度较高，是目前采用较广 泛的一种三维采集方法，但是线结构光实际上采集的是物体的二维信息，同 样需要借助于至少一维以上的移动平台。 3 、多线结构光法 多线结构光法是在线结构光法的基础上，为了提高图像处理效率，在一 幅图像内处理多条条纹。为了实现物体多条条纹表面覆盖，希望在视场内形 成多条条纹，以获得表面的3 d 深度，即光栅结构光法。多条条纹可以采用标 准幻灯投影机投影一光栅图样产生，也可以借助激光扫描器来实现。 4 、编码结构光法 编码结构光是在多线结构光法的基础上，为了确定出投影在物体表面的 每条条纹的序数，而进行的一种对条纹编码的方法。编码方法分为时间编码 法、空间编码法、直接编码法和混合编码法。通过将多个不同的编码图案按 时序先后投影到物体表面，得到相应的编码图像序列，将编码图像序列组合 起来进行解码，得到投影在物体表面的每条条纹的序数，进而得到每条条纹 所对应的物点上的光线投射角，再由结构光法基本公式得到物体的三维坐标。 其优点在于测量速度快，一次测量可得到的信息远远大于点式结构光及线式 结构光，测量方法简单，易于实现且精度较高，更适应在线检测的需要，鉴 于以上的优点，本文选择编码式结构光作为研究的对象。 1 4 结构光三维测量方法的研究现状及意义 1 4 1 结构光方法的研究现状 1 国外的研究现状 2 0 世纪8 0 年代以来，国外已有越来越多的研究人员开始采用结构光实现 三维测量。早期，美国r i o u x 等发表了多种点结构光投影的光点测距仪f 4 】。 除用光点法，s h i r a i 等采用了结构光条法【5 1 ，让激光通过圆柱透镜产生线光 第1 章绪论 源，并通过步进电机以匀速转动光束，使光束扫过被测物体表面，从而获得一 系列图像进行信息提取并测量。9 0 年代后，研究的重点主要集中在光栅结构光 方面。如r i c h a r d 、p e t e r 和g u n t h e r 等人提出的一种用光栅结构光进行投影 的三维测量系统【6 1 。目前，大多研究人员开始采用编码结构光方法 7 1 和彩色结 构光方法【8 1 实现三维重构。国外的研究人员在这方面不但做了大量的理论研究， 而且，许多的研究成果已应用于生产实际中，法国的j m l e q u e l l e c 和 f 。l e r a s l e 研制的一种结构光传感器，已经应用于汽车舱的三维重建【9 1 。美国 公司研制生产的一种彩色结构光传感器，简称c s l ，已用于表面凹痕检测、高 度测量、焊料黏贴厚度测量等等【1 0 1 。 2 国内发展现状 国内基于结构光的三维测量技术研究工作都是在大学和研究所内进行的。 当前国内有多种利用计算机视觉进行应用的取得成功的实例： 1 ) 天津大学精密仪器实验室叶声华课题组研制的汽车白车身激光视觉检测系 统【1 1 1 【1 2 1 就是利用计算机视觉的方法检测车身表面点的信息，通过三维视 觉算法求取各关键点的坐标，从而完成对车身各关键点主要参数的测量， 能够在线检测。该技术己经开始应用到天津夏利车车身检测中。具有很好 的实时性和准确性。 2 ) 哈尔滨工业大学机器人研究所研制的应用于焊接领域的基于计算机视觉技 术的工业机器人也已经应用到工业生产中。使焊接流程能够实现自动、快 速、高效、精确。 3 ) 哈尔滨工业大学和韩国y u j i n 公司联合开发的自主型足球机器人，是基于 视觉技术进行目标跟踪，位置分析，躲避障碍等，通过视觉技术能够快速 准确的分析出多种信息。 但是，总体来说我国非接触测量技术方面的研究和应用起步较晚， 缺少有自 主知识产权的产品，三维测量设备9 0 以上依靠进口，但国外进口的这类产品价 格十分昂贵，使许多国内企业无法承受。因此，如何将非接触测量系统地应用于 工业产品创新设计，如何根据工业设计的需要来开发合适的非接触测量系统，还 处于摸索阶段。 基于编码结构光的视觉三维测量系统软件设计 函国 第1 章绪论 当今的制造行业，对工件的加工精度都有着不同程度的要求，而原始的铸 件和机床加_ 丁件的实际加工精度是无法得到精确保证的，这便需要一种高教的 手段对其加工精度进行评估。根据检测结果，可以准确的得到工件的加工精度、 误差分布等信息，从而构成闭环，最终提高生产的精度，提高产品质量。 3 虚拟现实 虚拟现实技术已经在国际上得到广泛应用。光学三维测量技术在虚拟现实 中的意义在于：它可以从真实世界中真实的、直接的、高精度的、数字矢量化 的采集到三维视景的三维实测数据，进而使以往虚拟现实技术中的模拟视景跨 越到三维精确数字化的仿真视景中。 4 文物保护 自然灾害、经济建设、旅游开发等因素的影响，许多珍贵稀有文物遗址已 处于濒危境地，有些甚至正在或将要消失。抢救性地保护珍贵文物信息，已经 显得迫切与重要。采用光学三维测量技术对文物实施数字化保存，可以最大程 度地弥补因文物不可抗拒的衰变或消失而带来的遗憾；同时利用虚拟现实、图 像处理与人工智能等技术实现文物的虚拟展示，为文物的展示与研究带来了方 便。 露曰 图13 文物扫描结果凹 f i gl3m e a s u r e m e n tr e s u l to fa n t i q u e 5 刑侦及医疗 在很多刑侦案件过程中，需要对颅骨等骨骼进行分析，从而得到真实的面 孔信息。传统的做法是使用央具和尺子，对骨骼进行缓慢而精细的测量，应用 基于编码结构光的视觉三维测量系统软件设计 三维激光检测方法，就可以快速的得到颅骨的三维数据，还可以进一步对三维 数据进行后处理，从而快速得到需要的结果。同样，在医疗领域，某些时候， 医生在做出诊断之前，也需要三维数据的帮助。 6 量身定做服装和量脚制鞋 面向特定个体消费群体的量身定做和量脚定做，是光学三维面形测量的一 个典型应用。为了设计出更为适合每个人的服装和鞋，设计时必须要考虑每个 人的形体和脚型之间的不同。现有的光学测量方法已经能满足服装设计和制鞋 设计对人体和脚型数据的要求，随着计算机和信息技术的不断进步，量身定做 和量脚制鞋会不断走向成熟。 1 。5 论文的主要工作及内容安排 本文采用编码结构光投影进行三维测量，在上届学长所做理论工作的基础上 完善了投影仪三维扫描系统，并在此基础上进行研究以提高测量的精度。本文着 重对以下几个方面的内容进行了研究： 1 分析了视觉三维测量的主要技术及应用领域； 2 根据编码结构光的投射原理，在此基础上加入了相移以此来获得更多 的物体三维重构的信息，并且分析了系统标定等关键问题： 3 搭建了系统实验平台，编制了一套控制图像采集、系统标定、图像处理和三维 点云显示的软件，实现了标定和测量的自动化以及测量结果的实时显示； 4 优化了图像处理的算法，提高了测量的精度。并加入了对三维点云数据的后处 理环节。 本文的主要框架如下： 1 第1 章为三维测量方法的概述，介绍了测量方法的历史，分析了视觉三维测量 方法的发展现状及研究意义。并简要介绍了研究内容及论文结构。 2 第2 章给出了三维测量系统的构成和编码结构光的原理。首先介绍了系统的组 成。然后介绍了精度较高的g r a yc o d e + p h a s es h i f t i n g 法的编码原理、系统 参数设置和系统内外参数的标定方法。 3 第3 章阐述了三维测量系统软件开发的环境和软件框架设计。介绍了软件编程 第1 章绪论 语言和模块化设计方法，给出了系统软件各部分功能结构图和流程图以及框架 的设计方法。 4 第4 章详细介绍了软件各个功能的实现。对测量结果的实时显示、图形处理算 法的实现、三维点云显示、输出和处理都做了详细的阐述。 5 第5 章为测试软件功能和分析试验结果。对几个物体进行三维测量以此来检验 软件功能和系统测量的有效性。 基于编码结构光的视觉三维测量系统软件i 殳计 第2 章物体三维测量系统设计及编码结构光方法 2 1 系统构成 视觉三维测量系统主要由投影仪、摄像机、目标物体和计算机组成，如图2i 所示。其中投影仪将格雷编码圈和相移围投射到被测物体上，经过物体形状的调 制，由摄像机摄取变形的图案，它带有三维信息。将摄取的图像输入计算机并进 行处理，以获得被铡物体的三维信息，实现三维物体的重构测量。 衙一” 图2 l 三维测量系统构成 f i 9 21 t h ec o n s t r u c t i o no ft h e s y s t e m 211 投影仪 在系统中，投影部分十分重要，投影的结构光的质量直接决定着图像处理和 恢复的结果。对于投影仪来说，必须考虑投影光的均匀性，越精密的投影仪投影 质量越高，但是价格也越昂贵。系统中使用的投影仪为n e c 系列的使携投影机， l “号为n p 2 0 0 + ，光输出为2 0 0 0 明流。投影屏幕尺寸( 对角线) o6 9 m 到76 9 m 投影距离为1 2 m 到1 2 m 可以很好的满足我们的需要。 212 摄像机 摄像机的任务是读入经被测物体调制后的测量条纹信息。我们选用数码相机 作为图像输入设备。数码相机的重要组成部分就是c c d ，其作用是把硅表面处或 其附近的电荷包由图像传感单元迁移到输出端，在那里电荷包被转变成电压值。 第2 章物体三维测量系统设计及编码结构光方法 它具有体积小、重量轻、耗电量少、寿命长等优点，目前获得广泛的应用。在选 取数码相机时，除了考虑它的制式、电学参数、重量以外，最重要的是其分辨率， 即对景物细节的鉴别能力，通常以水平像素乘以垂直像素数来表示。显然，分辨 率越高，获得的画面质量越好，测量的精度越高，相对价格也越高，综合考虑， 选用m v c 3 0 0 0 作为图像输入硬件设备。 2 1 3 计算机 通过摄像机拍摄的图像，需要输入到计算机中进行图像处理，将处理好的数 据作为输入，通过一些列计算，最终输出得到物体的三维信息，因此，计算机在 整个测量系统中起着重要的作用，它承担计算任务，并且最终将测量结果通过显 示器显示出来，供用户观看，其性能直接关系到数据处理的速度。 2 2g r a yc o d e - i - p h a s es h i f t i n g 编码方法 2 2 1 g r a yc o d e + p h a s es h i f t i n g 编码原理 图2 2 投影的格雷码图案 f i g 2 2p a t t e r no fg r a yc o d ep r o j e c t e d g r a yc o d e + p h a s es h i f t i n g 编码法是由格雷编码法和相移法互相补充而形成 的一种方法。格雷编码法，即g r a yc o d em e t h o d 1 4 j 是时间编码法的一种，其特点是 相邻码字间的h a m m i n g 距离均是1 。相邻两个码字之间的不同位的数目称为h a m m i n g 距离。如：0 0 0 ，0 0 1 ，0 1 1 ，0 1 0 ，l l o ，1 1 1 ，1 0 1 ，1 0 0 就是一组格雷码。格雷码的 优点主要有：它大大减少了由一个状态到下一个状态的瞬间模糊状态，提高了抗干 扰能力，稳定性良好，可靠性高，是一种错误最小化的编码。典型的格雷码是具有 基于编码结构光的视觉三维测量系统软件设计 反射特性和循环特性的单步自补码，反射特性是指将格雷码对半折叠，除摄高位上 f 两不分不同，折叠处如同一个镜面。循环特性是指最后一个码组与第一个码组的 h a n t m i n g 距离也是l ，是相邻码组。本文所用的投影图案如图2 2 所示。 具体的投影图案及投影方式如图所示。 ky 轴 z 轴、投影_ 蝌像采集区域 光幽案 塔腓 、 圉2 3 编码结构光方法的原理 f i g23s c h e m a t i c d i a g r a mo f c o d e ds t r u c t u r e d t i g h t m e t h o d 幽2 4 格雷编码图案的码字示意图 f i 9 24s c h e m a t i cd i a g r a mo f c o d e w o r d o f t h e g r a yc o d e p a t l e m 第2 章物体三维测量系统设计及编码结构光方法 首先在物体表面投影编码格雷图案，用投影仪分别把这五幅投影图案按时间 顺序依次投影到被测物体上，然后由摄像机依次记录下每幅图像。假设用0 代表 黑色，1 代表白色，那么按时间顺序投影条纹上的每一点都可以用一个五位的二进 制码来表示。也就是说通过投影这五幅编码图案，被测空间被划分成了3 2 个区域， 并且每个区域对应一个相移投影条纹。 在理论上我们完全可以单独使用g r a yc o d e 编码对投影区域进行细致的分割， 但是，越是狭窄的区域宽度在图像处理中受到噪声的影响而产生的误差越大，严 重影响测量精度，因此为了保证精度，又不减少测量数据，可以采用p h a s es h i f t i n g 编码法进行辅助。p h a s es h i f t i n g 编码是由宽度为w 个像素的黑白相间条纹组成， 黑白条纹之间的边界作为扫描线，投影图案投影后，将整幅投影图案水平向右平 移l 像素，新得到的投影图案用于下一次头投影用，连续投影2 w 次后，投影图案 恢复到初始状态，投影结束，因此，宽度为w 的p h a s es h i f t i n g 编码的周期为2 w ， p h a s es h i f t i n g 的条纹宽度可以设置，可以通过对实际情况的分析得到适宜的宽度， 例如像素为1 0 2 4 x7 6 8 的投影图像，用7 幅格雷编码图，可以将图像分成1 2 8 个区 域，之后采用宽度为4 的p h a s es h i f t i n g 编码图，每次平移一个像素，在投影2 w 次后，图像将被分割成1 0 2 4 个1 像素宽的区域，但是p h a s es h i f t i n g 明显出现一个 2 w 的周期，周期与周期之间存在对应关系的二义性。可以发现g r a yc o d e 和p h a s e s h i f t i n g 之间存在着性能上的互补，g r a yc o d e + p h a s e s h i f t i n g 编码结合了两者的优 点。可以使用p h a s es h i f t i n g 编码进行1 像素密度级的扫描，对于p h a s es h i f t i n g 固 有的周期性所产生的二义性问题，使用g r a yc o d e 进行精确区分。 2 2 2g r a yc o d e + p h a s es h i f t i n g 编码结构光的数学模型 在三维测量的过程中，要把现实中的三维场景通过摄像机采集到计算机里变 成二维的平面图像，这里要经过四次坐标变换，如图2 5 所示。 世界坐标系到摄像机坐标系的变换 ( x w ，y w ，z w ) - - - ( x c ，y c , z c ) 实际像平面坐标到图像坐标的变换 ( x d ，y d ) - ( u ，、d 摄像机坐标系到像平面坐标系的针孔成像变换 ( x c ，y c ，z c ) 一( x u ，y u ) 理想像平面到实际像平面的坐标变换( 畸变影响) ( x u ，y u ) 一( x d ，y d ) 图2 5 坐标变换过程 f i g 2 5p r o c e s so fc o o r d i n a t ec o n v e r s i o n 基于编码结构光的视觉三维测量系统软件设计 在上面所示的坐标变换中，我们将摄像机透镜的成像原理近似看作针孔成像， 厂老羰2 五2 面x d ( 2 1 ) 。，7 x ，+ r 叠匕+ r 9 z 。+ t 。 1 + 脉： ( 2 ) 厂r 4 x , , + r s y w + r 6 z , , + t y ：r ：殳 其中尺= 兰蔓曼 ，r = 蒌l ，：，8 ，9 jl 疋j 变参数，f 是镜头的焦距。r ；= 霸+ 聍，为像点到像面中心的极径。其中( x 。，e ) 可以由计算机坐标( “，1 ，) 计算得到，但如果要求物体的三维坐标p ( x w ，y 。，z w ) ，仅 知道( 以，艺) 是不够的，即两个方程不能解出三个未知数，因而还需要建立一个方 图2 6 编码结构光的三维重构数学模型 f i g 2 6m a t h e m a t i c a lm o d e lo f t h e3 dr e c o n s t r u c t i o no fo b j e c tb yc o d e ds t r u c t we dl i g h t 第2 章物体三维测量系统设计及编码结构光方法 当投影条纹在每个区域的a b 处时，由三角关系，可以得到： t a l l 巩：垫： ( - n + 1 ) x 0 5 - b h ( 2 2 ) ( 取一五)取 其中1 3 为条纹序数值，这个我们可以通过格雷编码得知；h 为条纹间距，可以 通过测量得到。d p ：为投影仪到世界坐标系原点的距离。这样三式联立： 令： 经过化简得： 量坌盖垒墨量互互：2 兰：兰鱼 吻义0 + 匕+ 吩乙+ 厂z ： 吻彳0 + l + 玛z 0 十互 k z ； t a i l 巩：墨： ( - n + 1 ) x 0 5 - b h ( - 磊) d e , ( 2 3 ) k i = x u r z 一九 k 2 = 托“+ r 7 t a n 已) 一f ( r 3 + r t t a n 瓯) 与= 几a n 岛+ t a 一以( 吩。锄以+ ) ( 2 4 ) k 4 = 匕一见 如= 匕( 吩+ r 7t a n 幺) 一厂( 吃+ r 4t a n 吼) 心= ( ，：it a n 0 , , + 弓) 一k ( 吩t a n 0 + 瓦) f 毛圪+ 缩，= 岛 【k 巧+ 也乙= 毛 ( 2 5 ) y ：刍塾二鱼垒 毛也一如心 z w = 必k z k 4 - k i k 5 ( 2 6 ) 皿一 ( - n + 1 ) 0 5 - b h ta n l 9 。：垒l ： 公式( 2 6 ) 就是所求的物体的三维坐标，在式( 2 6 ) 中个r z - 分球夸分令强为为 旋转矩阵r 的值，互、弓互为平移矩阵t 的值。由此可见，只要知道了r 、t 、f 、 基于编码结构光的视觉三维测量系统软件设计 d 芦、n 、h 、五、e ，就可以求出五，匕，乙值，即得到物体的三维坐标值。 2 3 系统标定和相关参数的设置 空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由 传感器即摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数，参 数的获得过程就是摄像机标定。编码结构光视觉传感器标定方法是结构光视觉检 测技术的一个重要问题，它主要包括传感器模型参数的求解方法以及标定特征点 的获取方法。 2 3 1 系统的摄像机标定 2 311 基于共面点的r a c 面式结构光传感器参数求解方法 l 、基于共面点标定原理 在编码结构光的成像系统中，从物点到像点的映射关系是非线性的。而且当 需要从像点坐标求物点坐标时，反透视变换不能唯一地确定物点，只能确定投影 线方程。但当光平面垂直入射物体表面时，摄像机在与光平面垂直的平面内，与 光平面成一定角度摄取光条图像，这时光条上的物点与像点一一对应，不存在透 视点的重叠问题。也就是说，投射在物体表面光条上的位移只在光平面内移动， 这样，只需建立一个两维到两维的对应关系，就可以从像移坐标中得到对应的物 移坐标，再补充一维数据，就得到物体的三维形貌。因此标定结构光传感器中的 摄像机只需要对光平面上的点进行标定，由此引入基于共面点的标定方法【”】。 2 、基于共面点的p , a c 参数求解过程 由摄像机坐标系与世界坐标系关系式可以得到： ix 。= 1 x 。+ 屹l + 匕z ，+ t e = 厂4 x 。+ 吩匕+ 屹z 。+ l ( 2 7 ) 【z 。= x 。+ 匕+ 吩z 。+ 疋 由r a c 约束可得 墨：益：垒茎! 垒墨垒圣竺圣 ( 2 8 ) 艺匕 厂4 x 。+ 厂5 匕+ ，6 z ，+ l 将式( 2 8 ) 移项，整理可得 第2 章物体三维测量系统设计及编码结构光方法 x w 匕吒+ 匕艺吃+ z 坩匕码+ 艺互一以蜀_ 一匕蜀r 5 一z 。x a r 6 = x d 乃 ( 2 9 ) 式( 2 9 ) 两边同除以t ，由径向约束条件，且z 。0 ，式( 2 9 ) 写为 。匕l 匕z 。匕匕一l 虬一匕局 j 工n 0 s j t | 1 p s | 1p z 。髟】x i 屯t 乃 0 r s l t y t | 19 = 托( 2 1 0 ) 基于共面点的r a c 标定方法所用的标定点均为光平面上的共面点，因此世界 坐标系的x 。= 0 ，参数求解过程分两步 1 求旋转矩阵r 和平移矩阵t 的t ，t 分量 由式( 2 1 0 ) 及x 。= 0 条件，可以得到下式 匕匕 z 。圪 l y 。xd z w xd r 2 汀y r 3 | ty t x | t p r 5 f t y ? b | 1 = x d( 2 1 1 ) 对每个已知三维空间坐标点( o ，l ，z 。) 与相应的像点坐标( x d ，匕) 就可写出一 个式( 2 1 i ) ，只要5 个特征点就可求出待解的列矢量。考虑到标定中坐标点的提 取存在随机误差，可以多取一些标定点，通过最4 , - 乘方法求解超定方程组。得 到如下变量： 三1 = 一r r 21 ，t z y , a 口2 = 一r r 3 ，t r , a 3 2 t 7 0 ( 2 1 2 ) 口4 = l ，口5 = l 、。 1 ) 计算z ， 根据r 的正交性，可得： 铲( 耻筹铲) l ，2 亿 1 y l 2 ( 口t 口5 一口4 口2 ) 2 j 、。7 其中 基于编码结构光的视觉三维测量系统软件设计 母= 砰+ 霹+ 彳+ 孝( 2 1 4 ) 2 ) 确定乃符号、计算 由于艺与艺，匕与y 。具有相同的符号，则先假设l 符号为正，根据式( 2 1 1 ) 可计算吃、，3 、r s 、，6 及疋。再计算出任意空间点的t 、j ，。值。若局与x 。，匕 与y 。都具有相同符号，则弓符号为正，否则为负。 、，4 可根据r 的正交性计算： 3 ) 根据r 的正交性，计算巧、r s 、厂9 如下： 薹 = 差 薹 4 ) 按第二步方法计算焦距厂，如果 0 ，那么_ 、，4 、，9 取负 通过以上过程可求得求旋转矩阵r 和平移矩阵t 的t ，l 分量。 2 线性求解、f 、k 等糍= 以= 面s d 。乃x ，+ ，。匕+ ，9 z ，+ t 一。 1 + 七砰 厂尘兰! ! ：垒墨垒兰! 堡：y ：三l 。厂7 z 。+ 厂8 匕+ 岛z ，+ t ” 1 + 敞； 为了化简式( 2 1 8 ) ，令 以= 1 彳。+ 匕+ ，3 z + ， h y = x w + 匕+ z w + l ， 形= 乃x 。+ l + ，9 z 。 删饥6 寺 ( 2 1 6 ) ( 2 1 7 ) ( 2 1 8 ) ( 2 1 9 ) 刃q 他 他u、科 一 2 s乒叫一0 g s = = 以 中其 第2 章物体三维测量系统设计及编码结构光方法 则有： x 匕d 二础 _ 纠 仁2 。， 解式( 2 2 0 ) 线性方程组就可得到口，b ，k ，从而得到= 1 a ，= b a 至此，摄像机所有内外参数计算完毕。 2 3 1 2 摄像机内参数的预标定 基于共面点的求解方式需要对摄像机图像中心点坐标 。，v 。) 及尺度因子s ，进 行预标定。 1 x 方向尺度因子 确定s ，的值。j ，的求解有两种方法。 方法一： 驴孥 ( 2 - 2 1 ) 巳2 砖 仨2 1 ) 其中心为x 方向像敏单元个数，以= c c d 的x 方向尺寸像敏单元x 方向间 距。血为计算机图像x 方向采集的像元个数。 方法二： 驴旁 蚴 其中，正为相机的时钟频率，六为a d 转换的采样频率。 2 摄像机图像中心坐标 图像中心即光轴穿过图像平面之点，在理论上是图像在计算机帧存的中心点， 但是在工业视觉系统中，图像的实际中心与帧存的中心并不重合，产生这种现 象的原因如下： 摄像机的安装平面与被测产品的基面不平行，即与光轴不垂直； 图像数据采集卡的窗口电路未将其窗口取在正中间，使光心偏离： 镜头光轴与c c d 面阵平面之间存在倾角误差。 基于编码结构光的视觉三维测量系统软件设计 对于图像中心的标定，我们采用激光法。此方法是在点式激光前贴一遮光板， 激光通过遮光板上的小孔投射到摄像头透镜表面，根据光学原理可知，一部分光 线穿过透镜在c c d 的成像平面上形成激光光点图像，而另一部分光线会被透镜的表 面反射，反射光投射在遮光板的表面( 反射角度较小时) 形成反射光斑。当入射 光线与透镜的主光轴重合时，透镜表面的反射光线与入射光线重合，反射光斑反 射到遮光板表面的小孔处，此时穿过透镜的光线在摄像机的成像平面所成的像点 位置即为摄像机的像面中心位置。因此，通过观察发射光斑在遮光板上的位置， 仔细调整摄像机的位置和姿态，使反射光斑成像在入射小孔处，即可求得摄像机 的像面中心位置。如图2 7 ，2 8 所示但该方法需要一定的试验技巧，给操作带来 一定的难度，但这是目前最精确的图像中心获取方法。 一一 图2 7 入射光线与主光轴没对准 f i g 2 7u n m a t c h e di n c i d e n c eb e a ma n d p r i m a r yo p t i c a la x i s 2 3 1 3 标定点的获取 标定点数据获取过程如下： 图2 8 入射光线与主光轴已对准 f i g 2 8m a t c h e di n c i d e n c eb e a ma n d p r i m a r yo p t i c a la x i s 第2 章物体三维测量系统设计及编码结构光方法 】) 2 ) 3 ) 幽2 9 三维运动平台及标靶 f i 9 293 dp 1a i ta n dc a l i b r a t i o n 先将标靶置于三维运动平台的x o y 平面，且让标靶圆心轴平行于y 轴 调整投影仪的投影中一f l , 线使其过标靶圆心的连线； 控制三维运动平台沿z 轴平移，若光条偏离标靶。说明光平面没有垂直靶 而，则让投影仪绕y 轴转动及x 轴方向平移，使激光条重新过圆靶中心。 反复做此调整，直到激光条不再偏移，证明投影仪投影中心平面过测量系 y o z 平面； 控n - - 维运动平台在z 轴平移，通过光栅尺得到其在z 轴的移动量作为标 定测量坐标系的z 坐标，y 坐标通过标靶的精确自j 距得到，对应的圆点通 过摄像机拍摄在图像坐标系下也是成一排圆点，圆点的二维图像坐标( u ，v 通过图像处理的阐值法及质心算法得到。三维控制运动平台及标靶如图 29 所示。 至此，完成测量范围内标定特征点测量系坐标及二维图像坐标的获取。 基于标靶的样式计算机图像采集到的特征点都是椭圆图案，因此对于像点 挫标的提取比较简单。通过图像处理的基本方法阈值法与质心法就可以较准确的 提取特征点二维图像坐标。 2 0 基于编码结构光的视觉三维测量系统软件设计 1 、阈值法 阈值分割算法f 1 6 】是图像分割中应用数量最多的一类。对灰度图像地分割就是 先确定一个处于图像灰度取值范围内的灰度阈值，然后将图像中各个像素地灰度 值与这个阈值比较，像素灰度大于阈值地分为一类，小于阈值地分为另一类，灰 度值等于阈值地像素可以归入这两类之一。一幅原始图像，( x ，y ) 取阙值t 分割后 地图像可定义为： 删= 器嬲曼 标定过程中，图像拍摄的是白底黑圆图案，通过阈值分割，可将椭圆从背景 中分离出来。 2 、质心法 得到椭圆的区域后，要对其求重心，也即求取特征点图像坐标。把积分原理 推广到图像的形心计算问题，即将一个像素看成一个烈，且为1 个单位，则图像 的面积即为像素点的个数a ，由此推得计算平面图形的形心公式为 一i x d a j 刚 x 2 ，y2 ( 2 2 4 ) 么 7 彳 、 。 利用式( 2 2 4 ) 可以计算得到椭圆的重心位置，以得到标定特征点的二维图像 坐标。 2 3 2 投影仪参数的标定 本课题的传感器标定借助三维移动平台，如图2 9 所示，它可以沿基座三