（计算机应用技术专业论文）基于结构光的视觉测量系统的研究与开发.pdf

摘要 随着电子计算机科学、图像处理、计算机视觉技术与理论的迅速 发展，立体视觉的研究与应用日益得到重视，并不断地在许多领域得 到骄人的成果。本文以投影仪一数码相机系统为工具，重点研究并设 计了一套基于结构光的视觉测量系统。该系统主要包括两部分：( 1 ) 视觉测量系统的摄像机标定；( 2 ) 视觉测量系统的软件功能实现。 论文首先在概述中对计算机视觉、立体视觉做了简要的介绍，并 详细描述了立体视觉系统中的关键技术：分析和讨论了结构光的选 取；对视觉系统的摄像机标定技术进行了较深入的探讨；接下来重点 对边缘检测和边缘跟踪算法进行了较深入的比较和分析；然后针对系 统需求构建了实验硬件环境，搭建了实验控制场，完成了c c d 数码 相机及投影仪的标定工作，将设计好的结构光投影在目标物体上，并 对其进行了图像采集；开发了基于结构光的视觉测量系统的软件，详 细介绍了软件的各部分功能，包括图像预处理、边缘检测与边缘跟踪、 特征提取、基于结构光的同名线匹配、三维重建等，对每个部分采用 的方法和理论也进行了较全面的分析和介绍，并利用实物，对软件各 功能一一演示；最后对以前的工作进行小结并介绍了今后的研究方 向。 关键词：立体视觉，摄像机标定，边缘检测，边缘跟踪，三维重建 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to f c o m p u t e rs c i e n c e ，i m a g ep r o c e s s ， c o m p u t e rv i s i o np e o p l ea r ep a y i n gm o r ea n dm o r ea t t e n t i o n o nt h e s t e r e ov i s i o n sr e s e a r c ha n da p p l i c a t i o nw h i c hh a sr e s u l t e di ne x c e l l e n t r e s u l t si nm a n yf i e l d s i nt h i sp a p e r , w es t u d ya n dd e s i g nas e to fv i s i o n m e a s u r e m e n ts y s t e mb a s e do ns t r u c t u r e dl i g h t u s i n gc a m e r a - p r o j e c t o r s y s t e m t h i ss y s t e mi n c l u d e st w op a r t s ：( 1 ) c c dc a l i b r a t i o no fv i s i o n m e a s u r e m e n t s y s t e m ；( 2 ) f u n c t i o n r e a l i z a t i o n b yp r o g r a m m i n g t h e s o f t w a r eo fv i s i o nm e a s u r e m e n ts y s t e m f i r s t l yw eb r i e f l yi n t r o d u c et h ec o m p u t e rv i s i o n ，s t e r e ov i s i o n ，a n d d e s c r i b et h ek e yt e c h n o l o g i e so ft h es t e r e ov i s i o ns y s t e m s e c o n d l yw e c o n t r a s ts e v e r a ls t r u c t u r e dl i g h t sa n dd e s i g nt h es t r u c t u r e dl i g h tw h i c h s u i tf o ro u rs y s t e m s o m ec a l i b r a t i o nm e t h o d sa r er e c o m m e n d e d s o m e c o r et e c h n o l o g ys u c ha se d g ed e t e c t i o na n de d g et r a c k i n ga r ea n a l y z e di n d e t a i l t h eh a r d w a r ed e s i g na n ds o f t w a r ed e s i g no fv i s i o nm e a s u r e m e n t s y s t e ma r ei n t r o d u c e d w es e tt h ei a b o r a t o r ya n df i n i s h e dc a l i b r a t i o n so f c c da n dp r o j e c t o r , t h e nw ep u tt h es t r u c t u r e dl i g h to nt h eo b j e c ta n dt a k e s e v e r a lp h o t o so ft h eo b j e c t t h es o f t w a r eh a st h ef u n c t i o n si n c l u d i n g c o n s t r u c t i n gs t r u c t u r e dl i g h ta n dc o l l e c t i n gi m a g e ，p r e p r o c e s s i n gi m a g e ， d e t e c t i n ga n dt r a c k i n gi m a g ee d g e ，m a t c h i n gd o ta n d3 dr e c o n s t r u c t i o n a n dt h e ne a c hf u n c t i o ni sd e m o n s t r a t e d i nt h el a s tc h a p t e r ，w es u mu p t h ep r e v i o u sw o r ka n do u t l o o kt h ef u t u r er e s e a r c hw o r k k e yw o r d s ：s t e r e ov i s i o n ，c c dc a l i b r a t i o n ， e d g ed e t e c t i o n ， e d g et r a c k i n g ，3 dr e c o n s t r u c t i o n 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工 作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名： 至煎垦歪 日期：丝!年生月2 细 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保 留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的 全部或部分内容，可以采用复印、缩印或其它手段保存学位论文；学 校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：日期：妒6 年年月2 6 日 中南大学硕士学位论文第一章绪论 第一章绪论 本章首先简单介绍了计算机视觉技术及其重要分支一立体视觉，并分类进行 详细的阐述。接下来介绍了本课题的来源与研究的意义和目的，然后对本人所做 工作进行了简单的介绍，最后是对整个论文的安排进行了描述。 1 1 计算机视觉 1 1 1 计算机视党研究的目的和意义 人类正在进入信息时代，计算机将越来越广泛地进入几乎所有领域。一方面 是更多未经计算机专业训练的人也需要应用计算机，而另一方面是计算机的功能 越来越强，使用方法也越来越复杂，这就使人在进行交谈和通讯时的灵活性与目 前在使用计算机时所要求的严格和死板之间产生了尖锐的矛盾。人可通过视觉、 听觉以及语言来和外界交换信息，并且可用不同的方式表示相同的含义，而目前 的计算机却是严格按照各种程序语言编写的程序来运行，否则就不能工作。为使 更多的人能使用复杂的计算机，必须改变过去的那种让人来适应计算机，来死记 硬背计算机的使用规则的情况，而是反过来让计算机来适应人的习惯和要求，以 人所习惯的方式与人进行信息交换，也就是让计算机具有视觉、听觉和进行交谈 的能力。这时计算机必须具有逻辑推理和决策的能力。具有上述能力的计算机就 是智能计算机。智能计算机不但使计算机更便于为人们所使用，同时如果用这样 的计算机来控制各种自动化装置特别是智能机器人，就可以使这些自动化系统和 智能机器人具有适应环境和自主决策的能力。这就可以在各种场合取代人的繁重 工作，或代替人到各种危险和恶劣环境中完成任务。 计算机视觉就是用各种成像系统代替视觉器官作为输入敏感手段，由计算机 来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那 样通过视觉观察和理解世界，具有自主适应环境的能力。要经过长期的努力才能 达到的目标。因此，在实现最终目标以前，人们努力的中期目标是建立一种视觉 系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。例如， 计算机视觉的一个重要应用领域就是自主车辆的视觉导航，目前还没有条件实现 象人那样能识别和理解任何环境，完成自主导航的系统。因此，目前人们努力的 研究目标是实现在高速公路上具有道路跟踪能力，可避免与前方车辆碰撞的视觉 辅助驾驶系统。这里要指出的一点是在计算机视觉系统中计算机起代替人脑的作 中南大学硕士学位论文第一章绪论 用，但并不意味着计算机必须按人类视觉的方法完成视觉信息的处理。计算机视 觉可以而且应该根据计算机系统的特点来进行视觉信息的处理。但是，人类视觉 系统是迄今为止，人们所知道的功能最强大和完善的视觉系统。如在以下的章节 中会看到的那样，对人类视觉处理机制的研究将给计算机视觉的研究提供启发和 指导。因此，用计算机信息处理的方法研究人类视觉的机理，建立人类视觉的计 算理论，也是一个非常重要和令人感兴趣的研究领域。这方面的研究被称为计算 机视觉( c o m p u t a t i o n a lv i s i o n ) 。 1 1 2 计算机视觉的特点 计算机视觉研究是多学科的交叉与结合，不少学科的研究目标与计算机视 觉相近或与此有关。这些学科包括图像处理、模式识别或图像识别、景物分析、 图像理解等。由于历史发展或领域本身的特点这些学科互有差别，但又有某种程 度的相互重迭。3 。 1 图像处理 图像处理技术把输入图像转换成具有所希望特性的另一幅图像。例如，可通 过处理使输出图像有较高的信噪比，或通过增强处理突出图像的细节，以便于操 作员的检验。在计算机视觉研究中经常利用图像处理技术进行预处理和特征提 取。 2 模式识别( 图像识别) 模式识别技术根据从图像提取的统计特性或结构信息，把图像分成预定的类 别，例如，文字识别和指纹识别。在计算机视觉中模式识别技术经常用于对图像 中的某些部分，例如分割区域的识别和分类。 3 图像理解( 景物分析) 给定一幅图像，图像理解程序不仅描述图像本身，而且描述和解释图像所代 表的景物，以便对图像代表的内容作出决定。在人工智能视觉研究的初期经常使 用景物分析这个术语，以强调二维图像与三维景物之间的区别。图像理解除了需 要复杂的图像处理以外，还需要具有关于景物成像的物理规律的知识以及与景物 内容有关的知识。 在建立计算机视觉系统时需要用到上述学科中的有关技术，但计算机视觉研 究的内容要比这些学科更为广泛。计算机视觉的研究与人类视觉的研究密切相 关。为实现建立与人的视觉系统相类似的通用计算机视觉系统的目标需要建立人 类视觉的计算机理论。 1 1 3 计算机视觉的发展 计算机视觉发展已有三十多年，视觉研究是在r o b e a s 之前都是基于二维的， 而且多数是采用模式识别的方法完成分类工作的。r o b e a s 首先用程序成功地对 中南大学硕士学位论文第一章绪论 三维积木世界进行解释，在之后类似的研究中，g u z m a n 在视觉处理研究中引入 符号化处理和启发式方法，h u f f m a nc l o w e s 以及w a l t z 等人对积木世界进行了研 究并分别解决了由线段解释景物和处理阴影等问题。积木世界的研究反映了视觉 早期研究中的一些特点，即从简化的世界出发进行研究。这些工作对视觉研究的 发展起了促进作用，但对于稍微复杂的景物便难以奏效0 1 。 根据计算机视觉应用的目的和原理的不同而有不同的分类方法。例如对字 符、图形和片状的物体识别、理解、检测方法属于二维视觉方法，对于三维物体 的识别、重建和测量则属于三维视觉方法，根据系统是否发光又分为有源和无源 视觉方法。在三维视觉中，根据视点数目的不同又分为单眼视觉、双眼视觉和三 眼视觉，根据原理不同又可分为基于区域的视觉方法、基于特征的视觉方法、基 于模型的视觉方法和基于规则的视觉方法“3 。 2 0 世纪7 0 年代中期，以m a r r , b a r r o w 和t e n e b a u m 等人为代表的一些研究 者提出了一整套视觉计算的理论来描述视觉过程，其核心是从图像恢复物体的三 维形状。在视觉研究的理论上，以m a r r 的理论影响最为深远“1 。其理论强调表 示的重要性，提出要从不同层次去研究信息处理的问题。对于计算理论和算法实 现，他又特别强调计算理论的重要性。这些理论多数是在分析人类感知三维信息 的基础上建立起来的。 计算机视觉在机器人、工业检测、物体识别、卫星图像分析、医学辅助诊断、 航空测绘和军事技术中的应用越来越广泛。 1 2立体视觉 立体视觉是计算机视觉领域中的一个重要分支。客观世界是一个三维的空间 世界。用各种观测系统以不同的形式和手段观测客观世界而得来的图像是2 d 平 面的，尽管其中包含有3 d 物体空间信息。人的视觉系统具有将获取的图像信息 转变为立体视图的功能。立体视觉正是根据这个原理，探求从2 d 图像中恢复3 d 空间信息的方法，达到从图像认识世界的目的。 立体视觉主要研究如何借助( 多图像) 成像技术从( 多幅) 图像里获取场景 中物体的距离( 深度) 信息，兴起于2 0 世纪6 0 年代中期”1 。立体视觉的基本方 法是用两个或两个以上的视点去观察同一物体目标，获得在不同视角下的一组图 像，然后通过视觉成像原理推算出不同图像中对应像素间的相对位置信息，进而 推断物体目标的空间位置。 1 2 1 立体视觉模块 一个完整的立体视觉系统可以划分图像采集、摄像机标定、特征提取、立体 匹配、三维重建和后期处理六个模块”1 。 中南大学硕士学位论文第一章绪论 1 图像采集 采集含有立体信息图像的方式很多，主要取决于应用的场合和目的。通常利 用c c d 摄像器件或c m o s 摄像器件并经过预处理获得景物的本征图像。其基本 方式是由不同位置的两台或者一台摄像机( c c d ) 经过移动或旋转拍摄同一幅场 景，获取立体图像对。 2 摄像机标定 摄像机标定也称为摄像机的校准。在立体视觉的研究中，通常需要根据摄像 机获取的图像信息计算三维空间中的物体几何信息，由此重建和识别物体，而空 间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像 机成像的几何模型决定的。这些几何模型参数就是摄像机参数。在大多数条件下， 这些参数必须通过实验与计算才能得到，这个过程被称为摄像机的标定。1 。因此， 摄像机标定是为了确定摄像机的位置、属性参数( 内部参数如焦距、镜头失真系 数、不确定性图像因子和外部参数如旋转矩阵和平移矢量) 和建立成像模型，以便 确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。摄像机标定在 获取立体图像时不但要满足应用要求，而且要考虑视点差异、光照条件、摄像机 性能以及景物特点等因素的影响，建立一个有效的摄像机模型，这样不仅能够精 确地恢复出空间景物的三维信息，还有利于解决立体匹配问题。 通常采用的标定方法是单摄像机的标定方法，分别得到两个摄像机的内、外 参数：再通过同一世界坐标中的一组标定点来建立两个摄像机之间的位置关系。 在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确测出，两 个摄像机的距离和视角受到限制，因此一般都需要至少6 个以上( 建议取l o 个 以上) 的已知世界坐标点，才能得到比较满意的参数矩阵。实际测量过程不但复 杂，而且效果并不一定理想，大大地限制了其应用范围。此外双摄像机标定还需 考虑镜头的非线性校正、测量范围和精度的问题，目前户外应用比较少。 3 特征提取 特征提取是为了从采集的立体图像对中提取对应的图像特征，使立体匹配的 工作得以进行的关键步骤。由于目前尚没有一种普遍适用的理论可运用于图像特 征的提取，从而导致了立体视觉研究中匹配特征的多样性。目前，常用的匹配特征 主要有点状特征、线状特征和区域特征等。一般来讲，大尺度特征含有较丰富的 图像信息，在图像中的数目较少，易于得到快速的匹配，但对它们的提取和描述相 对复杂，定位精度也差。而小尺度特征数目较多，其所含信息较少，因而在匹配时 需要较强的约束准则和匹配策略，以克服歧义匹配和提高运算效率。良好的匹配 特征应具有可区分性、不变性、稳定性、唯一性以及有效解决歧义匹配的能力0 1 。 图像中可提取的特征可以包括颜色、纹理、平面空间对应关系、外形，或者 中南大学硕士学位论文第一章绪论 其他统计特征。图像特征的提取与表达是基于内容的图像检索技术的基础。从广 义上讲，图像的特征包括基于文本的特征( 如关键字、注释等) 和视觉特征( 如 色彩、纹理、形状、对象表面等) 两类。视觉特征又可分为通用的视觉特征和领 域相关的视觉特征。前者用于描述所有图像共有的特征，与图像的具体类型或内 容无关，主要包括色彩、纹理和形状；后者则建立在对所描述图像内容的某些先 验知识( 或假设) 的基础上，与具体的应用紧密有关，例如人的面部特征、指纹 特征或车牌的数字特征等等。 特征提取的算法有很多，根据应用对象，应选择可靠的特征检测方法和特征 定位方法。许多与物体三维特征有关的特征可以在二维图像中计算出来。另外， 由于图像采集过程的差异，有的特征能够很容易的计算出来，有些则不能。 目前常用的特征提取方法是基于纹理、形状和轮廓提取的边缘检测方法。边 缘提取的实现主要集中于基于几何的提取方法：基于边缘图，在边缘上搜寻曲率 最大点或者是定义各种兴趣值提取算子，搜索灰度图像上兴趣值极大值点作为兴 趣算子“”。边缘检测方法具体可分为三大类1 ：一类是利用微分边缘算子。比较 著名的边缘检测算子有：r o b e r t 算子、s o b e l 算子和p r e w i t t 算子、k i r s c h 算子、 拉普拉斯算子、c a n n y 算子、l o g 算子以及在这些算子的基础上进行改进的一 些算子。其中，二阶微分形式的边缘检测算子是目前边缘检测的主要手段之一。 另一类是基于小波与分形理论的边缘检测方法。基于小波理论的边缘检测方法 “”“”可检测出图像在不同尺度下的边缘特征。而基于分形特征的边缘检测方法“” 由于选取的模板不能太小( 太小就不足以反映其分形特征) ，因而检测出的边缘较 粗，需进一步的细化处理，定位精度不高。还有一类是基于形态学的边缘检测方 法“。用形态学方法进行图像边缘检测，算法简单同时能较好地保持图像的细节 特征，较好地解决边缘检测精度与抗噪声性能的协调问题。结构元选取灵活，可 针对不同的图像及要检测的目的不同选取不同形式的结构元，不过这也是形态边 缘检测算法的缺点所在，算法的适应性较差。 这些算法各有优劣，具体的应用还要参考实际情况。另外，在进行特征提取 前，需对获取的图像进行预处理。因为在图像获取过程中，存在一系列的噪声源， 经过处理可显著改善图像质量，使图像特征更加突出。 4 立体匹配 立体匹配是立体视觉中最复杂困难的一环。立体匹配是根据特征提取后获得 的数据，建立特征间的对应关系，将同一个空间物理点在不同图像中的映象点对 应起来，由此得到相应的视差图像。客观景物被投影为二维图像时，景物的丰富 信息( 如光照背景，几何形状，环境特征，畸变等) 最终以像素的灰度值反映，要仅 由这单一的灰度值来提取这些信息，难度非常大。因此对图像无歧义的匹配是相 中南大学硕士学位论文 第一章绪论 当困难的，目前，无论是哪种匹配方法都不可能恢复出所有图像点的视差。 根据匹配基元的不同，立体匹配可分为区域匹配、特征匹配和相位匹配三大 类n 6 1 。区域匹配”n 9 1 和特征匹配啪m 1 1 都是建立在一定的约束条件下的匹配。 匹配的目的是为了获得像点间的视差，并根据视差确定像点的深度，来求解图像 对中的对应点，但是物像投影是一个畸变的过程，因此人们建立了许多约束条件 来减少对应点的误匹配。常用的约束有：外极线约束、一致性约束、唯一性约束 和连续性约束o “。 区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度，它在变化平 缓且细节丰富的地方可以达到较高的精度。但该算法的匹配窗大小难以选择，通 常借助于窗口形状技术来改善视差不连续处的匹配；其次是计算量大、速度慢， 采取由粗至精分级匹配策略能大大减少搜索空间的大小，与匹配窗大小无关的互 相关运算能显著提高运算速度。 特征匹配目的只是需要配准某些点线或面，因此不直接依赖于灰度，具有较 强的抗干扰性，计算量小，速度快。但也同样存一些不足：特征在图像中的稀疏 性决定特征匹配只能得到稀疏的视差场；特征的定位过程直接影响匹配结果的精 确度。改善办法是将特征匹配的鲁棒性和区域匹配的致密性充分结合，利用对高 频噪声不敏感的模型来提取和定位特征。 相位匹配。“2 4 1 是近二十年才发展起来的一类匹配算法。相位作为匹配基元， 本身反映信号的结构信息，对图像的高频噪声有很好的抑制作用，适于并行处理， 能获得亚像素级精度的精密视差。但存在相位奇点等问题，需加入自适应滤波器 解决”1 。 5 三维重建 当通过立体匹配得到视差图像后，就可以获取匹配点的深度，然后利用获得 的匹配点进行深度插值，进一步得到其它各点的深度，即对离散数据进行插值以 得到不在匹配特征点处的视差值，通过得到的数据进行三维重建，从而达到恢复 场景3 d 信息的目的。”。”。 插值的方法有很多，如最近邻插值、双线性插值、样条插值以及基于模型的 内插重建算法汹“”1 等。 6 后期处理 后期处理主要包括两个方面的内容：误差校正和精度改善。立体匹配是在受 到几何畸变和噪声干扰等影响的图像间进行的，另外由于周期性模式、光滑区域 的存在，以及遮挡效应、约束原则的不严格性等原因都会在视差图中产生误差， 对误差的检测和校正成为后期处理中重要的内容。通常需要根据误差产生的原因 和方式选择合适的手段进行。良好的精度对三维重建而成的空间物体模型效果的 中南大学硕士学位论文第一章绪论 影响是显而易见的。因此在每一个环节都要保持相当高的精度，这取决于选用的 算法以及计算的精度。为提高精度，可在获得一般立体视觉通常的像素级视差后， 进一步改善精度，以达到亚像素级的精度。 1 2 2 立体视觉的应用范围和发展方向 立体视觉系统常被用来完成以下任务：物体识别；物体定位和方位确定；物 体表面形状尺寸检测；产品加工与装配；绕避障碍及导航。 就双目立体视觉技术的发展现状而言，要构造出类似于人眼的通用双目立体 视觉系统，还有很长的路要走，进一步的研究方向可归纳如下。”： 1 由传统的双目视觉向多目视觉，静态视觉向动态视觉发展。通过增加信息 输入降低视觉计算的难度。 2 建立更有效的双目视觉模型，能更充分地反映立体视觉不确定性的本质 属性，为匹配提供更多的约束信息，降低立体匹配的难度。 3 探索新的适用于全面立体视觉的计算理论和匹配策略，选择有效的匹配 准则和算法结构，以解决存在灰度失真、几何畸变( 透视、旋转、缩放等) 、噪 声干扰、特殊结构( 平坦区域、重复相似结构等) 及遮掩景物的匹配问题。 4 算法向并行化发展，提高速度，减少运算量，增强系统的实用性。 5 向智能化方向发展，建立基于知识的、模型的和规则的立体视觉方法。 6 强调场景与任务的约束，针对不同的应用目的，建立有目的和面向任务 的视觉系统。 立体视觉是一门多学科的交叉学科，这一有着广阔应用前景的学科，随着光 学、电子学以及计算机技术的发展，将不断进步，逐渐实用化，不仅将成为工业 检测、生物医学、虚拟现实等领域的关键技术，还有可能应用于航天遥测、军事 侦察等领域。目前有许多学科的研究人员应用不同的技术手段对之进行研究，相 信随着研究的不断深入和成熟，立体视觉技术将冲击我们现有的观察视角，掀起 技术变革的新高潮。 1 3本文研究的课题和目的 1 3 1 课题来源 在工业制造、文物考古、生物医学和虚拟现实等领域中，经常需要解决目标 对象的三维重建问题，如果运用传统的接触式测量方法，如利用三坐标测量机， 可能会使其产生畸变，影响数据的可靠性，同时也可能会受到设备场地的限制。 因此，利用立体视觉的原理，运用同一物体目标的多张不同角度拍摄所得的照片 来恢复出被测物体的三维信息，并在计算机中重建该物体的三维模型的方法得到 中南大学硕士学位论文 第一章绪论 了广泛的应用。这是一种非接触式的量测手段，不伤及测量目标，不干扰被测物 的自然状态，仅利用数字影像来获取被测物体大量的几何信息。 用传统的方法进行物体的三维重建，关键的难点在于纹理特征的提取和模型 构网，特别是当物体的纹理不清晰或者根本缺乏纹理的时候，其三维重建几乎不 可能。要对这类物体进行三维重建时，就需要在其表面制造“人工”纹理，以帮 助提取物体的像点坐标。但是，人工贴上标志点来制造纹理的方法并不实用，不 仅工作量大，而且还不一定能够完全反映物体表面的全貌。因此，通常采用以投 影仪投射的结构光的方法来制造“人工”纹理。纹理特征一般分为点、线、面三 种，为方便在计算机上对其进行特征提取，通常以线特征作为结构光的主要方式。 用研究者所设计的结构光投射到观测物体表面，使其“人工”生成可识别的纹理， 再通过立体视觉原理进行处理，达到重建被测物体表面信息的目的，这个过程就 是本课题的主要研究内容。 1 3 2 研究意义和目的 研究要达到的最终目的是解决对于缺乏纹理特征的小件物体目标自动化的 三维几何重建的关键技术问题，并在此基础上构建一种高效率的、自动化的视觉 测量与建模系统。这样一种技术和方法对于工业零配件精密测量、工业制造中的 逆向工程、数字文物、生物医学测量具有重要意义。 1 4本文的主要工作 1 4 1 研究内容 本课题主要从以下五个方面进行研究：数码相机与投影仪的标定；结构光的 设计：线的检测与跟踪；同名线的匹配：密集目标点的三维坐标计算。首先应用 直接线性变换算法( d l t ) 进行数码相机与投影仪的标定；通过反复实验找出合 理的结构光模式；对已有的边缘检测、边缘跟踪算法进行比较分析，确定对本系 统运用的最优方法；通过对特殊设计的投影光线的匹配来引导其它线的匹配；最 后利用d l t 算法完成目标点三维坐标的计算。 本课题采用投影仪一数码相机系统来完成物体的三维重建。投影仪可以给物 体提供清晰、稳定的纹理特征，这种纹理特征的提取和匹配相对容易实现。数码 相机主要用于采集二维图像数据和物体的真实纹理。具体方法如下：把物体放入 控制场，建立坐标系；设计所投的纹理，用投影仪把这些纹理投影到物体的表面， 形成纹理特征；用数码相机拍摄有投影纹理的物体图像，作为数据源；从不同角 度，重复投影和拍摄过程，使所投纹理可以覆盖整个物体的表面。对于每一个在 物体表面的所投的纹理特征来说，都存在两个像。一个是投影仪所投的纹理的设 中南大学硕士学位论文第一章绪论 计值，一个是从数码相机拍摄的图像的提取值。因此，当投影仪和数码相机分别 进行标定后，整个投影仪一数码相机系统就相当于一种双目视觉系统。通过直接 线性变换法( d l t ) ，可以算出每个所投纹理特征的空问坐标。把这些空间特征 相连，进行构网建模，从而完成物体的三维重建。 根据不同的物体，投影仪和数码相机的位置可以调整远近，所投纹理的设计 也可以不同，增加了该方法的灵活性和适用性。由于该方法几乎不受时间和空间 的影响，增加了其实用性和稳定性。同时，投影仪和数码相机的使用是非接触性 的，该方法可以对高危物体进行三维重建。最后实验的数据结果验证了该方法的 可行性和正确性。 14 2 实验过程 采取的实验步骤如下： ( 1 ) 对c c d 数码相机和投影仪进行标定； ( 2 ) 设计纹理，并投影到目标物体上，利用数码相机摄取目标物体的影像： ( 3 ) 对影像进行处理，利用线检测和线跟踪原理提取物体上的线特征； ( 4 ) 将提取出的线条与投影仪设计的纹理线条相匹配； ( 5 ) 将匹配正确的线条用d l t 方法进行解算，计算出物体表面的空间坐标 值；然后利用得到的空问坐标值在计算机中三维建模。 9 中南大学硕士学位论文第二章基于结构光的视觉测量系统的设计 第二章基于结构光视觉测量系统的设计 本系统选取无纹理的塑像作为测量的物方。由于白色塑像表面缺少可用于匹 配的纹理，且其表面凹凸有变化，通过投影仪对塑像表面投射均匀条带状的结构 光，用c c d 相机摄取此影像，即给塑像表面人为的“加”上可用于匹配的纹理， 使重建塑像曲面成为可能。对c c d 相机摄取的影像与投影器本身投射出的虚拟 影像这两幅影像进行同名线匹配，通过空间前方交会即可计算出塑像表面的空间 点，再通过这些空间点构建塑像的表面的三维曲线模型。依据上述原理构建整个 视觉测量系统的框架，本章的主要内容是介绍这个框架的设计方案。 本章首先介绍结构光三维测量法的基本原理及结构光的种类，经过分析和比 较选择并设计了本系统采用的条纹结构光，然后对本系统设计的硬件结构和软件 功能进行简要的介绍。 2 1结构光三维测量法 三维物体的距离获取和面形测量，在机器人视觉、实物仿形、自动加工和产 品质量控制等领域具有重要的意义。结构光法。4 测量三维物体面形，是将特定光 条投影到被测物表面，通过物体表面高低起伏所引起的光条畸变来抽取物体的三 维信息。由于结构光法具有快速、精确、简便的特点，因而是一种广泛采用的三 维物体面形测量方法。结构光类型主要有：条纹光栅、正交光栅、圆形光条、点 阵、交叉线、空间编码模板等。根据不同的应用对象，可设计不同的结构光形式。 下面对几种常用的结构光三维表面形貌测量法进行简要的介绍。 2 1 1 云纹法 利用两组频率相近的栅线叠加产生几何干涉形成云纹条纹图是测量面内和 离面位移或变形的一种常用方法。基本原理是根据两个稍有参差的光栅相互重叠 时产生光线几何干涉，从而会形成一系列含有面外位移信息的云纹进行测量。光 线经汇聚、折射，透过基准光栅；基准光栅的影像投射到三维物体表面，由于物 体表面的凹凸而受到三维调制，基准光栅的影像形成变形光栅。这两重光栅之间 产生几何干涉，形成含有面外位移信息的云纹；透过基准光栅的不同角度观察时， 即可看到物体表面的干涉云纹。选择合适的光学系统装置，可使干涉云纹成为物 体表面的等高线。用光学记录装置拍摄记录等高云纹图，即可获得所需测量数据。 利用这种栅线几何干涉原理，发展形成许多云纹测量法1 ，例如：影像云纹法、 投影云纹法、扫描云纹法、激光干涉云纹法、数字逻辑云纹法以及其他的改进方 法，使云纹等值线测量技术满足不同的实用化要求。 中南大学硕士学位论文第二章基于结构光的视觉测量系统的设计 1 影像云纹法 影像云纹法是指，平行光照射到置于被测物体上的主基准光栅，其影像投在 物体上。在摄像机像面上得到投影到物体表面的光栅和基准栅进行叠加的图像， 产生几何干涉条纹图。 影像云纹法特点是原理简单，易于实现，但由于制造面积较大的光栅很困难， 故该方法只适用于小范围的测量。 2 投影云纹法 这种方法是将光栅投射到被测物体上，然后在观察面用第二个光栅观察物体 表面的变形光栅像。观察基准栅与投影变形光栅进行叠加，产生几何干涉云纹条 纹图。分析云纹条纹就可以得到物体的深度信息。该方法可用于较大视场的测量。 3 扫描云纹法 其投影方式与投影云纹法相同，但在观察面不是用光栅来形成云纹条纹，而 是用电子扫描光栅与变形像叠加生成云纹等高线。它的优点是利用现代电子技 术，可以很方便的改变扫描光栅栅距、相位等。生成不同位相的云纹等高线条纹 图像，便于实现计算机自动处理。 2 1 2 单光束三维表面测量法 单光束三维表面测量系统由光源、摄像机和移动平台组成。系统光源采用倾 斜光束，摄像机为线阵c c d 摄像机。 图2 - 1 光学三角测量示意图 图2 - 1 为激光表面测量原理图，其中1 7 为结构光入射角，0 为表面反射光线 的出射角度，z 为表面到参考面的距离，f 为摄像机焦距，y 为入射光在物体 表面和参考面投影点之间距离在图像上的投影长度。则z 和y7 有如下关系： y m 。玎+ z 【z s i n 仆( r + 。o t 翮) ( 2 一1 ) 其中，m 为摄像系统放大倍数，需要通过对摄像系统作精确的标定来获得。 由上述原理可以方便的推广得到使用平面光束和面阵c c d 测量三维曲面的 中南大学硕士学位论文第二章基于结构光的视觉测量系统的设计 方法o “。 2 1 3 条纹结构光测量法 这种方法采用光学投射器将光栅投影于物体表面，在表面上形成由被测物体 表面形状所调制的光栅条纹三维图像，该三维条纹图像由处于另一位置的摄像机 拍摄，从而获得光栅条纹的二维变形条纹图像。”。条纹的变形程度取决于光学投 影器于与摄像机之间的相对位置和物体表面形廓( 高度) 。直观上，条纹在法线 方向的位移( 或偏移) 与物体表面深度成比例，扭结表示了平面的变化，不连续 显示了表面的物理突变或间隙。当光学投射器与摄像机之间的相对位置一定时， 由变形的条纹图像便可以重现物体表面轮廓，即可以进行三维表面的形貌测量。 图2 - 2 为结构光成像模型，其中g 。，y 。，z 。) 为世界坐标系，g 。，y 。，z 。) 为摄像 机坐标系，伍，j ，) 为图像坐标系。摄像机坐标系的原点在世界坐标系中的坐标为 ( ，。，0 ，：) 。将世界坐标系下的点变换到摄像机坐标系的步骤为：首先作平移 - i ，0 ，- i ：】，然后绕o c t 轴旋转1 8 0 。，再绕d 。y 。旋转卢角，最后再变换到图像坐 标系中。 川引习卜：爿 ( 2 2 ) ( 2 3 ) 中南大学硕士学位论文第二章基于结构光的视觉测量系统的殴计 e f x ，z c ( 2 - 4 ) 【】，= 痧。乙 由式( 2 2 ) 、式( 2 3 ) 和式( 2 4 ) 可以得到被测物体表面上任一点在世界 坐标系下的坐标g 。，y 。，z 。) 与图像坐标系的变换关系，即结构光三维成像模型 为： 扎= 似。正+ 仍) 五 胪砉陋卅仍x s 邶s 舯t 曰) 一互e 】 ( 2 5 ) z 。= 一x 。c o t 0 + 只 其中一厂为摄像机焦距，正= 1 。s i n + i c o s 一p c o s t 1 = ix c o s f l i ：s i n f l 七p ：s i n f l l = x u ( s i n p c o s f l c o t p l + f ( c o s p + s i n f l c o t 9 1 结构光三维成像模型中的只，l ，：，0 ，f 等参数的值可以通过摄像机标定 来确定。 2 1 4 本文设计采用的结构光 使无纹理的白色石膏塑像上生成人工纹理，使其能用于匹配，达到获取其表 面空问信息的目的，首先要选择合适的“纹理”，也就是结构光的设定。对比上 三小节介绍的三种结构光测量法，云纹法需要考虑光的干涉、衍射、变形叠加和 相位等，对于没有专用光学仪器的本系统来说，构建专用的云纹结构光是难以实 现的；对于单光束结构光而言，单光束不仅难以规范其光学特性，需要光在物方 上的投影长度这一条件使这种方法精度不高而且工作繁复；相较之下条纹结构光 测量法最为满足本系统的需求。条纹结构光测量法可以不必考虑其复杂的光学特 性，只要摄像机与投影仪的角度保持不变，通过共线方程即可解算出塑像表面的 三维坐标点集，易于实现且基本不需人工量测。塑像表面缺乏特征纹理，本系统 设计了简单而又容易识别和提取的线性结构光。 由于塑像表面有多处不连续的凹凸起伏，且起伏程度大，如果选用不当的结 构光，将会造成信息的不准确或是丢失。结构光太稀疏就不足以反映塑像表面真 实的凹凸起伏情况，而太密又将造成数据过于庞杂，难以统计和运算，甚至还能 导致光条之间产生严重的衍射情况，影响数据的采集。 经过多次试验和比较，决定采用如下的结构光： 中南大学硕士学位论文 第二章基于结构光的视觉测量系统的设计 图2 - 3 构建的结构光 光条宽度为一个像素，光条之间的距离为1 个像素，选择的结构光疏密适中， 基本涵盖塑像的每一个起伏区域，既能很好的反映塑像表面凹凸的全貌，又不会 造成严重的光干涉和衍射的现象，而且有利于接下来的同名线的匹配工作。 2 2基于结构光的视觉测量系统硬件和软件设计 1 硬件构成 图2 - 4 是我们研究的基于结构光的视觉测量系统硬件组成。系统的硬件部分 主要由笔记本电脑、投影仪( p r o j e c t o r ) 、c c d 相机、旋转平台、三角架等设备 构成。 图2 - 4 基于结构光的视觉测量系统硬件结构 ( 1 ) 笔记本电脑 笔记本电脑用于构建结构光，并将结构光的信号输入给投影仪。由于笔记本 电脑体小轻便，便于搬动，易于整个硬件系统的搭建。 中南大学硕士学位论文第二章基于结构光的视觉测量系统的设计 ( 2 ) 投影仪 投影仪接收由笔记本电脑传输的结构光信号，并将其放大投影到塑像上去， 使塑像上形成“人工”纹理。 ( 3 ) c c d 相机 c c d 相机将已经形成了“人工”纹理的塑像拍摄下来并保存，然后将图像传 输至电脑进行处理。 ( 4 ) 旋转平台与三角架 旋转平台用于在不移动c c d 相机和整个系统的前提下，使塑像可进行平行 3 6 0 度的姿态调整，使数码相机可以拍摄其各个侧面打上“人工”纹理的状况。 三角架用以支撑数码相机，使其不在影响标定参数的情况下左右摇摆或上下俯 仰。 由图2 - 4 可以看到，待测取的塑像立于旋转平台上，旋转平台用圆水准器校 准使之始终保持与地面平行。笔记本电脑里打开了a u t o c a d 软件界面，将设计 的结构光信号通过与之相连的数据线传送到投影仪里，投影仪将结构光投射到塑 像之上形成塑像的“人工”纹理。三角架使数码相机保持稳定，对拥有“纹理” 的塑像拍照，进行数据采集。 2 软件设计 图2 5 是我们研究的基于结构光的视觉测量系统软件平台界面。软件所选用 的开发工具是v i s u a lc 十+ 6 0 ( m f c ) ，开发平台是w i n d o w sx p 专业版，该软件主 要由三个部分组成：最上面为主菜单，包括图像预处理、边缘检测和边缘跟踪、 特征提取、同名线匹配、三维重建等功能；中间为显示窗口；最下面为状态栏。 图2 - 5 软件界面图 中南大学硕士学位论文第二章基于结构光的视觉测量系统的设计 下面对各级菜单进行详细介绍： ( 1 ) 图像预处理菜单 图像预处理菜单下包含四个子菜单：灰度直方图、线性变换、灰度拉伸和灰 度均衡。如图2 - 6 所示。 图2 - 6 图像预处理菜单 其中，灰度直方图子菜单用于显示当前图像的灰度直方图；线性变换、灰度 拉伸、灰度均衡子菜单是用来进行直方图修正处理( 详见4 2 节) 。图2 7 是线性 变换和灰度拉伸设置参数的界面图。 ( a ) 线性变换( b ) 灰度拉伸 图2 - 7 线性变换和灰度拉伸参数设置对话框 ( 2 ) 线跟踪菜单 线跟踪菜单下包含三个子菜单：线追踪、二次追踪和图像合并( 详见4 3 节) 。 如图2 8 所示。 图2 - 8 线跟踪菜单 中南大学硕士学位论文第二章基于结构光的视觉测量系统的设计 线追踪和二次追踪子菜单是为了对数码相机采集的图片里的塑像的“人工” 纹理进行识别和提取：图像合并的功能是将两幅已经进行了跟踪的图片进行合 并。 ( 3 ) 特征提取菜单 特征提取菜单下包含两个子菜单：细化和链码跟踪( 详见4 4 节) 。如图2 - 9 所示。 图2 - 9 特征提取菜单 细化子菜单是将已经经过跟踪处理的图片上的线性条纹进行细化，使之易于 进行同名线的匹配工作；链码跟踪子菜单是将细化后的线条进行提取，提取方式 是从左至右，自下而上，一根根进行提取，提取的数据存储在文本文件f i l e t x t 中。 ( 4 1 同名线匹配菜单和三维重建菜单 同名线匹配菜单没有子菜单。同名线自动匹配功能由于存在技术性难点尚未 解决，因而目前是依靠人工来进行匹配的，其自动化功能将在软件的后期开发中 进行补充。三维重建菜单下有一个子菜单：三维数据，如图2 1 0 所示。 图2 - 10 三维重建菜单 三维数据子菜单用于演算三维空间数据，运算前要求手工输入对应的同名线 的x 坐标，如图2 1 1 所示。 图2 - 1 1 三维重建对话菜单 运算的结果输出到文本文件d a t a t x t 中，所获得的三维空间数据用m a t l a b 工 具来演示实现。部分关键程序实现代码可以参见本文的附录部分。附录部分包含 4 个关键程序源代码：线追踪、二次追踪、细化和链码跟踪。 中南大学硕士学位论文第三章基于结构光的视觉测量系统的标定 第三章基于结构光的视觉测量系统的标定 本章首先介绍了摄像机标定技术的基本原理，然后对摄像机标定的几种 基本方法进行简要的介绍，经过比较后选择了直接线性变换解法作为本系统 的标定方式，最后是对本系统硬件一数码相机和投影仪进行标定。 3 1 摄像机标定概述 计算机视觉系统应能从视觉传感器( 如摄像机) 获取的图像计算出三维 环境物体的位置、形状等几何信息，并由此识别环境中的物体，才能做出正 确反应。