（光学工程专业论文）彩色结构光三维视觉研究.pdf

摘要 摘要 ( 计算机视觉在国民经济、科学研究及国防建设等领域都有着广 泛的应用，例如机器人、自动加工、工业检测、实物仿真以及在 生物和医学等领域的应用。、 本文简单地叙述了计算机视觉系统的结构，并对其中的三维面 形测量技术进行了讨论。在此基础上，提出了一种新颖的基于彩色 编码结构光的新型面形测量技术。这种方法，以颜色作为物体三 维信息的加载和传递工具，以彩色c c d 摄像机作为图像获取器件， 通过计算机软件处理，对颜色信息进行分析、解码，最终获取物 体的三维面形数据。 本文阐述了该方法的基本原理和技术特点，在此基础上提出 了俩种实验方案，并推导出相应的理论计算公式。同时文中讨 论了两种不同的彩色结构光，以及两种颜色匹配方法，并根据 系统的要求，完成了所需软件的开发工作。文中最后给出了实 验结果，分析了系统的实验精度和误差，同时也提出了系统改进 的方法和思路。 关键词：计算机视觉，三维面形测量，彩色编码结构光，颜色匹配 塑堕妄苎堂塑主! 苎堡! ! 苎 垒璺! ! 垦垒! ! a b s t r a c t c o m p u t e rv i s i o nh a sb e e nw i d e l yu s e di nt h ef i e l d so fe c o n o m y a n ds c i e n c e ，s u c ha st h ea p p l i c a t i o n si nr o b o t ，a u t o m a t i cm a n u f a c t u r i n g ， i n d u s t r i a li n s p e c t i n g ，q u a l i t yc o n t r o l l i n g ，o b j e c tm o d e l i n g ，b i o m e d i c i n e ， e t c t h i sd i s s e r t a t i o ns u m m a r i e st h es t r u c t u r eo fc o m p u t e rv i s i o na n d d i s c u s s e st h et e c h n i q u e so f3 一dp r o f i l o m e t r y , w h i c hi so n ec o m p o n e n to f c o m p u t e rv i s i o n an o v e ls y s t e mb a s e do nc o l o r e n c o d e ds t r u c t u r el i g h t i s d e s i g n e dt o l o a da n dt r a n s f e rt h e3 - di n f o r m a t i o n ，b yu s i n gc c d c a m e r at oo b t a i nc o l o ri m a g e s ，b yp r o g r a m m i n gt oa n a l y z ea n dd e c o d e t h ec o l o ri n f o r m a t i o na n d g e t t h e3 - dd a t ao f o b j e c t t w ot e s t p r o j e c t s ，t w o c o l o r - e n c o d e ds t r u c t u r e l i g h t s a n dt w o a l g o r i t h m s f o rc o l o rm a t c h i n ga r e p u tf o r w a r d t h et e s t r e s u l t sa r e p r e s e n t e d ，a l lk i n d so f c a u s c so f m e a s u r e m e n te r r o r sa r ed i s c u s s e d ，a n d s o m en e wm e t h o d sf o ri m p r o v i n gt h es y s t e ma r ea l s os u g g e s t e d k e yw o r d s ：c o m p u t e rv i s i o n ，t h r e e - d i m e n s i o n a lp r o f i l o m e t r y ，c o l o r e n c o d e ds t r u c t u r el i g h t ，c o l o r m a t c h i n g i 王 塑堕堂塑主鲨墼 篁! 堡韭一 第一章概述 第一节计算机视觉 视觉是人类最重要的感觉功能。通过看来感知外部世界丰富多彩的 信息，是我们每个人每时每刻都在亲身体会的经验。据认为，从视觉获 得信息约占人所获得的信息总量的9 0 。 我们眼睛看到的一切称为场景。我们对场景进行观察时，视网膜内 就会形成一个像。人脑的视觉部分对这个像进行加工处理，就得到对客 观世界场景的描述，最终达到对场景的理解和感知。可见视觉是一种信 息处理过程，它对场景的像进行加工处理，最终产生对观察者有意义的 描述。 自从计算机出现以来，其发展日新月异，显示出对信息处理的极大 威力。既然视觉是一种复杂的信息处理过程，就可以用计算机来达到视 觉的目的。计算机视觉就是使计算机具备“看”的功能，使计算机能认 识和看懂所要看的东西，能找到它所见范围内目标的位置等等。利用计 算机来达到这一目的的系统，称为计算机视觉系统。 随着人们对计算机视觉的深入研究，逐渐认识到这一学科的研究目 的主要有以下三点：建成一些计算机视觉系统，完成在各种实际应用场 合提出来的专门视觉任务；把对计算机视觉的研究作为探索人脑视觉部 分工作机理的重要手段；建成象人的视觉那样的通用计算机视觉系统， 当然，要达到这样的目标是长期艰巨的任务，然而这正是计算机视觉这 门学科的最终目标。 计算机视觉的主要优点有以下几个方面：与被观察的对象无接触， 因此对观察和被观察者都不会产生任何损伤；所能检测的对象十分广泛， 它可以利用红外线、微波、超声波等形成图像，因此可以说它扩展了人 类的视觉范围；它不会象人眼那样产生疲劳。 计算机视觉在国民经济、科学研究及国防建设等领域都有着广泛的 应用。具体来说，计算机视觉可以应用在以下几个方面：( i ) 工业上， 如生产线上的机器人；( 2 ) 各类检验、监视工作中，如检查产品质量的 机器人：( 3 ) 医学上，如x 射线图像自动检查；( 4 ) 军事上，如对军事 堑垩盔堂堡主堂堡! 垒塞 蔓= ! 蔓堕 目标的自动监视：( 5 ) 遥感方面，如对国土资源进行管理。计算机视觉 的应用是多方面的，它已经取得并将取得越来越广泛的应用。 当然，实现计算机视觉也有不少困难。根据光的强度不同、波长不 同、方向位置不同，人眼可以感受到明暗、颜色、方向、形状和运动。 人的视觉系统是一部完美的自动机器，它可以高效、实时、并行处理许 多信息。计算机视觉要用一般计算机那有限的资源产生出和人类视觉同 样的效果来，其难度是可想而知的。总结起来说，困难主要表现在如下 一些方面：( 1 ) 计算机视觉的唯一输入是图像，而从图像中得到的只是 景物颜色的强度信息；( 2 ) 由三维场景到二维图像是一个投影过程，在 这一过程中失去了不少信息，另外，引起强度变化的因素很多，诸如光 照条件、物体表面反射率、物体的形状、摄像的角度、距离等。但在图 像中每一个位置的强度值只有一个，要想从这一已知值倒推它的多个因 素，本身的条件就不足；( 3 ) 要恢复上述失去的信息以及产生出对图像 景物有意义的描述，都需要有知识。另外，一个成功的视觉系统往往不 能缺少视觉目的的指导。因此计算机视觉涉及的不仅仅是图像中的问题， 还有对视觉知识如何表达、如何利用的问题，这些都是计算机视觉这门 新学科必须要解决；( 4 ) 实际技术上的问题。视觉信息比语音信息要庞 大得多，计算机视觉系统必须解决信息量大、处理速度要求快的问题。 第二节计算机视觉系统结构 根据计算机视觉的整个实现过程，可以将其划分为以下几个部分： 图像的获取、图像的前处理、图像的分割、深度信息的获取和三维重建、 视觉表达，如图1 1 所示。 图1 1 计算机视觉系统的结构 下面以计算机视觉的实现过程为顺序分别介绍计算机视觉系统的各 个组成部分。 2 堑燮塑主堂垡! 鱼壅 墨二! 茎笙 一成像设备 成像设备主要包括胶片、图像数字化器、电视成像仪等，- f 面我1 f 分别予以介绍。 胶片：是照相机的基本存储介质。胶片对光的响应通常画成“h d 曲 线”，胶片的h d 曲线显示了胶片许多重要的特性。图1 2 所示为黑白胶 片的典型h d 曲线。图中表示，曲线的脚部和肩部对曝光量是不敏感的： 在曲线中间，有一个线性工作区域。 倒 翱 曝光量的对数 图1 2 典型的h d 曲线 图像数字化器：当把胶片上的图像转化成数字形式时，精度和速度 是主要的考虑因素。精度有两个方面：空间分辨率，粗略地说它是数字 化器对图像的空间细节能够作出反应的程度；灰度级分辨率，它一般定 义为数字化器可以反应的密度范围或反映能力以及数字化器划分这个范 围的精细程度。速度也很重要，因为通常总要涉及大量数据。数字化器 普遍采用机械式和“飞点扫描”式两种形式。 电视成像：电视摄像机对于计算机视觉应用是颇有吸引力的设备， 这是因为，第一，图像是立即得到的；第二，图像不是数字形式就是电 信号形式，并且摄像机可以与很多不同的技术规范相配合。电视摄像机 的扫描方式与广播标准和接受机标准密切有关，一般情况下一帧图像包 含两场，每场由一帧中的交替扫描线组成。隔行扫描主要是为了防止图 像的闪烁。用于产生电视图像的系统主要有超正析摄像管、光导摄像管、 光电摄像、析像管、电荷传送器件等几种。 二图像的前处理 成像过程把许多有用的物理信息混杂在灰度级阵列中。从这个角度 来说，成像过程是一组退化变化。但是，这种有用信息并不是不可挽回 塑堕堂塑主堂垡望堕 蔓二主茎姿 地丢失了，因为图像中有许多空间冗余信息：图像中近邻象素具有相同 或几乎相同的物理参数。前处理技术就是利用这种冗余信息以消除成像 过程中的退化。这些技术具有把图像变成反映景物空间性质的“参数图 像”或本征图像的变换特点。图像的前处理主要包含滤波、提取边缘、 距离变换、由明暗求形状、光流、分辨率锥体等六种方法。 滤波。滤波是改变图像灰度级以增强物体外观的各种技术的一般名 称，它以某种方式改变图像的强度以便增强或消弱某些特征。滤波的意 思最经常的是指使区域之间的强度突变变得更显著的那些变换。这些变 换往往取决于物体总体的特点。滤波也能补偿空间上照明的变化。滤波 主要采用的方法有：模板匹配、直方图变换、背景消去法、滤波模型和 反射模型。 提取边缘：边缘在识别物体过程中起着很重要的作用。在实际应用 中较成功的方法是，首先把图像变成有局部灰度突变一一边缘的一种中 间图像形式，然后把这些边缘复合成较精细的边界。边缘算子是具有小 的空间范围的一种数学算子，专门用于检测图像中局部边缘的存在。算 子分成三大类：( 1 ) 与数学的梯度算子相似的算子：( 2 ) 利用多个不同 方向模板的模板匹配算子：( 3 ) 用参数式边缘模型拟合局部亮度的算子。 距离变换：使用体视图像的已知几何关系可以推导出点到观察者的 距离，这种变换利用逆透视变换解释三维空间的点是如何投射到体视对 的。如果已知两幅体视图像的几何性质，这两幅图像中点与点之间的对 应性就能确定这些点的距离。相对距离也可以从图像中局部的对应性道 出而无需确切地知道成像系统的几何关系。 计算表面方向：计算表面方向的算法有两种：第一种算法使用强度 图像作为输入，并通过多个光源位置消除表面方向的不确切性来确定表 面方向：第二种算法使用单一光源，但利用临近表面元素之间的约束条 件，它是在亮度基础上把初始方向范围赋于每一表面元素。临近的方向 互相进行“松弛”处理，直到每个方向都收敛于一个唯一的方向为止。 光流t 即瞬时速度场，它给视场上的每一点赋予一个二维“视网膜 速度”，即该点穿过视场的运动速度。利用光流可以计算观察者的运动、 相对深度图、观察者周围表面的法线和其它有用信息。 分辨率锥体：锥体是用于表示图像在多级分辨率时各个子图的一般 塑壁兰堕主兰自盟丝 蔓二皇茎堕 结构。锥体是一种能够显著地提高各种前处理和后续分割算法速度和效 率的“公用结构”。锥体结构经常被应用到灰度级图像和边缘图像中，它 能够表达细节变化范围很宽的任何图像。 三图像的分割 分割的概念来源于形态心理学家的工作，他们研究人类对于视场中 排列的各种形状进行划分和组织的能力。形态心理学原理根据各种特征， 例如相似性和连续性等，指导一定的集聚工作。在计算机视觉中，将经 前处理的图像的一部分集聚为单元，这些单元对某一种或某几种特性( 或 特征) 是均一的，这就形成了分割图像。两种基本分割是边界和区域。 边界检测：是一种很基本的图像分割方法。在将边缘元素变换成边 界的集聚运算中经常需要知识的帮助。“知识”是关于某一集聚方法之可 能性的隐含的或明显的约束。主要的边界检测方法有近似位置附近搜索、 h o u g h 变换、图搜索、动态规划、轮廓追踪等。 区域生长：区域生长的目标是利用图像特性，将输入图像中的单个 象素映射成一个称为区域的象素集。一个图像区域可能相应于一个客观 世界的物体或其有意义的一部分。区域生长的主要方法有局部法、整体 法和分裂一合并法。 纹理：纹理是由紧密的交织在一起的单元组成的某种结构。纹理分 辨率可以认为是每一个可辨别的纹理单元所包含的平均象素数。如果这 个数很大，我们可以较详细地描述每个单元。但是随着这个数接近于1 ， 单个地表征这些单元变得越来越困难。一般是通过纹理基元、结构模型、 统计模型、纹理梯度来解释纹理的。 运动：运动视觉是指根据动态图像或时变图像序列的分析，来确定 三维空间运动物体的结构，或物体与观察者之间的相对运动参数。运动 视觉的一个基本条件是需要知道物体对应点在图像平面上的位置信息。 因此，在动态图像分析中也需要解决对应点的匹配问题。 四深度信息的获取和三维重建 深度信息的获取方法一般分为被动和主动两大类，前者景物的照明 是由物体周围的光线来提供，而后者则使用一个专门的光源装置来提供 目标物体的照明。具体方法将在第二章中详细介绍。三维重建，是指利 用获得的深度信息在计算机上重新绘制物体的三维立体图，具体的绘制 塑婆盔堂塑主堂堡垒壅 蔓二主堡笙 方法可以是自己编程序实现，也可以是利用现有的图像处理软件，如 a u t o c a d ，m a t l a b 等。 五视觉表达 物体的形状是从一幅图像中确定的最重要的特征之一。对视觉系统 而言，几何形状是景物的基本内在特性，利用它能够推导出许多其他特 性。形状是由组成物体的轮廓线或物体表面的所有点的相对位置决定的。 因此我们只能通过物体的外轮廓或外表面才可以知道其形状，而外轮廓 和外表面是能为视觉所感知的。计算机视觉面l 临的一个主要难题是形状 的表示，或者形状重要特征的表示。只有通过这种表示，才能对感兴趣 的景物形状进行学 - j 、匹配、重构和利用。 描述计算机视觉系统的基本方法有：图像区域描述法、四叉树结构 描述法、基于数学形态学的区域形状分析法。 六视觉知识库 厂广义图像- e 票蓑篙蓉| | 构造 类比模型 lr 边界 ” 厂嚣镰朵何寸已分割图像t 萎篓 li 动 竹 知识库_ 1l 几何表达( 三曩l l 匹配和预测 j厂语妄网出逛配 l 类比嚣命题一关系结构+ 命题和解释吲推理 l 规划( = = = = = 作规划 图1 3 计算机视觉系统中的知识库和有关过程 世界的内部表达可以帮助一个有智能的系统规划它的行动和预见行 动的结果，预先考虑危险，以及使用过去获得的知识。知识库的结构如 图1 3 所示。 知识库应具有以下性质：( 1 ) 表达类比、命题和过程的诸结构；( 2 ) 允许快速访问信息；( 3 ) 应可以容易地和顺利地扩充：( 4 ) 支持对类比 结构的询问；( 5 ) 不同结构之间的联系和转换；( 6 ) 支持信念维护、推 理和规划。 塑垩盔兰堡主塑! 鱼塞 苎二兰茎垄 第三节本文所完成的工作 三维信息的获取一一三维面形测量一直是计算机视觉系统最核心的 环节，经过多年的研究和探索人们提出了多种具有代表性的三维面形测 量技术，本文在总结了已有的三维面形测量技术的基础上，提出了一种 新颖的实现方法，即彩色结构光三维立体视觉。 一彩色结构光三维立体视觉的特点 彩色结构光三维立体视觉的主要优点是：( 1 ) 从理论上讲系统获取 三维信息的速度只受c c d 摄像机的图像抓取速度的限制，适用于各种要 求高速或实时的应用场合；( 2 ) 系统无需任何扫描装置，其机械结构简 单、可靠，环境适应能力强；( 3 ) 系统基本采用现成的设备，因而整个 系统的设计成本较低：( 4 ) 系统不仅可以获得物体的三维深度图像，而 且还可以获得物体的二维灰度图像，因此从理论上讲可以获得形态逼真 的三维立体图像。 所以彩色结构光三维立体视觉的意义在于为实时、精确、可靠的计 算机三维视觉提供了可能性。 二原理阐述 本文对彩色结构光三维立体视觉的基本原理进行了阐述，系统是利 用光源的颜色信息获取被测物体的三维立体信息。曲面物体被彩色结构 光照射后，在光源位置看来仍为规则的彩色结构光带，而在离开光源一 定距离处，彩色结构光带被物体表面所扭曲。扭曲后的结构光带被偏离 光源一定距离的彩色c c d 摄像机接收后输入计算机，计算机根据物体像 的颜色分布就可计算出物体的三维立体形状。 三系统编程与实验 根据以上原理我们设计了实验方案，进行了大量实验，编制了系统 的处理处理软件，具体说系统的主要工作包括胶片的制作、图像的获取、 图像处理、三维信息的获取以及三维重建等几个部分。 系统设计了两种彩色编码结构光：第一种的色调值是连续变化的， 象彩虹一样：第二种的色调值是不连续的，彩色和彩色之间有隔离色( 黑 色) ，是条纹状的彩色光带。根据以上两种彩色编码结构光，我们制作了 相应的胶片，在制作过程中对色彩亮度进行了规化处理。 塑壁塑! 主丝塑壅 蔓二兰塑堡 一 为了简化实验过程，根据系统原理，我们提出了两种实验方案：( 1 ) 投影仪倾斜放置，c c d 垂直拍摄；( 2 ) 投影仪垂直放置，c c d 倾斜拍摄， 并推导出相应的理论计算公式。根据这两种方案我们对照相机模型和人 的嘴唇模型进行了大量实验。 对获得的图像，我们尝试了多种方法提取边缘，在此基础上提出了 一种针对彩色条纹结构光的边缘提取方法。其基本思路是这样的，首先 根据亮度值去除背景色( 黑色) ，再求剩余彩色条纹的中心线。 根据彩色结构光的两种形式，论文中提出了两种颜色匹配方法：像 点与像点之间的颜色匹配和条纹与条纹之间的颜色匹配。其中条纹与条 纹之间的颜色匹配大大提高了实验结果的精度。 我们在自己开发的软件和a u i o c a d 之间建立了一个可靠的接口，获 取物体的三维坐标之后，通过这个接口在a u t o c a d 中重建被测物体。 四结论与误差分析 本文通过两种方案、两种彩色结构光对照相机模型和人的嘴唇模型的 大量实验，运用两种颜色匹配方法提取三维信息，对照相机模型和人的 嘴唇模型进行了三维重建，结果表明该方法具有理论简洁，结构简单， 安装方便，易于实现等特点。作为对一种新的三维立体视觉技术的探讨， 已取得了初步成效。 本文还对系统可能的误差来源进行了分析，并提出了可能的改进方案。 坚幽圭塑墼蔓三耋三塑皇塑蕉盟堕塑 第二章三维信息获取方法的最新进展 三维信息获取技术又称为三维测距技术，一般说来，常用的三维信 息获取技术分为被动( p a s s i v e ) 和主动( a c t i v e ) 两大类，前者中景物的 照明是由物体周围的光线来提供，而在后者则使用一个专门的光源装置 来提供目标物体的照明。被动式三维信息获取技术特别适用于需要保密 的军事应用或由于环境的约束不能使用特殊的照明光源的场合。主动式 三维信息获取技术在精度方面具有很大的优势，所以，在环境允许的情 况下，一般采用主动式三维信息获取技术。 第一节被动式三维信息获取技术 被动式三维信息获取技术又称为被动测距技术，人们很早就开始研 究被动测距技术，时至今日，已经积累了丰富的知识。被动测距技术有： 光度体视测定法、由明暗恢复形状法、由纹理和轮廓恢复形状法、双目 成像法、单眼立体测定法等。 1 1 光度体视测定法1 3 9 j 图像强度携带着相关景物的大量信息，图像中的每一点的亮度值是 由多种因素决定的。诸如景物的几何结构、光源的分布情况、景物的表 面反射性质、景物表面的位置和取向、传播媒质的性质、传感器的光学 特性等因素混合作用构成了图像中某一点的亮度值。 图2 】光度体视测定法成像系统的几何原理 a ：物体上小曲面元与光轴的夹角；e ：物体上小曲面元相对于a 的取向： 6i ：图像平面上 的表面元面积； 8a ：物体表面上的4 、曲面元面积；d ：物体上小区域与光学透镜之间的距离 f ：摄像机的有效焦距：d ：透镜的直径； ( p ，q ) ：物体表面小曲面元的梯度矢量。 9 塑噬塑主型塞筻三塞三箜堡星茎墼搂堕墨妻! ! 竖 图2 1 所示的是一个简单的成像几何关系，如果这一成像系统服从 简单几何光学定律，物体表面上一个无限小曲面元6 反射的面辐射强度 l 经透视投影到图像平面的表面元6 ，上，而物体表面上其他部分的光线 不会射到这个表面元上。则图像中点( x ，y ) 处的表面元i 的照度( 入射光通 量) 为： e ( z ，y ) = 三i 等l c 。s 4 ( d ) 三 ( 2 1 ) 反射图r ( p ，q ) 表示感受的亮度随表面方向的不同而发生的变化，它 说明了在给定光源分布情况下，只要每个表面元接受相同照度，则物体 辐射强度只决定于其表面的方向。当物体表面为朗伯表面时，即满足方 程上= 兰c o s ( o ) ( 其中0 表示照射光与表面取向的夹角) ，则有 砌砌2 而掌斋 2 ) 经证明在多个不同位置光源的照射下能唯一确定表面取向。对于有 镜面分量的表面，还可以采用四个光源的方法镜面分量在法线矢量计算 中的影响。对于光照条件能够控制的应用环境，这种方法是一种较容易 实现的方法。 1 2 由明暗恢复形状法【3 9 】 根据辐照度方程2 1 和反射图方程2 2 可知，当光源的分布及反射特 性一定时，图像的辐照度方程给具有一定取向的表面赋予一个亮度值， 但这不是一对一的映射。图像辐照度方程r ( p ，q ) = e ( x ，y ) 是p 、q 的一阶偏 微分非线性方程。 当图像轮廓或边界被遮挡时，可以唯一地确定表面法线，因为它必 须与视线及图像轮廓方向两者同时正交。把辐照度方程和平滑度约束结 合在一起，采用变分法解决由明暗恢复形状的问题，将一个恢复表面取 向问题归结为求解函数极小值问题，并将物体的被遮断的轮廓边界方向 作为求解的初始条件。理论推导证明，利用变分法可以导出一个恢复表 面形状的迭代运算方法，在x , y 平面区域上求出一个满足各种约束条件的 表面。 这个方法在恢复物体形状的过程中，采用的都是局部特征，即使用 塑坠堂堡圭堂垡望壅 苎三皇三堡堡皇茎燮煎墨! 堂一 表面取向或边界信息，而没有考虑物体表面取向与边界之间的相对位置 关系。因此，该方法一旦用来分析复杂形状的物体时，很难得到理想的 结果。 1 3 由纹理和轮廓恢复形状法1 3 9 1 通过纹理密度的梯度或图像中直线的透视畸变来求解物体的形状 的。这种方法可用来恢复由若干平行线构成的具有规则栅格平面的表面 取向，但无法适用于在表面各处具有不同取向的情况。对这类问题可以 采用一种约束传播方法来解决，这种方法是利用两个相互垂直轴的矢量 来描述纹理基元。当表面模式畸变时，这两个矢量也以同样的形式发生 畸变。两个轴矢量投影的叉积的模与c o s 。成正比，其长度的平方和与 1 + c o s 2 ( ) 成正比，其中( ) 是视线方向和表面取向的夹角。上面两项之比定 义为有序模式梯度映射的畸变度量，即 ，：! 鬯( 2 4 ) l + c o s 。脚 由于畸变度量仅仅与夹角u 有关，因此利用光度体视法中的约束传 播算法可以从三个不同视点唯一地确定该表面的取向。 1 4 双目成像法【3 9 】 p l z l j 争斗 。l ，q 图2 3 双目成像的几何关系 p ：三维点； o ，o ：两个摄像机坐标系中的原点；c ，c ，：摄像机1 、2 的投影中心； i - 1 2 ：p 点的图像；l 。：基线分割距离( 摄像机间距离) ：f ：摄像机焦距。 双目成像法是模拟人眼的视觉功能来实现三维测距的。众所周知人 是通过把在两个不同视点所得到的一对二维图像进行组合来重构世界的 三维表示。因此，人们根据这个原理利用两个成像系统来实现同样的功 能。由于这种方法是在自然照明条件下进行的，并且有着如此成功的模 塑巡塑主堂垡堡奎箜三童三丝堡垒茎墼整塑墨妻至鍪堡 型，使得这种方法受到广泛的关注。 其原理如图2 3 所示，摄像机1 的图像中心o 。与摄像机2 的图像中 心o ，之间的距离为l 。根据如图所示的简单几何关系，可以得出： 且：j ，l( 2 5 ) f2 七 丝：上一 ( 2 6 ) z 七 k = k + 三 ( 2 7 ) 综合上述三式得到点p 的深度z ，即 z ：堕! 圭二! 1 2 ( 2 8 ) y 2 一y 1 式中f 是摄像机的焦距，( y ：y 。) 是从两个不同位置观察同一点图像的差异。 虽然双目成像法的几何关系是非常明确的，但在实际应用中仍然存 在若干问题：( 1 ) 需要在左右两幅图像中寻找对应点，而为了建立相应 点之间的一一对应关系，有可能遇到视觉信息不足的问题：( 2 ) 由于遮 挡或阴影的影响，景物中的某些点有可能只出现在左右两幅图像的某一 幅中：( 3 ) 由于实验误差的存在，满足匹配要求的对应点有可能出现假 对应；( 4 ) 这种重建方法常常要求大量的数据输入，当被测物体上各点 反射率没有明显差别时，这种运算变得更加困难。 这种方法的优点是系统结构比较简单，在无法采用结构光时更具有 独特的优点。 1 5 单眼立体测定法o e s 3 9 】( o n e e y e ds t e r e o ) 单眼立体测定法的基本思想是这样的，虽然二维图像是三维景物透 悦而成，无法表示出一一对应的三维景物结构信息，但二维图像中本质 e 却含有三维结构很强的暗示。主要包含以下几个步骤： ( 1 )根据一致性均匀准则，把原始图像分割成若干区域； ( 2 ) 为每一个子图像区域选择一个图像形成结构模型； ( 3 ) 根据原始图像和选择的模型生成第二个图像，这是一个虚拟 图像，由三维景物在图像平面上的正交投影而得到； ( 4 )利用虚拟图像和原始图像来立体匹配中的对应点； 塑咝夔圭兰垡鲨奎蔓三耋三丝垡星茎窒整丝墨! ! 茎堡 ( 5 )计算深度信息； 第二节主动式三维信息获取技术 主动式三维信息获取技术又名主动测距技术，目前多数的主动测距 技术与人的视觉系统之间没有什么相似之处。主动测距技术多采用特殊 的光源( 如结构光、激光等) 进行照明。由于深度对特殊光场空间或时 间的调制，使得被观察物体在特殊光源的照射下形成相应的“特殊”图 像，该图像包含了被观察物体的深度信息，因此通过相应的解码运算可 以得到被观察物体的深度信息。由于这种方法具有较高的测量精度，因 此大多数以深度测量为目的的三维成像系统都采用主动测距技术。 主动测距技术主要有：莫尔等高线法、主动三角形法、飞行时间法、 散焦测距法、傅里叶变换轮廓法、位相测量法、几何光学聚焦法等。 2 1 莫尔等高线法f 9 j 自m e a d o w s 等1 9 7 0 年提出莫尔轮廓法以来，在此基础上提出了投影 ( p r o j e c t i o i l ) 莫尔法，影像( s h a d o w ) 莫尔法，扫描( s c a n n i n g ) 莫尔法， 及这些方法的改进方法。使莫尔等高线三维测量技术不同程度地达到了 实用化的程度。 2 1 1 投影莫尔法 阴髟 光 形光源 图2 8 投影莫尔法 ( a ) 系统原理图；( b ) 几何关系 当光线通过一个节距为6 的光栅投射到被测物体上，在物体表面产 7 l 三由亮条分开的阴影线。当用一个与光源相距为d 的摄像机通过光栅观 浙江大学硕士学位论文第二章三维信息获取方法的最新进展 察物体时，物体表面畸变得阴影线在观察光栅的干涉下产生一组轮廓线， 即莫尔条纹。该方法的特点是适合于测量较大的物体。 投影莫尔法的原理如图2 8 ( a ) 所示，根据图2 8 ( b ) 的几何关系 能够计算出距离信息。设y 。和y ，分别表示光源和摄像机距点e 的距离， p 为物体表面光条上的一点，并设z 。为摄像机与栅格之间的距离，z 。为 光源和栅格之间的距离。由三角形y 。p y f 和y f o e ，p y 。y 。和y s y 。s 的相似关 系可以求出第n 个条纹对应的距离值 h n = 万习万n z e z 厕s c 7 ( 2 1 1 ) 若z 。= z 。，则上式可简化为 ”毫 1 2 ) 万 式中n = 0 ，l ，2 ，表示条纹序号，当n = o 时，对应的h = o ；y 。是光 源与摄像机之间的基线距离。 2 1 2 影像莫尔法 原理如图2 9 所示，光源照射到置于被测物体上的主光栅，在物体 表面产生一个影像，物体上e 点与光栅上c 点的高度差w 为： w = n p t a n ( 旺) + t a n ( 6 )( 2 1 3 ) 式中，n 为莫尔条纹的阶，如a d 包含m 条宽度为p 的线对，a b 包含 n 条，则n = m n 。 图2 9 影像莫尔法原理图 影像莫尔法的特点是原理简单，精度高，但由于制造面积较大的光 栅较困难，故该方法只适用于小物体的测量。 塑墼兰堡主兰垡丝塞苎三主三堕笪皇夔塑丝盟墨! ! ! 堡 2 。1 3 扫描莫尔法 该法的投影侧与投影莫尔法相同，但在观察侧不用光栅来形成莫尔 条纹，而是用电子扫描光栅和畸变图像叠加生成莫尔等高线，再利用莫 尔等高线求出物体的三维信息。 这种方法的优点是利用现代电子技术，可以很方便地改变扫描光栅 栅距、位相等，生成不同位相的莫尔等高线条纹图像，便于实现计算机 自动处理。其缺点是需要扫描机构，数据获取速率低、稳定性较差、对 噪声较敏感。 2 2 主动三角形法【3 4 1 ( a c t i v et r i a n g u l a t i o n ) 其基本思路是利用光源中的特殊信息帮助提取景物中的几何信息。 根据三角知识，对于一个三角形，如果已知其中一条边和相应的二个角， 就可以求出该三角形的其它参 数。 主动三角形法的原理如 图2 1 0 所示。主动三角形法 中，一般把光源与摄像机之间 的距离1 作为已知量( 基线) ， 由光源投射到物体上的光线， 与基线之间的夹角a 可根据结 构光的各自特性来决定，另一 个角d ，可通过物体上某一点 在图像上的不同位置计算出来。 彻评二堆 厂匙芝， 、心 i 一_ l - 源7 摄像机fnf ：月 ：b i 一 图1 7 主动三角形成像系统 用于主动三角形法的结构光主要有：栅格法，圆形光条法，交叉线 法，彩色编码条法，空间编码模板法等。 过去普谝认为这类系统不够精确且速度慢，而今随着同步扫描方法 的革新，此类系统结构紧凑，并且精度高、速度快。 2 3 飞行时间法【3 9 1 ( t i m eo ff l i g h t 简称t o f ) 这种方法是基于三维面形对单光束产生的时间调制。例如，一个激 光脉冲信号从激光器发出，经物体表面漫反射后，其中一部分漫反射光 沿相反的路径回到接收器，检测光脉冲从发射到接收之间的时间延迟， 塑哒堂塑主兰垡鲨塞篁三童三丝笪星壅燮塑墨! 堂 就可以计算距离z 。用附加的扫描装置使光束扫描整个物面，就可以形成 深度数据。这类系统的共同优点是原理简单，速度快，又可避免阴影和 遮挡等问题。具体可分为超声t o f 法和激光t o f 法。 2 3 1 超声t o f 法 这种方法是向被测物体发射超声波脉冲，并接收被测物体反射回来 的脉冲，然后根据发射和接收脉冲之间的时间延迟，就可以用下式求出 发射源与被测物体之间的距离d ： d = v 。t f 2 ( 2 1 0 ) 式中v 。是在给定大气压下声波的速度：t ，是脉冲的飞行时间。 由于很难得到具有很好聚焦性能的超声波束，使得所得到的超声波 图像分辨率比较低，不能满足复杂景物测距的需要。这种方法的另一个 缺点是脉冲的反射能量随着被测物体表面的入射角的变化而变化，有时 会变得很小，甚至淹没在噪声中。 2 3 2 激光t o f 法 激光 脉冲源 卜一到达脉冲 燮吐乖 图2 5 激光飞行时间法基本原理 由于激光光束具有很好的聚焦性能，采用激光作为飞行时间法测距 仪中的光源，可以得到很好的分辨率。如图2 5 所示，激光源通过一个 半透明平面镜向物体发射脉冲，同时产生一个同步电脉冲信号送到时间 一距离判断电路，物体表面的反射脉冲经同一平面镜的反射进入光电倍 增管，并变换成电信号，然后由时间一距离计算电路测量同步脉冲和反 塑壁堂堡主丝! 垒奎苎三主三丝焦昼壅燮盟墨i ! 壁堡 射脉冲之间的时间间隔t 。非常明显t 和光源与物体之间的距离d 是 存在线性的函数关系的，即d = f ( t ) 。 这种方法原理虽然相当简单，但是为了得到较高的测量精度，必须使 用测量精度达皮秒级的时间测量仪器：另外由于反射能量可能很弱，光 电倍增管上所产生的电信号容易被噪声淹没。因此为了提高测量精度， 实际的飞行时间测量系统往往采用时间调制光束，例如采用正弦调制的 激光束，然后比较发射光束和接收光束之问的位相，计算出距离。 此类系统另一个缺点是价格非常昂贵，价格在1 0 0 ，0 0 0 美元以上。 2 4 散焦测距法【”1 参考平面 处 c c d 摄像机 扫描 光源 景驰 图2 7 散焦测距原理 散焦测距法的原理如图2 7 所示。一个具有两个小孔的屏蔽模板放 置在标准c c d 摄像机的前面，将参考平面上的a 点成像在c c d 的a 点， 物体表面的b 点聚焦在c c d 摄像机后面的b 点，于是在图像平面上就出 现了散焦。而且由于屏蔽模板的作用使散焦在c c d 上形成两个像点b 和 b 2 。 b 。和b 。之间的距离b 是b 点z 坐标的函数，b l b ：中点的几何中心给 出了三维空间中b 点的x ，y 坐标，即 塑婆查兰堡主丝! 丝蔓三皇三箜垡星茎燮鲤墨! 堂 2 2 l + b l - f z 一- x 。z ( l - f ) ( 2 1 1 ) 。：- y o z ( l - f ) 。 ，z 式中：f 是透镜焦距： b 是b ，和b ：之间的距离； l 是参考平面与透镜之间的距离： d 是屏蔽模板上两个小孔之问的距离； ( x o ，y o ) 是b i b 2 中点的几何中心。 这种方法只需一个带有屏蔽模板的c c d 、点光源和提取b 和b ：的处 理单元，就可以实现三维坐标的测量。为了提高测距地精度，必须以亚 象素的精度来准确地提取像点b ，和b 。由于b 。和b 。之间的分离程度受到 透镜直径的限制，因此b 一般都比较小，即该法的测量尺寸受到限制。 2 5 傅里叶：蚓奂车会廓法嘲( f o u r i e rt r a n s f o r mp r o f i l o m e t r y 简称f t p ) 该法以罗奇光栅产生的结构光场投影到待测三维物体表面，对结构 光场进行傅里叶分析、滤波和逆傅里叶分析，就可以从变形图形中提取 三维面形信息。该技术具有比传统莫尔技术更高的灵敏度，并全自动区 分物体表面的起伏变化，对条纹阶次和内插数的设置没有要求，没有由 光栅图形的高次谐波成分产生的假的莫尔条纹所引起的误差。 近年来有两种较成功的改进方法，一种是采用正弦光栅投影和相 移技术，可以使f t p 可测量的最大范围增加3 倍；另一种是为了消除类 散斑噪声的影响而发展起来的二维傅里叶变换和二维滤波的方法。 f p t 法的不足之处在于当测量斜率大的物体需要非常高的分辨率的 图像设备和运算能力大的计算机。 2 6 位相测量法 2 ( p h a s em e a s u r i n gp r o f i l o m e t r y 简称p m p ) 这是一种重要的三维成像方法，这种方法采用正弦光栅投影和相移 技术，通过获取全场条纹的空间信息和一个条纹周期内相移条纹的时序 塑壁堂堡主堂垡望壅蔓三兰三箜焦皇茎塑查鲨盟墨! ! 壁垦 信息，重建物体的三维立体形状。投影在物体表面的光栅图像，根据物 体高度的变化而产生变形，因此这种变形包含了物体的三维信息。变形 光栅图像的光强一般可表示为： i i ( x ，y ) = i o l + m ( x ，y ) c o s ( x ，y ) + 巾i ) ( 2 4 ) 式中，i 。( x ，y ) 为物体( x ，y ) 点上的光强。i 。( x ，y ) 为背景光强，n l ( x ，y ) 为系统对比度，o 。象移量( i ：1 ，2 ，3 ) ，m ( x ，y ) 为相位，它是物体形状h ( x ，y ) 的函数，是需要求出的物理量。采用三相算法，即将o 。= o ，西。= 2 7 c 3 ， 。= 4 n 3 代入上式，可得： 由于采用多帧图像，因此这种方法的特点是精度高；此外由于该法 只需计算三个强度值和反正切函数，所以处理较简单。缺点是不能消除 条纹中高频噪声引起的误差。 近年来p m p 技术的进展主要体现在以下几个方面：( 1 ) 基于离焦投 影罗奇光栅的p m p 方法，这种方法采用由离焦引起的光学低通滤波和n 位相算法表征的数字滤波的解析描述。该法的主要优点是在一定离焦范 围内和适当选择相移次数的情况下，系统仍具有很高的测量精度；( 2 ) 提出智能型主动光学三维传感的概念和体系结构，实现了采用计算机控 制的液晶投影仪的全电子p m p 三维传感系统；( 3 ) 复杂形体的三维传感 技术取得较大进展，提出了许多复杂位相场的展开方法，如条纹跟踪法 ( f r i n g et r a c k i n g ) 、网格自动法( c e l l u l a ra u t o m a t a ) 、洪水算法( f l o o d a l g o t i t h m ) 、位相梯度展开法、二元模板法、基于调制深度的展开方法 以及神经网络方法等 2 7 几何光学聚焦法【3 4 ( r a n g e f r o mf o c u s l 这种方法主要利用几何光学的聚焦原理进行距离测量。 明，对景物中的点光源，则物距z 与像距w 的关系为： 11l + = wz 式中f 是薄透镜的焦距。 高斯定理表 ( 2 6 ) 可测物距与像距范围的关系如图2 1 0 所示。在非理想情况下，光线 通过有限口径的透镜后总存在扩散现象。考虑这一影响，物距与像距的 浙江大学硕士学位论文第二章三维信息获取方法的最新进展 关系为： z ( 盯) 2 旷蒜w f 式中6 是高斯分布的方差，f = f d ，因此深度场为 低。 ( 2 7 ) 三：= z - ( 仃) 一z + ( 仃) = i 万_ 舞 ( 2 8 ) 百耐 图2 1 0 薄透镜成像几何关系 光学聚焦技术是一种在低价位的应用领域中很有前途测距技术，但其精度较 堑婆拦堡主堂垡垒塞蔓三童墅鱼缝塑堂皇堡些墨笪里墨 第三章彩色结构光立体视觉系统原理 第一节颜色的表示 彩色是视觉经验的一个重要组成部分，对于现实世界中强有力的视 觉处理来说，彩色是非常有用的。彩色视觉既为心理学又为计算机视觉 提供了研究课题。 1 1 彩色模型 为了能够用计算机来处理图像中的彩色信息，必须能够用定量的方 法来描述它，即建立彩色模型。由于人眼对于彩色的观察和处理是一种 生理和心理现象，因而关于彩色的许多结论都是建立在实验的基础上。 目前采用的彩色模型有不少，如c i e ( 国际照明委员会) 的r g b 标准 基色体系、c i e 的x y z 基色体系、n t s c ( 美国国家电视系统委员会) 的r g b 彩色模型、视觉彩色模型等等。 这里主要讨论c i e 的r g b 标准基色体系、视觉彩色模型以及它们之 间的关系。 1 1 1c i e 的r g b 标准基色体系 目前普遍采用的一种彩色模型是c i e ( 国际照明委员会) 于1 9 3 1 年规 定的r g b 标准基色体系。其中基色是三个单色光，即红、绿、蓝光，对 应的波长分别是7 0 0 n m 、5 4 6 1 n m 、4 3 5 8 n m 。且在c i e r g b 系统中， 匹配等能自光的三原色( r ) 、( g ) 、( b ) 亮度比例为1 0 0 0 0 ：4 9 5 0 7 ：0 0 6 0 1 ； 辐亮度比例为7 2 0 9 6 2 ：1 3 7 9 1 ：1 0 0 0 0 。 根据色度学的加混色实验说明，任何一种颜色可以用线性无关的三 个原色适当地相加混合与之匹配，用方程式表示为： c = c ( c ) = ，( r ) + g ( g ) + 6 ( b ) ( 3 1 a ) 或 = ：_ ( c ) = ，( r ) + g ( g ) + b ( b ) ( 3 1 b ) r + g + d 颜色c 的一个单位为：( c ) = r ( r e ie ) + g ( g c ie ) + b ( b c i e ) ，即c = ，+ p + b 。 显然r + g + b = l ，因此可以用r ，g ，b 作为直角坐标系的三个轴绘制一个直角 坐标图形，如图3 1 所示。图中c ( c ) 是被匹配的颜色，它与r 。t e _ g 。 塑堕塑主鲎堡! 垒皇蔓三皇墅鱼堕塑壅望箜塑堂墨笪堕里 = b