计算机视觉三维测量与建模 课件 第1、2章 绪论、摄像机的几何标定

第一章计算机视觉三维测量与建模绪论南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01数字影像物理世界的物体针对不同频段的电磁波具有不同的辐射、吸收和透射特性。通常数字影像的成像过程是传感器将接收到的辐射、反射或透射的电磁波，从光信号转换为电信号，再转换为数字信号的过程。辐射量是从光源流出能量的总量，通常用瓦特度量。由于传感器的感光元件是众多离散化的单元，由此形成了影像对场景的离散化表达。数字影像一幅二维影像存储在硬件介质中的核心数据是一个二维数据矩阵，数据矩阵的每个元素被称为像素或像元(Pixel)。每个像素对应在矩阵中的位置具有整数型的行坐标和列坐标。在像平面坐标系下，像素对应位置的坐标可以记作[x,y]^T。每个像素记录了采样量化得到的光信号强度值，称为强度或亮度(ntensity)。因此，一幅影像可以表达为一个二维的高散函数I=f(x,y)。数字影像】9像素是影像的基本元素，下面以常见的电荷男合元器件(Charge-CoupledDevices,

CCD感光传感器组成的成像平面为例。CCD是一种半导体器件，能够把光信号转换为电信号，通过阵列式的排列，获得对连续场景的光场的离散化采样，形成数字影像。数字影像】9一幅影像所记录的观测场景的尺寸与观测距离和视场角有关。以影像宽度为例，一个像素所能显示的物理对象尺寸可以从几纳米到几千米变化，这称为空间分辦率，如透射电子显微镜的分辨率为0.20m，而遥感卫星的影像分辦率通常在米级甚至几十米。数字影像常见的彩色影像的每个像素位置记录了红、绿、蓝三个颜色图层的亮度值，通过三个值的组合来表达彩色信息。此时矩阵的每个像素实际对应一个包含三个亮度参量的向量[RGB]^T。可见光覆盖电磁波谱波长为380~760nm，用来描达彩色光源质量的三个常用的基本量是辐射量、光强和亮度。数字影像灰度影像指的是影像只有一个颜色亮度图层，此时每个像素仅包含一个亮度值。每个图层的每个元素可以取值的范围和亮度分辦率直接相关。计算机采用二进制设计原理，最常采用一字节(Byte)来记录一个亮度值。二值影像是灰度影像的一个特例，二值影像的灰度级仅包含。和1两个值。二值影像常被应用于分割、分类或掩模处理中，因为二进制取值可以用来代表阳性（Positive）和阴性(Negative)两种判断。数字影像深度图影像是在计算机视觉和摄影测量中常见的一种空间数据表达方式。深度图影像的像素记录的数值是从视点到观测场景的表面的深度信息，对应了一个乙值（深度值）。多光谱影像的每个像素包含在多个电磁频谱带内的采集到的能量信息，每个频带信息都是一幅灰度影像。每个像素的频谱亮度都可以组成一个亮度矢量，这个矢量是利用多光谱影像进行地物分类解析的重要基础特征。数字影像】9各种影像类型的示意如图1.1所示。数字影像02射影几何学基础提供了一个统一的框架来表示几何图元，点、线和平面。可以在无穷远处以直接的方式操作点、线和平面。为许多几何操作（如构造、交集和变换）提供了线性表示方式。010203射影几何学也叫投影几何学，在经典几何学中，射影几何处于一个特殊的地位，通过它可以把其他一些几何学联系起来。在射影几何学中，把无穷远点视为“理想点”。使用射影几何进行数学表达优点包括：射影几何学基础射影几何学基础射影几何学基础射影几何学基础02射影变换在平面空间中，二次曲线（Conics）也被称为圆锥曲线，有3种类型，分别是双曲线、椭圆和抽物线。这了类曲线都是不同方向的平面与三维的圆锥相交产生的截线。如果平面只与圆锥顶点一点相交，则是一种退化了的二次曲线。其中，二次曲线系数矩阵C是一个对称矩阵，它的元素为:二维射影变换（也称为二维单应变换）是指二维平面上的单应变换，可以表示为R^2。R^2→R’^2的单应转换矩阵被称为单应矩阵，用H表示。二次曲线射影几何学基础射影几何学基础】9二维仿射变换(AfineTransformation在射影几何变换的基础上增加了一条更严格的平行不变性约束，所有的射影变换性质都符合仿射变换性质。仿射变换是射影变换的一个特例，仿射变换是投影中心在无穷远处，从而使投影射线平行。仿射变换是通过一系列原子变换复合实现的，这些原子变换包括：平移、缩放、旋转和错切，如图1.2所示。射影几何学基础】9如图1.3所示，在三维空间中，有以下几点。射影几何学基础03欧氏空间坐标转换欧氏空间坐标转换欧氏空间坐标转换04成像模型与成像系统中的坐标系】9光学透镜成像系统中较常用的摄像机模型是小孔成像模型，除非明确指出，本书中讨论涉及的成像模型都是基于小孔模型展开的。当光线通过小孔时，在像平面上会呈现出物体清晰的影像。在实际的情况下，小孔总是有一定物理尺寸的，因此像平面的一点能够接收到锥形区域内的所有光线。图1.8描绘了成像模型中的各组成结构的几何元素及其关系。C点表示光心(Optical

Center)，又被称为摄影中心，它是在空间中介于三维场景和二维像平面之间的一个点。成像平面（焦平面）位于光心的后方且呈现倒置，但通常为了直观表示，将成像平面描述在负焦距的方向上。成像模型与成像系统中的坐标系123世界坐标系它是一种三维坐标系，可以运用欧氏空间理论中的内积运算来计算角度值，使用模运算来计算长度值。像空间辅助坐标系它类似于摄影测量学中的像空间辅助坐标系，是以摄像机为分析基准的坐标系，也是从三维空间转换到二维空间的一个桥梁。像平面坐标系这是一个二维坐标系。影像数据矩阵的行、列两个维度形成了理想的正交关系，因此可以直接定义坐标轴的方向。成像模型与成像系统中的坐标系成像模型与成像系统中的坐标系05常见的三维成像方式】9人工输入方法是一种最直接的获取三维模型的方式之一。该方法利用计算机辅助设计(ComputerAidedDesign,CAD）类软件工具（如AutodeskAutoCAD、Autodesk3DMax、GoogleSketchUp和UnigraphicsNX等）通过人工输入的方式确立模型的几何位置信息，并进行交互式的手工建模和渲染。这一类软件系统能够为用户的产品设计及加工过程提供数字化的外形观察和验证。熟练的操作员可以利用这种方法得到精细的场景模型和逼真的外观渲染，在过去很长一段时间内它都是三维建筑模型构建的主要技术手段。在前期没有测量数据或设计蓝图的情況下，人工建模的方法需要采用人眼视觉判断作为操作定位的标准而非物理测量值的精准定位，重建的几何位置结果缺乏准确性，无法精确地反映现实场景。常见的三维成像方式12飞行时间(TimeOfFlight,TOF)扫描仪TOF类型的扫描仪通过测量从发射端发出的辐射波到目标表面的往返时间来计算目标表面点的距离。相移扫描仪相移扫描仪利用正弦调制的强度随时间变换的激光束进行测量。通过观测发射信号和反射信号的相位差，计算目标与传感器之问的往返距离，如图1.12（b）所示。常见的三维成像方式3主动三角测量扫描仪主动三角测量系统从一个方向发出连贯的或不连贯的光模式，然后在另一个方向进行观测。常见的三维成像方式立体视觉测量这类系统对两幅或两幅以上的观测影像进行处理，找到空间点在多幅影像上的同名投影点，根据三角测量原理解算像点的空间坐标。由阴影恢复结构由阴影恢复结构算法首先确定目标反射模型以及观测时的光照方向，然后通过近似求解辐照度方程从而得到影像对应的观测目标三维信息。由剪影恢复结构这类系统从不同的角度来测量物体的轮廓信息，其中典型的扫描方式所使用的设备包括一个旋转的托台、统一的背景色和一个独立摄像机。010203被动式扫描通常具有采集设备价格低、采集操作简单灵活等优点，然而在获取密集的空问信息时算法的计算复杂度也会相应提高。常见的三维成像方式由纹理恢复结构该方法的主要步骤包括抽取重复纹理模式或者测量局部频率，以计算局部仿射变形，然后推测局部表面方向。由聚焦恢复结构通过判断同一区域的频率内容强度，来识别该区域在哪一幅影像上获得最佳的聚焦。通常情况下，这类重建精度取决于采样设置和实际的镜头的视场深度，整体而言难以做出非常精确的重建。0405被动式扫描通常具有采集设备价格低、采集操作简单灵活等优点，然而在获取密集的空问信息时算法的计算复杂度也会相应提高。常见的三维成像方式06三维计算机视觉的应用12工业测量在工业测量领域中，对工业部件的三维形状的测量方式可以分为接触式和非接触式两种。接触式技术可能是破坏性的，如切片，通过将对象剖切成连续组装在一起的二维形状来减小分析的尺寸。它也可以是非破坏性的，如关节臂，缓馒但准确地探测三维点。三维测绘遥感基于影像的三维重建系统或三维激光扫描设备可以获得大型空间目标的三维模型数据。在测绘遥感领域中，对桥梁、道路、地形和建筑物进行三维测量是许多工程的必要任务。此外，在文物古迹保护、数字化城市绘图和深空探测行星制图等方面，也需要进行测绘以获得三维信息。三维计算机视觉的应用3机器人导航定位在机器人导航定位领域中，三维视觉系统是一种十分重要的环境感知工具。基于视觉影像的定位技术具有成本低、精度高、无须对场景现有结构进行改动等优势。无人系统获取视觉影像后，处理器构建出机器人所处环境的三维地图，进而服务于避障、导航和定位抓取目标等任务。三维计算机视觉的应用测量范围。视场范围。01

工作距离。0203三维计算机视觉测量系统的常见技术指标参数包括以下几个：

分辨率。04重复精度。07测量频率/帧率。05

测量精度。06三维计算机视觉的应用】9三维计算机视觉是与摄影测量学具有同宗同源特点的一门三维测量学科。摄影测量学属于测绘学科的一个分支，至今已有百年的发展历史。它经历了从模拟信号处理到解析处理，再到数字化处理的发展阶段。计算机视觉三维测量技术与数字近景摄影测量的许多基础原理是一脉相承的，但关注的应用重点有所区别，偏重的技术也有所差异。两者的主要差异在于以下几点。第一点，计算机视觉三维测量主要使用齐次坐标表示点的转换，注重使用矩阵的性质(比如矩阵分解）来计算摄像机参数和结构参数。另外，两者对坐标系统的定义方式有所区别，这主要是因为摄影测量学要服务于测绘应用的目的，会尽量将其定义的坐标系与大地坐标系的坐标轴指向一致。三维计算机视觉的应用尽管计算机视觉理论在许多应用领域中都取得了突破性的进展，然而当人们动手开发一套面向具体应用的视觉系统时会发现，这样的一套系统会面临各种各样的现实困难和挑战（如图1.15所示）。为了应对这些困难，工程师需要不断地调整方案、改进设计和增加限制性约束。这些工作往往占据了系统开发的大多数工作量，需要做大量的实践经验积累，而且真正使得系统能够产业化并且具备优势的关键都在这些微妙的处理中。三维计算机视觉的应用07小结三维计算机视觉测量的一种重要原始数据是数字影像，了解数字影像处理技术是学习计算机视觉技术的前提条件。此外，要掌握三维计算机视觉测量的原理与方法，需要对射影几何学有深刻的认识和理解。小结感谢观看第二章计算机视觉三维测量与建模摄像机的几何标定南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01摄像机标定参数】9在透视投點成像的过程中，摄德机使用饼头来提高进入成像平面的光亮度，滅小了光线传输所需的能量。如图2.1所示，在实际应用的摄像机中，镇头由名个透镜组成，因此透镜的成像效果不会像小孔成像那样完全待合线性模型的特点。摄像机标定参数】9有了摄像机的焦距和主点等参数，以及镜头的畸变参数，就可以得到完整的摄像机的周有几何参数，即摄像机的内参数。内参数包含摄像机模型的几何参数和镜头畸变参数。在对畸变进行定义时，人们通常把其分为两类：径向畸变和切向畸变，如图2.2所示。摄像机标定参数切向畸变通常是由透镜安装位置不良造成的。当透镜没有与像平面保持完全平行时，镜头主光轴偏向使其与像平面不完全垂直，就会产生切向畸变。图2.3举例给出了一组实验测定的径向畸变和切向畸变的分量在影像中的分布情况。畸变校正的工作就是使影像的这些失真变形得到纠正，如图2.4所示。摄像机标定参数】9外参数是像空间辅助坐标系在观测目标所在的世界坐标系下的转换关系参数，通常用一组旋转角和平移向量表达。摄像机的标定技术可以是对内参数和外参数分别进行标定，也可以是将内外参数模型进行绑定，统一标定内外参数。摄像机标定参数传统标定法需要借助具有已知坐标点的参照物，通过建立参照点与影像上的同名像素点之间的对应关系，由特定算法来完成标定，获得摄像机的内参数和外参数。01传统标定法摄像机标定方法包含传统标定法、自标定法和主动视觉标定法等。摄像机标定参数自标定法是不需要已知坐标参照物的一种标定法。这种方法从影像上自动或半自动地提取特征点来作为控制点，仅仅依靠未标定的影像之间的几何关系确定摄像机参数。摄像机标定方法包含传统标定法、自标定法和主动视觉标定法等。主动视觉标定法借助摄像机本身的已知的或可控的运动信息进行标定。采用这种标定法不需要参照物，只需运动摄像机本身就可以做标定。02自标定法03主动视觉标定法摄像机标定参数02摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定摄像机内参数标定03静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定123此时，绝对双二次曲线的度量自标定过程如下:静态场景多视角下摄像机系统的自标定迄今为止所描述的自标定方法需要大量采集的影像之间的点对应关系。在某些场景中，尤其是那些包含诸如建筑物等人造物体的场景，从所采集的影像中提取线条而不是明确定义的点可能会更方便，如图2.6所示。场景中的平行线隐含了一组射影关系，它为影像标定提供了一种完全不同于之前算法的标定思路。迄今为止所描述的自标定方法需要大量采集的影像之间的点对应关系。在某些场景中，尤其是那些包含诸如建筑物等人造物体的场景，从所采集的影像中提取线条而不是明确定义的点可能会更方便，如图2.6所示。场景中的平行线隐含了一组射影关系，它为影像标定提供了一种完全不同于之前算法的标定思路。静态场景多视角下摄像机系统的自标定迄今为止所描述的自标定方法需要大量采集的影像之间的点对应关系。在某些场景中，尤其是那些包含诸如建筑物等人造物体的场景，从所采集的影像中提取线条而不是明确定义的点可能会更方便，如图2.6所示。场景中的平行线隐含了一组射影关系，它为影像标定提供了一种完全不同于之前算法的标定思路。场景中的两条平行线在无穷远处相交。在投影影像上，这些线通常不是平行的，并且在具有明确定义的影像坐标的影像点，处相交，这样的点称为“灭点”，如图2.7所示。图2.8给出了两个灭点的夹角的示意图，静态场景多视角下摄像机系统的自标定静态场景多视角下摄像机系统的自标定02射影变换在平面空间中，二次曲线（Conics）也被称为圆锥曲线，有3种类型，分别是双曲线、椭圆和抽物线。这了类曲线都是不同方向的平面与三维的圆锥相交产生的截线。如果平面只与圆锥顶点一点相交，则是一种退化了的二次曲线。其中，二次曲线系数矩阵C是一个对称矩阵，它的元素为:二维射影变换（也称为二维单应变换）是指二维平面上的单应变换，可以表示为R^2。R^2→R’^2的单应转换矩阵被称为单应矩阵，用H表示。二次曲线静态场景多视角下摄像机系统的自标定04摄像机系统的半自动标定】9Bouguet在2007年提出的标定装蛋由一个平面棋盘格图案组成，可以用激光打印机制作。该装置的部件将表示如下：“方形”表示装置的黑色或白色区域，不需要严格要求是方形的，也可以是矩形的；“角点”是四个方格接触的点，而“装置角”表示一个大方形和三个方格接触的最外面的四个角。该标定装置搭建起来非常简单，但不提供定位，这对于未按照标准几何图形排列的摄像机系统是必需的。对于由没有锋利边缘的无记号标记组成的改进装置，即使只有一部分装置可见，也可以获得定位。图2.9给出了Bouguet的原始标定装置和Kruger等人在2004年提出的标定裝置。摄像机系统的半自动标定】9典型的重投影误差的均方根误差（RootMeanSquareError,RMSE）应该是亚像素，理想情况下小于0.5像素。从棋盘格标定板中提取角点的像素坐标有一套相对成熟的流程。首先，对影像进行必要的滤波增强，减小噪声的干扰，并增大棋盘格亮度的对比度。然后，使用亮度加权运算将影像转换为灰度影像，并利用Canny边缘检测算子提取边缘像素。此时，在理想情况下，应该可以把棋盘格的黑白过渡的边缘线检测到。对检测的边缘进行直线拟合，获得直线方程。摄像机系统的半自动标定摄像机系统的半自动标定02圆形定向反光标志编码标志通过一定的明暗区间排列组合，在靶标上进行编码。在获得不同的观测影像后，分别对靶标区域的像素进行解码。从不同的影像之间找到相同解码值的靶标点，就能够直接获得点的匹配对应关系。编码标志的类型通常有3种：点分布型、同心圆环型和马赛克组合型，还包括这三种方式的混合设计。定向反光标志常以圆形定向反光标志(RRT，RetroReflectiveTarget)的形式呈现，其特点是反射亮度比漫射白色标志高出数百甚至上千倍，可以轻松使目标物的影像“消隐”而将RRT标志的影像突出。编码标志摄像机系统的半自动标定03圆形标志中心的提取摄像机系统的半自动标定05摄像机与激光雷达的联合标定123影像相关的数据融合处理通常分为三个不同的层次。像素级融合。合并关于同一场景的多个传感器的观测影像，生成复合影像。采用逐像素的采样方法，获得复合影像的像素亮度值。特征级融合。从原始影像中分别提取感兴趣的特征，然后对特征信息进行综合分析和处理，这是中等层次的融合。典型的特征信息有边缘特征、纹理特征和相似景深区域等。决策级融合。在进行融合处理前，先对原影像分别进行场景识别或判决，建立对同一目标或事件的初步判决。然后，对不同数据源的决策信息进行融合处理，获得最终的联合判决。摄像机与激光雷达的联