计算机视觉三维测量与建模 课件 第5、6章 双目立体视觉、点云滤波与分割

第五章计算机视觉三维测量与建模双目立体视觉南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01标准形式的双目系统】9如果已知一对摄影机的内参数，就可以通过畸变校正算法，去除影像的几何畸变影响。然后利用对极几何关系，对两幅影像进行极线校正，得到标准形式的二视图关系，即极线方向与影像的行扫描线方向平行。接下来就能够用立体匹配算法进行密集像素匹配，标准立体匹配流程图如图5.1所示。标准形式的双目系统02匹配基础给定两幅影像，本章分别约定为参考影像（左影像）工和目标影像（右影像），立体匹配的目标是找到工，中的像素在中的同名点对应。极线校正的一种简单表示方法是将两个像空间坐标系旋转，使它们的光轴平行，且垂直于光心连线，如图5.3所示。极线校正之后，两幅影像上的视差只发生在x方向上，在y方向上没有视差。由此将两幅影像的同名点匹配搜索过程从二维像空间缩减到了一维空间上，从而提高匹配的准确性和计算速度。匹配基础常用的立体影像极线校正的方法是采用的Bouguet算法，该算法已经被集成到OpenCV库中，可以方便地调用它来完成二视图的极线校正。Bouguet算法是将求解出来的旋转矩阵R分解成左、右摄像机各旋转一半的旋转矩阵。分解的原则是使得左、右影像重投影造成的畸变最小，左、右视图的共同面积最大，主要步骤如下。将右影像平面相对于左影像平面的旋转矩阵分解成两个矩阵民和R，叫作左、右摄像机的合成旋转矩阵。匹配基础将左、右摄像机各旋转一半，使得左、右摄像机的光轴平行。此时左、右摄像机的成像面平行，但是基线与像平面不平行。构造变换矩阵Rrect使得基线与像平面平行。构造的方法是通过右摄像机相对于左摄像机的偏移矩阵t来完成的。匹配基础通过合成旋转矩阵与变换矩阵相乘获得左、右摄像机的整体旋转矩阵。左、右摄像机坐标系乘以各自的整体旋转矩阵就可使得左、右摄像机的主光轴平行，且像平面与基线平行。通过上述的两个整体旋转矩阵，就能够得到理想的平行配置的双目立体影像。校正后根据需要对影像进行裁剪，需重新选择一个影像中心和影像边缘，从而让左、右叠加部分最大。匹配基础通常影像数据在采集时刻会存在高频噪声的影晌，通过一个高斯卷积可以明显改善噪声的影响。因此在匹配之前进行匹配预处理十分必要。设一帧二维影像为f0(x,y)，预处理过程就是为获得新的影像匹配基础视差图（DisparityMap）和深度图（DepthMap）是在立体匹配基础上得到的一组反眏空间二维和三维对应关系的二维图像。如图5.6所示，影像上像素位置的視差值对应着空间结构到成像光心连线（沿垂直于像平面的方向）的距离，即深度（Depih）。在极线校正后的影像上，每个目标像素点对应深度的计算公式为匹配基础03传统立体匹配算法】9BM算法首先构造一个小窗口，类似于卷积核。窗口的大小可以为3×3~21×21，通常情况下窗口的宽度是奇数确定窗口大小后，以待匹配的像素为中心，用窗口框选参考影像的区域内的所有像素点，同样用相同窗口框选目标影像并选出像素点。用两个窗口范围内的对应像素计算匹配代价函数。传统立体匹配算法对于纹理缺三的影像区域，极易出现误匹配或无法匹配的情况。01但是，该类以窗口匹配为基础的算法存在以下不足：02对由光照条件的变化所引起的纹理畸变较为敏感。03对摄像机的位置和姿态变化及场景深度变化所引起的纹理畸变比较敏感。传统立体匹配算法在纹理重复的区域中，可能会出现多个相关的峰值，这会导致误匹配的产生。04但是，该类以窗口匹配为基础的算法存在以下不足：05对遮挡情况没有很好的处理机制。传统立体匹配算法匹配算法都需要对像素进行匹配代价函数设计，不同的代价函数会对应形成不同的匹配代价度量。在众多匹配代价度量的算法中，围绕方差和相关性展开设计较为普遍。方差匹配的直观理解就是两幅影像的“距离”，也就是它们之间差别大小的量化概念；相关性则以模板与检测影像各个像素值相乘后得到的相关度为基础。传统立体匹配算法传统立体匹配算法代价聚合的目的是让代价度量的值可以较为精确地反映像素之间的相关性，单纯的代价匹配计算只考志单一路径以及局部区共的相关性。同时，在视差不连续的区域与纹理偏弱或重复纹理的区域，代价值很有可能无法反映左、右像素点的相关性，最直接的表现就是自动匹配的同名像点的代价并不是视差搜索范團内最优的值。传统立体匹配算法01唯一性检测传统立体匹配算法02左右一致性检测传统立体匹配算法连通域检测八点算法最小化的误差是一个代数错误，然而理想的最小化目标函数是一个几何意义上的标量。可以采取的误差测量是点与外极线之间的距离D(m，l)。假设每个特征点上的噪声都是独立的零均值高斯，所有点的标准差都相同，则以下形式的最小化会产生最大似然解。03传统立体匹配算法】9动态规划（DynamicPrograrnming，DP）算法应用在立体匹配中，是一种比较高效的全局匹配优化算法，整体精度相对可革。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程（MultistepDecisionProcess）的优化问题时，提出了著名的最优性原理。同时，Bellman把多阶段过程转化为一系列单阶段问题，利用各阶段之间的关系逐个求解，创立了解决多阶段决策问题的优化方法——动态规划法。传统立体匹配算法传统立体匹配算法04图割优化匹配算法图割优化匹配法图割优化匹配法】9图割优化匹配法】9图割优化匹配法本节介绍一种简单线性迭代聚类（SimpleLinearIterativeClustering,SLIC）算法来进行超像索分割操作，它是在区均值聚类分割（K-means）算法的基础上进行的优化算法。下面介绍算法的具体实施步骤。进行分割中心初始化，利用规则化的格网将影像像素区间进行原始划分，格网的尺寸根据

计算获得。采样中心初始化在各个格网的中心，然后在3x3的格网邻域区间内移动寻找影像梯度变化最小的位置，这样做可以避免分割中心落在梯度大的边缘位置。图割优化匹配法对每个像素找到其所属的初始分割区间。每个像素仅与最邻近的聚类中心联系在一起，每个聚类中心联系的像素范围为2S×2S，仅当像素落在一个聚类中心的覆盖区域内时才与该中心进行分析。

迭代更新直至残差收敛。SLIC分割算法是一种改化的K-Means分类方法，它具有以下两大特点：（1）通过约束与超像素尺才成正比的搜索空间大小，优化过程的距离测度计算涉及的像素被大大减少，因此计算复杂度是与像素个数N成正比的线性复杂度O(N)；（2）加权相似性测度西数是一个包含颜色和位置属性的函数，它可以控制超像素分割后的各像素块的尺度和紧凑度。图割优化匹配法图割优化匹配法Middlebury发布的第二版本测试数据包括tsukuba、venus、teddy三组立体影像，三组图像的最大视差的取值范围分别为16像素、32像素、64像素，所以具有较好的代表性，图5.16列出了三组影像的标准数据集图像（上）以及对应的真实视差图（下）。图割优化匹配法05结构光三维扫描如图5.18所示，空间变化的二维结构照射由特殊投影仪或由空问光调制器控制的光源产生。一个任意目标的三维表面被结构光投射图案所照射，该例的结构光的模式图案是空问变化的。成像传感器获取目标在结构光照射下的表面影像。改变三维曲面的几何形状，成像传感器捕获的影像也会发生相应的变化。结构光三维扫描结构光三维扫描使用连续变化的结构光图案的技术。01进一步可以将单点拍摄技术分为三大类：02使用一维编码方案的技术（条带索引)。03使用二维编码方案（网格索引）的技术。结构光三维扫描二进制编码使用黑白条带形成一系列投影图案，使得每个点都有唯一的二进制代码，该代码不同于其他任何不同点的代码。结构光三维扫描相移法是一种著名的三维表面成像的条带投影方法，它投射一组正弦图家到物体表面（图5.23），在相邻光平面之间插值，每幅影像的像素获得亚像素级别的条带值。投影三个相移正弦模式，三个投影条带图的每个像素(x,y)的强度都可以描述为：结构光三维扫描相移技术主要存在的问题是相位展开方法只提供相对展开，而不能求解绝对相位。如果两个表面的不连续性大于2元，则基于相位展开的任何方法都无法正确地展开这两个互相关联的表面之间的关系。这些通常被称为“整周期模糊度”的问题，可以通过结合使用灰度码投影技术和相移技术来解决。结构光三维扫描12光度立体法它从同一视点拍摄，通过改变光照射的方向，使用目标表面的影像序列来估计局部表面方向。它通过使用多幅影像解决了传统的SFS方法中的不适定问题。彩虹三维摄像机图5.28展示了利用彩虹带模式的三维摄像机的基本概念，前提假设是场景不会改变投影仪打出的光颜色。相比于必须从一对立体影像中提取相应特征以计算深度值的传统立体视觉，彩虹三维摄像机可将空间变化的波长照射投影到物体表面。结构光三维扫描34伪随机二进制阵列一种网格索引的方法，是在网格位置上使用的随二进制阵列（Pseudo-Random

BinaryArray,PRBA），产生点或其他图案标记，使任何子窗口的编码图案是唯一的。DeBruiin编码DeBruijn编码是应用了DeBruijn序列的结构光编码方法。n个字母m阶的序列是一个长度为n的圆形字符串，其中长度为m的各子串出现一次。结构光三维扫描】9结构光三维扫描06立体视觉标定】9摄像机标定过程建立了二维影像上的像素与物体点所在的三维空间中的摄影关系，并且考虑了镜头的喂变失真。在大多数应用中，标定技术可以使用简化的摄像机模型和一组内参数来表示这个关系。有几种方法和相应的工具箱可用，这些过程需要不同角度拍摄的照片和已知的标定对象的尺度信息。平面棋盘格是一种常用的标定对象，因为它的制作非常简单，可以用标准的打印机打印出来，并且有很容易被检测到的明显的角点。具体的原理和实现可以参见第2章中的技术方法。立体视觉标定02投影仪的强度标定此逆模型使得将二维影像上的像素与三维空间中的直线坐标的关联问题变得困难。寻找方法建立这种关联对应关系，就可以使用摄像机标定算法对投影仪进行标定。为了提高对比度，投影仪的强度曲线通常随着伽马变换而改变。当在三维成像系统中作为主动光源使用时，标定的目标是恢复照射强度的线性度。投影仪的几何标定立体视觉标定式中，d是视差的标准偏差。该方程表明，深度不确定度随深度呈二次暴增长。因此，标注双目立体视觉系统通常只能在有限的距离范围内工作。如果目标距离较大，则深度估计变得更不确定。立体视觉标定07应用举例实验数据。算法实现。精度评定。010203这些设各设施直接验证了月球车对地外星体探测的能力，为定量地分析各类算法精度和效率提供了可靠的支持与保障。应用举例08小结双目立体视觉技术涵盖了前面章节的许多基础知识，包括对极几何、摄像机标定、特征提取与匹配的理论。双目立体视觉无论是设备搭建还是程序开发实现，都是比较容易入手的。小结感谢观看第六章计算机视觉三维测量与建模点云滤波与分割南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01采样点云特性】9随着数据采集设备的不断更新发展，三维点云的获取变得越米越便捷，采集数据的设备包括数码摄像机、结构光扫描仪、LiDAR扫描仪以及彩色深度（RGBD）摄像机等，然而数据获取方式的差异也使采样点云具有不同的属性，同时包括各种潜在的数据缺陷，是表面重建工作需要面临的重要挑战。接下来概括描达采样点云通常存在的一些典型问题，如图6.1所示，以一个点云片段的截面为例。采样点云特性嗓音（Noise）点云噪声通常是指数据点随机分布在靠近真实表面位置的情况典型的噪声受以下因素的影响：传感器的系统性问题、观测目标的材料散射特性、深度值测量质量、传感器与目标之间的距离等。0102外点（Outliers）外点也叫作异常值或者野值，它是指远商真实表面的采样点。小点的产生通常是由于在数据采集的过程中出现了结构性的错误。主要表现为随机地分布生真实表面周團的离散点，通常这部分点的密度低于正常采样数据的密度。外点也可以是戏群存在的，比如以较高密度点集群存在于远离真实表面的位置。03采样缺失（Missing）采样缺失是由于在扫描过程中传感器的采样范围有限、目标具有高吸收特性、目标形状遮挡等因素造成的。这使得部分目标表面没有采样数据，主采样密度为零的区域。采样点云特性密度不均（UnevenDensity）对目标物表面进行扫描采样时，点云在对应物体表面约密度分布被理解为采样密度。三维扫描产生的点云通常会具有采样密度不均匀的特点，这可能是由于采样目标与扫描仪的距离变化、扫描仪摄影方向变换、采样目标的自身形态特征等因素引起的。0405配准错位（Misalignment）有时数据采集不是一次性完成的，而是利用多角度或者多频次的采样拼接得到整个目标场景的点云数据的。采样点云特性采样点云特性】9从程序实现的角度出发，将待估计距离直接用平方项进行比较，避免开平方运算的消耗,可大大提高算法效率。几乎所有的ANN方法都基于对全空间的划分，迅速找到查询点所在的子空间,并将查询点与子空间内的数据点进行比较计算。对于具体的应用而言,邻域查询还被分为两种类型的查询,即:找到离查询点p，最近的k个点，不考虑这些点的分布范围；找到距p，小于半径r的至多k个点,此时查询结果的个数可能小于k个。采样点云特性在这些结构当中，八叉树和KD树是三维点云数据组织中应用最为广泛的两种。八叉树数据结构是由二维空间的四叉树数据结构推广到三维空间而形成的，它是种树形结构，在空间分解上具有很强的优势。采样点云特性KD树是一种用于组织＆维空间中离散数据点的数据结构，它是一种二叉搜索树，在最邻近搜索上具有非常高的效率。采样点云特性02点云滤波增强】96.1节所述的建模算法对扫描点云的采样密度、表面法向量和噪声分布等特性都有一定的要求，虽然许多隐式建模算法都可以容忍一定程度的点云密度的稀疏分布和法向量的方向翻转错误的情况，但当存在大面积连续的法向量估计错误时，表面重建结果会有显著的缺陷。因此，准确的法向量估计以及优化的点云空间结构，对于表面建模工作具有十分重要的意义。在本节中，将介绍与点云结构增强相结合的法向量估计优化算法,可以提高离散点云数据质量。点云滤波增强点云的法向量信息对于采样点云的平面拟合、特征提取、表面分割、表面建模以及信息提取等研究来说有极其重要的作用。光滑表面在每一点上的法向量都有唯一的定义，即垂直于该点的空间切面的方向，在一个给定的点上切面空间的直观表示是一个局部表面近似。表面法向量可以是有向的，其中每个法向量始终指向表面的内侧或外侧；法向量估计的结果也可能是无向的，即具体指向不确定。有向的法向量为重建算法提供了非常有用的线索，然而如果与点云相关的某些信息是不存在的，那么要得到一个方向明确的法向量是非常困难的。点云滤波增强主成分分析算法确定法向量的指向点云滤波增强最小生成树(MST)算法使用Kruskal算法生成MST的方法可以称为“加边法”，初始最小生成树的边数为0，每迭代一次就选择一条满足条件的最小代价边，加入最小生成树的边集合里。具体步骤如下：（1）把图中的所有边按代价从小到大排序；（2）把图中的n个顶点视为独立的由n棵树组成的森林；（3）按权值从小到大选择边，所选的边连接的两个顶点应属于两棵不同的树，则成为最小生成树的一条边，并将这两棵树合并为一棵树；（4）重复上一步，直到所有顶点都在一棵树内或者有1-1条边为止。点云滤波增强一点的局部欧氏坐标系点云滤波增强01基于统计学的方法一种简单的基于统计学方法的原理是假设点云里的所有点到其邻域点的平均距离值的概率服从高斯分布，其形状由均值和标准差决定。在算法处理时，首先将输入点云数据中的每一个点到其邻近点的距离分布情况进行计算，得到各点到它所有邻近点的平均距离。然后，将平均距离在标准差范園之外的点定义为离群点，进而将这些离群点从点云中删除。02基于表面重采样的方法经典的表面重采样方法从计算机图形研究领域被推广到了三维点云处理领域。基于表面重采样的方法将点投影到估计的局部曲面。点云滤波增强03基于深度学习的方法它通过将点斑投影到一个基于学习得到的局部框架下，并在有监咨的环境中使用卷积神经网络(ConvolutionalNeuralNetwork,CNN)将点斑移动到曲面上来，达到去噪的效果。另一种方法使用PCPNet将噪声点云投影映射到一个千净的点云曲面。此外，也有学者以人造目标为对象，研究用基于深度学习的方法提取边特征，然后在保持边特征的前提下对点云进行重采样。点云滤波增强异常值（Outliers）检测在许多领域都被应用，比如统计分析、机器学习、模式识别和数据压缩等。采样点云数据通常具有不同的点密度，此外测量误差会引起稀疏的异常值和退化的结果。点云滤波增强主成分分析（PrincipalComponentAnalysis,PCA）算法是典型的协方差矩阵估计算法，它对观测噪声十分饭感，当噪声强烈或有异常点存在时，所计算的结果会存在严重误差。因此，下面提出了基于局部优化投影采样算法的点云增强算法来滅小噪声和异常点给法向量估计带来的不利影响。点云滤波增强】9点云滤波增强03点云超体素分割】9点云分割的目的是将点云集合中的点分割成具有感知意义的符合目标边界划分性质的若干区域子集。在同一个区域中的点应该拥有相同的性质。该技术在机器视觉中有很多应用，例如，智能交通、现代测绘和自动导航。超体素（SuperVoxel）是一种集合,超体素聚类分割的目的不是完整地分割出某种特定目标,而是对点云实施一种过分割（OverSegmentation）。点云超体素分割】9依据马尔可夫随机场或条件随机场条件，基于图的算法将点云内部的上下文关系与对象级的类别先验知识合并在一起，近些年来获得了广泛的研究应用。虽然这些技术的使用取得了显著的进展，但有一个缺点，即在这些图上进行推理的计算成本通常会随肴图的节点数量的增加而急剧增大。这意味着求解以每个点为一个节点的图变得非常困难，这限制了算法在需要实时分割的应用中的使用。点云超体素分割超体素分割可以提供超体素过分割形式的节点，代替原始的点，减少了进行推理时必须考虑的节点数量，从而减小了后续处理算法的计算成本。基于超体素的后续分割或建模算法必须考虑重构数量，并且信息损失最小。点云超体素分割分割方法利用了观测数据点之间的三维几何关系，有时也包含附加的投影颜色或深度信息，分段区域内必须具有空间连接性的约束。点云的体素类型包含规则格网化的体素，这类体素可以认为是一种对空间规则划分的具有等尺寸的立方体。另一类体素是不规则的过分割形式的体素，在本节讨论的超体素指的就是不规则的过分割超体素。点云超体素分割】9首先考虑相似性度量，通常它是以法向量、曲率和离散度等属性信息构成的特征空间中的特征向量来进行计算的，当点云数据的附加信息中具有影像纹理亮度时，亮度参数也被包含到点的特征向量中。下一步对所有点进行聚类判断，不同于传统的后均值聚类算法对将每个点与所有聚类中心做判断，本算法中的原始点只与3倍搜索半径内的种子点做相似性判断。之后的运算与化均值聚类相似，利用相似性度量和距离度量判别聚类关系，并迭代更新聚类中心的位置，直到察类结果收敛。点云超体素分割构建邻接关系图。构建邻接关系图是VCCS的一个关键步骤，这一步能够确保各个超体素不会跨越在空间中不相连的对象的边界。在体素云化的三维空间中，有3种相邻的形式，分别是6相邻、18相邻和26相邻，它们分别共享一个面或边，以及面、边或顶点。0102选择种子点。点云超体素分割设计特征空间和度量函数。0304基于约束的迭代聚类。05更新聚类中心，再选代直至收敛。点云超体素分割点云超体素分割04目标级别分割】9点云分割是将拥有相似特征的同质点划分为独立的区域，这些分割的区域具有语义层面同属的意义。分割结果将有助于从多个方面分析一个场景，例如，定位识别物体和场景事件理解。良好的三维点云分割算法应当具有以下三条性质。第一，算法要能够使用几种不同种类的特征，例如，树与车这两种目标物有者不同的特征。当特征的数量变多时，分割算法要能够学会如何自动地调整它们；第二，针对那些在采样稀疏区域的点，分割算法需要能够根据应用领域的先验信息推断点的类别；第三，良好的分割算法需要适用于数据采集时使用的不同类型的传感器，因为不同的传感器会产生不同质量的数据。目标级别分割人类可以轻松地从三维空间中感知物体的形状、大小和类别性质。然而,计算机自动从三维点云中分割物体是一项困难的任务。点云数据通常是充满噪声的和无序的。基于影像匹配和三维重建获得的三维点云，由于有标定参数的误差和同名像素匹配的误差，因此会存在比较明显的表面噪声;而用三维扫描仪获取的三维数据，由于具有不同的线速率和角速率，因此点的采样密度一般也是不均匀的。目标级别分割另外，表面形状可以是拥有尖锐特征的任意形状并且在数据中也没有统计学分布规律。受观测条件的限制，有时候前景和背景混杂在一起,还有遮挡造成的数据缺失，这些问题都为点云目标自动分割带来了很大的困难。目标级别分割01基于边缘的目标分割目标的边缘描绘了物体的形状特征。基于边缘的目标分割方法探测点云中的多个域的边界来得到分割点云。基于区域特性的目标分割方法利用应用领域的先验信息，合并那些有相似性质的邻近点，获取独立的区域。基于区域特性的目标分割方法比基于边缘的目标分割方法更加准确，但是它有过分割和分割不足的问题，在确定区域边界时也不够准确。基于区域特性的目标分割方法可分为两类：种子区域方法（自底向上）和非种子区域方法（自顶向下)。0203基于区域特性的目标分割基于特征空间聚类的方法基于特征空间聚类的方法是基于点云的独立特征，使用模式识别中的聚类算法对点云