图像理解 课件 13-多图像景物恢复

多图像景物恢复图像理解之十三2景物恢复：多图像立体视觉方法根据在不同位置获得的多幅图象来恢复景物的深度，可看作将多幅图象间的冗余信息转化为深度信息获取含有冗余信息的多幅图象也可利用在同一位置采集变化的景物图象来得到。这些图象可仅用一个摄象机得到，所以也称为单目的方法从（单目）多幅图象中可以确定景物的表面朝向，而由景物的表面朝向可直接得到景物各部分间的相对深度，并进一步得到绝对深度3单目景物恢复立体视觉优点：几何关系非常明确缺点：需要确定双/多目图象中的对应点采用立体视觉方法需要让景物上的若干点同时出现在需要确定对应点的所有图象中，实际中受视线遮挡的影响，并不能保证这些图象有相同的视场，导致对应点检测的困难并影响到匹配。此时如果缩短基线长度，有可能减弱遮挡的影响，但对应点的匹配精度会下降4单目景物恢复单目图象（可单幅或多幅图象）恢复景物避免了复杂的对应点匹配问题也可恢复景物的本征特性（如形状）“从X得到形状”（shapefromX）这里X可以代表：多幅图象：（景物）运动、光照（变化）单幅图象：（明暗）影调、（表面）纹理5光度立体学景物亮度和图象亮度表面反射特性和亮度景物表面朝向反射图和亮度约束方程光度立体学求解6景物亮度和图象亮度景物亮度与辐射亮度或辉度有关。对应景物表面射出的光通量，由光源表面单位面积在单位立体角内发出的功率，单位是Wm–2sr–1图象亮度与辐照度或照度有关。对应图象平面得到的光通量，是射到目标表面的单位面积的功率，单位是Wm–27景物亮度和图象亮度一个点光源的辐射亮度（景物亮度）和图象上对应点的照度（图象亮度）之间的关系8景物亮度和图象亮度公式推导由两个立体角的相等可得图象照度E与所感兴趣的景物亮度L成正比，且与镜头的面积成正比，与镜头焦距平方成反比9景物亮度和图象亮度景物的亮度L不仅取决于入射到景物表面的光通量和入射光被反射的比例，还与光反射的几何因素有关，即与光照方向和视线方向有关10景物亮度和图象亮度双向反射分布函数BRDF：f(θi,φi;θe,φe)光线沿方向(θi,φi)入射到景体表面而观察者在方向(θe,φe)所观察到的表面明亮情况亮度和照度的比值双向反射分布函数关于入射和反射方向是对称的11景物亮度和图象亮度常见入射和观测方式12从运动求取结构从运动求取结构（StructurefromMotion，SFM）是一种基于各种收集到的无序图片进行三维重建的离线算法输入多视角图象图象特征提取与匹配稀疏重建（SFM）稠密重建（MVS）点云模型化三维模型13SIFT特征提取图像的特征主要包括特征点、特征线和区域。在大多数情况下都是以特征点为匹配基元的，特征点是图像中的一些特殊点，具有一些特殊的属性，可以用来描述图像中的关键信息在SFM中常用的特征提取算法是SIFT算法，因其鲁棒性较好，具有尺度和旋转不变性14SIFT特征提取SIFT算法基本流程主要分为四步15SIFT特征提取尺度空间极值检测构建尺度空间的目的就是为了找到在尺度变化中具有不变性的位置，即在尺度空间中所有可能的尺度变化中找到稳定的特征点，以保证在图像缩放和旋转变化中具有不变性，检测特征点使用高斯差分金字塔高斯金字塔和高斯差分金字塔16SIFT特征提取关键点定位在建立的尺度空间中寻找极值点，并确定其位置但因像素空间为离散空间，寻找到的极值点可能不是真正的极值点，从而需要运用线性插值进行精确定位17SIFT特征提取关键点方向确定基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向确定关键点的方向，用于对图像在尺度、方向等方面的各种操作，从而提供对于这些变换的不变性18SIFT特征提取生成关键点描述子将坐标轴旋转为关键点的方向，以确保旋转不变性。三线性插值：主要是用于在一个3D的立方体中，通过给定顶点的数值然后计算立方体中其他点的数值的线性插值方法。插值计算每个种子点八个方向的梯度。对于一个关键点产生128个数据，即最终形成128维的SIFT特征向量。将特征向量的长度归一化，则可以进一步去除光照变化的影响。19特征匹配匹配解决的是：对于参考图像中的一个特征点，如何从目标图像中找出与之相对应的特征点并建立track距离度量：以常见的欧氏距离作为相似性度量标准，计算欧式距离就是计算两个特征点的距离匹配策略最近邻搜索：首先要找到了a的最近邻点b，且同时要限制a和b之间的距离要小于一定的值，这个主要是为了防止一些孤立的点和距离过远的点。比如找到了a的最近邻b，但a与b间的距离过大，就不可行最近邻距离比：最近邻与次近邻的距离比是经常用的技巧。只有当最近邻距离与次近邻距离比小于一定值的时候，比如说我们取0.6或0.8，才认为他是一个可靠的匹配20特征匹配高效匹配，为了提高匹配效率有以下两种匹配方式哈希表：把每一个特征做一个哈希编码，然后用哈希来做一个搜索k-d树：k-d树是一个近似最近邻搜索，利用特征点构造一个k-d树然后来进行搜索即便是用了上述的匹配策略，也有可能匹配会出现一些错误一是最近距离与次近距离的比值大于某个阈值，应该剔除二是通过估计两幅图像的相机模型的方式（RANSC八点法）来去除错误的匹配。只有通过这个模型验证过的特征匹配才是比较稳定的21k-dtree构建k-d树：以二维平面点(2,3)，(5,4)，(9,6)，(4,7)，(8,1)，(7,2)为例说明构建过程构建根节点时，此时的切分维度为x，如上点集合在x维从小到大排序为(2,3)，(4,7)，(5,4)，(7,2)，(8,1)，(9,6)；其中值为(7,2)(2,3)，(4,7)，(5,4)挂在(7,2)节点的左子树，(8,1)，(9,6)挂在(7,2)节点的右子树构建(7,2)节点的左子树时，点集合(2,3)，(4,7)，(5,4)此时的切分维度为y，中值为(5,4)作为分割平面，(2,3)挂在其左子树，(4,7)挂在其右子树构建(7,2)节点的右子树时，点集合(8,1)，(9,6)此时的切分维度也为y，中值为(9,6)作为分割平面，(8,1)挂在其左子树。至此k-dtree构建完成22k-dtree最近邻搜索：给定点p，查询数据集中与其距离最近点的过程。如搜索(3,5)的最近邻：首先从根节点(7,2)出发，将当前最近邻设为(7,2)，对该k-dtree作深度优先遍历。以(3,5)为圆心，其到(7,2)的距离为半径画圆（多维空间为超球面），可以看出(8,1)右侧的区域与该圆不相交，所以(8,1)的右子树全部忽略接着走到(7,2)左子树根节点(5,4)，与原最近邻对比距离后，更新当前最近邻为(5,4)。以(3,5)为圆心，其到(5,4)的距离为半径画圆，发现(7,2)右侧的区域与该圆不相交，忽略该侧所有节点，这样(7,2)的整个右子树被标记为已忽略遍历完(5,4)的左右叶子节点，发现与当前最优距离相等，不更新最近邻。所以(3,5)的最近邻为(5,4)23稀疏重建SFM指通过相机的移动来确定目标的空间和几何关系，是一种相机标定方法可以在不知道相机参数和场景中的三维信息的情况，通过迭代来求解出三维点云和相机矩阵由于它是基于特征点匹配的，所以重建出来的点云是重建对象的稀疏表示24稀疏重建当匹配关系建立后，需要生成track列表生成track列表的同时也需要剔除无用匹配一方面一个track包含同一幅图多次，则应该剔除其次，如果track太少，应该剔除一般取2，是指只有两幅图有同一个点三维重建的信息过少，容易产生误差在得到匹配筛选过的特征点后，就能够计算出两个相机间的本征矩阵了对求得本征矩阵t进行分析，得出相机的相对变换矩阵R和T（旋转变换R和平移变换T）25稀疏重建已经知道了两个相机之间的变换矩阵（R和T），还有每一对匹配点的坐标，通过这些已知信息还原匹配点在空间当中的坐标，得到三维点云添加更多的图像，计算更多的相机的变换矩阵，将新得到的三维点云与之前计算得到的三维点云进行融合，然后循环迭代随着图像的增加，误差会不断累积，最后误差过大以至于完全偏离重建的目标，则采用光束平差法（BundleAdjustment）进行优化，最终得到稀疏的三维点云26稀疏重建BundleAdjustment（光束平差法），所谓bundle，来源于bundleoflight，其本意就是指的光束，这些光束指的是三维空间中的点投影到像平面上的光束，而重投影误差正是利用这些光束来构建的，因此称为光束法重投影误差示意图，带颜色的线表示的就是光束27稀疏重建重投影误差在重建过程中有两次“投影”过程投影是拍摄时进行的，其投影结果就是照片本身投影就是“重投影”，是根据之前计算出的内外参数、空间点坐标计算出的对应点的像素坐标同一个空间点的两次投影的像素差值就是重投影误差算法模型：BA其本质是一个非线性优化算法，其目的是最小重投影误差，算法模型如下所示：其中xij为需要优化的参数，BA中指的是点云坐标；f(x)为重投影误差；ρ为损失函数28稠密重建稠密重建需要两个步骤完成一是通过CMVS（散列图像聚簇）方法对图像集进行聚簇，以减少重建过程的数据量，提高运算速度并且提高重建精度二是由PMVS（基于贴片模型的密集匹配）重建方法通过匹配、膨胀、过滤三个步骤完成重建任务，在重建过程中主要依靠增强光度一致性和满足全局可见性约束两个条件29稠密重建CMVS算法流程SFM过滤，在局部邻域搜索某个SFM特征点的可视信息，再将该位置的信息取为各邻域位置的平均值，有效减少输入点集的数量，去除冗余点，减少计算量图像选取，删除不满足覆盖范围约束条件的图像。该覆盖范围条件是以特征点在照片中的可见程度为约束的聚簇分类，由标准分割算法，对图像大小为约束条件，不考虑覆盖范围约束进行分割。对不满足图像大小的簇，将其分为更小的簇。对于一个特征点只能在当前有限个数的相机中成像可见，对于相距较远的相机，对重建特征点的贡献很小，几乎可以忽略增加图像：对于未加入的每个SFM特征点，构造