D感知与目标位姿计算

Chapter103DSensingandObjectPoseComputation第十章3D感知与目标位姿计算举例多摄像机测量系统通过计算机视觉来识别目标并确定目标位置通过立体视觉求深度放置两台摄像机，使它们的X轴重合，Y轴和Z轴分别相互平行。Y轴垂直于纸面。右侧摄像机的原点或投影中心的偏移量为b，b是立体视觉系统的基线(baseline)。目标点P在左图像中对应点为Pl，在右图像中对应点为Pr，可以确定点P位于光线LPl和RPr的交点处。根据相似三角形：通过立体视觉求深度因为坐标yl和yr相同。所以点P的两个未知坐标x和z可以表示为：d=xl-xr定义：当同一个3D点投影到不同的两台摄像机图像上时，对应点在图像上的位置差称为视差(disparity)。注意：到点P的距离随着视差的减小而增加，随着视差的增大而减小。随着视差趋近零时，距离趋近无穷。建立对应关系1）交叉相关

对于已知图像I1(立体图像对中的第一幅图像)中的点P1，假设在图像I2(立体图像对中第二幅图像)中存在某个固定区域，在该区域中一定可以找到与P1对应的点P2.

区域的大小由拍摄这些图像的摄像机设备信息决定。对于图像I1的像素P1，搜索I2上的选定区域，对P1和P2的邻域进行交叉相关运算，把交叉相关影响最大的像素，作为P1的最佳匹配点，并用该像素寻找对应3D点的深度。2）图符匹配和相关约束

在一幅图像中寻找与另一幅图像特征相匹配的特征。典型特征有连接类型、线段或区域。可以采用一致性标记寻找匹配。部件集合P是第一幅图像I1中的特征集合。标记集L是第二幅图像I2的特征集合。P上的空间关系RP要与L上的空间关系RL相同。建立对应关系采用连接点关系对特征进行匹配图中的L连接和箭头连接是可能的匹配点。一般避免使用T连接，因为它们通常是遮挡的结果，而不是3D结构的实际特征。2）图符匹配和相关约束

存在问题：

1)并非第一幅图像中所有特征都可以在第二幅图像中检测到.2)从第一幅图像特征到第二幅图像特征映射后，连接点的对应关系产生的是一个稀疏深度映射，不能完全表示三维信息.

解决方法：

1)允许出现一定的误差，寻找一种最小误差映射，或利用连续松弛法得到近似解.2)在求得的稀疏深度映射点上进行线性插值运算，使稀疏深度映射变得稠密.建立对应关系3)外极线约束

两图像面位于同一平面并且与基线平行。已知图像I1中的点P1=(x1,y1)，则图像I2中的对应点P2=(x2,y2)将与P1位于相同的扫描线上，也就是y1=y2。这对图像为标准图像对。建立对应关系标准图像对的外极线几何。3D点P在图像I1中的投影为P1，在图像I2中的投影为P2，二幅图像位于同一平面，与两摄像机间的基线平行。光轴垂直于基线并相互平行。3)外极线约束

建立对应关系定义：包含3D点P、两个光心(或摄像机)C1和C2，以及P在两幅图像中的投影点P1和P2的平面称为外极面(epipolarplane).定义：外极面与两幅图像平面I1和I2的交线e1和e2称为外极线(epipolarline).定义：立体图像对的外极点(epipole)就是所有外极线的交点.4）顺序约束已知场景中两个点和它们在两幅图像中的投影点。如果这两点位于场景中的连续表面上，那么在每幅图像中，它们以相同的顺序位于外极线上。5）误差与场景覆盖场景覆盖与计算深度误差间寻求平衡。如果基线很短，确定图像点P1和P2的位置时误差就较小，但在计算3D点P的深度时误差就较大。增大基线可以改进搜索精度，但随摄像机彼此远离，图像点之间的对应关系将丢失。建议两台摄像机光轴间最好是45度角。建立对应关系一般体视视结构两台摄像像机C1和C2观察相同同的3D工作区。。工件上上的点P在第一幅幅图像中中的投影影为1P，在第二二幅图中中的投影影为2P。两台摄像像机观察察工作台台上相同同的工件件区时，，工作台台就是一一个完整整的3D世界，并并且有自自己的世世界坐标标系W。工作区中中3D点wP=[wPx,wPy,wPz]的位置，，可以通通过两条条投影线线wP1O和wP2O的交点确确定。为了进行行立体视视觉计算算，需要要已知下下列条件件：要知道摄摄像机C1在工作区区W中的位姿姿，以及及摄像机机的一些些内部参参数，如如焦距。。这些信信息用摄摄像机矩矩阵(cameramatrix)来表示，，对每个个图像点点1P通过该矩矩阵确定定3D空间中的的一条光光线。要知道C2在工作区区W中的位姿姿以及它它的内部部参数。。要找出3D点与两个2D图像点(wP,1P,2P)之间的对应关关系。要有公式来计计算两条投影影线wP1O和wP2O的交点wP。一般体视结构构基于多摄像机机的3D点计算根据两个像点点[r1,c1]和[r2,c2]算出未知的3D点[x,y,z]，两个像点由由标定好的两两台摄像机摄摄取。去掉齐次坐标标s和t,可以得到含3个未知数的4个线性方程。。4个方程中任意意3个联立都可以以求出未知点点[x,y,z]，但求出的坐坐标值会产生生微小的差异异。问题：因为摄像机模模型和图像点点的近似误差差，两台摄像像机的投影线线并没有在数数学的3D空间相交于一一点。解决方案：计算这两条空空间斜交投影影线之间的最最短距离，也也就是计算它它们公垂线段段的长度。如果公垂线比较短短，就取公垂线线的中点作为为两条投影线线的交点。如果公垂线比较长长，就要判定在在进行像点对对应计算时出出现了问题。。基于多摄像机机的3D点计算P1和P2是一条直线上上的两个点，，而Q1和Q2是另外一条直直线上的两个个点。u1和u2是沿两条直线线的单位向量量。向量V=P1+a1u1-（Q1+a2u2）就是连续两两条直线的最最短距离向量量，其中a1和a2是两个要确定定的比例系数数。利用两空间斜斜交线与公垂垂线正交这一一约束条件，，可以得到2个含未知数a1和a2的线性方程：：利用消元法或或者行列式法法可以很容易易解出a1和a2。如果‖sV‖小于某个阈值值，就认为两两条直线相交交于点[x,y,z]t=(1/2)[(P1+a1u1)+(Q1+a2u2)]。基于多摄像机机的3D点计算3D目标重建目标建模的过过程可分为四四个步骤：1）3D数据获取一般需要8-10张不同角度的的视图来获得得一系列物体体表面的深度度数据。2）图像配准将深度数据转转换到一个3D坐标系的过程程为图像配准准过程。3）表面重建将3D点云用3D网格及格点间间联系表示；；用一组3D体素表示目标标的整个体积积。4）优化平滑表面等过过程视图配准问题提出：为了覆盖物体体的整个表面面，必须根据据多幅视图得得到深度数据据。解决方法：视图1到视图2的变换，要么么通过精确的的机械运动得得到，要么通通过图像对应应求出。从图像对应求求取：相当于完成从从一幅视图映映射到另一幅幅视图的刚性性变换。将其其转换到同一一坐标系下。。1）可以借助3D特征如角点和和线段特征自自动完成，基基于特征得到到3D-3D的对应点，从从而计算出变变换关系。2）利用交互方方式，允许用用户在一对目目标图像上选选择对应点。。视图配准(左上)对两组深度数数据进行配准准(右上)用户交互选取取4个对应点(右下)存在少量偏差差的初始变换换(左下)几次迭代后，，两组深度数数据得到很好好的对齐最近点迭代法法：得到初始变换换，通过迭代代方法，使对对应3D点之间的距离离之和最小化化。表面重建目标：希望重建目标标与实际物体体在外形上尽尽可能相似并并且保持其拓拓扑结构。(a)配准的椅子深深度数据(b)重建过程出现现的问题(c)具有正确拓扑扑结构的粗略略网格模型图片:可以作为建模模的灵感来源源。网络图片，单视角基于单幅图片片的三维重建建基本流程部件一致性分分割[Xuetal.2010]InputmodelsetModelsinpartcorrespondence预分析候选模模型集形变控制单元元[Zhengetal.2011]控制单元:长方形和广义义圆柱体相互关系:对称,连接,etc.预分析候选模模型集第一步:模型驱动的图图像空间结构构分析基于单幅图片片的三维重建建检索代表模型型模型驱动的标标号分割图割法模型驱动的特特征空间结构构分析基于单幅图片片的三维重建建第二步:候选模型检索索QueryTop5retrievedresults全局描述子检检索候选模型检索索QueryTop5retrievedresults部件级描述子子候选模型也可任意选择候选模型检索索关键第三步:轮廓驱动的结结构保持形变变基于单幅图片片的三维重建建轮廓对应初始控制重构构控制优化潜质几何形变变轮廓驱动的结结构保持形变变轮廓对应初始控制重构构控制优化潜质几何形变变轮廓对应轮廓对应初始控制重构构控制优化潜质几何形变变轮廓对应轮廓对应初始控制重构构控制优化潜质几何形变变轮廓对应轮廓对应初始控制重构构控制优化潜质几何形变变轮廓驱动的结结构保持形变变轮廓驱动的结结构保持形变变轮廓对应初始控制重构构控制优化潜质几何形变变轮廓对应初始控制重构构控制优化潜质几何形变变BeforeoptimizationAfteroptimization轮廓驱动的结结构保持形变变轮廓对应初始控制重构构控制优化潜质几何形变变BeforeoptimizationAfteroptimizationFinalgeometry轮廓驱动的结结构保持形变变InitialcontrollerreconstructionFront-view结构优化单独控制对称交互控制对称邻近约束最初构造iterative最终结构构结构优化化结果?结果原始数据据噪声点云云数据未分割有遮挡工具:MicrosoftKinect实时提供深度度和图像像信息小而便宜宜42数据获取取学习:利用多角角度拍摄摄结果学学习基本本模型translationalrotational43室内场景景重构识别:用学习到到的模型型在场景景中识别别物体44室内场景景重构-学习阶段段学习:利用多角角度拍摄摄结果学学习基本本模型用不同基基元进行行基本模模型表示示基元长方体、、圆柱体体、辐射射状构造造连通性刚性旋转平移附属关系位置信息息contacttranslationalrotational45基本模型型表示地平面和和书桌物体单独聚类类部件通过一致致性分类类分割与其其类似，，后面还还需修正正46点云数据据分层表表示初始分配配部件vs.基元简单的对对比高度度，法