D感知与目标位姿计算

Chapter103DSensingandObjectPoseComputation第十章3D感知与目目标位姿姿计算举例多摄像机机测量系系统通过计算算机视觉觉来识别别目标并并确定目目标位置置通过立体体视觉求求深度放置两台台摄像机机，使它它们的X轴重合，，Y轴和Z轴分别相相互平行行。Y轴垂直于于纸面。。右侧摄摄像机的的原点或或投影中中心的偏偏移量为为b，b是立体视视觉系统统的基线(baseline)。目标点点P在左图像像中对应应点为Pl，在右图图像中对对应点为为Pr，可以确确定点P位于光线线LPl和RPr的交点处处。根据相似似三角形形：通过立体体视觉求求深度因为坐标标yl和yr相同。所所以点P的两个未未知坐标标x和z可以表示示为：d=xl-xr定义：当同一个个3D点投影到到不同的的两台摄摄像机图图像上时时，对应应点在图图像上的的位置差差称为视差(disparity)。注意：到点P的距离随随着视差差的减小小而增加加，随着着视差的的增大而而减小。。随着视视差趋近近零时，，距离趋趋近无穷穷。建立对应应关系1）交叉相相关对于已知知图像I1(立体图像像对中的的第一幅幅图像)中的点P1，假设在在图像I2(立体图像像对中第第二幅图图像)中存在某某个固定定区域，，在该区区域中一一定可以以找到与与P1对应的点点P2.区域的大大小由拍摄这这些图像像的摄像像机设备备信息决决定。对于图图像I1的像素素P1，搜索索I2上的选选定区区域，，对P1和P2的邻域域进行行交叉叉相关关运算算，把把交叉叉相关关影响响最大大的像像素，，作为为P1的最佳佳匹配配点，，并用用该像像素寻寻找对对应3D点的深深度。。2）图符符匹配配和相相关约约束在一幅幅图像像中寻寻找与与另一一幅图图像特特征相相匹配配的特特征。。典型型特征征有连连接类类型、、线段段或区区域。。可以采用一一致性性标记记寻找找匹配配。部件件集合合P是第一一幅图图像I1中的特特征集集合。。标记记集L是第二二幅图图像I2的特征征集合合。P上的空空间关关系RP要与L上的空空间关关系RL相同。。建立对对应关关系采用连连接点点关系系对特特征进进行匹匹配图中的的L连接和和箭头头连接接是可可能的的匹配配点。。一般般避免免使用用T连接，，因为为它们们通常常是遮遮挡的的结果果，而而不是是3D结构的实际际特征。2）图符匹配配和相关约约束存在问题：：1)并非第一幅幅图像中所所有特征都都可以在第第二幅图像像中检测到到.2)从第一幅图图像特征到到第二幅图图像特征映映射后，连连接点的对对应关系产产生的是一一个稀疏深深度映射，，不能完全全表示三维维信息.解决方法：：1)允许许出出现现一一定定的的误误差差，，寻寻找找一一种种最最小小误误差差映映射射，，或或利利用用连连续续松松弛弛法法得得到到近近似似解解.2)在求求得得的的稀稀疏疏深深度度映映射射点点上上进进行行线线性性插插值值运运算算，，使使稀稀疏疏深深度度映映射射变变得得稠稠密密.建立立对对应应关关系系3)外极极线线约约束束两图图像像面面位位于于同同一一平平面面并并且且与与基基线线平平行行。。已已知知图图像像I1中的的点点P1=(x1,y1)，则则图图像像I2中的的对对应应点点P2=(x2,y2)将与与P1位于于相相同同的的扫扫描描线线上上，，也也就就是是y1=y2。这这对对图图像像为为标标准准图图像像对对。。建立立对对应应关关系系标准准图图像像对对的的外外极极线线几几何何。。3D点P在图图像像I1中的的投投影影为为P1，在在图图像像I2中的的投投影影为为P2，二二幅幅图图像像位位于于同同一一平平面面，，与与两两摄摄像像机机间间的的基基线线平平行行。。光光轴轴垂垂直直于于基基线线并并相相互互平平行行。。3)外极极线线约约束束建立立对对应应关关系系定义：包含3D点P、两个光心(或摄像机)C1和C2，以及P在两幅图像中中的投影点P1和P2的平面称为外极面(epipolarplane).定义：外极面与两幅幅图像平面I1和I2的交线e1和e2称为外极线线(epipolarline).定义：立体图像对对的外极点(epipole)就是所有外外极线的交交点.4）顺序约束束已知场景中中两个点和和它们在两两幅图像中中的投影点点。如果这两点点位于场景景中的连续续表面上，，那么在每每幅图像中中，它们以以相同的顺顺序位于外外极线上。。5）误差与场场景覆盖场景覆盖与与计算深度度误差间寻寻求平衡。。如果基线很很短，确定定图像点P1和P2的位置时误误差就较小小，但在计计算3D点P的深度时误误差就较大大。增大基线可可以改进搜搜索精度，，但随摄像像机彼此远远离，图像像点之间的的对应关系系将丢失。。建议两台摄摄像机光轴轴间最好是是45度角。建立对应关关系一般体视结结构两台摄像机机C1和C2观察相同的的3D工作区。工工件上的点点P在第一幅图图像中的投投影为1P，在第二幅幅图中的投投影为2P。两台摄像机机观察工作作台上相同同的工件区区时，工作作台就是一一个完整的的3D世界，并且且有自己的的世界坐标标系W。工作区中3D点wP=[wPx,wPy,wPz]的位置，可可以通过两两条投影线线wP1O和wP2O的交点确定定。为了进行立立体视觉计计算，需要要已知下列列条件：要知道摄像像机C1在工作区W中的位姿，，以及摄像像机的一些些内部参数数，如焦距距。这些信信息用摄像像机矩阵(cameramatrix)来表示，对对每个图像像点1P通过该矩阵阵确定3D空间中的一一条光线。。要知道C2在工作区W中的位姿以以及它的内内部参数。。要找出3D点与两个2D图像点(wP,1P,2P)之间的对应应关系。要有公式来来计算两条条投影线wP1O和wP2O的交点wP。一般体视结结构基于多摄摄像机的的3D点计算根据两个个像点[r1,c1]和[r2,c2]算出未知知的3D点[x,y,z]，两个像像点由标标定好的的两台摄摄像机摄摄取。去掉齐次次坐标s和t,可以得到到含3个未知数数的4个线性方方程。4个方程中中任意3个联立都都可以求求出未知知点[x,y,z]，但求出出的坐标标值会产产生微小小的差异异。问题：因为摄像像机模型型和图像像点的近近似误差差，两台台摄像机机的投影影线并没没有在数数学的3D空间相交交于一点点。解决方案案：计算这两两条空间间斜交投投影线之之间的最最短距离离，也就就是计算算它们公公垂线段段的长度度。如果公垂线比较短短，就取公垂线线的中点作为为两条投影线线的交点。如果公垂线比较长长，就要判定在在进行像点对对应计算时出出现了问题。。基于多摄像机机的3D点计算P1和P2是一条直线上上的两个点，，而Q1和Q2是另外一条直直线上的两个个点。u1和u2是沿两条直线线的单位向量量。向量V=P1+a1u1-（Q1+a2u2）就是连续两两条直线的最最短距离向量量，其中a1和a2是两个要确定定的比例系数数。利用两空间斜斜交线与公垂垂线正交这一一约束条件，，可以得到2个含未知数a1和a2的线性方程：：利用消元法或或者行列式法法可以很容易易解出a1和a2。如果‖sV‖小于某个阈值值，就认为两两条直线相交交于点[x,y,z]t=(1/2)[(P1+a1u1)+(Q1+a2u2)]。基于多摄像机机的3D点计算3D目标重建目标建模的的过程可分分为四个步步骤：1）3D数据获取一般需要8-10张不同角度度的视图来来获得一系系列物体表表面的深度度数据。2）图像配准准将深度数据据转换到一一个3D坐标系的过过程为图像像配准过程程。3）表面重建建将3D点云用3D网格及格点点间联系表表示；用一一组3D体素表示目目标的整个个体积。4）优化平滑表面等等过程视图配准问题提出：：为了覆盖物物体的整个个表面，必必须根据多多幅视图得得到深度数数据。解决方法：：视图1到视图2的变换，要要么通过精精确的机械械运动得到到，要么通通过图像对对应求出。。从图像对应应求取：相当于完成成从一幅视视图映射到到另一幅视视图的刚性性变换。将将其转换到到同一坐标标系下。1）可以借助助3D特征如角点点和线段特特征自动完完成，基于于特征得到到3D-3D的对应点，，从而计算算出变换关关系。2）利用交互互方式，允允许用户在在一对目标标图像上选选择对应点点。视图配准(左上)对两组深度度数据进行行配准(右上)用户交互选选取4个对应点(右下)存在少量偏偏差的初始始变换(左下)几次迭代后后，两组深深度数据得得到很好的的对齐最近点迭代代法：得到初始变变换，通过过迭代方法法，使对应应3D点之间的距距离之和最最小化。表面重建目标：希望重建目目标与实际际物体在外外形上尽可可能相似并并且保持其其拓扑结构构。(a)配准的椅子子深度数据据(b)重建过程出出现的问题题(c)具有正确拓拓扑结构的的粗略网格格模型图片:可以作为建建模的灵感感来源。网络图片，单视角基于单幅图图片的三维维重建基本流程部件一致性性分割[Xuetal.2010]InputmodelsetModelsinpartcorrespondence预分析候选选模型集形变控制单单元[Zhengetal.2011]控制单元:长方形和广广义圆柱体体相互关系:对称,连接,etc.预分析候选选模型集第一步:模型驱动的的图像空间间结构分析析基于单幅图图片的三维维重建检索代表模模型模型驱动的的标号分割割图割法模型驱动的的特征空间间结构分析析基于单幅图图片的三维维重建第二步:候选模型检检索QueryTop5retrievedresults全局描述子子检索候选模型检检索QueryTop5retrievedresults部件级描述述子候选模型也可任意选择候选模型检检索关键第三步步:轮廓驱动的的结构保持持形变基于单幅图图片的三维维重建轮廓廓对对应应初始始控控制制重重构构控制制优优化化潜质质几几何何形形变变轮廓廓驱驱动动的的结结构构保保持持形形变变轮廓廓对对应应初始始控控制制重重构构控制制优优化化潜质质几几何何形形变变轮廓廓对对应应轮廓廓对对应应初始始控控制制重重构构控制制优优化化潜质质几几何何形形变变轮廓廓对对应应轮廓廓对对应应初始始控控制制重重构构控制制优优化化潜质质几几何何形形变变轮廓廓对对应应轮廓廓对对应应初始始控控制制重重构构控制制优优化化潜质质几几何何形形变变轮廓廓驱驱动动的的结结构构保保持持形形变变轮廓廓驱驱动动的的结结构构保保持持形形变变轮廓廓对对应应初始始控控制制重重构构控制制优优化化潜质质几几何何形形变变轮廓廓对对应应初始始控控制制重重构构控制制优优化化潜质质几几何何形形变变BeforeoptimizationAfteroptimization轮廓廓驱驱动动的的结结构构保保持持形形变变轮廓廓对对应应初始始控控制制重重构构控制制优优化化潜质质几几何何形形变变BeforeoptimizationAfteroptimizationFinalgeometry轮廓廓驱驱动动的的结结构构保保持持形形变变InitialcontrollerreconstructionFront-view结构构优优化化单独控制对称交互控制对称邻近约束最初初构构造造iterative最终结结构结构优优化结果?结果原始数数据噪声点点云数数据未分割割有遮挡挡工具:MicrosoftKinect实时提供深深度和和图像像信息息小而便便宜42数据获获取学习:利用多多角度度拍摄摄结果果学习习基本本模型型translationalrotational43室内场场景重重构识别:用学习习到的的模型型在场场景中中识别别物体体44室内场场景重重构-学习阶阶段学习:利用多多角度度拍摄摄结果果学习习基本本模型型用不同同基元元进行行基本本模型型表示示基元长方体体、圆圆柱体体、辐辐射状