基于结构光与双目视觉的三维重构技术研究课件

基于结构光与双目视觉的

三维重构技术研究基于结构光与双目视觉的

三维重构技术研究应用现状应用现状实现流程实现流程关键技术点和难点1相机标定2立体匹配3双目测距4点云重构除了双目测距关键技术点难点关键技术点和难点1相机标定除了双目测距关键技术点难点双目测距原理小孔成像模型在构建三维测量模型中起着决定性作用，可以把它理解为视觉测量技术大厦的根基。双目测距原理小孔成像模型在构建三维测量模型中起着双目测距原理各坐标系关系示意图双目测距原理各坐标系关系示意图三角法测量模型三角法测量模型相机标定相机标定：主要是获得相机几何参数和光学参数（内部参数）以及相机相对于世界坐标系的空间位置、方向关系（外部参数）的过程。相机标定结果的精度直接影响着计算机视觉的精度定义分类1传统标定2基于主动视觉的标定3自标定相机标定相机标定：主要是获得相机几何参数和光学相机标定图像坐标系与像素坐标系图像坐标系与相机坐标系相机坐标系与世界坐标系相机标定图像坐标系与像素坐标系图像坐标系与相机坐标系相机坐标相机标定其中：内部参数矩阵：K外部参数矩阵：M1相机标定其中：内部参数矩阵：K相机标定张正友法张正友在1998年提出了一种基于棋盘格模板的相机标定方法成为相机标定研究的经典之作。这种方法由两部分组成，首先对相机的参数进行估计，再用优化函数进行迭代求精。Tsai标定算法这种标定算法需要一个精确定制的3D标定靶。操作过程是首先获取该标定靶块的图像，并提取出图像上的角点特征，然后根据角点坐标与其对应空间点的世界坐标计算出摄像机的内、外参数。相机标定张正友法张正友在1998年提出了一激光辅助标定法激光辅助标定法立体匹配定义立体匹配就是在两幅图像的匹配基元之间建立对应关系的过程，它是双目体视中最关键、困难的一步。方法区域匹配、特征匹配和相位匹配立体匹配定义立体匹配就是在两幅图像的匹配基元之间立体匹配立体匹配求解本身是个病态问题，需要通过一些附加信息或约束条件才能得到近似解。立体匹配的约束主要包括搜索范围的寻找和相似度计算这两个方面。主要包括如下：

极线约束：极线约束主要利用了空间点的投影在对应两幅图像的极线上这一条件。

唯一性约束：一幅图像上的一点只能与另一幅图像上的一点对应，而不能与多点对应。视差的连续性约束：除了遮挡区域和一些视差不连续的区域外，其他的区域视差的变化是平滑的,变化不大。

视差一致性约束：在左右视差图中，若左图像的某一点的视差和以此视差对应的右图像目标像素的视差相同,则满足视差一致性约束。挑战性问题：遮挡、弱纹理、深度不连续、光照影响、光学透射立体匹配立体匹配求解本身是个病态问题，需要通立体匹配立体匹配立体匹配立体匹配点云重构定义把点云重构成三维立体图形方法三角剖分贪婪三角剖分Delaunay剖分点云重构定义把点云重构成三维立体图形方法三角剖分贪婪三角剖分三角剖分当得到被扫描物体的点云后，将进行三角剖分。三角剖分将点云组建成一个由许多三角形组成的网格。通过三角剖分建立起来的网格应该满足以下三个条件：1)除了端点，任意三角形的任意一条边不包含点云中的任何点。2)任意两条边若相交，只在公共端点相交。3)网格内的任意一个面都是三角面，且所有三角面的合集是点云集合的凸包。三角剖分当得到被扫描物体的点云后，将进行三角剖贪婪三角剖分它从一个随机的点开始，将越来越多的邻点包含进三角化网格，使网格逐渐增长。在建网的过程中，每个点有可能被赋予这四种状态：FREE，FRINGE，BOUNDARY，COMPLETED。FREE：未加入任何三角形。FRINGE：已加入一些三角形,还有加入另一些三角形的可能性。BOUNDARY：已位于三角化网格的边界，即已加入若干三角形，不能加入更多三角形,但未被这些三角形完全包围。COMPLETED：已加入若干三角形，不能加入更多的三角形，并被这些三角形完全包围。贪婪三角剖分它从一个随机的点开始，将越来越多的邻贪婪三角剖分贪婪三角剖分Delaunay三角剖分Delaunay三角剖分的两个准则：唯一性：任意三角形的外接圆内不包含任何点且任意四点不共圆。最大化最小角Delaunay三角剖分Delaunay三角剖分的两个准则：TheendThankyou!TheendThankyou!基于结构光与双目视觉的

三维重构技术研究基于结构光与双目视觉的

三维重构技术研究应用现状应用现状实现流程实现流程关键技术点和难点1相机标定2立体匹配3双目测距4点云重构除了双目测距关键技术点难点关键技术点和难点1相机标定除了双目测距关键技术点难点双目测距原理小孔成像模型在构建三维测量模型中起着决定性作用，可以把它理解为视觉测量技术大厦的根基。双目测距原理小孔成像模型在构建三维测量模型中起着双目测距原理各坐标系关系示意图双目测距原理各坐标系关系示意图三角法测量模型三角法测量模型相机标定相机标定：主要是获得相机几何参数和光学参数（内部参数）以及相机相对于世界坐标系的空间位置、方向关系（外部参数）的过程。相机标定结果的精度直接影响着计算机视觉的精度定义分类1传统标定2基于主动视觉的标定3自标定相机标定相机标定：主要是获得相机几何参数和光学相机标定图像坐标系与像素坐标系图像坐标系与相机坐标系相机坐标系与世界坐标系相机标定图像坐标系与像素坐标系图像坐标系与相机坐标系相机坐标相机标定其中：内部参数矩阵：K外部参数矩阵：M1相机标定其中：内部参数矩阵：K相机标定张正友法张正友在1998年提出了一种基于棋盘格模板的相机标定方法成为相机标定研究的经典之作。这种方法由两部分组成，首先对相机的参数进行估计，再用优化函数进行迭代求精。Tsai标定算法这种标定算法需要一个精确定制的3D标定靶。操作过程是首先获取该标定靶块的图像，并提取出图像上的角点特征，然后根据角点坐标与其对应空间点的世界坐标计算出摄像机的内、外参数。相机标定张正友法张正友在1998年提出了一激光辅助标定法激光辅助标定法立体匹配定义立体匹配就是在两幅图像的匹配基元之间建立对应关系的过程，它是双目体视中最关键、困难的一步。方法区域匹配、特征匹配和相位匹配立体匹配定义立体匹配就是在两幅图像的匹配基元之间立体匹配立体匹配求解本身是个病态问题，需要通过一些附加信息或约束条件才能得到近似解。立体匹配的约束主要包括搜索范围的寻找和相似度计算这两个方面。主要包括如下：

极线约束：极线约束主要利用了空间点的投影在对应两幅图像的极线上这一条件。

唯一性约束：一幅图像上的一点只能与另一幅图像上的一点对应，而不能与多点对应。视差的连续性约束：除了遮挡区域和一些视差不连续的区域外，其他的区域视差的变化是平滑的,变化不大。

视差一致性约束：在左右视差图中，若左图像的某一点的视差和以此视差对应的右图像目标像素的视差相同,则满足视差一致性约束。挑战性问题：遮挡、弱纹理、深度不连续、光照影响、光学透射立体匹配立体匹配求解本身是个病态问题，需要通立体匹配立体匹配立体匹配立体匹配点云重构定义把点云重构成三维立体图形方法三角剖分贪婪三角剖分Delaunay剖分点云重构定义把点云重构成三维立体图形方法三角剖分贪婪三角剖分三角剖分当得到被扫描物体的点云后，将进行三角剖分。三角剖分将点云组建成一个由许多三角形组成的网格。通过三角剖分建立起来的网格应该满足以下三个条件：1)除了端点，任意三角形的任意一条边不包含点云中的任何点。2)任意两条边若相交，只在公共端点相交。3)网格内的任意一个面都是三角面，且所有三角面的合集是点云集合的凸包。三角剖分当得到被扫描物体的点云后，将进行三角剖贪婪三角剖分它从一个随机的点开始，将越来越多的邻点包含进三角化网格，使网格逐渐增长。在建网的过程中，每个点有可能被赋予这四种状态：FREE，FRINGE，BOUNDARY，COMPLETED。FREE：未加入任何三角形。FRINGE：已加入一些三角形,还有加入另一些三角形的可能性。BOUNDARY：已位于三角化网格的边界，即已加入若干三角形，不能加入更多三角形,但未被这些三角形完全包围。COMPLETED：已加入若干三角形，不能加入更多的三角形，并被这