立体视觉基础

主要内容,一. 立体视觉的概念 二. 立体视觉的基本原理 三. 射影几何中的基本概念 四. 基本的成像模型 五. 单视几何学的基本原理 六. 双视几何学的基本原理 七. 摄像机标定的基本原理,一. 立体视觉的概念,1. 计算机视觉的概念 2. 立体视觉的概念,1. 计算机视觉的概念,什么是计算机视觉? 模拟人眼接收客观世界中可见光信息，并由大脑解释可视信息的过程，使用算法对真实图像或视频中的内容给予有效的解释。 入口数据：图像、视频（可视信息） 出口数据：对可视内容的某种解释（非可视信息）,1. 计算机视觉的概念,应用实例： 汽车牌照识别 车辆形状识别 人脸识别 拍摄场景中的人数统计 动态目标分割、定位、跟踪、行为分析,1. 计算机视觉的概念,相关领域： 计算机图形学 数字图像处理,计算机图形学,使用图形生成管道（一组有序执行的算法），由计算机内部的虚拟几何图形表述生成虚拟可视像素图形的过程。 入口数据：虚拟二维或三维场景描述（几何图形，非可视数据） 出口数据：经图形管道处理后得到的虚拟的、像素化图形（可视数据）,数字图像处理,使用算法对数字图像中的像素信息实施处理，使图像中内容的可视化质量得以提高的过程。 入口数据：图像（可视） 出口数据：图像（可视）,2. 立体视觉的概念,模仿人眼的立体视觉过程，基于一帧或多帧具有共同拍摄场景的图像，由其中的二维形状信息恢复原始场景中三维形状信息的视觉过程。,二. 立体视觉的基本原理,1. 单视几何原理 2 .双视几何原理 3. 多视几何原理 4. 立体视觉的一般处理过程,1. 单视几何原理,单视几何：针对平面物体的形状恢复,2 .双视几何原理,双视几何：基于标定摄像机的三维表面重建,3. 多视几何原理,多视几何：基于未标定摄像机的三维表面重建,4. 立体视觉的一般处理过程,p,l,p,r,P,Ol,Or,Xl,Xr,Pl,Pr,fl,fr,Zl,Yl,Zr,Yr,R, T,入口数据：单帧或多帧图像,为了最终恢复三维信息， 需要基于入口数据进一步 获取哪些数据？,4. 立体视觉的一般处理过程,问题： 如何知道不同图像中的匹配信息？ 如何知道不同拍摄方位的相对放置（外部参数）？ 如何知道摄像机的内部参数？,4. 立体视觉的一般处理过程,（1）图像配准 （2）摄像机标定（确定内部参数） （3）确定摄像机相对放置（确定外部参数） （4）三维表面重建,（1）图像配准,1）基于像素的图像配准方法 两帧图像中所有具有同一原像的像素对都应建立匹配关系。 2）基于特征的图像配准方法 仅针对两帧图像中的具有同一原像的点、线、区域特征对建立匹配关系。,（1）图像配准,两类方法具有一定的联系，并且，基于特征的图像配准效率更高，在其基础上可简化像素级配准。 由于各类特征均可以转换为点特征，因此，基于特征点的配准方法成为研究的重点。 例如，直线段特征可转换为直线段的两两交点，区域特征可转换为区域的重心。,2）基于特征点的图像配准,a）数字图像中的特征点提取 示例：角点提取 b）基于特征点的图像配准 仿射图像配准、透视图像配准、基于外极几何约束的图像配准,a）角点提取,示例：基于独立性的角点提取方法 两个像素窗口的关联系数： 像素的独立性：,x与y 小于指定整数，且不同时为零,a）角点提取,独立性示例：亮度越强的像素位置独立性越强,a）角点提取,处理流程： 1. 从图像中提取边缘像素集 2. 将边缘像素按照独立性降序排序