立体视觉基础

参考文献,1 David A. Forsyth, Jean Ponce, Computer Vision; A Modern Approach (1st Edition), New Jersey: Prentice Hall, August 24, 2002 2 Goshtasby A. Ardeshir, 2D and 3D Image Registration for Medical, Remote Sensing, and Industrial Applications (1st Edition), John Wiley & Sons, April, 2005 3 Richard Hartley, Andrew Zisserman, Multiple View Geometry in Computer Vision (2nd Edition), Cambridge University Press, March 2004,参考文献,4 Oliver van Kaick, Hao Zhang, Ghassan Hamarneh, Daniel Cohen-Or, A Survey on Shape Correspondence, Computer Graphics Forum, Volume 30, Issue 6, pages 1681-1707, September 2011 5 Hongsheng Li, Tian Shen, Xiaolei Huang, Approximately Global Optimization for Robust Alignment of Generalized Shapes, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 33, NO. 6, June 2011 6 Timor Kadir, Michael Brady, Saliency Scale and Image Description, International Journal of Computer Vision, Volume 45, Issue 2, November 2001,参考文献,7 Zheng Li, Pohuang Jiang, Hong Ma, Jian Yang, DongMing Tang, A Model for Dynamic Object Segmentation with Kernel Density Estimation Based on Gradient Features, Image and Vision Computing, Volume 27, Issue 6, pages 817-823, May 2009 8 David G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, Volume 60, No. 2, pages 91-110, 2004 9 D. Marr, H.K. Nishihara, Representation and recognition of the spatial organization of three-dimensional shapes, Proc. R. Soc. Lond. B. 200, pages 269-294, 1978,参考文献,10 Ali Shokoufandeh, Ivan Marsic, Sven J. Dickinson, View-based object recognition using saliency maps, Image and Vision Computing, Volume 17, Issue 5, pages 445-460, April 1999 11 James L. Crowley, Alice C. Parker, A Representation for Shape Based on Peaks and Ridges in the Difference of Low-Pass Transform, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 6, No. 2, pages 156-169, 1984 12 Krystian Mikolajczyk, Cordelia Schmid, Scale and Affine Invariant Interest Point Detectors, International Journal of Computer Vision, Volume 60, No. 1, 2004,参考文献,13 A. Elgmmal, R. Duraiswami, D. Harwood, L.S. Davis, Background and Foreground Modeling using nonparametric kernel density estimation for Visual Surveillance, in: Proceeding of the IEEE, Vol. 90, IEEE Institute of Electrical and Electronics, USA, Issue 7, pages 1151-1163, July 2002 14 A. Mittal, N. Paragios, Motion-Based Background Subtraction Using Adaptive Kernel Density Estimation, in: CVPR04, Vol. 2, IEEE Computer Society, Washington, DC, USA, pages II302-II309, July 2004,主要内容,一. 计算机视觉领域中的重要问题 二. 立体视觉的概念与基本原理 三. 射影几何中的基本概念 四. 基本的成像模型 五. 单视几何学的基本原理 六. 双视几何学的基本原理 七. 摄像机标定的基本原理,一. 计算机视觉领域中的重要问题,1. 计算机视觉的概念 2.计算机视觉领域中的重要问题,1. 计算机视觉的概念,什么是计算机视觉? 模拟人眼接收客观世界中可见光信息，并由大脑解释可视信息的过程，使用算法对真实图像或视频中的内容给予有效的解释。 入口数据：图像、视频（可视信息） 出口数据：对可视内容的某种解释（非可视信息）,1. 计算机视觉的概念,应用实例： 文字识别（OCR） 物体形状识别 人脸识别 车站视频中的人数统计 医用图像中细胞数量统计 医用视频中运动微粒测速 军事目标定位、跟踪、行为分析 基于视觉分析的人机交互,1. 计算机视觉的概念,相关领域： 计算机图形学 数字图像处理,计算机图形学,使用图形生成流水线（一组有序执行的算法），由计算机内部的虚拟几何图形表述生成虚拟可视像素图形的过程。 入口数据：虚拟二维或三维场景描述（几何图形，非可视数据） 出口数据：经图形管道处理后得到的虚拟的、像素化图形（可视数据）,数字图像处理,使用算法对数字图像中的像素信息实施处理，使图像中内容的可视化质量得以提高的过程。 入口数据：图像（可视） 出口数据：图像（可视）,脊椎动物的视觉过程,脊椎动物的视觉过程,两种感光细胞（Photoreceptor Cell）,杆状细胞（rods）：仅对光能量有响应，但与光频率无关，很小的光能量即能触发生理刺激。弱光环境下主要依靠此类细胞接收光能量。 锥状细胞（cones）：对光能量有响应，且与频率相关。能量低于一定阈值时此类细胞无响应（弱光环境下不工作）。,两种感光细胞（Photoreceptor Cell）,锥状细胞对不同频率光能量的吸收率,两种感光细胞（Photoreceptor Cell）,锥状细胞在视网 膜中央区域的分 布比周边区域更 密集。,脊椎动物的视觉过程,接收场合并与多尺度描述,接收场（receptive field）：（三维）原像空间中能由输入光能量变化引起某神经细胞生理响应发生变化的空间区域。 接收场合并（receptive field convergence）：如果多个底层神经细胞与一个上层神经细胞有连接，并将视觉信号传递给它，那么该上层细胞的接收场是相关底层细胞接收场的并集。,接收场合并与多尺度描述,视觉系统中接收场的逐层合并： 感光细胞神经节细胞视觉皮质细胞 提炼的重要概念：多尺度描述,对中央与边缘分别响应的两种神经节细胞,提炼的概念：特征提取,立体视觉的产生,视觉皮层中的双视神经元具有左、右双眼视网膜的感光神经元合并产生的接收场，其完整的生理响应必须由双目视觉同时刺激。 提炼的重要概念：立体视觉,特征匹配在视觉中的必要性,识别：神经元提取的多尺度视觉特征与记忆中的视觉特征相匹配，用于识别看见的物体； 配准：左眼、右眼成像中，底层：哪些感光神经元接收的是同一原像的光能量刺激？上层：哪些神经细胞的接收场在哪些部分有重叠？图像匹配操作是必须的。,二. 立体视觉的概念与基本原理,立体视觉的概念： 模仿人眼的立体视觉过程，基于一帧或多帧具有共同拍摄场景的图像，由其中的二维形状信息恢复原始场景中三维形状信息的视觉过程。,二. 立体视觉的概念与基本原理,1. 单视几何原理 2 .双视几何原理 3. 多视几何原理 4. 立体视觉的一般处理过程,1. 单视几何原理,单视几何：针对平面物体的形状恢复,2 .双视几何原理,双视几何：基于标定摄像机的三维表面重建,3. 多视几何原理,多视几何：基于未标定摄像机的三维表面重建,4. 立体视觉的一般处理过程,p,l,p,r,P,Ol,Or,Xl,Xr,Pl,Pr,fl,fr,Zl,Yl,Zr,Yr,R, T,入口数据：单帧或多帧图像,为了最终恢复三维信息， 需要基于入口数据进一步 获取哪些数据？,4. 立体视觉的一般处理过程,问题： 如何知道不同图像中的匹配信息？ 如何知道不同拍摄方位的相对放置（外部参数）？ 如何知道摄像机的内部参数？,4. 立体视觉的一般处理过程,（1）图像配准 （2）摄像机标定（确定内部参数） （3）确定摄像机相对放置（确定外部参数） （4）三维表面重建,（1）图像配准,1）基于像素的图像配准方法 两帧图像中所有具有同一原像的像素对都应建立匹配关系。 2）基于特征的图像配准方法 仅针对两帧图像中的具有同一原像的点、线、区域特征对建立匹配关系。,（1）图像配准,两类方法具有一定的联系，并且，基于特征的图像配准效率更高，在其基础上可简化像素级配准。 由于各类特征均可以转换为点特征，因此，基于特征点的配准方法成为研究的重点。 例如，直线段特征可转换为直线段的两两交点，区域特征可转换为区域的重心。,2）基于特征点的图像配准,a）数字图像中的特征点提取 示例：角点提取 b）基于特征点空间分布的图像配准 仿射图像配准、透视图像配准、基于外极几何约束的图像配准,a）角点提取,示例：基于独立性的角点提取方法 两个像素窗口的关联系数： 像素的独立性：,x与y 小于指定整数，且不同时为零,a）角点提取,独立性示例：亮度越强的像素位置独立性越强,a）角点提取,处理流程： 1. 从图像中提取边缘像素集 2. 将边缘像素按照独立性降序排序 3. 对于当前独立性最大的像素，若其独立性大于指定阈值，则将其输出到角点集，否则结束处理流程 4. 对于剩余的边缘像素集，将其独立性乘以H，转第2步,a）角点提取,其中，di为第i个剩余边缘像素与输出角点间的像素距离； D为相对距离定义，由它规定距离远、近的概念。,b）基于特征点空间分布的图像配准,图像配准的目的： 在两帧图像间建立一个映射关系，该映射能够将其中一帧图像上的特征点坐标映射为另一帧图像中匹配特征点的坐标。,b）基于特征点空间分布的图像配准,问题： 两帧图像中的特征点数量一定相等吗？ 是否所有特征点都存在对应的匹配特征点？,两帧图象存在差异，内容不会完全一致，因此特征点 数量也不一定相等,两帧图象存在差异，某特征点可能在左图像中出现， 但却可能在右图像中未出现,b）基于特征点空间分布的图像配准,特征点坐标间的映射可理解为坐标变换，可使用矩阵来表示。 矩阵类型与图像间几何变换的关系： 1. 二维仿射矩阵与图像平面内的二维旋转、平移、放缩变换对应 2.二维透视矩阵除包含二维变换外，还包含摄像机绕光心的旋转变换 3. 基础矩阵包含二维变换、摄像机旋转、摄像机平移等变换,b）基于特征点空间分布的图像配准,二维仿射变换：两帧图像间的变化可由二维图像平面上的 二维旋转、放缩、平移来描述； r、l 分别表示左右图像中特征点坐标，i、j 表示特征点序号 若已知左、右图像中的3个匹配特征点对，则能求解该变换,b）基于特征点空间分布的图像配准,二维透视变换：两帧图像间的变化包括二维图像平面上的 二维旋转、放缩、平移、摄像机成像平面在三维空间中绕 光心旋转； r、l 分别表示左右图像中特征点坐标，i、j 表示特征点序号 若已知左、右图像中的4个匹配特征点对，则能求解该变换,b）基于特征点空间分布的图像配准,仿射配准的处理流程： 1. 假设左图像与右图像的特征点集分别为P、Q，从P、Q中选择一个未尝试的三点对，若已无三点对可以选择，则认为配准失败，并结束处理流程 2. 使用相似三角形约束判断三点对的合理性，若不合理，则转第一步,b）基于特征点空间分布的图像配准,相似三角形约束：p、q分别表示P、Q中的特征点， 相同脚标表示具有匹配关系，为很小的值,b）基于特征点空间分布的图像配准,3. 使用三点对解方程组，求解仿射变换的6个未知系数，确定变换矩阵 4. 使用得到的变换矩阵，求P中所有特征点在Q中满足容忍度D（误差，以像素为单位）的匹配特征点 5. 若特征点数量足够大，则认为配准成功，保存匹配点对信息，结束处理流程；否则，转第1步,b）基于特征点空间分布的图像配准,仿射配准示例：由于实际的几何变换包含 摄像机绕光心旋转、平移等三维变换，因 此导致部分点对失配,特征提取与匹配的目的,特征提取与匹配是三维表面重建（立体视觉）的必要基础； 同时也是物体形状分类、识别、对齐等功能的必要基础。,特征提取的总体原则,1）在视觉中显著程度（Saliency）高，一般在图像中越稀少的内容显著度越高； 例子：角点、边缘点、BLOB特征 2）显著程度的其中一种评估标准：熵 熵的评估：针对图像中的指定区域，一般以考察点为中心，其中的边缘信息越丰富，熵越高。,视觉显著度示例,使用直方图间接评估区域熵,其它特征点提取与图像内容描述、配准方法,c）熵特征提取 d）BLOB特征提取 e）特征点的局部描述符 f）基于局部描述符的配准方法,c）熵特征提取,固定尺度熵特征 的局限性：无法 自动适应物体在 图像中的尺寸,c）熵特征提取,固定尺度熵特征的局限性：边缘信息在全图像范围丰富时，无法体现“稀少”性质，特征的“显著性”减弱，“随机性”增强,引入多尺度熵特征： 左图：选择具有最大熵的尺度；右图：选择熵局部极值所在的尺度,多尺度熵特征的优点,能适应物体在图像中尺寸变化； 各尺度特征的空间组合可用于描述物体形状结构； 能在边缘总体丰富的情况下，保持特征提取的显著度；,多尺度熵特征加入K近邻聚类,能适应图像中物体尺寸的变化,多尺度熵特征加入K近邻聚类,边缘在全图像丰富时，仍能保持“高显著”,多尺度熵特征加入K近邻聚类,多尺度特征的空间结构可用于特征匹配；间接提供一种物体形状或结构的描述方式,多尺度熵特征对图像旋转的不变性,多尺度熵特征对图像放