摄像机标定和三维重建.ppt

摄像机标定和三维重建,胡占义 中国科学院自动化研究所 模式识别国家重点实验室,主要内容,1、引言 2、图象的形成过程 3、传统标定方法 DLT方法，RAC方法和简易标定方法 4、 预备知识 5、摄像机自标定 6、基于主动视觉的摄像机标定 7、分层重建理论 8、多视点几何,引言,几个问题 什么是摄像机标定 ？ 为什么要对摄像机进行标定 ？ 为什么要研究不同的摄像机标定方法？ 什么是三维重建 ？ 为什么要进行三维重建 ？,引言,三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向. (Marr 1982) 所谓三维重建就是指从二幅和二幅以上图象恢复空间点三维坐标的过程。 三维重建的三个关键步骤 图象对应点的确定 摄像机标定 二图象间摄像机运动参数的确定,图象的形成过程 和 摄像机针孔模型,1、世界坐标系： 2、摄像机坐标系： 3、图像坐标系:,坐标系,摄像机光学成像过程的四个步骤,1、刚体变换公式,齐次坐标形式,f=OB 为透镜的焦距 m=OC 为像距 n=AO 为物距,一般地由于 于是 这时可以将透镜成像模型近似地用小孔模型代替,2、透视投影透镜成像原理图,写成齐次坐标形式为,2、透视投影小孔成像模型,写成齐次坐标形式为,2、中心透视投影模型,Position with distortion,Ideal Position,dr :radial distortion dt :tangential distortion,3、畸变校正径向和切向畸变,径向畸变 离心畸变 薄透镜畸变,径向失真 切向失真,3、畸变校正其它畸变类型,桶形畸变a和枕形畸变b,薄棱镜畸变,在 中的坐标为 象素在轴上的物理尺寸为,Affine Transformation :,4、图像数字化,齐次坐标形式:,其中,摄像机的内参数矩阵 K,线性摄像机成像模型,图像物理坐标系,图像像素坐标系,摄像机坐标系,世界坐标系,图像像素坐标系,世界坐标系,最终得到：,这是忽略畸变的线性成像模型,传统的摄像机标定方法,特点 要求摄像机标定块，算法复杂，精度高,直接线性变换（DLT变换）,DLT: Direct Linear Transformation,Abdal-Aziz和Karara于70年代初提出了直接 线性变换像机定标的方法，他们从摄影测量 学的角度深入的研究了像机图像和环境物体 之间的关系，建立了像机成像几何的线性模 型，这种线性模型参数的估计完全可以由线 性方程的求解来实现。,直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：,其中 为图像坐标系下的点的齐次坐标， 为 世界坐标系下的空间点的欧氏坐标， 为 的透视投影矩 阵， 为未知尺度因子。,消去 ，可以得到方程组:,当已知 个空间点和对应的图像上的点时，可以得到一个含有2* 个方程的方程组：,其中 为 的矩阵， 为透视投影矩阵元素组成的 向量 。,像机定标的任务就是寻找合适的 ，使得 为最小，即,给出约束：,为 的前11个元素组成的向量， 为 前11列组成的矩阵， 为 第12列组成的向量。,是否合理？,约束 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化.,证明： 世界坐标系作刚性坐标变换,则,显然在一般的情况下,另一个约束 具有旋转和平移的不变性,由,向量 , , 是两两 垂直的单位向量,R. Tsai 的 RAC的定标算法,80年代中期Tsai提出的基于RAC的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除 （像机光轴方向的平移）外的其它像机外参数，然后再求解像机的其它参数。基于RAC方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。,简 介,像机模型 径向一致约束 定标算法,主要内容,世界坐标系和摄像机坐标系的关系,像机模型,摄像机坐标系和图像坐标系的关系,像机模型,理想图像坐标到实际图像坐标的变换 （只考虑径向偏差）,像机模型,从实际图像坐标到数字图像坐标的变换,像机模型,径向一致约束,径向一致约束:,定标算法,2.求解有效焦距 、 方向上的平移和畸变参数,定标算法步骤一,1.求解外像机参数旋转矩阵 和 、 方向上的平移,由一个空间点 和其图像投影点 ,根据径向一致约束性 可以得到下面的方程,其中,定标算法步骤一,如果得到一系列数目大于7个的标志点和它们的对应投影 图像点，就变成了一个过限制方程组，可以由最小二乘法,解出以下的7个变量,2.计算,由,定标算法步骤一,4.计算旋转矩阵 和 ，并确定 的符号,先假定取正号，由以下的公式可以计算出旋转矩阵 和,定标算法步骤一,取世界坐标系中任一标志点 ,则可以计算出其在,像机坐标系中的坐标,同时取这个坐标点在图像上的投影点,在实际像机系统中， 应该 和同号，如果计算出两者异号，,则 取为负号。最后求解,定标算法步骤二,对于一个标志点，可以得到以下的两个方程,当不存在径向畸变时， 。,式变为 式,定标算法步骤二,对于一系列的标志点，则形成了一个超定的方程组，可以,用线性最小二乘法求出 和 。,当存在径向畸变时，仍应用式 求出 和 的初始值，然后,将求出的 和 连同 作为条件，对式 进行非线性优化，,估计出 、 和 的真实值。,张正友的平面标定方法,张正友的平面标定方法,基本原理：,在这里假定模板平面在世界坐标系 的平面上 其中， 为摄像机的内参数矩阵， 为模板平面上点的齐次坐标， 为模板平面上点投影到图象平面上对应点的齐次坐标， 和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量,其中,根据旋转矩阵的性质，即 和 ，每幅图象可以获得以下两个对内参数矩阵的基本约束,由于摄像机有5个未知内参数，所以当所摄取得的图象数目大于等于3时，就可以线性唯一求解出,张正友的平面标定方法,张正友方法所用的平面模板,张正友的平面标定方法,算法描述,张正友的平面标定方法,打印一张模板并贴在一个平面上 从不同角度拍摄若干张模板图象 检测出图象中的特征点 求出摄像机的内参数和外参数 求出畸变系数 优化求精,张正友的平面标定方法,张正友的平面标定方法是介于传统标定方