摄像机模型分析解析.ppt

摄像机模型CameraModel,内容（Contents）,成像几何坐标系和齐次坐标摄像机参数透视投影仿射变换内参、外参摄像机标定,成像几何（ProjectiveGeometry）,图像上的像素点与空间中真实点的对应关系,成像几何（ProjectiveGeometry）,空间实际长度与图像中的长度成一定比例放缩,成像几何（ProjectiveGeometry）,消失点（VanishingPoint）,消失点,透视法：大小相同的物体，离你较近的看起来比离你较远的大。如当你沿着铁路线去看两条铁轨，沿着公路线去看两边排列整齐的树木时，两条平行的铁轨或两排树木连线交与很远很远的某一点，这点在透视图中叫做消失点。凡是平行的直线都消失于无穷远处的同一个点，消失于视平线上的点的直线都是水平直线。,成像特点（PropertiesofProjection）,点（points）投影后为点；线（lines）投影后为线；平面（planesorpolygon）投影后为平面（可能不是整个平面）。特殊情况：经过光心的线投影后退变为点；经过光心的平面投影后退变为线。,坐标系和齐次坐标（CoordinateSystemsandHomogeneousCoordinates）,右手坐标系,X,Y,Z,x,y,z,P,O,齐次坐标（HomogeneousCoordinates）,所谓齐次坐标就是用n+1维矢量表示一个n维矢量为什么要用齐次坐标表示？提供了用矩阵运算把二维、三维甚至高维空间中的一个点集从一个坐标系变换到另一个坐标系的有效方法；可以表示无穷远点。,问题:两条平行线会相交,在欧几里得几何空间里，两条平行线永远都不会相交。但是在投影空间中，如右图中的两条铁轨在地平线处却是会相交的，因为在无限远处它们看起来相交于一点。,在欧几里得（或称笛卡尔）空间里描述2D/3D几何物体是很理想的，但在投影空间里面却并不见得。我们用(x,y)表示笛卡尔空间中的一个2D点，而处于无限远处的点(,)在笛卡尔空间里是没有意义的。投影空间里的两条平行线会在无限远处相交于一点，但笛卡尔空间里面无法搞定这个问题（因为无限远处的点在笛卡尔空间里是没有意义的），因此数学家想出齐次坐标这个点子来了。,解决办法:齐次坐标,由AugustFerdinandMbius提出的齐次坐标（Homogeneouscoordinates）让我们能够在投影空间里进行图像和几何处理，齐次坐标用N+1个分量来描述N维坐标。比如，2D齐次坐标是在笛卡尔坐标(X,Y)的基础上增加一个新分量w，变成(x,y,w)，其中笛卡尔坐标系中的大X，Y与齐次坐标中的小x，y有如下对应关系：X=x/wY=y/w笛卡尔坐标中的点(1,2)在齐次坐标中就是(1,2,1)。如果这点移动到无限远(,)处，在齐次坐标中就是(1,2,0)，这样我们就避免了用没意义的来描述无限远处的点。,为什么叫齐次坐标？,前面提到，我们分别用齐次坐标中的x和y除以w就得到笛卡尔坐标中的x和x，如图所示：仔细观察下面的转换例子，可以发现些有趣的东西：,上图中，点(1,2,3),(2,4,6)和(4,8,12)对应笛卡尔坐标中的同一点(1/3,2/3)。任意数量积的(1a,2a,3a)始终对应于笛卡尔坐标中的同一点(1/3,2/3)。因此这些点是“齐次”的，因为他们始终对应于笛卡尔坐标中的同一点。换句话说，齐次坐标描述缩放不变性（scaleinvariant）。,证明:两平行线可以相交,笛卡尔坐标系中，对于如下两个直线方程：如果CD，以上方程组无解；如果C=D，那这两条线就是同一条线了。下面我们用x/w,y/w代替x,y放到投影空间里来求解：,现在我们就可以在CD的情况得到一组解(x,y,0)，代入得(C-D)w=0，因为CD，所以w=0。因而，两条平行线相交于投影空间中无限远处的一点(x,y,0)。齐次坐标在计算机图形学中是有用的，将3D场景投影到2D平面的过程中就用到它了。,一维齐次点坐标定义,齐次坐标（HomogeneousCoordinates）,有穷远点,无穷远点,非齐次,齐次坐标,关系,(x1,x2)(x20),x,x=x1/x2,(x1,0)(x10),二维齐次点坐标定义,齐次坐标（HomogeneousCoordinates）,有穷远点,方向为=x2/x1的无穷远点,非齐次,齐次坐标,关系,y轴上的无穷远点,(x,y),x=x1/x3,y=x2/x3,(x1,x2,x3)(x30),(x1,x2,0)(x10),(=x2/x1),(0,x2,0)(x20),无穷远点,二维齐次点坐标举例,齐次坐标（HomogeneousCoordinates）,齐次坐标(一般形式),特定一组,摄像机参数（CameraParameters）,摄像机内部参数（IntrinsicParameters）摄像机坐标和理想坐标系之间的关系图像坐标系、摄像机坐标系摄像机外部参数（ExtrinsicParameters）摄像机在世界坐标系里的位置和方向摄像机坐标系、世界坐标系,透视投影（PerspectiveProjection）,小孔成像模型（Pinholecameramodel）,小孔成像模型（Pinholecameramodel）,小孔成像模型（Pinholecameramodel）,一般的孔成像模型，所有的光线都经过小孔一点，所成的像为倒立的实像,小孔成像模型（Pinholecameramodel）,为便于理解，我们将成像平面和景物空间放在同一侧,图像坐标系（ImageCoordinate）,以像素为单位的图像坐标系坐标：以物理单位表示的图像坐标系：每一个像素在X轴与Y轴方向上的物理尺寸为dX，dY,O,u,X,Y,v,o,(u0,v0),图像坐标系与摄像机坐标系,摄像机坐标系：根据小孔成像模型：用齐次坐标和矩阵表示,摄像机内参,s就是z,摄像坐标系与世界坐标系,世界坐标系：用齐次坐标和矩阵表示：,摄像机外参,摄像机参数（CameraParameters）,用齐次坐标和矩阵表示,坐标系旋转与平移,欧拉角二维坐标系旋转,坐标系旋转与平移,三维坐标系的旋转可以分解成绕三个坐标轴旋转的乘积绕x轴旋转：,坐标系旋转与平移,绕y轴旋转绕z轴旋转,相机畸变（LensDistortion）,根据理想的小孔成像模型，矩形物体投影到图像平面应该保持矩形，可是由于镜头的畸变，引起了一些误差,相机畸变（LensDistortion）,径向畸变（RadialDistortion）,径向畸变是由于镜头不是理想的小孔引起的误差，一般只考虑二次和四次畸变项,切向畸变（TangentialDistortion）,切向畸变是由镜头跟CCD平面没有理想地垂直引起的，考虑p1,p2参数,仿射投影（AffineProjection）,当场景的深度大小变化远小于场景摄像机的距离，可以用仿射投影近似成像过程。M23秩为2。,摄像机的标定（CameraCalibration）,什么是几何标定?图像上每一点的亮度反映了空间物体表面某点反射光的强度,而该点在图像上的位置与空间物体表面相应点的几何位置有关。这些位置的相互关系,由摄像机的成像几何模型所决定。该几何模型的参数称为摄像机参数,这些参数必须由实验和计算来确定,实验和计算的过程称为摄像机的几何标定/定标(Calibration).几何模型的分类：线性模型，或称针孔(pin-hole)模型；非线性模型(如广角镜头的模型)；多摄像机的立体模型，等等.,摄像机的标定（CameraCalibration）,标定的分类（Classification）传统摄像机标定方法；主动视觉摄像机标定方法；摄像机自标定方法,传统摄像机标定方法,直接线性变换（DLT变换）,DLT变换,Abdal-Aziz和Karara于70年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。,DLT变换,直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：其中为图像坐标系下的点的齐次坐标，为世界坐标系下的空间点的欧氏坐标，P为3*4的透视投影矩阵