《维视觉基础介绍》PPT课件.ppt

三维视觉基础介绍,吴 毅 红 中国科学院自动化研究所 模式识别国家重点实验室 /English/rv/download.htm,主要内容,绪言 景物的成像过程 三维重建的目的、过程 射影几何学简介,绪言,计算机视觉是研究用计算机来模拟人和生物的视觉系统功能的技术学科. 目标: 让计算机能够感知周围视觉世界,了解它的空间组成和变化规律. 传感、抽象、判断、识别、理解 马尔视觉理论：三维重建是人类视觉的主要目的，也是计算机视觉的核心研究任务之一。,从二维图像出发，将物体回推到三维空间中 这是个什么过程？这个过程如何表述？是否可计算？如何计算？,？,1. 景物的成像过程,针孔摄像机,带镜头的摄像机：薄透镜；鱼眼镜头；反射镜面,鱼眼镜头,反射折射镜,针孔相机,蝇眼图像,/lh/photo/O7.,/blog/cate.,几种全向摄像机,鱼眼镜头,球面成像过程,1、世界坐标系： 2、摄像机坐标系： 3、图像坐标系:,坐标系,摄像机光学成像过程的四个步骤,1、刚体变换公式,齐次坐标形式,f=OB 为透镜的焦距 m=OC 为像距 n=AO 为物距,一般地由于 于是 这时可以将透镜成像模型近似地用小孔模型代替,透视投影透镜成像原理图,写成齐次坐标形式为,透视投影小孔成像模型,写成齐次坐标形式为,中心透视投影模型,Position with distortion,Ideal Position,dr :radial distortion dt :tangential distortion,畸变校正径向和切向畸变,径向畸变 离心畸变 薄透镜畸变,径向失真 切向失真,畸变校正其它畸变类型,桶形畸变a和枕形畸变b,薄棱镜畸变,在 中的坐标为 像素在轴上的物理尺寸为,Affine Transformation :,图像数字化,齐次坐标形式:,其中,线性摄像机成像模型,图像物理坐标系,图像像素坐标系,摄像机坐标系,世界坐标系,图像像素坐标系,世界坐标系,最终得到：,这是忽略畸变的线性成像模型,2. 三维重建的目的、任务,三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向. (Marr 1982) 所谓三维重建就是指从单幅图像加景物约束、二幅、二幅以上图像恢复空间点三维坐标的过程。,照相机的成像模型：,三维重建主要目的：从图像出发，求出所有的Mi,摄像机标定：从图像出发，求出内参数K,摄像机标定位或运动参数求解：从图像出发，求出运动参数R，t,鱼眼模型下,应用标定的参数对图像校正,因此，有必要研究图像之间约束，图像之间的几何,图像几何学,三维重建的三个关键步骤 图像对应点的确定 摄像机标定 摄像机运动参数的确定,空间物体,3. 射影几何学简介,为什么要学习射影几何？,照相机的成像过程是一个射影变换(透视或中心射影)的过程：,物体与其影像不同，但是又有着一些共同的几何性质。,几何是：研究某个空间里的图形在变换之后保持不变的性质的 学科。,几何学: 希腊文 geometrein，土地测量,圆周率的计算：张衡、祖冲之、刘徽等 勾股定理,圆周率=3,埃及金字塔 建于年前，是古埃及法老（即国王）和王后的陵墓。陵墓是用巨大石块修砌成的方锥形建筑，因形似汉字“金”字，故译作“金字塔”。,大金字塔是埃及现存规模最大的金字塔，被喻为“世界古代七大奇观之一”。它建于埃及第四王朝第二位法老胡夫统治时期（约公元前年），原高米，因顶端剥落，现高米，塔的个斜面正对东南西北四个方向，塔基呈正方形，每边长约多米，占地面积万平方米。塔身由万块巨石组成，它们大小不一，分别重达吨至吨，平均重约吨。据考证，为建成大金字塔，一共动用了万人花了年时间。,古人测量金字塔？,利用金字塔的影子，采用三角形相似原理，进行测量。 发现了有关三角形的一些重要定理,常见的旋转和平移是欧氏变换，研究在欧氏变换下保持不变的性质（欧氏性质）的几何，是欧氏几何。比如长度、角度、平行性等都是欧氏性质。,Euclid（约公元前330-275）,原本，欧氏几何学,整理、归纳、升华,Pappus(约公元3世纪)，提出交比、对合等概念，射影几何萌芽,文明的发展并不是一帆风顺的,古罗马文明，数学并不受到信奉基督教的罗马统治者的欢迎，数学家：“占星术士”，占星术被严禁。,之后到公元1100年，欧洲数学的发展停滞。 文艺复兴，作画，作图需要产生透视法。,艺术家企图用表象艺术的手法描绘世界： 布局，光源，深度感，存在数学基础,Desargues(1591-1661), 引入无穷远元素，透视定理，交比、调和不变，极点、极线，创立射影几何。,射影几何独一无二，来自艺术,达芬奇，30岁研究数学， 视觉图像在空间中是沿直线传播的，眼睛只能以光椎体的形式看到东西 越远的物体看起来越小 不保持距离，不保持角度。,射影几何是一个基础几何：欧氏几何和双曲几何、黎曼几何等许多非欧几何都是射影几何的子几何。,Einstein：伟大的广义相对论 著名公式E=mc2,Riemann弯曲空间的工作成果,Grossman,Einstein,照相机的成像过程不保持欧氏性质 例如:平行线不再平行,无穷远元素,平行线交于一个无穷远点; 平行平面交于一条无穷远直线;,在一条直线上只有唯一一个无穷远点. 所有的一组平行线共有一个无穷远点.,在一个平面上, 所有的无穷远点组成一条直线, 称为这个平面的无穷远直线.,3维空间中所有的无穷远点组成一个平面, 称为这个空间的无穷远平面.,射影空间,对 n 维欧氏空间加入无穷远元素, 并对有限元素和无穷远元素不加区分, 则它们共同构成了 n 维射影空间.,1维射影空间是一条射影直线, 它由我们所看到的欧氏直线和它的无穷点组成; 2维射影空间是一个射影平面, 它由我们所看到的欧氏平面和它的无穷远直线组成; 3维射影空间由我们所在的空间与无穷远平面组成.,齐次坐标,在欧氏空间中建立坐标系后, 便有了点与坐标间的一一对应, 但当引入无穷点以后, 无穷远点无坐标, 为了刻化无穷远点的坐标, 我们引入齐次坐标.,在 n 维空间中, 建立欧氏坐标后, 每一个有限的点的坐标为 , 对任意 n+1 个数 , 如果满足: 则 被叫作这个点的齐次坐标.,相对于齐次坐标 , 被称作非齐次坐标. 不全为0的数 组成的坐标 被称作无穷远点的齐次坐标.,例如: 在欧氏直线上的普通点的坐标为 x , 则适合 的两个数 组成的坐标 为这个点的齐次坐标, x 为这个点的非齐次坐标. 对任意的 , 则 为无穷远点的齐次坐标.,引入齐次坐标后, 在二维平面上, 如果直线的方程为: 则直线的齐次方程为: 无穷远直线的方程则为:,在三维空间中, 如果平面的方程为: 则平面的齐次方程为: 无穷远平面的方程则为:,射影参数,对于 n 维空间中的任意一条直线, 如果 是它上的任意两个取定的点, 则它上的任意一个点 可以由 线性生成: 其中 分别是 的齐次坐标, 是两个不全为零的常数.,比例 被叫作 关于 在这条直线上的射影参数. 如果 , 则射影参数为 .,交比,对于共线的4个点 , 比例： 被叫作 关于 的交比，记为 其中 分别是 ， 的射影参数。,定理：设四个不同的共线点中的三点及其交比值为已知，则第四点必唯一确定。,射影变换,记 是两个由点组成的射影空间, 是由 到 的映射. 如果 保持: (i) 点和直线的结合关系. 比如: 点在直线上; 直线通过点; 等等. (ii) 共线的四个点的交比. 则 被叫作 n 维射影变换.,两个射影空间 可以是同一个空间, 则 是同一个空间里的变换.,点用齐次坐标表示, 则射影变换可用一个 (n+1)-(n+1) 的矩阵表示: 的行列式非零, 则它是一个非退化的射影变换, 否则是个退化的射影变换.,例如: 是两条射影直线, 让 与 对应, 其中 与 的连线都交于一点, 则这个映射是一个 1 维射影变换. (透视或中心射影),照相机的成像过程是一个从3维空间到2维空间的退化的射影变换。,射影几何,射影几何是：研究射影空间中在射影变换下保持不变的性质的几何学。,射影平面中的对偶,“点”与“直线”叫作射影平面上的对偶元素。 “过一点作一直线”与“在一直线上取一点”叫作对偶作图。,在射影平面里设有点，直线及其相互结合和顺序关系所组成的一个命题，将此命题中的各元素改为它的对偶元素，各作图改为它的对偶作图，其结果形成另一个命题，这两个命题叫作平面对偶命题。 对偶原则：在射影平面里，如果一个命题成立，则它的对偶命题也成立。,例如： 命题：通过不同两点必有一直线。,对偶命题：两不同直线必有一交点。,共线的四个点有交比, 根据对偶, 共点的四线也有交比.,调和关系,如果点对 和 的交比是-1, 即: 则称 与 是调和的.,点对 与 是调和的, 当且仅当: 其中 分别是 , 的射影参数.,一线段的中点为无穷远点关于这个线段的两个端点的调和点。 因为调和关系是由交比定义的，所以它是射影不变的。,例如：利用这种不变的调和关系，我们可以求出无穷远点的像。无穷远点的像可以用来对照相机进行标定。,完全四点形中的调和:,A,B,C,(CA, CB; CG, CE)= -1,D,E,F,G,H,(D, B; P2, P1)= -1,(A, B; G, E)= -1,(F, B; P3, P4)= -1,(A, M; P2, P4)= -1,(A, H; P3, P1)= -1,M,二次曲线,记射影平面上点的齐次坐标为 , 则满足一个二次方程, 即: 的所有点的集合构成一条由 决定的 二次曲线, 其中至少有一个 非零.,在二次曲线的定义中的方程又可以写为: 矩阵 是对称的, 它的秩在一个非退化的射影变换下保持不变.,如果矩阵 的行列式非零, 则这个二次曲线非退化. 否则二次曲线退化为两条直线, 或一条直线. 例如: 圆, 椭圆, 双曲线和抛物线都是非退化的二次曲线.,二次曲线的对偶： 射影平面上点与直线是对偶的，将二次曲线的点元素换为线元素，则这些线的包络为一个二次曲线。 二次曲线 （ 为点坐标） 的对偶为： （ 为线坐标） 其中 为 的伴随矩阵。,绝对二次曲线,欧氏空间中, 无穷远平面上的二次曲线: 称为绝对二次曲线. 它都由虚点构成, 任何一个圆都与它交于一对虚共轭点(圆环点).,绝对二次曲线的像与照相机的内参数紧密相连. 假定照相机的内参数为: 则绝对二次曲线的像是: 反之, 如果绝对二次曲线的像已知, 则 K 可以被完全确定.,如果圆环点的像已知，也可以对照相机的内参数构成约束，通过解方程组来得到内参数的值。 假定 m 是圆环点的像，则：,极点与极线,对于一个二次曲线 C 和某个点 A (向量)，由 L=C A 确定的直线（线坐标），称为点 A 关于二次曲线 C 的极线。 当 A 在二次曲线 C 上时，点 A 的极线为过它的切线。,对于一个二次曲线 C 和某条直线 L (向量)，由 A = L 确定的点，称为线 L 关于二次曲线 C 的极点。 当 L 为二次曲线 C 的切线时，线 L 的极点为