基于图象的三维重建-分层重建方法.ppt

基于图象的三维重建 -分层重建方法,中国科学院自动化研究所 模式识别国家重点实验室,1、什么是分层重建？ 2、分层重建的主要步骤和任务 3、如何进行分层重建,主要内容,什么是基于图象的三维重建 ？,i1,i2,i3,x,p1,p2,p3,pm,im,重建问题可行吗？,仅仅 已知图象,重建算法,能得到什么？,分 层 重 建,三种空间之间的相互关系,射影变换,仿射变换,刚体变换,射影变换,仿射变换,刚体变换,交比不变，共线、共面性不变,平行线变为平行线，不能保持垂直关系，单比不变,平行线变为平行线，垂线变为垂线，线段的长度不变,不同空间下的若干性质,交比(cross ratio)和单比,a,b,d,c,hartley 的重要发现,u,x,xe,欧氏空间,?,基于图象的重建结果与欧氏空间已知点的关系,存在且仅存在一个a矩阵，使得下列关系成立,pie = pi a xe = a-1 x,欧几里得空间下射影矩阵的形式,不同空间下重建的定义,如果,则,当a为射影变换矩阵时，称此时的重建为射影重建 当a为仿射变换矩阵时，称此时的重建为仿射重建 当a为刚体变换矩阵时，称此时的重建为欧氏重建,pe,xe,x, p,u,pe，xe 欧氏空间,欧氏变换 欧氏重建,射影变换 射影重建,仿射变换 仿射重建,对应点自动建立,对应点自动建立,对应点自动建立,对应点自动建立,原 始 图 像,对 应 点 匹 配,从三个不同角度显示射影重建的结果,从三个不同角度显示欧氏重建的结果,贴 纹 理 显 示,射影重建,给定 m 幅图象，n个对应点:,求m个投影矩阵,和n个空间点,使得下列关系式成立,射影空间投影矩阵的具体形式,仿射空间投影矩阵的具体形式,仿射空间投影矩阵与射影空间投影矩阵之间的关系,根据hartley的理论，,从,注意：a 对所有 的 pi 都一样,仿射重建,在射影重建的基础上如何确定a矩阵,欧几里得空间下射影矩阵的形式,欧氏空间投影矩阵与仿射空间投影矩阵之间的关系,分层重建小结,射影 重建,仿射 重建,欧氏 重建,k,重建算法,射影重建 基于二幅图象的方法 基于因式分解的方法 （ factorization),仿射重建 基于模约束的方法 ( modular constraint ) 基于摄像机平移运动的方法,欧氏重建 线性方法,射影重建,基于二幅图象的重建方法,1、计算第一、第二幅图象之间的基础矩阵 f， 第二幅图象的外极点 e； 2、可以证明，,3、利用p1，p2，计算空间点 x的坐标,4、利用已得到的 x 求其它 pi.,i1,i2,x,f，e,p1,p2,p1,p2,其它pi,基于二幅图象的重建方法,基于因式分解的射影重建方法,由于,?,基于因式分解的射影重建方法（续）,关键问题是求合适的 ， 使得w矩阵的秩为 4,目前文献中有二种方法计算合适的,1、sturm and triggs 方法 （eccv96，建立 之间的连接关系（使用图象间的 f 矩阵和 外极点e) 2、ueshiba and tomita方法（eccv98），利用svd分解，极小化从第5个以后的奇异值。,1、,2、,仿射重建 （模约束方法）,仿射重建 （摄像机平移运动