基于图像序列的建筑物模型重建技术研究与实现.ppt

1、基于图像序列的建筑物模型重建技术研究与实现,答 辩 人：刘 培 珺 指导教师：石 教 英 教授 浙江大学CAD&CG国家重点实验室,研究背景,随着计算机性能的不断提高和计算机技术的不断发展，真实场景的 三维模型越来越多地出现在各种计算机软件中，成为计算机软件表现现 实世界的一种重要手段。而构造三维模型的传统手段要么价格昂贵，要 么要求操作人员具有丰富的专业知识，而且操作复杂，周期较长，最终 构造的三维模型真实感不强。在这种情况下，基于图像的建模技术作为 一种成本低廉、操作简单、具有高度真实感的建模方法应运而生，并且 逐渐成为计算机图形学和计算机视觉领域的研究热点。,相关工作,几种基于图像建模技

2、术比较,研究目标,研究一种针对建筑物的基于图像建模方法； 要求能够重建出建筑物的平面，以及简单曲面； 当输入是单幅图像，或几幅图像时，要能够从中重建建筑物的局部模型； 当输入是完整的图像序列时，要能够重建建筑物的完整模型； 允许少量的交互操作。,算法流程,主要内容,1. 相机定标 2. 基于单幅图像建模技术 3. 多场景模型合并策略 4. SIBM系统实现及示例 5. 总结与展望,第一部分：相机定标,利用平面约束求解相机内参数,利用反对称性质改进算法,改进算法实验结果（一）,改进算法实验结果（二）,利用真实场景中的几何结构求解相机参数,整个结构至少有4条线段构成； 其中3条线段互相垂直； 第4

3、条线段平行于前3条中的1条。,角结构,平行线结构,整个结构至少有4条线段构成； 其中两条线段互相垂直； 另外两条线段分别和前两条平行。,从单幅图像计算相机焦距,所以可得,(I),这是一个关于焦距f的四次方程，从中可以求解出焦距。,角结构投影,OX和OY 的方向向量可以写成焦距f 的表达式,求解旋转矩阵和平移向量,从针孔相机的投影原理，可得：,SCF在相机坐标系中的表示矩阵可以写成 :,SCF在相机坐标系CCF中的平移向量为：,角结构投影,SCF: 结构坐标系 CCF: 相机坐标系,于是，关于CCF 的平移向量可求：,利用单幅图像优化相机参数,利用两幅图像优化相机参数,在理想情况下，求出的三维空

4、间点重投影回图像平面所得的点和原图像点应该是完全重合的，但是由于计算误差等原因，造成它们不会完全重合，它们之间的距离越大，意味着求解的相机参数误差就越大，所以我们以重投影点和原图像点之间的距离来衡量误差的大小，定义误差函数F：,利用两幅图像优化相机参数,旋转矩阵：,平移向量,结构约束条件,目标函数：,保证r1和r2是正交 单位阵,保证平移向量的模在优化过程中不变， tlen1和tlen2是两平移向量的模，可以 从初值求解,保证线段的方向在优化 过程中不被改变,约束条件：,实验结果,用手持相机拍摄的书报亭的图片,相机位置和三维点的俯视图,误差统计：理想情况下图像上的点应该恰好位于对应的极线之上，

5、但是由于计算误差，图像点和对应的极线之间会有一定的距离，距离的大小可以用来间接衡量计算误差的大小：,Metric(Pixel),第二部分：基于单幅图像建模,基于单幅图像建模,平面的重建,提取基平面，确定基平面的位置和法向量； 对于一个与基平面相邻的未知平面，指定公共边上的一点作为未知平面的基点； 求解未知平面的法向量； 递归求解其它未知平面，直到场景中所有平面重建完毕。,平面法向量计算,利用两组平行线求解平面法向,利用一条已知线段和一个未知垂直点求解平面法向,平面重建示例,扫描曲面分解重建,圆柱面分割示意图,扫描曲面分割求解三维示意图,重建示例,重建示例,第三部分：多场景模型合并策略,模型合并

6、,图像序列,每幅图像对应的重建模型,多场景模型合并策略,三场景模型示例,三场景合并过程,模型合并过程中存在的主要问题,如何把所有的局部模型转换到统一的世界坐标系中? 模型合并：比例变换，顶点合并如何解决？ 如何去除重合平面？,建立公共坐标系链表,两相邻场景之间的结构坐标系,多场景公共坐标系链式结构,坐标转换,1. 模型比例变换 2. 场景内的模型坐标转换 3. 场景间的模型坐标转换,模型比例变换,坐标转换效果,顶点合并,1. 极线约束：极线约束就是一幅图像中 的点在其相邻图像中的匹配点一定在该 点对应的极线上。极线约束在图像对的 特征点匹配和立体匹配中都起着非常重 要的作用。虽然我们进行的是空

7、间点的 匹配，但是这些空间点在图像上的投影 依然应该满足极线约束条件。 2. 空间位置约束：就是说相互匹配的点 应该在空间位置上基本上是重叠的。 3.匹配唯一性约束：场景中的一个顶点 对应于相邻场景中的唯一顶点。,极几何示意图,极线约束图例,点合并具体步骤,1. 搜索求解阈值a； 2. 求解当前场景与前面场景之间的基础矩阵； 3. 搜索构成场景模型的平面外轮廓点，对于每一个点，求解该点在前面图像中的极线，根据点到极线的距离和三维点之间的距离，在前面的图像中搜索起对应匹配点并做记录； 4. 将搜索到的匹配点的三维坐标求平均值。,点合并效果,点合并效果,点合并后的局部放大图,模型合拢,1. 求解最

8、后一幅图像和第一幅图像对应场景之间的旋转矩阵； 2. 求解最后一幅图像和第一幅图像对应场景之间的平移向量； 3. 求解基础矩阵fm； 4. 对于第一幅图像中所有平面外轮廓点，求解其在最后一幅图像上对应的匹配点。,匹配唯一性约束,匹配唯一性约束失败示例,匹配强度,共面匹配唯一性约束,模型合拢效果,重建茶叶盒完整模型示例,第四部分：SIBM系统实现及示例,系统模块划分,实验结果1: 图像序列,实验结果1：重建模型,实验结果2：图像序列,实验结果2：重建模型,第五部分：总结与展望,本文内容总结,相机定标。利用平面约束中的反对称性改进了Gang Xu的相机自定标算法；同时利用真实场景中普遍存在的几何结构提出了新的相机自定标算法，避免了临界运动序列可能导致的相机自定标退化问题。 基于单幅图像的交互式建模。本文的基于单幅图像的交互式建模以平面或圆柱面为重建单元，通过递归求解场景中所有的平面或圆柱面达到整个场景模型重建的目的。 多场景模型合并策略。本文提出的多场景模型合并算法分为建立场景公共坐标系链表、坐标转换、顶点合并、模型合拢、面合并等几部分。,未来工作展望,基于图像的