李新维、邓菲--大规模倾斜摄影模型三维可视化方案

大规模倾斜大规模倾斜摄影摄影模型三维可视化方案模型三维可视化方案 李新维 1，邓 非1 （1. 武汉大学 测绘学院，湖北 武汉 430079） 摘要摘要： 提出了一种基于四叉树结构的大规模倾斜摄影模型三维可视化方案： 首先基于二次误差测 度（QEM）的半边折叠算法对三角网格模型进行分层几何简化；然后对分层简化的模型进行纹理 映射和分块，分块结果采用 Morton 编码命名；最后基于模型在计算机屏幕上所占的像素大小， 对场景按金字塔结构进行 LOD（多细节层次结构)组织。选取某一实验区域的倾斜模型数据进行 了试验，结果表明，该方案能动态加载大规模的倾斜模型数据，完成场景的实时可视化。 关键关键字：字：倾斜摄影模型；网格简化；四叉树；多细节层次模型； 1 引言引言 三维城市模型在城市规划、虚拟自然资源保护和计算机游戏中具有重要的作用1。随着 三维激光点云技术和摄影测量技术等空间数据获取技术的发展， 三维模型的建模效率和精度 在不断的提高，但同时场景的复杂程度也在不断地提高2。特别是利用倾斜摄影技术生成的 高质量的三维模型，点云的密度极高，模型的三角面片数量通常会达到亿万级。如何承载海 量的倾斜模型数据、 保证快速加载和流畅渲染， 成为倾斜摄影模型组织和可视化的一个难题。 目前， 在不影响三维模型浏览时的视觉真实感的前提下， 人们主要采用多细节层次模型技术 （LOD）降低三维数据的复杂性，减少送到图形硬件的几何数，以提高三维数据的绘制速度 【3】。构建多细节层次模型（LOD），即对原始高分辨率的模型，进行不同程度的几何简化和 纹理降采样。然后根据视点的位置，决定调用网格的层次，选取能代表原始物体的最好模型 用于渲染。 通常离视点越近， 模型在屏幕上所占的像素数量越大， 调用高精度的模型， 反之， 则调用低精度的模型。 为了保证不同层次的模型切换时平稳的过渡， 不产生视觉上的跳跃， 学者们提出了两种 不同的 LOD 模型：离散 LOD 模型和连续 LOD 模型。离散 LOD 模型是在数据建模阶段预生成 一系列不同层次的模型 【4】，对于一特定模型，不同层次间过渡的流畅性和模型的层次数量 有关。连续 LOD 模型是在运行时产生任意多个分辨率的模型，实现模型的实时流畅显示。 虽然离散的 LOD 模型显示质量比连续 LOD 模型差，但其模型是一次生成然后再动态载入、 替换，CPU 占用要远小于连续 LOD 模型，更方便组织管理。因此，本文根据倾斜摄影模型 的特点，采用离散的 LOD 模型，在倾斜摄影模型数据生产的过程中，自动生成 LOD。 2实现实现方案方案 倾斜模型数据生成离散的 LOD 模型，最为关键的步骤就是网格简化，即对应输入的网 格模型，自动构建出一系列与其对应的、基本保持形状的不同精细程度的模型。目前在模型 简化算法方面， 国内外学者进行了许多研究。 其中， 比较有代表性的有： Rossignac 和 Borrel5 提出的顶点聚类算法， 即将三维模型用均匀的栅格进行划分， 衡量栅格内每个顶点的重要性， 选取重要性最高的顶点作为栅格的代表顶点。 Hoppe 【6】提出了基于边折叠的渐进网格生成算 法，由一个基网格，进行一系列的边折叠操作得到简化的网格。Garland7等提出了 qslim 算 法， 使用空间某点到所有与之相邻的三角面的距离的平方和作为误差测度， 选择误差最小的 边进行折叠简化。但是，上述简化算法，都只考虑了三维模型在几何特征上的简化，忽略了 对模型表面纹理的处理（简化）。实际上，对于大规模倾斜影像数据的三维可视化，模型所 附加的纹理的数据量要远大于几何， 在计算机资源一定的情况下只有减少绘制过程中传入的 纹理数据量，才能保证三维场景的实时渲染。考虑了纹理特征的简化算法大致分为两类：1、 在简化过程中保持纹理特征。主要代表有 Garland 等人在 Qslim 算法上进行改进，提出的结 合纹理和颜色特征的 Qslim 算法。但是该算法在纹理信息不连续的情况下，边折叠寻找最优 折叠目标点时，会得到错误的结果，导致简化的效果不理想7。2、纹理特征保持独立于简 化过程。此类方法不介入简化过程，而是在简化完成，获得简化模型后，直接对简化模型进 行特征恢复。主要代表是 Cignoni 等人提出的恢复属性细节的方法。但是这类方法受简化程 度的影响，可能采样不充分，最后导致存储的颜色信息不足，无法使得简化模型拥有和原模 型近似的纹理贴图效果。为此，本文采用已有的几何简化算法（QEM 算法）对模型进行简 化， 然后对简化模型重新进行纹理映射， 来实现模型表面细节的恢复。 具体方案如图 1 所示： 图 1 大规模倾斜摄影模型三维可视化方案流程图 2.1 模型简化模型简化 通用的模型局部简化操作是边折叠或顶点聚类。 两种做法都是合并表面顶点和删除退化 的三角形。 边折叠操作通常合并由一条边连接的两个顶点， 但顶点聚类操作合并一个包围盒 内的顶点。“半边折叠”是一种特殊的边折叠操作8，如图 2 所示，半边折叠操作选择一个 源顶点作为折叠的对象，折叠到另一个顶点。一次半边折叠操作，可以减少 1 个顶点、2 个面、3 条边。本文采用半边折叠操作作为模型简化的方法。 图 2 半边折叠操作示意图 在简化的过程中, 需要对每次边折叠前后产生的模型误差进行估计, 即计算折叠代价。 每次对折叠代价最小的边，使用选定的简化方法进行简化，直到达到用户要求的简化程度。 这里采用 Garland 提出的 QEM 算法来计算边折叠的代价： 即利用边折叠操作生成的新顶点到 相关三角面距离的平方和作为误差度量。 倾斜摄影模型的每个三角面都是一个平面，用平面方程表示为：0dczbyax， 其中1 222 cba。令afb c d 代表该平面，点 v 的坐标为 x v y v z v T 1， 则点v到平面p距离的平方和为： vAvvffvvfvD P TT pP TT pp )()()( 22 （1） 其中： 2 2 2 2 dcdbdad cdcbcac bdbcbab adacaba ffA T PPP 。令 Q 矩阵 )( s )( vplanep P AvQ为顶点 v 的 QEM 矩阵（二次误差测度矩阵），其中)(vplanes为三角网格中以 v 为顶点的三角面集合。针对 三角网格中每一条边， 计算边的两个端点的二次误差度量并求和， 即可计算出边的折叠代价， 每次按照折叠代价的大小进行折叠，重复操作直到满足简化要求。 2.22.2 纹理映射纹理映射 在上述简化过程中，只考虑了模型在几何上的精简。简化后的模型，由于其几何位置的 变动， 纹理已经发生了扭曲， 不能仅通过对原始纹理降低分辨率来达到纹理属性数据的简化， 需要重新进行纹理映射来恢复纹理属性信息。 首先， 对三角网格中的每个三角面， 利用共线方程式计算出三个顶点在已完成定向工作 的影像中的位置， 如果三个顶点都在影像像幅范围内， 则将该影像纳入该三角面的可视影像 集合。 )()()( )()()( 333 111 sss sss ZZcYYbXXa ZZcYYbXXa fx )()()( )()()( 333 222 sss sss ZZcYYbXXa ZZcYYbXXa fy （2） 由于城区建筑密度较大， 遮挡现象比较严重。 在利用透视关系得到每个三角面的可视纹 理影像集合 M 后，本文使用成熟的三维碰撞检测库 ColDet 来进行遮挡检测计算，剔除掉存 在遮挡的影像，得到待选纹理影像集合 M。综合考虑三角面在影像上的分辨率和影像拍摄 视角（建筑物表面法向量和视线方向的夹角最小时视角最好），从待选纹理中选择出权值最 大的影像作为三角面的初始纹理。然后，针对边界上的三角面（两个三角形选择不同的初始 影像作为纹理），采用贪心算法选择其一阶环邻域内出现次数最多且在其待选纹理集合 M 中的初始纹理作为该三角面调整后的纹理，保障纹理的完整性和成块性。 图 3 一次边界最优纹理调整示意图 对于三角网格中的每一连续块（具有相同的最优纹理），计算其纹理坐标，从纹理影像 上提取相应的矩形外包纹理。最后，将多个矩形纹理块进行纹理 Packing（打包），并更新 相应的纹理坐标，得到最终的纹理图。 2.32.3 模型层次结构组织模型层次结构组织 为了构建场景的金字塔模型，需要对场景进行分层分块。基本思想是：采用自底向上的 策略对原始模型进行简化分层， 得到不同分辨率的各层次模型， 然后将各个层次的模型分割 为 nn 22 个矩形块（最顶层模型只有一个矩形块，模型越精细分割的块数越多，相邻的层 次间模型的分割块数呈 4 倍的关系），如图 4（a）所示。每一层模型的分块结果采用四进 制的 Morton 编码方式进行命名存储，即按“Z”字型编码方式，对每个小块进行编码命名。 一个 4*4 的十进制 Morton 编码如图 4（b）所示。 （a） 金字塔层次结构示意图（b）4*4 的十进制 Morton 码 图 4 模型层次结构和 Morton 编码 0145 2367 891213 10111415 对于同一层的三角网格模型， 每个分块所对应的 Morton 码的值是唯一的，因此 Morton 码实际上记录了每个分块所在位置的平面坐标信息，利用 Morton 码可以为每个分块位置建 立索引。利用四进制形式表示的 Morton 码，很容易确定上一层次模型的某个分块所对应的 下一层相同空间位置的四个分块，从而很容易建立起具有四叉树结构的 LOD 数据组织。 . 图 5 倾斜模型的四叉树结构组织 3 实验及结果分析实验及结果分析 为了验证本文所提出的大规模倾斜摄影模型三维可视化方案的有效性，采用 C+作为开 发语言，开源的 osg（Open Scene Graph）作为三维渲染引擎，对本文方案进行了实现。并 且选取了某一地区低空无人机拍摄的一组城区数据，在 Windows7 操作系统下，采用如下微 机硬件配置进行了试验：处理器：Inter(R) Core(TM) i7-4790 CPU 3.60GHz，内存（RAM） : 16.0GB，显卡：NVIDA GeForce GTX 960 2048MB。 此次实验使用 1 个垂直相机和 4 个倾斜相机拍摄的 497 张分辨率为61928176的影像 作为基础数据，利用 SFM 对影像进行高精度的影像定向，使用多视影像密集匹配算法进行 密集点云的生成，然后依据测区范围以 1km*1km 的格网对点云进行划分。最后利用 Poisson 构网算法，完成三维模型的几何重建。重建后的几何模型如图 6 所示： 图 6.左图为某一个格网块三维几何重建后的实体展示，右图为三维模型网格显示模式 在获取了三维网格模型后，利用 SFM 的高精度影像定向结果，将倾斜影像丰富的纹理 信息映射到三维几何模型表面，得到如图 7 所示的带纹理的三维模型。 图 7 纹理映射后的三维模型 依据本文方案，对网格模型进行不同层次的简化，得到不同分辨率的模型： （a）原始模型，26079 个（b）简化到 50%，130608 个 （c）简化到 0.25，65462 个 顶点，519255 个面顶点，259627 个面顶点，129813 个 面 （e）简化到 0.125,32820 个（f）简化到 0.0625，16467 （g）简化到 0.03125，8267 个 顶点，64905 个面个顶点，,32451 个面顶点，1622 个面 图 8 模型简化得到不同分辨率的模型 从图 8 中可以看出，模型在简化前后，较好地保留了其几何特征，用简化后的模型表示 原三维几何模型，不会影响其视觉效果。最后，将简化后的模型，进行分块，并重新进行纹 理映射、按四叉树结构进行模型层次结构组织，最后将所有的公里格网模型组织在一起，完 成整个三维大场景的展示，最终效果如图 9 所示： a 多个公里格网模型全局展示b 倾斜模型细节展示 图 9 大规模倾斜三维模型实时展示 4 结论结论 本文采用模型属性简化独立于几何简化的处理方式， 应用半边折叠操作对倾斜模型进行 几何精简，在简化过程中采用二次误差测度控制简化的方向，保障了模型的简化质量，在简 化完成后，利用多视影像以及已有空三结果，对简化模型重新进行纹理映射，产生金字塔层 次的不同分辨率（几何和纹理）的模型，最后利用四叉树结构对模型进行了分块和组织，生 成了多细节层次结构。在实际的渲染过程中，根据视点距离四叉树中节点的中心距离，调用 相应的节点。 通过实际数据的实验结果表明， 本文方案在保障场景的真实程度和细节表现的 同时，有效地提高了渲染的效率，对城市大规模倾斜数据的三维可视化具有重要的指导意 义。 参考文献： 1 Frueh C,Sammon R,Zakhor A.Automated Texture Mapping of 3D City Models With Oblique AerialImageryC/3DDataProcessing,VisualizationandTransmission,2004.3DPVT 2004.Proceedings.2nd International Symposium on.IEEE,2004:396-403. 2 Xiong W,Wang X,Zhu M.Study of LOD terrain rendering algorithm based on GPUC/Wireless MobileandComputing(CCWMC2011),IETIn