（教育技术学专业论文）区域建筑物三维重建技术与实现.pdf

： 硕士学位论文 m a s t e r st h e s i s r e a l i z a t i o na n d t e c h n o l o g y o f r e g i o n a lb u i l d i n g s r e c o ns t r uc t i o n at h e s i s s u b m i t t e di np a r t i a lf u l f i ll m e n to ft h er e q u i r e m e n t f o rt h em a s t e rd e g r e ei ne d u c a t i o nt e c h n o l o g y b y w e n gs h u p o s t g r a d u a t ep r o g r a m n a t i o n a le n g i n e e r i n g r e s e a r c hc e n t e rf o re l e a r n i n g c e n t r a lc h i n an o r m a lu n i v e r s i t y s u p e r v i s o r ：p r o f z h a og a n g a c a d e m i ct i t l e ：a s s o c i a t ep r o f e s s o r s i g n a t u r e m a y , 2 0 1 1 ijjji唧7川7， 798jjj川l舢y 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取得的研 究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过 的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本声明的法 律结果由本人承担。 作者签名：訾主挺聚日期：0 2 0 年岁月引日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中师范大 学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研究所将本学位论文收录到中 国学位论文全文数据库，并通过网络向社会公众提供信息服务。 作者签名：毓裤作者签名：锨个 日期：砂f 1 年劝弓 日 导师签名：杉叼 帆训年“) 日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程 ，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库 中全文发布，并可按“章程中的 规定享受相关权益。回童途塞握交厦溢蜃! 旦圭生；旦二生；匦兰生蕴盔。 作者签名：舔嫜 日期：l 年f 月； 日 撕签名：铆 日期：y i 1 年9 月巾 硕士学位论文 m a s t e r st h e s i s 中文摘要 建筑物三维重建技术在数字城市、房地产、城市规划等等领域有着广泛的应用， 是当前研究的热点之一。传统的基于测绘然后通过三维建模软件手动建模的建筑物 三维重建方法需要花费很长时间，比较消耗人力和物力。单纯的基于图像的建筑物 三维重建主要利用图像的投影关系以及图像序列之间的对极几何约束等等来提取 建筑物，或对图像的拍摄角度有一定要求，或需要我们手动标注图像中的特征点。 随着遥感测绘技术的发展，雷达数据渐渐成为人们研究建筑物三维重建时采用的数 据源之一，雷达数据的采集不受天气以及光照的影响，并且可以一次性采集大范围 区域的数据，雷达数据中包含了地表所有物体的高度信息，非常有利于提取建筑物 边缘，而且高度信息还可以用于建筑物模型创建。结合雷达数据与图像来进行三维 重建，利用前者创建建筑物模型，利用后者提取建筑物纹理，是一种可行性强、操 作性强的三维重建方法。 本文针对区域建筑物重建技术进行了研究，在对当前建筑物三维重建领域的发 展状况进行分析之后，提出了一种基于雷达数据和航拍图像的建筑物三维重建的方 法，并且加以实现。本文首先对建筑物三维重建的研究背景和研究现状做了简要介 绍，随后概述了当前主要的三维重建的方法。然后论述了笔者提出的区域建筑物三 维重建的方法，介绍了区域建筑物三维重建的流程，其中详细介绍了三维重建的两 个关键步骤建筑物边缘提取和三维几何模型重建。文中详细论述了如何基于雷 达数据创建高程灰度图，然后对高程灰度图进行一系列图像处理操作之后，进行边 缘检测，进而提取建筑物边缘，如何从雷达数据中提取建筑物的高度，确定建筑物 的三维坐标，并且以w r l 格式文件输出，从而创建模型。本研究初步实现了基于雷 达数据和航拍图像进行建筑物三维重建，在一定程度上解决了树木对建筑物提取造 成的干扰，提高了建筑物提取的准确率。 关键词：建筑物提取三维重建 r e c o n s t r u c t i o no f3 db u i l d i n gm o d e l sa r ew i d e l yu s e di nt h ef i e l d ss u c ha sd i g i t a l c i t y , r e a le s t a t e u r b a np l a n n i n ga n ds oo n i t sa l s oa na c t i v er e s e a r c ha r e a t r a d i t i o n a l3 d b u i l d i n gr e c o n s t r u c t i o n w h i c hi sb a s e do ns u r v e y i n ga n dc h a r t i n gw i t hm o d e l sc r e a t e db y h a n d st h r o u g h3 dm o d e ls o f t w a r e i sb o t ht i m e c o n s u m i n ga n dl a b o r - i n t e n s i v e 3 d b u i l d i n gr e c o n s t r u c t i o nb a s e ds o l e l yo ni m a g e si sm a i n l yb a s e do nt h e o r i e si n c l u d i n g e p i p o l a rg e o m e t r yc o n s t r a i n tb e t w e e ni m a g e ss e r i e sa n di nm o s tc a s e st h e r ei sc o n s t r a i n t w i t hc a m e r aa n g l e so ft h ei n p u ti m a g e so rm a n u a lh e l pi sn e e d e dt oi d e n t i f yf e a t u r e p o i n t si nt h ei m a g e s s i n c er e m o t es u r v e y i n ga n dc h a r t i n gi sd e v e l o p i n gf a s tt h e s ey e a r s ， l i d a rd a t ah a sb e c o m eo n eo ft h ed a t ar e s o u r c e sd u r i n gt h er e s e a r c ho f3 db u i l d i n g m o d e l sr e c o n s t r u c t i o n l i d a rc o n t m a sh e i g h ti n f o r n l a t i o no fa l lo b j e c t so nt h eg r o u n d w h i c hi n d e e dh e l p sal o ti nb u i l d i n ge x t r a c t i o na n dm o d e lc r e a t i o n c o m b i n i n gl i d a r d a t aa n di m a g e st oc r e a t e3 db u i l d i n gm o d e l sh a ss t r o n gf e a s i b i l i t y i nt h i st h e s i s ，w er e s e a r c hr e g i o n a lb u i l d i n gr e c o n s t r u c t i o na n dp r e s e n tam e t h o df o r r e c o n s t r u c t i o no f3 db u i l d i n gm o d e l sf r o ma e r i a li m a g e sa n dl i d a rd a t aa n dt h e n r e a l i z ei t i nt h eb e g i n n i n gw ea n a l y z et h ec u r r e n tr e s e a r c hs t a t u si nt h i sf i e l da n d s u m m a r i z et h em a j o rm e t h o d so f3 db u i l d i n gm o d e lr e c o n s t r u c t i o n a n dt h e nw e i n t r o d u c et h em e t h o dp r o p o s e d b yu s t w om a j o rs t e p so fr e g i o n a l b u i l d i n g r e c o n s t r u c t i o na r ed i s c u s s e di nd e t a i l b u i l d i n ge d g e se x t r a c t i o na n d3 dm o d e lc r e a t i o n t h e t h e s i se l a b o r a t e st h ew a yt oc r e a t eh e i g h t g r a yi m a g eb a s e do nl i d a r d a t a , t h ew a yt o e x t r a c tb u i l d i n g sf r o mi t a n dt h ew a yt oc o o r d i n a t ea l lt h ei n f o r m a t i o ni nv r m lt o c r e a t em o d e l s i tp r e s e n t sas i m p l ei m p l e m e n t a t i o ns y s t e mt or e c o n s t r u c tb u i l d i n gm o d e l s f r o ml i d a rd a t aa n da e r i a li m a g e sa n di ns o m ee x t e n ts o l v e st h ep r o b l e mi nb u i l d i n g e x t r a c t i o nc a u s e db yt r e e sa st oi m p r o v et h ea c c u r a c yb u i l d i n ge x t r a c t i o n k e yw o r d ：3 dm o d e lr e c o n s t r u c t i o n ，b u i l d i n ge x t r a c t i o n i l ： 硕士学位论文 m a s t e r st h e s i s 目录 中文摘要i a b s t r a c t i i 第一章绪论。1 1 1 研究背景1 1 2 研究意义1 1 3 国内外研究现状2 1 4 研究内容与结构组织3 第二章建筑物三维重建方法概述4 2 1 基于图像的建筑物三维重建4 2 2 基于激光雷达点云数据的建筑物三维重建5 第三章区域建筑物三维重建算法设计6 3 1 区域建筑物三维重建流程6 3 2 高程灰度图生成7 3 3 建筑物边缘提取9 3 3 1 高程灰度图处理9 3 3 2 建筑物边缘提取1 2 3 4 三维几何模型重建1 3 3 4 1 建筑物高度获取。1 3 3 4 2 纹理获取。1 3 3 4 3 三维模型呈现。1 4 第四章区域建筑物三维重建技术实现1 5 4 1 开发环境1 5 4 1 1 应用软件开发环境。1 5 4 1 2 系统开发的类库介绍1 5 4 2 建筑物边缘提取16 4 2 1 雷达数据简介1 6 = 硕士学位论文 m a s t e r st h e s i s 4 2 2 高程灰度图创建17 4 2 3 边缘检测2 0 4 2 4 建筑物边缘提取2 5 4 2 5 建筑物边缘拟合3l 4 3 三维几何模型重建3 2 4 3 1v r m l 简介3 2 4 3 2 建筑物高度获取一3 3 4 3 3 纹理获取3 6 4 3 4 三维模型呈现3 7 第五章总结与展望。4 1 5 1 全文总结4 1 5 2 进一步研究工作的展望4 2 参考文献。4 3 在校期间发表的论文、科研成果等4 6 致谢4 7 2 硕士学位论丈 m a s t e r st h e s i s 第一章绪论 1 1 研究背景 2 0 世纪以电子计算机技术为核心，以网络技术为标志的现代信息科学技术的不 断进步和迅速发展拉开了人类进入信息时代的序幕，给整个世界带来了翻天覆地的 变化。计算机的应用愈来愈广泛，人们对计算机呈现信息的方式的要求也越来越高。 传统的二维的呈现方式已经不能满足人们的需要，而三维的，动态的信息呈现方式 更受欢迎。三维动画，三维游戏，三维地图，三维电影甚至电视剧，都给我们的生 活带来了更多的惊喜与便利。毋庸置疑，我们生活的空间是一个三维空间，不管是 三维地图还是三维电影，都是因为他们提供了更接近真实世界的信息，能给我们提 供更真实的感受，所以人们趋向于选择他们。 普通用户倾向于三维信息呈现，国家的信息化也在催生数字城市。城市是一个 国家或地区的政治、经济和文化中心，国家的现代化、信息化和数字化是依赖城市 的现代化、信息化和数字化来实现的，中国的城市数字化，即数字城市建设对中国 的现代化水平、信息化水平的提高具有重要的战略意义，城市的现代化水平、信息 化水平和数字化程度已经才称为衡量一个国家或地区融入全球化进而提升经济社 会势力和知名度的重要标志。目前，中国已有数十个大、中城市提出或正式在实施 数字城市工程，数字城市建设已经成为中国实现现代化、信息化的基础。 目前大家对数字城市有一个公认的基本概念，那就是，数字城市是一个以数字 化形式认识和描述现代城市的信息模型，是城市地理信息和城市的其他有关信息相 结合并存储在计算机网络上的、能供远程用户访问的、一个新的将城市和城市外空 间连在一起的三维虚拟空间。他的核心是将城市的三维地图、遥感影像、城市每一 点上的所有政治、经济、环境、人文、社会、自然等方面的信息，按照统一的地球 空间( 或者城市空间坐标) 组织起来，构成一个具有多分辨率、多类型、多时相的 三维数据集，是城市信息化，即数字化、网络化、智能化和可视化n 3 。由此可见， 数字城市中城市三维景观模型是数字城市最重要的信息数据，而建筑物三维重建是 数字城市建设中最重要的工作之一。 1 2 研究意义 区域建筑物三维重建是当前计算机视觉的研究热点，在城市规划、城市监管、 硕士学位论文 m a s t e r st h e s i s 城市形象推广、房地产开发、灾害监测、通信设施建设和数字城市等领域具有非常 广泛的应用。尤其是对数字城市建设来说，建筑物三维重建也是其核心内容之一。 长期以来，区域建筑物三维重建一直是摄影测量、遥感、计算机视觉、模式识别以 及测绘等领域长期研究的重要课题。 传统的建筑物三维场景重建大多基于实地测量以及各种建模软件，比较耗费人 力和物力，而基于l i d a r 点云数据与影像集成的建筑物三维重建技术则比较节省人 力和物力，其优势在于：可以提高三维模型的真实感、丰富模型的纹理细节与几何 细节、提高模型的几何精度，同时有助于提高建模的自动化程度、降低建模的计算 复杂度等等。 1 3 国内外研究现状 当前国内外有很多学者在从事三维重建的研究，总的来说，建筑物三维重建的 方法主要有三大类，第一类是基于图像的三维重建，第二类是基于激光雷达点云数 据的建筑物三维重建，第三类是基于软件的三维重建。 基于图像的三维重建主要利用角点检测，角点匹配，对极几何约束等预处理确 定图像之间的关联，有的还需我们手动来选择经过参数化后的几何模型模型，并且 指出图像与模型中的特征点的对应关系。p o l l e f e y s 和k o c h 等人提出了由图像序列 完成的自动三维重建方法乜1 ，实现了自动重建三维模型，前提是提供重建区域的 重叠度较高的图像。i l d i k os u v e g 和g e o r g ev o s s e l m a n 提出了基于知识系统的由 航拍图像序列完成的自动3 d 重建系统d 3 ，需要提供的数据是二维g i s 地图以及重 建区域的图像序列，首先据已有信息生成假设模型，然后对模型进行再次投影，进 行比较分析，验证模型。 随着探测技术的发展，雷达数据越来越多的应用于三维模型数据采集，激光雷 达技术不仅能检测到房屋和它的轮廓，还能辅助提取出屋顶表面信息。l i d a r 已经 成为建筑物提取与重建研究中广泛使用的技术，很多学者采用融合l i d a r 数据和航 拍图像的方法来自动提取建筑物并重建建筑物模型，例如m a 利用雷达数据建模， 然后利用航拍图像来精细化模型h 1 。h a a l a 利用航拍图像、数值表面模型、城市规 划信息等数据来进行建筑物三维模型重建，首先结合数值表面模型和航拍图像提取 建筑物的边缘，然后利用规划信息对数值表面模型进行面片分割，最终建立三维建 筑物模型h 1 。 利用摄影测量与遥感手段得到大规模的基础空间信息数据，然后再利用专业的 建模软件进行三维重建，例如目前国内j x 4 ，v i r t u o z o n t ，国外的有c y b e r c i t y 等等， 2 硕士学位论文 m a s t e r st h e s i s 也是广大用户的选择之一。 1 4 研究内容与结构组织 在现有的建筑物三维重建的方法的基础上，笔者直接选择从雷达数据以及航拍 图像来创建三维模型，从雷达数据获取建筑物高度，将高度值转化为图像灰度值， 对图像进行预处理之后再采用轮廓提取的方法来提取建筑物，再结合从航拍图像中 获取的建筑物屋顶纹理完成模型重建。本文的研究目标就是完成相关的算法设计以 及编程实现。为了达到这个目标，笔者将以下几点作为本文的主要研究内容：基于 雷达数据以及航拍图像的建筑物三维重建算法设计。其中拟解决的关键问题是建筑 物边缘提取与拟合，建筑物边缘提取的准确性直接决定最后建筑物三维重建的效 果。 本文的各章安排如下： 第一章介绍了本选题的研究背景和研究意义，对建筑物三维重建领域国内外的 研究现状进行了简介，同时介绍了论文的结构。 第二章简要对当前主流的建筑物三维重建做了一个概括，介绍了三大类建筑物 三维重建方法。 第三章阐述了基于雷达数据以及航拍图像的区域建筑物三维重建技术的流程， 并且一一介绍了流程中的重要环节，包括高程灰度图生成、建筑物边缘提取和三维 几何模型呈现等等。 第四章介绍了区域建筑物三维重建的实现过程，并且对开发过程中用到的工具 做了简要介绍，重点阐述了建筑物边缘提取过程，结果对实验结果分析，对高程灰 度图进行处理，优化建筑物边缘提取结果。 第五章先对本文进行了总结，然后介绍了本文中区域建筑物三维重建的特色之 处，最后展望了下一步的研究工作。 = ：一， 硕士学位论文 m a s t e r st h e s i s 第二章建筑物三维重建方法概述 建筑物三维重建是当前计算机视觉的研究热点之一，因为其在很多领域有着广 泛的应用，例如城市规划、灾害监测、通信设施建设和数字城市等。目前建筑物三 维重建的方法可以分为三大类，第一类是基于图像的三维重建，第二类是基于激光 雷达点云数据的建筑物三维重建，第三类是基于软件的三维重建。 2 1 基于图像的建筑物三维重建 基于图像的三维重建主要利用图像的投影关系以及图像序列之间的对极几何 约束等来提取建筑物。 p o l l e f e y s 和k o c h 等人提出了由图像序列完成的自动三维重建方法，可以通过 一系列的图像来建立建筑物模型，但求图像的拍摄角度差有一定的要求，最好大于 5 度，小于1 0 度，具体的流程是首先进行角点检测，并对角点进行匹配，同时基于 对极几何约束等确定图像序列之间的联系，然后选取两张图像进行第一次射影重 建，随后逐步加入其他的图像，对结果进行修正、完善，最后完成建筑物三维重建。 b e r k e l e y 大学的d e b e v o c 、t a y l o r 、m a l i k 等完成了著名的建筑物重建系统f a c a d e 系统，该系统可以由构造一系列简单多面体类型，并且从图像序列中创建目标物体 的三维模型。在重建过程中，需要用户来选择预设的模型，并且指出模型中的特征 与图像中的特征点的对应关系。该系统可以重建结构比较简单的建筑物，不适用于 复杂几何结构的建筑物三维重建。 f r a n c kt a i l l a n d i e r 提出了一种建筑物三维重建方法是基于地图和航拍图像的， 他们首先通过分割地图来得到建筑物区域的轮廓，并且建立假设的三维模型，然后 根据航拍图像来确定屋顶的倾斜度和高度，完成建筑物重建，该方法适用建筑物密 度较大的区域。 中国测绘科学研究院的王继周等提出了一种基于航拍图像的建模方法，要输入 的航拍图像的拍摄倾角比较大，这样有利于获取建筑物表面纹理，并且辅助获取建 筑物的高度。该方法需要结合二维地理信息系统数据库中的地面位置信息，以确定 建筑物的空间坐标，最终结合二者完成建筑物的三维重建。 武汉大学遥感信息工程学院的刘亚文等提出了一种利用图像与地图结合进行 建筑物重建的方法，与上述方法不同的是，该方法不需要提供图像序列，仅需一张 图像就可以完成重建。该方法主要用到了直接线性变换以及单影像空间后方交会。 4 一， 硕士学位论丈 m a s t e r st h e s i s 2 2 基于激光雷达点云数据的建筑物三维重建 传统的建筑物三维重建主要依靠图像的投影关系以及图像序列之间的对极几 何约束等等来提取建筑物，有的还对图像的拍摄角度等有一定的要求。随着科学技 术的进步，当前建筑物三维重建已经不再单单依靠图像了，还有雷达数据等等。雷 达数据的优点是，不受天气以及光照的影响，可以提供大范围区域的数据，最重要 的，雷达数据中包含了地表所有物体的高度信息，非常有利于提取建筑物边缘，而 且高度信息还可以用于建筑物模型创建。所以，有很多学者将雷达数据纳入建筑物 三维重建的数据源当中，再结合航拍图像或者是地面的城市规划图等等来创建建筑 物三维模型。通过选取数据源的种类不同，我们将基于雷达数据创建建筑物三维模 型的方法分为两类，第一类是结合雷达数据和其他数据例如航拍图像或者是城市规 划图来进行三维重建；另一类是只利用雷达数据来进行三维重建。 运用第一类方法的有：v o s s e l m a na n dd i j k m a n 根据建筑物的所在地区的城市规 划设计图，通过扩展的三维空间的霍夫变换从雷达数据中提取建筑物的屋顶高度信 息以及组成屋顶的平面的方向信息，再利用这些信息来创建三维建筑物模型。 r o t t e n s t e i n e r 则首先利用雷达数据来创建建筑物的三维模型，然后结合航拍图像 中的角点来修正模型。h a a l a 利用航拍图像、数值表面模型、城市规划信息等数据 来进行建筑物三维模型重建，首先结合数值表面模型和航拍图像提取建筑物的边缘， 然后利用规划信息对数值表面模型进行面片分割，最终建立三维建筑物模型。 运用第二类方法的有：尤红建首先利用三维成像仪取得雷达数据，然后对雷达 数据进行插值生成数值表面模型( d i g i t a ls u r f a c em o d e l ，简称d s m ) ，接下来用图 像处理的方法来提取建筑物边缘，最后完成建筑物三维重建。h o f m a n n 基于l i d a r 不规则的点云构成d e l a u n a y 三角网提取屋顶平面，进而实现建筑物的重建。b r i e s e 以地面获取的雷达数据作为数据源，首先提取建筑物的结构线，然后再重建建筑物 【2 9 】。k a r s l i 提出了建筑物三维重建方法中多次采用霍夫变，首先进行二维霍夫，目 的是检测出建筑物朝向，然后进行三维霍夫变化，提取建筑物的坐标信息和高度信 息等等，最终完成建筑物三维重建。 f 、 硕士学位论文 m a s t e r st h e s l s 第三章区域建筑物三维重建算法设计 前面两章介绍了本研究的一些背景知识以及当前的研究现状，笔者在前人的研 究基础上展开建筑物三维重建技术研究，并提出了一种区域建筑物三维重建方法， 本章将介绍本研究中区域建筑物三维重建技术的流程，并且介绍了流程关键步骤的 思路以及一些关键技术的算法。本研究中采用的雷达数据以及航拍图像来源于 a s p r s 。 3 1 区域建筑物三维重建流程 本文采用的三维重建技术是基于雷达数据与航拍图像的。在开始三维重建之前 我们需要准备好重建区域的雷达数据以及航拍图像，并且将其对应起来。本文采用 的三维重建技术的流程主要包括以下两个步骤：一、建筑物边缘提取；二、三维几 何模型重建。 在第一个步骤完成的主要工作是基于雷达数据来提取建筑物边缘，并且对建筑 物边缘进行拟合。首先我们根据雷达数据生成一张灰度图像，图像中每个点的灰度 值由雷达数据中对应点的高度值决定，也就是将雷达数据中的高度值映射为图像中 的灰度值，得到的图像我们称之为高程灰度图。为了应对不同的情况，我们制定了 两种映射规则，这两种规则将在第三章进行详细论述。 初始的高程灰度图受雷达数据中的点的密度的限制，图像中存在很多未赋值的 点，不利于下一步的边缘检测。因此，需要对图像进行预处理，采用一种插值算法 将高程灰度图中的未赋值的点“填补”起来。 接下来我们对高程灰度图依次进行直方图均衡化、中值滤波、二值化处理、边 缘检测，以及轮廓提取。在进行边缘检测时我们采用的0 p e n c v 提供的函数。但是， 若重建区域包含过多的非建筑物信息，如高大的树木等等，容易影响建筑物边缘检 测的结果，我们需要对高程灰度图进行进一步的处理，以减少这些植物被误检为建 筑物的情况，提高建筑物边缘检测的准确性。 对检测出来的轮廓进行扫描，过滤并去掉面积过大或者过小的轮廓，因为这些 轮廓通常不会是建筑物的轮廓。最后对这些轮廓采取直线拟合处理，平滑过滤不真 实的曲折。经过上述步骤之后得到的轮廓基本上是建筑物的边缘了。具体的步骤在 第三章会有详细介绍。 建筑物边缘确定之后，接下来要进行的是三维几何模型重建。在上述确定建筑 6 ，f p 石员士学位论文 m a s t e r st h e s i s 物边缘的过程中，我们会记录建筑物边缘中关键点的坐标，并依据这些坐标对航拍 图像进行剪切。因为雷达数据和航拍图像是匹配的，所以剪切得到的图像就是该坐 标对应建筑物的屋顶纹理。 同时，我们还会提取建筑物轮廓中的若干个坐标点在雷达数据中对应点的高度 值，加权后得到值，用来拟合三维建筑物模型的高度。 将以上的坐标信息和纹理信息等等，按照v r m l 语言语法要求写入w r l 文件中， 完成之后，用v r m l 浏览器打开该文件就可以看n g , j 建好的区域建筑物三维模型了。 下图展示的即是本文中三维重建的流程： i l i d a r 数据航拍图像 i 高程灰度图像 l 图像处理 4 r ， l 建筑物提取 h 建筑物坐标 l 坐标以及高度纹理 3 d 模型重建 图3 1 三维重建流程 3 2 高程灰度图生成 鉴于本研究采取的是通过边缘检测来提取建筑物的策略，因此我们有必要将 l i d a r 数据中的位置信息和高度信息结合起来以区分建筑物和地面，从而顺利提取 建筑物边缘。我们采取的方式是将雷达数据转换为图像数据，即创建高程灰度图， 下面将介绍具体的实现过程。 通过l i d a r 数据信息，我们可以确定数据中包含的所有点的坐标范围。l a s 格 式的l i d a r 数据的数据头块中包含，l i d a r 数据中所有点的x 坐标、y 坐标以及z 坐标的最大值和最小值，由此我们可以确定所有点的空间范围。高程灰度图是基于 l i d a r 数据中的点信息创建的灰度图，高程灰度图的宽度有l i d a r 数据中最大x 坐 标与最小x 坐标值的差决定，同理，其高度由最大y 坐标值与最小y 坐标值的差决 定。高程灰度图中的点的x 、y 坐标与l i d a r 数据中的x 、y 坐标对应。l i d a r 数据 中点的高度，即z 坐标值，映射为高程灰度图中点的灰度值，这样我们就可以结合 7 硕士学位论文 m a s t e r st h e s i s “高度”信息利用图像处理的方法来获取建筑物边缘。 由于雷达数据中点的密度的限制，l i d a r 数据中的点难以覆盖整张图像，直接 映射得到的图像中存在很多未赋值的点，如图3 2 所示： ? _ ：珊哪? ”一二一f _ 一霄掣_ ，疆 ：t 。” 4 二 ： 蔓 ：j ，：，髫 ：。 “ ：j ： ： ： j ： ：， “ 。 ? i 一 。 乏 ；= ；嚏 0 一，事 ，：，； 。? “ ”： ，奄 ；， ： i ： ：； ：，。，j g ：t ：0j ：二 4 鼋 ? ” 1 二 ， 龛 犯岳 t r；! 臻鬈：；“：j ! ：j j ! ：。：；? ；jq“ ：；- ：一! o ：盏兹 图3 2 高程灰度图 对于这样的图像，很难采用图像处理的方法来检测建筑物边缘。因此，我们必 须先采用插值算法对图像进行处理，对图像中未赋值的点进行赋值。根据本研究中 所采用的l i d a r 数据的实际情况，我们将像素点7 7 邻域( 除去该邻域的四个角 点) 都以赋值为中心点的灰度值，如图3 3 所示： 图3 3 插值7 x7 邻域 图3 3 中i 为中心点，遍历i 点时，便会将图中j 所示的像素点都赋值为i 点 的灰度值。图3 5 所展示的即是经过插值后得到的图像。 此处得到的图像有所区别是因为在将l i d a r 数据中各点的高度映射为高程灰度 图像素点的灰度值的时候，我们采取了不同的映射规则。在研究过程中，通过实验 分析，我们定义了两种映射规则。 第一种规则的具体内容是，将l i d a r 数据中点的z 坐标映射到几个确定的灰度 级。这样就可以创建一个清晰并且简单的灰度图，例如，我们将1 0 以及1 0 以下的 值都映射为o ，将其他的都映射为2 5 5 ，那么我们得到高程灰度图中就只有两种灰 8 硕士学位论丈 m a s ，r e r st h e s i s 度级，如果采用了合适的阈值，得到的高程灰度图进行边缘检测之后很容易就能得 到建筑物边缘。第二种规则的具体内容是，将l i d a r 数据中点的z 坐标按比例映射 到0 到2 5 5 任意的灰度级，而不限定于某几个灰度级别。这样能更全面的保留l i d a r 数据中各点的高度信息。 其中第一种规则主要适用于树木密度较小，或者建筑物高度与树木高度相差较 大的区域，在这种情况下，树木对建筑物边缘提取的影响较小。第二种规则主要适 用与树木密度较大或者树木与建筑物高度相差不大的区域，这种情况下树木会对建 筑物边缘提取造成比较大的影响，首先树木可能会被误检为建筑物，其次与树木的 轮廓可能会与相邻的建筑物的轮廓想连，对建筑物边缘提取造成干扰。在这种情况 下，我们首先采取第二种规则生成高程灰度图，然后对图像进行处理，扫描图像的 像素点，通过设定的规则改变某些像素点的值，达到腐蚀树木或者切断树木与建筑 物连接处的目的，改算法在下文中会详细介绍。 3 3 建筑物边缘提取 在本章第一节中提到过，本研究采取的是通过边缘检测来提取建筑物的策略， 我f l 3 9 , j 建高程灰度图也是为了将雷达数据中的高度信息转移到图像中，从而能够利 用边缘检测来提取建筑物。而在进行边缘检测之前，我们需要对高程灰度图进行一 些处理，包括直方图均衡化，平滑滤波和二值化。然后通过0 p e n c v 提供的函数进 行边缘检测，接下来需要过滤掉一些非建筑物并且对过滤后的边缘进行拟合，以使 其更平滑，与真实建筑物边缘更接近。 3 3 1 高程灰度图处理 在上一节中我们将l i d a r 数据中的信息转换为图像信息，得到高程灰度图，目 的就是为了采用图像处理的方法来检测建筑物边缘。首先我们对高程灰度图进行直 方图均衡化处理，平滑处理，然后将其二值化。直方图均衡化的目的是根据直方图 进行图像增强，将高程灰度图的灰度的域值拉伸到0 - 2 5 5 。进行平滑处理的目的是 为了减少图像中的噪声点。将图像二值化是为了进行边缘检测，因为我们采用的边 缘检测算法的输入图像必须是二值图像。 在研究中我们碰到了各种各样的区域，有的区域地面上有一定高度的物体大多 为建筑物，而有的区域中，地面上有许多与建筑物齐高的树木，如图3 4 中a 所示。 9 ： 硕士学位论丈 m a s t e r st h e s i s ab 图3 4 航拍图像( a ) 与高程灰度图( b ) 在这种情况下，我通常采用本章第一节中介绍的第二种映射规则生成的高程灰 度图，并且在进行图像预处理和边缘检测之后，通过调节二值化的阈值选取最佳的 效果。通过对比，在下图中我们选取的结果为图3 5b 中p r e p r o c e s s i n g 窗口中的 图像。但是可以看到，图中仍然有6 处建筑物与树木的轮廓连在一起，而图中建筑 物的总数为2 0 ，意味着有3 0 的建筑物没有被准确提取。为了将这个数值降到最低， 我们需要在进行边缘检测之前对高程灰度图进行进一步的处理。 l o a b 图3 5 边缘检测 l l ： ： 硕士学位论炙 m a s t e r st h e s i s 这里我们选取第二种映射规则来生成高程灰度图，因为在这个规则下映射得到 的高程灰度图更多的保留了原l i d a r 数据中的信息，有利于我们区分树木以及建筑 物。 观察图3 4b 我们可以发现，由于树木和建筑物具有不同的高度特征，生成的 高程灰度图中对应的树木与建筑物的区域也具有不同的特征。一般而言，建筑物的 屋顶由一个或多个平面组成，或水平或倾斜，所以高程灰度图中由高度映射得到的 灰度值变化也比较小，给人直观的感觉就是比较均匀，跳跃性小；而对于树木，对 应l i d a r 数据中其各点的高度差别较大，因而在高程灰度图中对应区域的各点的灰 度值变化也比较大，看起来不那么均匀，跳跃性较大；树木与建筑物轮廓相连部分 轮廓线间的距离比较窄。 根据这个特点，我们采用一种算法来扫描高程灰度图中所有的点，并且改变符 合条件的一些像素点，从而达到去掉树木或者将连在一起的树木与建筑物分开的目 的。 该算法的基本思想是，横向或者纵向扫描高程灰度图中的像素点，若灰度值大 于或等于5 0 ，则从该点开始一直到第1 0 0 个点进行抽样，每隔4 个点取一个像素点 的灰度值。依次计算这些抽样像素点之间的灰度值差值的绝对值，以及这些像素点 的灰度值的平均值。统计前者是为了分析像素点灰度值的波动情况，若波动过大， 则认为当前这些像素点为树木，将其全部赋值为0 ；统计后者是为了判断该处是否 为树木与建筑物的连接处，若当前这些像素的灰度平均值较低，则认为当前像素点 包含树木与建筑物的连接部分，将其全部赋值为o 。具体来说，我们对灰度值差值 的绝对值定义一个阈值，统计像素点之间灰度值差值大于该阈值的次数，若次数超 过一定值则认为当前像素点为树木的一部分，将其赋值为o ；对抽样的像素点灰度 值的平均值定义一个阈值，若小于该阈值，则可以认为该处是树木与建筑物的连接 处，也将其赋值为0 。 3 3 2 建筑物边缘提取 通常情况经过上述几个步骤得到的轮廓不全是建筑物轮廓，可能还包含一些其 他的轮廓，例如：由地形高度差引起的高程灰度图中的灰度差也会在边缘检测中检 测出来，其他比较小的有高度的非建筑物，以及树木等等。前者一般面积较大，还 有一些面积过小的轮廓一般也不会是建筑物轮廓。 因此，我们可以先对c v f i n d c o n t o u r s 返回的轮廓进行一个初步的筛选，去掉 面积太大或者太小的轮廓。在此我们以高程灰度图的面积为一个单位面积，只保留 1 2 硕士学位论炙 m a s r e r st h e s i s 面积小于0 2 5 并且大于0 0 2 的轮廓。 经过初步筛选之后，我们用矩形框包围剩余的轮廓，如果还存在少数误检测的 轮廓，我们可以通过手动标记这些轮廓，将它们删除。 通常情况下直接检测得到建筑物的轮廓边缘不够平滑，需要进行拟合处理。大 多数建筑物的边缘都是由直线组成的，所以我们可以通过直线拟合来处理以上提取 的建筑物轮廓。我们依次读取轮廓点，计算相邻点之间的x 或者y 坐标的差值，如 果x 或者y 坐标的差值大于5 ，则将这两个点记录到新的轮廓点数组中，若差值都 不大于5 ，则继续读取下一个轮廓点。 3 4 三维几何模型重建 3 4 1 建筑物高度获取 建筑物的一个很重要的信息就是其高度信息，前面我们通过将高度信息映射为 灰度信息，然后提取建筑物边缘。现在，确定了建筑物边缘之后，我们就需要再从 l i d a r 数据中提取对应建筑物的高度信息。 首先我们在创建高程灰度的图的同时创建一个数组，记录与高程灰度图的坐标 一一对应的高度值，同时也对该数组进行插值处理，填补没有高度信息的点。为了 实验方便，我们在进行边缘检测之前对图像进行了缩放处理，把高程灰度图的高度 调整为固定值，在这个过程中的缩放比例因子我们存储在一个全局变量里面。所以 当我们需要从记录高度值的数组中获取高度值的时候，需要对点的坐标进行一个换 算，这时就要用到上文中提到的缩放因子。 我们可以用一个矩形框来包围提取到的轮廓，即通过调用c v b o u n d i n g r e c t 函 数来获取包围轮廓的最小矩形。将矩形划分为1 0 乘1 0 的小矩形，然后取矩形中心 的4 乘4 一共1 6 个矩形的2 5 个顶点的高度信息。由于有些轮廓形状不规则，导致 矩形框的中心的这2 5 个点并不一定都包含在轮廓里面，所以我们还需要通过 c v p o i n t p 0 1 y g o n t e s t 函数来判断当前的顶点是否包含在轮廓里面。这里，我们只取 包含在轮廓里面的点。提取到这些点之后，读取高度数组中的高度值，并且计算这 些点的高度平均值，用这个值来模拟建筑物的高度。 3 4 2 纹理获取 在本研究中，我们采用的是航拍图像和雷达数据。首先我们将雷达数据分割成 不同的区域，同时也将对应的航拍图像截取出来。这里我们采用的方法是，首先将 雷达数据用软件打开，截取正视图，如第一章中的雷达点云图，然后与航拍图像进 硕