（应用数学专业论文）基于图像序列的城市建筑物建模研究.pdf

浙江大学硕士学位论文摘要 摘要 三维城市建模是数字化城市的基础工作。为了准确，真实的再现城市，目 前主要有以下几种建模方法：第一，应用d e m 数据和层次的建筑结构表示来 实现三维城市的建模。第二，利用遥感技术得到的雷达数据和g i s 数字数据来 生成建筑模型。第三，综合航空卫星图像和激光扫描数据实现城市建模。第四， 利用一些形状语法和对城市类型的归纳进行过程式建模。第五，基于图像或视 频序列的利用计算机视觉技术的城市建模方法。 前三种方法虽然能得到比较精确的模型，但是也有一些共同的缺点，比如， 数据的获取比较困难，需要比较昂贵的设备，导致建模工作量大，费用高。而 第四种方法虽然快速，但是真实度不高，所以也不适合用来表示真实的城市。 目前，已有不少的研究是采用基于图像的建模技术构造城市模型，该方法的优 点是数据获取容易，工作量相对来说较小，成本低。 正是因为这些原因，本文提出一种基于图像序列的建模技术并结合信息理 论中的互信息来进行城市建筑物建模的方法。本文的基本思想是，首先从 g o o g l e e a r t h 上勾勒出建筑物的轮廓，然后用沿着街道对建筑物正面进行拍摄的 图像序列构造多视点全景图，并利用得到的全景图自动提取建筑物的上下边 缘，之后利用城市建筑物的结构特性对全景图巾得到的建筑物纹理进行遮挡修 复，这里，我们利用信息理论中的互信息的概念来检测，采用结合多种图像处 理的方法修复被遮挡的纹理，最后从得到的纹理中提取一些更为丰富的建筑细 节以得到视觉上更为真实的模型，这里我们利用了互信息的概念和图像分割的 方法。 与其它方法相比，本文的方法有以下优点： 数据的获取更简单 一建筑物正面纹理更真实 _ 一定量的提取了建筑物上的结构细节 关键词：城市建模；全景图；互信息；图像修复；图像分割； 浙江大学硕上学位论文 目录 a b s t r a c t 3 dc i t ym o d e l i n gi sa ne s s e n t i a ls t e po fr e a l i z i n gd i g i t a l i z e dc i t y r e c e n t l y ，i n o r d e rt or e c o n s t r u c tc i t i e sm o r ea c c u r a t e l ya n d v e r i t a b l y ，s e v e r a lw a y sa r ei n t r o d u c e d ： t h ef i r s tw a ya p p l yd e md a t aa n db u i l d i n gs t r u c t u r et oa c h i e v et h e3 dc i t y m o d e l i n g ；t h es e c o n dw a yu s er a d a rd a t ao b t a i n e db yt h er e m o t es e n s et e c h n o l o g y a n dg i sd i g i t a ld a t at og e n e r a t eb u i l d i n gm o d e l s ；t h et h i r dw a yi n t e g r a t et h ea e r i a l a n ds a t e l l i t i ci m a g e sa n dt h ep o i n tc l o u dd a t as c a n e dw i t hl a d a rt oa c h i e v eu r b a n m o d e l i n g ；t h ef o u r t hw a yu s es h a p eg r a m m a ra sap r o c e d u a lm o d e l i n gt e c h n i q u e ；t h e f i f t h w a yi s b a s eo ni m a g e so rv i d e os e q u e n c e s ，w h i c hu s ec o m p u t e rv i s i o n t e c h n o l o g yf o rc i t ym o d e l i n g e x a c tm o d e l sc a nb eg a i n e du s i n gt h ef o r m e rt h r e em e t h o d s ，b u tt h e r ee x i s t s o m ec o m m o ns h o r t c o m i n g s ，s u c ha sd i f f i c u l t yt oa c c e s sd a t a , m o r ee x p e n s i v e e q u i p m e n t s ，h e a v yw o r k l o a da n dt h eh i g hc o s t a l t h o u g ht h ef o u r t hm e t h o di sa r a p i dw a y ，i ti sav i r t u a lw a y s oi ti sn o ts u i t a b l ef o rr e a lc i t i e s a tp r e s e n t ，t h e r ea r e al o to fr e s e a r c hf o c u s i n go ni m a g e b a s e d3 d c i t ym o d e l i n gt e c h n o l o g y i th a sm e r i t o f e a s i l yd a t aa c c e s s i n g ，l i g h t e rw o r k l o a da n dl o w e rc o s t f o rt h er e a s o n sa b o v e ，t h i sp a p e rp r o p o s ea na p p r o a c ht om o d e lc i t yb u i l d i n g s b a s e do ni m a g es e q u e n c e sa n du t i l i z et h ec o n c e p t i o no fm u t u a li n f o r m a t i o ni n i n f o r m a t i o nt h e o r y t h eb a s i ci d e ai s ：w ed r a wt h eo u t l i n eo fb u i l d i n g sw i t h g o o g l e e a r t hf i r s t ，t h e nu s et h ei m a g es e q u e n c e so ft h eb u i l d i n g sa l o n gt h es t r e e tt o c o n s t r u c tam u l t i v i e wp a n o r a m a ，u s i n gw h i c hw ed e t e c tt h et o pa n db o s o m o u t l i n e so ft h eb u i l d i n ga u t o m a t i c l y a f t e rt h a t ，w ed e t e c ta n dr e p a i ro b s c u r e d t e x t u r er e g i o nb yu s i n gt h ec o n c e p to fm u t u a li n f o r m a t i o na n dav a r i e t yo fm e t h o di n i m a g ep r o c e s s i n g ，f i n a l l yw ee x t r a c ts o m ee n r i c h e dd e t a il sf r o mt h et e x t u r et o g e n e r a t em o r ev i s u a l l ym o d e l c o m p a r e dw i t ho t h e rm e t h o d s ，o u ra p p r o a c hh a st h ef o l l o w i n ga d v a n t a g e s ： e a s i e rd a t aa c c e s s i n g m o r e v i s u a l l yt e x t u r e e x t r a c t i n gs o m ed e t a i l so f t h eb u i l d i n g s s t r u c t u r e k e y w o r d s ：3 dc i t ym o d e l i n g ；p a n o r a m a ；m u t u a li n f o r m a t i o n ；i m a g ec o m p l e t i o n ； i m a g es e g m e n t a t i o n 1 1 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得逝鎏盘堂或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：岈 签字日期：y 年月7 日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 嘞蟛 刷稚轹帮2 1 i i ! - 字i i i i ：姗蛩年6 其7 日 浙江人学硕士学位论文第1 章绪论 1 1 课题的背景及意义 第1 章绪论 城市是一个复杂的系统，涉及到地理学、建筑学、生态学、规划学等多门 科学，体现了经济、科技、社会的时空演变。城市信息化已成为未来城市发展 的趋势，很多政府部门及商业部门需要城市模型辅助制定发展规划。在很多新 兴领域如虚拟现实和数字娱乐业需要城市模型作为仿真的背景。网上3 d 城市 地图让我们足不出户就可以快速的游览一个远在千里之外的城市。这一切的一 切，都因为城市建模技术的发展而得到应用，同时也因为这些需求让城市建模 技术得到了更好的发展。三维城市建模有许多不同的用途，主要用于真实城市 的数字化和测量工作，表示和分析现有的建筑或者对城市进行规划评价。 1 2 目前现状及本文算法概述 1 2 1 三维建模技术的研究现状 三维的城市模型提供了一种对真实城市的逼真表示，三维城市建筑物建模 的基础是三维建模技术。 三维建模技术研究如何在计算机中表示三维对象，它研究如何快速自动或 半自动的构建模型、操纵模型。目前利用计算机构建物体的三维模型的方法主 要有：几何造型的方法、用精密设备获取三维模型的方法和基于图像的建模方 法三种。 几何造型的方法是指通过点、线、面、体等几何元素的平移、旋转、缩放 等几何变换和并、交、差等集合运算，产生实际的或想象的物体模型。在几何 造型系统中，描述物体的三维模型有三种：线框模型、表面模型和实体模型。 线框模型就是用顶点和边来表示建筑物，其中没有面的信息；表面模型在线框 的基础上，增加了物体上面的信息，用面的集合来表示建筑物；但是线框模型 和表面模型保存的物体的三维信息都不完整。实体模型贝u 是用体素来表示物体， 它能够完整地表示建筑物的形状信息。根据表示方法的不同，实体造型又可以 浙江大学硕士学位论文第1 章绪论 分为：分解表示几何造型、构造实体几何造型( c s g 模型) 、边界表示造型( b r e p 模型) 以及混合造型等多种。几何造型方法起源于上世纪七十年代，现在已经 广泛地应用在计算机辅助设计、广告制作、影视制作等领域。利用现有的几何 造型软件生成三维模型，如a u t o c a d 、a u t o d e s k 、3 d sm a x 、 m a y a 等，可 以创造出逼真的模型。但是这种方法创作过程复杂，从头搭建场景往往需要耗 费大量的时间和工作，并且需要操作人员熟练应用造型软件，随着模型的复杂 程度和规模的增加，需要的时间和难度也相应地大大增加。模型导入技术应用 丰富的模型库来加快设计，已经成为当今游戏设计等领域的主流技术。但是一 般需要现场测量、定位或者转换现存的c a d 数据。文献【1 】【2 】中都是采用几何 造型的方法来对建筑物进行建模的。 用精密设备获取三维模型的方法利用精密的、昂贵的设备，如激光探测仪、 雷达扫描仪等，直接测量出物体表面上点的三维坐标。通过对物体表面进行高 精度、全方位、高密度的扫描获得完整的点数据，这一类系统可以获得精确的 三维模型，因而对形状复杂的物体也能够很好的进行建模。根据扫描仪不同的 测头结构，这类方法可以分为接触式和非接触式两种，其中，接触式测头又可 以分为硬测头和软测头两种，接触式测头需要与被测物体直接接触来获取物体 的三维信息。非接触式测头利用了光学及激光原理，如三维激光扫描仪。三维 激光扫描仪利用激光扫描物体表面，物体表面的反射光成像于光检测器的表面， 然后根据光学三角法测量原理计算出物体表面的深度信息。利用扫描仪获取三 维模型的方法精度高、构建模型所需的时间相对较少，因此广泛地应用于工业 上的反向工程、虚拟现实、环境仿真等领域，其它应用领域还包括工业设计、 医学测量、医学仿真、服装制鞋等领域。但是高精度三维扫描仪等硬件价格昂 贵，操作复杂，并且它只能得到物体表面的几何信息，对于表面纹理仍然无法 自动获得，因而应用场合有限。 基于图像的建模就是利用计算机视觉和计算机图形学知识，从单幅图像或 图像序列中恢复出物体的三维模型，它是用相机拍摄照片的逆过程。其图像获 取工具一般是数码相机等，价格低廉，并且可以获得具有照片级高度真实感的 模型。基于图像的建模技术可以分为基于单幅图像的建模、基于立体图像对的 建模、基于图像序列的建模三类。基于单幅图像的建模方法充分利用人对自然 一2 一 浙江大学硕士学位论文第1 章绪论 场景理解的先验知识从单幅图像中恢复出建筑物场景的三维模型。由于这种方 法具有较强的实用性，许多研究人员在这方面做了大量的工作 3 】【4 】。根据其重 建模型的基本几何单元不同，又可以分为：以体为基本单元的重建方法、以平 面为基本单元的重建方法、以曲面为重建单元的方法等几种。基于立体图像对 的建模方法根据匹配两幅差别较小的透视图像求出空间点的深度，从而重建出 物体的三维模型。p o l l e f e y s 的方法 5 】 6 就是利用立体图像对进行建模的。它有 自动化程度高和可以处理比较复杂的曲面的优点。但是其花费的时间较长，而 且对于颜色比较单一或有重复纹理的图像匹配效果不好，会严重影响重建模型 的效果。基于图像序列的建模方法从不同角度拍摄一个三维物体得到一系列图 像，每张图像都可以抽取出物体的部分轮廓，从投影中心出发的经过轮廓点的 射线构成了一个锥壳。不同角度拍摄的图像序列中提取的所有锥壳的交集就构 成了物体的三维模型。如果采样足够密集，就可以得到比较精确的实体模型。 c h i e n 和a g g r a w a l 7 提出了利用正交投影从多幅图像提取建筑物实体模型的 方法。p o t m e s i l 8 和s t r v a s t a v a 9 提出了利用任意多幅透视投影图像构建实体模 型的方法。文献f 1 0 1 就是利用图像序列进行建筑物建模的，该文以平面和圆柱 面为重建单元从单幅透视图像中恢复建筑物的局部的表面模型，然后将从多幅 图像中得到的局部模型合并为一个整体，从而得到建筑物的完整模型。对于凸 物体而言，这种方法简单可靠，但是实际生活着那个大部分物体要么有起伏， 要么有空洞，对于这样的物体使用这种方法就会丢失细节。 1 2 2 本文的算法 本文算法的基本思想是，首先从g o o g l e e a r t h 上勾勒出建筑物的轮廓，然 后基于建筑物正面拍摄的图像序列构造多视点全景图，并从得到的全景图自动 提取建筑物的上下边缘，利用了城市建筑物的结构特性对从全景图中得到的纹 理进行遮挡的修复，这里，我们利用信息理论中的互信息的概念来检测，采用 结合多种图像处理的方法修复被遮挡的纹理，最后从得到的纹理中提取一些更 为丰富的建筑细节以得到视觉上更为真实的模型，这里我们利用了互信息的概 念和图像分割的方法。 本文的具体流程描述： 一2 一 浙江人学硕士学化论文第1 章绪论 步骤l ： 步骤2 ： 步骤3 ： 步骤4 ： 步骤5 ： 步骤6 ： 步骤7 ： 拍摄建筑物的正面图像序列，g o o g l e e a r t h 上交互出建筑物轮廓。 由图像序列构造多视点全景图。 从全景图中自动提取建筑物的上边缘，下边缘。 建立初始的建筑物几何模型，相应的粗糙的正面纹理。 正面纹理中的遮挡区域的检测与修复。 正面纹理巾提取建筑物的结构细节。 建立更精确的建筑物模型。 1 3 本文涉及的关键技术 本文提出的解决方案主要利用了计算机视觉和计算机图形学中的方法。包 括全景图的构造，边缘提取，纹理修复等等，并结合了概率论与信息论中的互 信息方法。本文涉及的技术主要为： 1 3 1 全景图构造 这里提到的全景图由一系列有重叠边界区域的普通图像进行无缝拼接生 成。全景图按其组成图像的视点的不同可以分为两类：一类就是通常所说的单 视点的全景图1 1 1 ，它由固定位置的相机所拍摄的一系列图像构成。另一类就 是多视点全景图，“p u s h b r o o mp a n o r a m a s ”1 2 1 、“a d p a t i v em a n i f o l d s ”1 3 、 “x s i i t ，1 4 1 、条带全景图等都是由平移着的相机拍摄的一系列图像拼接而成。 全景图按其拼接算法可分为：一类是基于像素灰度差最小化的方法，另一类是 基于特征匹配的方法。拼接过程可分为四个步骤：投影，匹配，拼接，融合。 1 3 2 线段提取 从图像中提取线段是图像处理的基础工作，已提出了许多线段提取的算法。 最具代表性的是h o u g h 变换算法和基于连接的算法。 基于h o u g h 变换f l5 1 的算法的特点是利用直线和点之间的对偶关系，将线 段提取的问题转化为处理点的问题。这类方法具有全局性好，抗噪声的优点， 但处理耗时耗空间，对计算机硬件要求比较高。 一4 一 浙江大学硕上学位论文第1 章绪论 基于连接的算法，包括启发式连接算法，相位编码算法等等。这类算法大 致分三步，第一步，进行边缘提取，使用适当的边缘算子提取边缘像素点，一 般使用c a n n y 算子；第二步，将边缘像素点近似组合成线段。组合成的线段长 度较短，数量较多；第三步，采用一定规则将短的线段连接成基本线段。这类 算法速度快，局部性好。 本文所做的工作中采用了线段提取的算法，但对其做了适当的改进，使之 更适合我们的需要。 1 3 3 高斯混合模型 高斯混合模型( g a u s s i a nm i x t u r em o d e l ，简称g m m ) 【16 】是单一高斯概率密 度函数的延伸。由于g m m 能够平滑地近似任意形状的密度分布，因此近年来常 被用在图像处理中。基于聚类的高斯混合模型是建立在聚类算法和传统高斯混合 模型的基础上的一种建模方法。 对于观测数据集x = 五，恐x n ) 中的单个采样薯，其高斯混合分布的概率 密度函数为式( 1 1 ) - k 以誓io ) = z ：k p k ( x , i 皖) ( 1 1 ) 式中： 瓦混合系数，表示各混合成分的先验概率； o = ( q ，色& ) 为各混合成分的参数矢量： 幺= ( 以，。) 高斯分布的参数，即均值和方差。 利用已知的观测数据集，我们可以用极大似然法来估计高斯混合模型的参 数。当然，还有很多更有效的方法可以用来估计高斯混合模型的参数，这里就 不一一叙述了。有了这些参数估计，我们就可以采用已得到的高斯混合模型来 聚类和建模了。 1 3 4 图像修复 数字图像的修复是指填充图像内缺损的区域的处理过程，其应用范围很广。 一5 一 浙江大学硕士学位论文第1 章绪论 比如场景内多余目标的去除，受损图像的恢复等等。目前的修复算法主要包括 基于偏微分方程的修复方法 17 】和基于纹理合成的修复方法【18 】。 基于偏微分方程的修复算法是利用扩散方程将已知区域的边界信息扩充到 未知区域，从而完成修复过程。但扩散往往会造成图像的模糊。 基于纹理合成的方法分为两类：一类是基于局部的合成方法，算法每一步 合成一个像素或一块区域。这类方法仪考虑局部修复的连续性，难以保证最终 结果在视觉上的全局连续性。另一类是基于全局优化的方法，该类方法建立一 个全局目标函数，合成后的区域的总体偏差和不连续性，算法将优化这个目标 函数，来达到合成的最佳效果。 1 3 5 图像分割 所谓图像分割f 1 9 1 是指将图像中具有特殊含义的不同区域分割开来，这些 区域是互相不交叉的，每个区域都满足特定区域某种信息的一致性。 常见的分割技术分为几类：直方图闽值法【2 0 ，颜色聚类法【2 l 】，基于邻域 的方法。 直方图阈值法是灰度图像广泛使用的一种分割方法。直方图阈值法不需要 先验信息，计算量小，其缺点是分割不完整，没有利用局部空间信息。 由于色彩的不独立性，将多通道图像分解为独立的直方图进行操作是不可 行的，并且多维空间的阈值没有合适的标准，因此颜色聚类技术就取代基于直 方图的颜色分割技术而被广泛采用。颜色聚类技术分为两类：直方图阈值法的 多维扩展和多维聚类。这类方法克服了过度分割现象，过程简单。 基于邻域的方法包括区域生长、区域分裂与合并技术、分水岭分割算法、 基于随机场的方法。基于邻域的方法是指连接具有相同或相似性质的邻近像素 而得到分割图像的方法。马尔可夫随机场是图像分割中最常用的种统计学方 法，其实质是把图像中的各个点的颜色看成是具有一定概率分布的随机变量。 一6 一 浙江大学硕士学位论文第1 章绪论 1 4 本文的结构安排 1 4 1 数据的获取 我们的原始数据主要包括两类，第一类数据是从g o o g l ee a r t h 上找到准备 实施建模市的卫星图像，在获取数据时要注意保存经纬度等相关信息。第二类 数据是沿着街道所拍摄的建筑物的正面纹理。拍摄时将相机固定在车上，拍摄 时要保证相机相对水平面的夹角是固定，相机相对于地面的高度是固定。在拍 摄每个街区时，我们记录拍摄时相机与水平面的夹角，相机相对与地面的高度， 以及相机相对建筑物的大致距离。并对拍摄的每个街区的图像序列编号，以便 于将图像序列与g o o g l ee a r t h 上勾勒的建筑物轮廓进行对应。 1 4 2 论文安排 本文的结构安排如下： 第2 章主要介绍了初始模型的建立。包括由视频序列构造全景图，由g o o g l e e a r t h 勾勒出建筑物轮廓，建筑物上下边缘的自动提取，以及初始模型的建立。 第3 章主要介绍了建筑物楼层高度和楼层位置的确定以及正面无遮挡纹理 的合成。 第4 章主要介绍了如何将建筑物楼层进一步细分为建筑单元以及在建筑单 元上添加细节。 第5 章对全文工作做总结，并展望未来的工作。 一7 一 浙z 1 夫学# * 女 # 2 t 韧始* ￥4 i 第2 章初始模型的建立 2l 多视点全景图的构造 原始数据为牿着街道对一侧建筑物拍摄一段图像序列，由于现在城市中 的建筑物都比较大，很难在一帧图片中容纳整个建筑物的正面，而且，我们希 望建筑物在图像中尽可能平行于图像的x 轴，因而采取构造多视点全景图的方 法柬得到尽可能长尽可能平直的建筑物图像a 我们用类似文献 2 2 】中的方法 构造全景图。其过程分为以下几步： 2 1 1 预处理 在得到建筑物的图像序列后，我们首先计算每一帧照片对应的投影矩阵， 将图像序列投影到将要建立的图像平面上。 如果有1 3 帧照片，根据文献【2 3 】提到的方法，对每一帧，可以得到一个3 d 的旋转矩阵兄，一个3 d 的平移矩阵f ，和一个焦距，。这样，第i 帧图像拍摄 利在世界坐标系的位置能够由e = 一科r 定义。对输入的每一对照片匹配s i f t 特征点 2 4 1 并用这些点匹配作为约束来进行个最优化处理，就可以得到投 影矩阵的参数和一系列相机相对位置的稀疏的三维点云，如图2 i f 舢，图2 , 2 。 图2i 由图像序列得到的稀疏点云 ( 酊沿着相机方向啦) 由点云得到的主平面 接下来就是对照片之间的曝光变化进行处理，文献【2 5 中的方法能够很好的 一8 一 浙江大学硕士学位论文第2 章初始模型的建立 计算出照片之间的曝光映射函数，但是因为我们的结果不需要极其精确的曝光 调整，所以采取一种相对简单却又能满足我们要求的方法。对每一帧图像， 给定一个亮度缩放因子砖，则我们可以用砖= 勺表示两幅图像和l 对应 区域的曝光一致。匹配两幅图像的每一个s i f t 特征点增加了一个约束。我们 通过最小二乘的方法求解一个线性系统来得到k j ( 这里我们有一个弱的先验信 息就是每一个七；= 1 ) 。 接下来一步要确定全景图的成像平面。这个成像平面应该大致与建筑物的 主平面相对应，使构造的全景图更加的清晰。 有两种方法可以用来选定建筑物的主平面，如图2 1 ( b ) ，黄色的线表示选 定的主平面，因为给定的例子中建筑物存在前后两个主平面，所以为减少投影 视差，我们将构造两张全景图分别对应两个主平面： 第一种：自动的方法 对之前得到的稀疏点云进行主元分析( p c a ) ，有最大变化的那一维作为x 轴， 有最小变化的最为y 轴。 第二种：交互的方法 当然，用户也可以手动选择坐标系。 2 1 2 基于马尔可夫随机场的视点选择 我们现在可以通过以下方式来构造全景图了： 对要建立的全景图中的每一个像素，从可能的视点中选择一个视点，然后 将该视点的源图像颜色映射为全景图中对应像素颜色。 可通过以下属性来衡量全景图构造的好坏的： 一，场景中的每个物体在全景图中由大致正对它的视点构造，以避免透视 变形。 二，明显的局部的透视效果。靠近成像平面的物体要比远离成像平面的物 体看起来要大。 三，看不出明显的透视区域之间的缝合线，即图像看起来自然和连续。 为使得构造的全景图满足以上属性，我们构造了式( 2 1 1 的目标函数来近似 。9 。一 浙江大学硕士学位论文 第2 章初始模犁的建立 衡量了这些属性。 ( a d ( p ，三( p ”+ h ( p ，三( 尸) ) + v ( p ，三( p ) ，g ，三( g ) ) ( 2 1 ) 式中： 三( p ) 像素p 的标签，表示了p 由第三( p ) 幅图像对应的像素区 域构成； d ( p ，三( p ) ) 表示全景图中的每个物体( 像素) 取自位于其正前 方的视点的图像； h ( p ，三( 尸) ) 全景图中图像拼接区域由接近于平均颜色的一侧 图像像素构造； v ( p ，三( p ) ，q ，三( g ) ) 根据文献 2 6 】可知该项反映了前述全景图构 造的第三个判断准则。 上式中越大的口使得构造的全景图视点之间的变化越明显。更小的口和 使得远离主平面的物体更可能被移除。本文中取口= 1 0 0 和= 0 2 5 。 具体的，式( 2 1 ) 中第一项取为： d ( p ，三( p ) 2p p 帅) l ( 2 2 ) 式中：罡( 尸) 第三( p ) 幅图像的相机位置投影到全景图中的位置。 式( 2 1 ) 中第二项取为： 州出0 卜乞力 ) l 翟“。 ( 2 3 ) l其它 式中： m ( p ) 所有图像中对应像素p 的像素的平均颜色； t ( ，) ( p ) 第三( p ) 幅图像中对应像素p 的像素的颜色； 盯( p ) 所有图像中对应像素p 的像素颜色的标准差。 式( 2 1 ) 中第三项取为： v ( p ，三( p ) ，g ，三( g ) ) = i l ( p ) ( p ) - i l ( ，) ( p ) 1 2 + l l ( p ) ( g ) 一t ( ，) ( g ) 1 2 ( 2 4 ) 式中： t ( p ) ( p ) 第三( p ) 幅图像中对应像素p 的像素的颜色； t ( ，) ( g ) 第三( p ) 幅图像中对应像素q 的像素的颜色。 第2 始# $ 4 t 这个代价函数跟马尔可犬随机场有相似的形式。可用几种方式实现最小化 求解我们用文献【2 7 】和【2 8 】中的方法来求解这个问题c 图2 2 为图像序列中的四幅图像，得到的辛景图盘图2 3 f a ) 一( b 1 ， 其中圈 ( a ) 选定的成像平面为建筑物左边的主平面，全景图右侧建筑物略有变形圈( b ) 选定的成像平面为建筑物右边的丰平而。可以看出当成像平而与建筑物十平 面不一致时，建筑物的成像会有变形。所以我们在处理时根据需要使用不同的 全景图。 圈2 2 冉l 像序列的其中四幅 2 村蛤模i 的 图23 由罔像序列构造的争景罔 2 2g o o g l e e a r t h 上建筑物轮廓的指定 建筑物的轮廓提供了建筑物的大致形状。我们是在g o o g l e e a r t h 上交互勾 勒出建筑物的轮廓的。g o o g l e e a r t h 的甲星影像是卫星影像与航拍数据的整青， 免费为我们提供了精度颇高的建筑物轮廓数据和建筑物的顶丽纹理。我们按顺 序在g o o g l e e a t t hr 勾勒出建筑物的轮廓，如图2 , 4 同时保存每个点对应的经 纬度坐标，并利用g o o g l e e a r t h h 的测距工具测卅轮廓线的长度。保存点的经 纬度坐标是为了更方便的找到建筑物模埤! 在真实3 d 1 世界巾的坐标，而测距工 具得到的长度也提供了建筑物真实长度的一个大致的估计。 2 图2 4 建筑物的轮廓线，绿也表示与正住处理的仝最圈对应的轮廓线 2 3 建筑物上边缘的自动提取 这里，我们先作一些很合理的假设，第 ，假设所构建的全景图一h 建筑 物屋顶之上诬有足够区域的天空( 多十1 0 个像素宽) 。第二假定建筑物比较 高，不会树木等述挡住建筑物中上部。这些假设基于以下事实：第一，获取图 像数据时，可以人为控制拍摄的角度将天空容纳进去，或者可以固宅两个( 或 多个) 相机的相对位置进行拍摄然后采用前面类似的方法处理得到想要的结 果。第二，本文处理的情况是长长的沿街建筑，而崮内城市中沿街建筑大多为 多层建筑。 首先，我们根据颜色信息检测人致的天卒区域。 这里，我们利用丁天空的一些特征： 一，市u 对于建筑物，天字的亮度更高。 二，天空的颜色巾，蓝色分量很大。 三，大致同一时间内拍摄的照片中，天空的颜色变化不会很大，所以构 造的全景网巾天空的颜色变化也不会a 大。 四，天空区域是连通的。 溪嚣馔建。缸盛匿匿誓一誓芦 坠! ：塑型：! ! ! ! 业! 墨塑兰兰 ( “天空检测 f b 馄取的边缘 f c 健筑物的上边缘和下边缘 图2 5 建筑物边缘提取结果 根据r 面的这些特砒检测天空区域可分为以r 几步： 一，先根据全景圈最上端区域( 本文采用的是6 个像素宽) 计算天 空颜色三分量的均值，m ，以及相应的方差、；，1 ；，u - 二，往下搜索全景图中像素，如果尚未被搜索过，且该像素的颜色 各分最与计算出的天空各相关值相差不大将这些像素加入天空区 4 浙江人学硕士学位论文第2 章初始模型的建立 域中 三， 更新天空颜色三分量的均值m ，以及相应的方差一， 名，吩。 四，重复第二步直到没有像素能够再加入到天空区域中。 这样我们就能得到一个大致的天空区域，如图2 5 ( a ) ，之后可以利用【2 9 】 中g r a p h c u t 的方法得到更精确的结果。 得到准确的天空之后，我们就可以对边界进行线段提取，首先，为了排除 噪声，首先找出包含像素最多的那个连通域，其次，用求最短路径的方法找出 从图像左边到图像右边的轮廓线，这样可以排除连通域中那些短的分叉的干扰， 并且保证与一个像素连通的像素为两个( 两端点除外) 。然后，按连通的顺序将 这些轮廓点连接起来，分段进行拟合。最后，对成功拟合的线段进行合并，延 伸，求交点等操作，直到所有的边界像素被成功的拟合为止。 由于我们构造的全景图的特殊性，容易根据拟合的线段的斜率来判断它是 属于平行于地面还是垂直于地面抑或是其它的线段。结合建筑物的轮廓线，即 可以得到建筑物的上边缘，如图2 5 ( b ) ( c ) 。 2 4 建筑物下边缘的自动提取 如第一章所述，拍摄序列图像时我们固定相机的焦距和相机的高度，固定 相机与水平面的夹角，对建筑物正面进行拍摄。所以我们已知相机的焦距厂， 视线方向与地平面的夹角秒，以及相机相对地面的高度h ，以及相机到建筑物 的大致距离z 。 这样，对我们得到的每一张照片，我们先用文献【3 0 】的方法计算它的垂直 消失点纪。如图2 6 ，可知：四边形为成像平面，尸为成像平面上的主点( 一 般在照片的正中心) ，p a 为过主点尸且过垂直消欠点理，的方向，这个方向为 垂直于地面方向在成像平面的投影。e 为相机位置，么尸c ，彳= 乡。 一1 5 浙江大学硕士学位论文第2 章初始模型的建立 则： 图2 6 下边缘点的提取 c , a i = f c o s t 9 我们延长p a 至b 使得： 幼c b = a r c t a n ( hi t ) 则可知i p b i = f * t a n ( o + a r c t a n ( h 1 ) ) ，这样就可以求得点b 的坐标。而点b 就 是下边缘上的一个点。当然，由于相机到建筑物的距离，是一个大致估计，并 且视点与地平面的夹角曰以及相机的焦距都有可能因为抖动等原因有所变化， 尽管如此，我们仍可以计算出点b 的大致范围。 对得到的每一幅图像都做上述操作，就可以在每一幅图像中找到一个建筑 物的下边缘的范围。在构造全景图时，每个视点下的图像中的可能的建筑物下 边缘点也同时映射到全景图中，以所有可能的下边缘点在全景图中】，方向的平 均位置做一条平行于x 轴的线段。线段的两个端点分别与我们提取的上边缘的 两端点对应( x 坐标相同) 。这条线段就是我们求得的建筑物下边缘，图2 5 ( c ) ， 绿色的线表示建筑物的下边缘。 2 5 初始模型的建立 有了之前的数据的准备，就可以建立建筑物的初始模型了，首先，将全景 图与g o o g l e e a r t h 上勾勒的建筑物轮廓线对应起来，其次，利用前面得到的建 筑物的上边缘和下边缘组合出城市建筑物的一个正面，并且得到相应的纹理， 由构造全景图的过程知，纹理的长宽比对应着建筑物的长度与高度的比例。再 一1 6 mt 【夫f m t f 忙论i * 2 章 始模4 上 结合从g o o g l e e a r t h 中得到的轮廓线对应的实际距离和方位，就可咀得到建筑 物模犁的具体高度和方位。这罩我们只是简甲地用一个垂直丁地面的多边彤 米表不建筑物的正面，并且得到的纹理也是粗糙的，没有去处理遮挡的纹理+ 如罔27 。 2 6 本章小结 幽27 初始模型 本章介绍了如何由拍摄的图像序列构造全景罔，提取其上边缘和提取下边 缘等，构造建筑物大致的几何模型以及相应的纹理数据。与g o o g l e e a r t h 上得 到的数据相结合可得到模型位置和朝向。 浙汀大学硕士学位论文 第3 章楼层结构的提取和无遮挡纹理的合成 第3 章楼层结构的提取和无遮挡纹理的合成 尽管对于一些狭窄的遮挡物，在构造全景图时，可以通过选择视点在画面 上去除掉这些遮挡，但最终得到的全景图仍然存在不少被茂密的树木遮挡的区 域。前一章中我们得到了建筑物的初始的模型，其中建筑物正面的纹理仅仅是 将全景图中的对应区域映射上去，而关于建筑物的楼层结构数没有任何估计， 并且对于那些被茂密的树木遮挡的区域也未做任何处理，这样建筑物正面信息 仍然不完整。 由于假定沿街建筑物都比较高，树木一般不可能将建筑物的3 层或者4 层 以上的部分遮挡住，而且，对于城市大部分建筑物，都有这么一个特性，就是 除了最下面一层上面几层的外观结构都是类似的。很自然的我们就想到可以利 用上层的未被遮挡的部分来检测和修补下层被遮挡的部分。 3 1 基于互信息的相似性检测 3 1 1 互信息的原理 在概率论和信息理论【31 中，两个随机变量的互信息( m u t u a li n f o r m a t i o n ) 可用来衡量这两个变量的相互依赖性( 相关性) 。 形式上，两个离散变量x 和y 的互信息可定义为： m ( 础) 2 善萎xm 啪g ( 焉) ( 3 1 ) 庳难，l “，2 u 7 ， 式中：m i ( x ，】，) 变量x 和y 的互信息 p ( x ，y ) x 和y 的联合概率分布函数 舅( x ) - x 的边缘概率分布函数 仍( y ) y 的边缘概率分布函数 直觉上，互信息衡量了x 和y 的共享信息： 例如，如果x 和y 是相互独立的，则知道x 的信息不能提供关于y 的任 一lr 浙江大学硕士学位论文第3 章楼层结构的提取和无遮挡纹理的合成 何信息，反之亦然，所以它们的互信息为0 。另一种极端情况，如果x 和y 是同一个变量，则x 和y 共享所有的信息。 最早，互信息被用到医学图像的配准上，当两幅图像配准时，它们的互信 息量最大，基于同样的道理，对建筑物图像，当图像的两块区域可以匹配的时 候，它们的互信息量也应该最大。文献 3 2 利用互信息来检测图像的相似区域， 本文的工作就是受到了它的启发。 为了利用m i 来衡量图像区域r 1 和r 2 的相似度，我们将像素的亮度值扩展到 多通道的颜色空间中。为叙述简单，下面我们仍考虑对应象素对的亮度值。边缘 分布和联合分布分别用对应像素的亮度直方图来表示。基于互信息的相似度 m i ( i ( r 1 ) ，( r 2 ) ) 衡量了区域r 1 和r 2 相应位置的亮度的统计相关性。这里 i ( r 1 ) 和，( r ) 表示区域r l 和r 2 里的像素的亮度这个离散的随机变量。下一步我 们就利用m i ( i ( r i ) ，( 恐) ) 来找到建筑物中的每层楼的位置和楼的高度。 3 1 2 对称性检测 本章中提到的图像都是指我们需要考虑的纹理区域。我们利用互信息来找 出图像中相似的楼层， 在垂直( y ) 方向上，用尺山表示图像上左上角为( 0 ， v ) ，右下角为( w i d t h ，y + h ) 的矩形区域。为了检测在垂直方向上的重复性， 对任意的y l ，y 2 ，以及h ，似需要分析r 儿。和r 儿。的相似度。直观上我们需 要穷尽搜索y 1 ，y 2 ，以及h 张成的3 d 空间，这是非常耗时的，但是考虑到建筑 物的层与层相邻连接的特性，我们只需要考虑相邻的区域ry , h 和尺，+ 胁，这 样，就可以减少搜索需要的计算时间。相邻区域的相似度计算如式( 3 2 ) ： s ( y ，厅) = m i ( i ( r m ) ，i ( r m ) ) ( 3 2 ) 因为建筑物每层楼的高度都在一定的范围内( 2 - 4 米) ，基于这一高度范围 再利用构造全景图时得到的参数，可以计算出在全景图中每层楼可能的像素高 度。为进一步减少搜索时间，我们只需搜索所有可能的y ，以及这个范围内的h 。 对每个可能的y ，最大的相似度表示为： 一1 9 浙 似论女* 3 镕目拯e 自* 近挡垃4 m s ( y ) = m a x ( s ( y ， ) ) ( 33 ) 对每个可能的y ，使相似度取刘最大的h 表示为： k 。( y ) = a r g m a x s ( y ，h ) ( 34 ) 从图31 中可以看出对搜索范围内的h t 尽管对不同的y ，s ( 弘帅的峰 值不样，但是使之取峰值的h 比较一致，这正符台了当h 为一层楼高度时， 上下两个区域刚好对应了上下两层楼( 或者都上下平移了同样的高度) ，所以它 们之间的互信息达到极大这个预想，这样，我们就町以得到的h ，也就是一层 楼的高度( 毗像素记) 。 图31 不管红色的线整幅图是我们没有限制h 值的结果，可以看出，使 s ( y m 取局部极值的h 值有明显的倍数关系。这正说明丁每两层楼( 或更多) 之间的相似性也是很大的，从而从另一方而证明了前而得到的h 表示了一层楼 的高度。 图3l 互信息，红色的线之问表示h 的搜索范围，越黑表示且信息越大 3 1 3 楼层位置的确定 因为对于几乎所有的建筑物，顶楼上都会有一层区域用来隔热或做其它用 途( 为方便起见，我们称它为阁楼) ，它的外观跟中间楼层会有很l 人不同，返就 一2 0 浙“* 砸 “论女# 34 镕* # 目的提m w # 镕m 使得我们难以直接的得到建筑物楼层的具体位置。 确定了楼层的高度h 后，我们对所有0 y 3 h 的y 计算s ( y ， ) t 并且将 s ( v 月1 的值域分为三个等分的区间将值最大的那一类的平均值作为互信息的 一个阐值。然后从上往下搜索，当s ( y ，h ) 大于闽值并且达到极值或者是拐点的 时候就认为找到了楼层的具体位置。 这里需要说明的是，这里确定的楼层的具体位置其实也是一个大致的位置。 因为当阁楼的下部区域跟项楼的下部区域相似时，我们是无法通过互信息来衡 量其到底是阁楼的下部区域还是顶楼的上