建筑物图像识别

西安石油大学本科毕业设计（论文）建筑物图像识别研究摘 要：随着城市化进程的不断发展，城市人口、经济等要素密切影响着城市建筑物的几何形态与分布。从航拍图像或者卫星图像上快速准确的获取城市建筑物的信息不仅有利于地理空间数据的更新，而且对于有效监测新增建筑等城市专题信息有重要意义。不仅如此，近年来基于卫星图像或者航拍图像的建筑物识别与轮廓提取算法的提出与研究改进，更有助于实现对城市建筑物的识别和分类。其对 GIS 数据的获得、对影像的理解、大比例尺制图和及其它许多对遥感数据的应用都具有重要的意义。基于此，本文从建筑物轮廓的几何形态出发，对卫星图像中的建筑物轮廓的提取方法进行了研究。主要进行了如下几方面工作：1、阐述了建筑物提取的基础理论。对典型城市建筑物进行了特征分析，学习并理解在建筑物的轮廓提取中所要用到的算法，从中选择合适的边缘检测与轮廓提取算法。2、在对已有方法进行总结归纳的基础上，系统的研究了基于灰度特征与二值数学形态学的轮廓描述算法和基于边缘特征的Hough变换直线提取算法，对这两种算法进行改进，初步实现了典型城市建筑物的半自动提取。3、针对本文出现的方法进行编程实现，并针对试验结果对这两种方法进行综合的检测与评价，分析了这两种方法的特点及不足。关键词：卫星图像；建筑物轮廓；二值数学形态学；边缘检测；直线提取Building Image Recognition and ResearchAbstract: With the continuing developing of urbanization, the urban population, economic and other factors are closely affecting the city buildings geometry and distribution. It is not only conductive to the data updating of geospatial, but also has important significance of the thematic information for effective monitoring of new city buildings and so on that accessing information form the city buildings aerial images or satellite images fast and accurately. Moreover, in recent years, building on satellite images to identify and contour extraction or aerial imagery and research to improve the algorithm proposed, but also help achieve the identification and classification of city buildings. Its GIS data acquisition, image understanding, large scale mapping and many other applications are of great significance.This paper is start form the geometry of the building outline, doing research of the extraction methods for the building outline which from high resolution images. Mainly for the following work areas:1. Describes the basic theory of building extraction. Urban buildings typical characteristic analysis, systematic study of image processing algorithms to use in extraction of the building, from which to select the appropriate algorithm for edge detection and contour extraction.2. On the basis of summarizing the existing methods, the proposed feature extraction based on gray and binary mathematical morphology the contour edge detection algorithm based on linear Hough transform algorithm, the semi-automatic extraction of typical urban buildings.3. We were against the proposed method programming, and comprehensive testing and evaluation of these two methods for the test results, the characteristics and drawbacks of the two methods.Key words: Satellite images, Building outline, Binary mathematical morphology，Edge detection，Line Extraction目录1 绪论11.1 研究背景和意义11.1.1 研究背景11.1.2 研究意义11.2 研究现状21.3 本文的主要内容32 建筑物图像预处理的基础理论62.1 建筑物的特征分析62.2 建筑物几何特征分类62.3 图像增强82.3.1 灰度变换82.3.2 直方图均衡变换142.4 本章小结193 基于灰度特征的建筑物轮廓提取203.1 图像二值化203.2 二值数学形态学253.2.1 膨胀与腐蚀253.2.2 开启与闭合273.3 本章小结314 基于边缘特征的建筑物轮廓提取324.1 边缘检测324.1.1 边缘检测技术324.1.2 边缘的分析334.1.3 关于梯度的概念334.2 边缘检测算子344.2.1 罗伯特(Robert)边缘算子354.2.2 索贝尔(Sobel)边缘算子354.2.3 Prewitt边缘算子354.2.4 拉普拉斯(Laplacian)边缘算子364.2.5 坎尼(Canny)边缘算子374.2.6 边缘检测算子比较404.3 直线段提取424.3.1 基于连接的直线段提取算法424.3.2 经典Hough变换算法434.3.3 经典Hough变换实验结果464.4 本章小结485 总结与展望495.1 总结495.2 展望50参考文献51致谢53II1 绪论1.1 研究背景和意义1.1.1 研究背景近年来，不断发展的空间技术使卫星图像与遥感图像呈现出高空间分辨率、高光谱分辨率和高时间分辨率的特点。这些图像数据包含丰富的地物细节信息，为地物提取提供了丰富的数据源。人工地物是空间地理信息库中的重要元素，主要包括建筑物、桥梁、道路和大型工程构筑物，在城市区域的影像中80%的目标是建筑物和道路。建筑物作为重要的人工地物之一，与人们的生活息息相关，其提取对数字地图、GIS数据库更新、数字城市建模、虚拟城市、虚拟旅游、游戏业等的发展有很大的促进作用。基于此，建筑物信息的提取与描述方法处于不断的发展与完善过程中，是摄影测量与遥感、计算机视觉、图像理解等领域的研究热点，同时，由于问题的复杂性也是一个难点。因此，探索快速、高效、准确的从卫星影像中提取出建筑物轮廓的方法已经成为当前遥感应用研究领域一个重要的课题，急待解决。从实际应用角度来说，实现图像中建筑物的识别需要能够满足影像制图、地理信息系统的数据获取和自动更新的需要；从研究的角度出发，由于影像中目标的高度多样性和复杂性，成功的建筑物自动识别系统将为其他类型的影像理解问题提供具有普遍指导意义的理论和方法。因此，如何识别和提取图像中的建筑物是图像处理领域中的重要的研究课题之一。1.1.2 研究意义随着航空航天领域的技术越来越成熟，各种高分辨率卫星传感器的发射，所获取的地面图像质量也越来越高。利用卫星图像或者航空照片来对地物进行信息提取，大大提高了工作效率。伴随着海量卫星影像数据的提供，其信息提取与处理方法却相对进展缓慢。人工解译与人工判读仍然是普遍的工作方式，费时费力，成为制约高分辨率卫星影像大范围应用的主要瓶颈因素之一。从影像上自动识别地物类型并精确量测地物形状、大小，是卫星影像和摄影测量研究中的热点和难点，也是最终高度自动化地由影像获取基础地理信息的关键问题。人工地物是空间地理信息库中的重要元素。作为地物类别中的主要内容，建筑物的识别与提取占有很大的比例。作为地形图中重要的成图元素，建筑物的识别与提取，直接影响到地物绘测的自动化水平。由于建筑物具有明显的定位特征，所以对它的识别和了为特征提取、特征匹配、图像理解、制图和作为其他目标的参照体有重要的意义。从实际应用角度来说，实现影像中建筑物的识别需要能够满足遥感影像制图、地理信息系统的数据获取和自动更新的需要；从研究的角度出发，由于遥感影像中目标的高度多样性和复杂性，成功的建筑物自动识别系统将为其他类型的影像理解问题提供具有普遍指导意义的理论和方法。1.2 研究现状图形分析的基本任务之一是从航空或者卫星图像中自动提取人造目标。特别的，建筑物是城区的重要特征，提取建筑物的技术在城市制图、城市规划、地理信息工程以及军事侦察等领域有着广泛的应用。在这些应用中，产生了许多自动提取建筑物的方法。综合目前关于利用高分辨率航空相片或卫星影像提取建筑物等人工地物信息的方法，总体上大致可以分为两类： 第一类是研究的最为广泛和深入的方法，是利用图像信息结合高程信息进行建筑物信息的提取。该方法的主要原理是利用建筑物与周围环境之间存在的高差进行建筑物屋顶的提取，已经有大量的比较成熟的算法，如 CSG方法等。有些成熟的商业化软件系统就附加有此项功能。但此类方法大多需要辅助数据（如 DEM、DSM 等）。 另一类是利用影像信息结合图像处理与分析、机器视觉、人工智能等学科领域的新方法而实现对建筑物屋顶信息半自动甚至全自动的识别与提取。该方法的特点是不需要其它的外部信息源，也不需要多景图像，因此相对于前一种方法具有更为广泛的应用范围和应用前景。 由于后一类方法利用的信息主要是图像的灰度信息、光谱信息、建筑物的形态信息以及一部分先验知识，而缺乏对识别建筑物非常有用的表面高度信息，不像第一类方法中有大量信息可用。因此，从有限的图像表面信息中提取出建筑物的信息，其难度要较前者大。加之，高分辨率商业卫星数据的提供起步较晚，到目前为止，仍处于方法的研究和探索阶段。另外，由于建筑物本身结构的复杂性；在城市环境中，建筑物常常被一些其他人造目标或者自然目标包围，这就给提取建筑物造成影响，成为干扰因素。比如提取房屋的直线边缘时，如果该房屋边缘与道路平行且相邻，在边缘检测后的影像中很容易把道路和房屋边缘混淆；城市建筑物影像中，由于拍摄角度的倾斜容易使一部分建筑遮蔽了另一部分建筑，被遮蔽的建筑物的提取就还得根据其他信息或是采用特殊的方法来完成；另外，受光线的影响，建筑物的阴影也会对提取产生干扰，有时候阴影的灰度会与建筑物的灰度相接近，这样很难判断建筑物的边缘；还有就是我们所利用的影像还会受到成像条件、图像质量、光谱范围等因素的影响，造成信息的损失或者像片的差异较大。这些都是建筑物提取所面临的困难。本文主要研究第二类方法中的基于灰度信息与建筑物形态信息的轮廓提取算法。以下列出了一些国内外的研究现状。本类研究中对于建筑物的自动提取技术的研究，可以追溯到上世纪八十年代中后期。根据所查找的文献资料显示，南加州大学的 Nevatia 所领导的研究小组最早在美国国防高级研究项目管理机构的支持下展开了相关的工作，其研究成果代表了该领域研究的一个方向，A.Huertas和R.Nevada主要根据图像中线段的空间关系进行分析，结合感知分组理论对建筑物目标进行假设和验证1。进入二十世纪九十年代，建筑物自动提取技术的研究意义逐渐为更多的学者所认识。九十年代初期，该领域的研究逐渐展开，这一时期代表性的有R.B.Irvi，以及 yuh-tay liow等，其提出了利用阴影提取建筑物的新思路，充分挖掘图像中的有用信息，利用领域知识指导目标提取2。C.Lin 与Nevitia等提出根据感知分组理论，利用边缘检测算法得到图像中的边缘，再对边缘图像中的边缘线段根据空间关系进行分组，搜索平行线，并在此基础上搜索矩形，以组成符合建筑物空间结构的轮廓，从而得到建筑物位置3。在国内的一些专家学者对图像边缘检测以及对建筑物的半自动提取也做了比较深入的研究。赵洁等利用小波变换方法实现对遥感影像数据中的建筑物识别4。李魏岳等尝试使用边缘检测算子与数学形态学相结合的方法提取高分辨率多光谱影像中的建筑物信息5。王大莹等基于Matlab平台，采用数学形态学方法对数据实现建筑物边缘信息提取，并与LoG算子、Canny算子这两种方法进行了对比6。王永刚等利用数学形态学及区域标识和面积阈值分割等相关知识和技术实现提取建筑物轮廓信息提取7，王波等用边缘检测算子进行边缘检测后，再用改进的Hough变换提取直线段来完成提取建筑物的边缘检测8。赵月云等利用canny算子及影像分割技术实现建筑物信息提取9。赵国庆等基于数学形态学进行建筑物分类提取后，再利用Hough算法实现对建筑物边缘信息的提取10。上述方法都能提取出建筑物边缘信息，有的方法虽然简单，但是部分建筑物边缘空间信息会被遗漏；有的方法比较复杂，计算量大，不便于在实际应用中操作。1.3 本文的主要内容针对遥感图像中建筑物的检测和识别已经有了很多解决方法。但是，建筑物提取的最终目的是走向实际应用，国内外虽然已经实现了一些实验系统，但是距离真正完善的自动系统还存在差距，算法完全满足实用要求依然有待探索和完善。本文的目的就是将建筑物图形轮廓的识别与提取的算法作为方向，初步实现建筑物的提取与识别。本文中的图片数据均来自于谷歌地球卫星图像。本文的研究步骤如图1-1所示。本文分为五章展开。第1章 首先介绍了建筑物提取技术的应用背景与发展现状，然后介绍了建筑物提取技术的主要研究内容和现有的研究方法，最后介绍了本文的主要研究工作与及内容安排。第二章对建筑物的特征进行了分析，介绍了进行建筑物图像处理的的一些基础理论，包括了对建筑物图像处理前所要进行的图像增强的各种方法。第三章提出了基于边缘特征与二值数学形态学的轮廓描述算法，对该算法进行编程实现。并针对该算法给出的试验结果进行综合的检测与分析。第四章介绍了建筑物的边缘检测与直线提取的相关理论，并针对不同的边缘检测算子进行编程实现，对实验结果进行了比较，选择合适的边缘检测算子进行直线段提取。并对提取结果进行分析。第五章是总结和展望，总结本文的研究内容，提出进一步研究的方向。图1-1 论文工作流程2 建筑物图像预处理的基础理论在本章中，主要介绍了建筑物图像处理的基础理论，分别对建筑物的外观特征进行了分析并对图像增强的概念进行了理论介绍。为以后章节的建筑物轮廓提取奠定了基础。2.1 建筑物的特征分析建筑物虽然是一类很有规律的人造目标，但是如果从其风格和外形上来分，就会有成千上万种。但是实际上,在城市模型中，绝大多数建筑物的外形主要集中在少数具有代表性的类别中。本着适应普遍建筑物的目的,在实际操作中，可以对那些具有普遍特征的建筑物运用一定方法去自动化提取，对于复杂特殊的建筑物辅以人工手段来解决。建筑物作为一种比较规则的人工地物，如果从其风格和外形上来说，有成千上万种。但在实际上，对于城市建筑物，大多数的建筑物为矩形或矩形的组合，外形主要集中在少数具有代表性的模型当中。对于此类普遍类型的建筑物，其特征可以归结为以下几个方面：（1）几何特征建筑物在遥感影像上表现为面状地物，按照顶部的投影形状可以分为矩形、L 形、U形、以及由多直角构成的建筑物，它们的相邻边缘相垂直。按照顶部的立体形状分为平顶形和人字形。几何特征另外的表现就是排列比较规整，基本走向一致，大小一般是长几十米，宽十几米。（2）灰度特征建筑物在遥感影像上的灰度特征表现为，建筑物的边缘以及不同建筑物的连接处的灰度变化比较大，而建筑物内部灰度值相对比较均匀，与周围环境对比度比较大；屋顶与道路的光谱值相仿，但纹理不同；平顶建筑物的纹理分布均匀，人字形建筑物在同一侧具有相同的纹理。 （3）拓扑和上下文特征建筑物在影像上表现为规则的面状地物，具有多边形的拓扑特征，大多数为矩形或由矩形组合构成的多直角形状，与道路、水系等线性地物不相交，常常受其它建筑物或树木的遮挡。建筑物边缘附近存在阴影，建筑物周围通常是水泥地或绿地。 2.2 建筑物几何特征分类本文中采用的的建筑物具有鲜明的几何特征，而几何特征的分类是以构成屋顶的平面的个数来给大部分建筑物的屋顶进行分类11。大致可分为以下三种类型（1）单平面型实际上就是常见的平顶屋顶，整个屋顶是由一个水平平面组成。根据水平平面的外形不同又可以将其进一步分成诸如矩形、L型、U型、H型和任意多边型。.它们的外形大致如图2.1所示:图2-1 单平面屋顶类型（2）双平面型这种类型的建筑物一般是由两个斜平面相交形成屋顶，这也是一类比较常见的建筑物。根据两个斜平面的外形,它也可以细分为许多类型,其中较常见类别如图2.2所示:图2-2 双平面屋顶常见外形（3）四平面型该类型建筑物屋顶由四个斜平面相交形成，它是双平面屋顶的一种变异,其外形如图2.3所示:图2-3 四平面屋顶的典型外形 我们把常见的典型建筑物划分为上述3个大类。当然，这些类别不可能包括建筑物的全部类别(比如圆顶房屋)，但是希望可以概括大部分建筑物的类型。对于比较复杂而且无法用上述类型概括的建筑物，我们可以利用手工采集，或者将其加入到建筑物类别库中进行再分析。利用上述建筑物模型可以大大简化我们重建建筑物的过程以及获得较高的测量精度。2.3 图像增强在对图像中的建筑物进行识别与提取前首先要对图像进行增强处理，这有助于后续的识别并可以增强提取效果。图像增强技术大致分为三类：空间域法、频域法和模糊处理法。直接在图像像素空间进行处理的操作叫做空间域法；频域方法是将图像映射到某个变换域后再对图像进行处理；模糊处理方法12是先对图像进行模糊化映射，将其变换为特征平面上的模糊图像数据，再对该模糊图像进行相应的处理，使得经过逆映射后的图像具有特征增强的效果。从应用的角度，本节只对图像对比度增强的相关方法做简单的介绍。2.3.1 灰度变换灰度变换13是一种简单实用的方法,它可使图像动态范围增大，图像的对比度扩展，图像变清晰，特征变明显，是图像增强的重要手段之一。它分为线性变换、分段线性变换和非线性变换三种情况。令原始图像的灰度范围为a,b，线性变换后的图像的灰度范围为a,b，则和之间存在如下线性关系： 在线性变换中还有一种特殊情况当图像中大部分像素的灰度值在a,b范围内，少部分像素在小于a和大于b的区间时，为了使这少部分像素压缩为a和b之间，可做如下变换： 这种两端“截取式”的变换会造成一部分信息丢失。但有时这种取舍也是值得的，常用这种方法分析遥感资料降水问题。分段线性变换是为了突出人们感兴趣的目标或亮度区间，要求局部扩展亮度值范围。它可以有效利用有限灰度级，达到最大限度增强图像中有用信息的目的。它将0,s1映射到0,t1，s1,s2映射到t1,t2，s2,L-1映射到t2,L-1。 非线性变换通常采用自然对数变换把灰度空间从a,b扩展到a,b，它可以扩展中低灰度区域的对比度、压缩高灰度值，表达式如（2-4）所示： 图2-4 西安石油大学新校区图像图2-5 新校区图像线性变换效果图图2-6 新校区图像灰度直方图图2-7 新校区图像线性变换灰度直方图图2-8 哈佛大学建筑群图像图2-9 建筑群图像线性变换效果图 图2-10 建筑群图像灰度直方图图2-11 建筑群图像线性变换灰度直方图上图是建筑物图像灰度线性变换前后对比效果图。通过线性变换后的效果图可以明显看出，图像变得更加清晰，从变换前后的灰度直方图也可以看出，线性变换后的图像灰度对比度明显加大,但直方图形状变化不大。2.3.2 直方图均衡变换直方图是表示一幅图像灰度级分布情况的统计图，反映出具有某一灰度的像素数。数字图像的直方图的横坐标是灰度，一般用r表示,纵坐标是某一灰度值ri的像素的个数ni。则一幅灰度图像中灰度级ri出现的概率近似为 则 其中，n是图像像素的总和，k为图像对应的总灰度级数。直方图均衡化13是通过变换将原图像的直方图调整为平坦的直方图，然后用此均衡直方图校正原图像。直方图均衡化的变换函数如下所示： 其中，T是变换函数。图2-12 西安石油大学新校区图像图2-13 新校区图像直方图均衡化图2-14 新校区图像灰度直方图图2-15 新校区图像灰度均衡化后直方图图2-16 哈佛大学建筑群图像图2-17 建筑群图像直方图均衡化图2-18 建筑群图像灰度直方图图2-19 建筑群图像灰度均衡化后直方图上图是建筑物图像直方图均衡化前后对比效果图。可以看出图像的细节成分更加清楚了，通过直方图均衡化前后的直方图可以看出，直方图均衡化之前，低灰度的比例很大，直方图均衡化后的图像各灰度等级的比例更加平衡。2.4 本章小结本章从理论上介绍了建筑物图像预处理，包括建筑物的特征分析与常用的图像增强算法。包括灰度变换算法与直方图变换算法，并对两种算法编程实现，对结果进行分析，通过比较实验结果发现，采用线性灰度变换方法增强图像对比度的效果较好，它能根据图像内容调整图像的对比度，调整后灰度直方图形状变化不大。而直方图均衡化不考虑图像内容只是将直方图进行均衡化处理，使直方图均衡化后图像看起来亮度过高。所以本文使用线性灰度变换增强图像对比度。为下两章的轮廓提取奠定了基础。3 基于灰度特征的建筑物轮廓提取在绪论中本文提到过两种建筑物识别与提取的方法，本章是基于第二种方法中的灰度变化对航拍图像与卫星图像中的建筑物进行识别与提取。建筑物在遥感影像上的灰度特征表现为，建筑物的边缘以及不同建筑物的连接处的灰度变化比较大，而建筑物内部灰度值相对比较均匀，与周围环境对比度比较大；屋顶与道路的光谱值相仿，但纹理不同；平顶建筑物的纹理分布均匀，人字形建筑物在同一侧具有相同的纹理。因此基于灰度特征并将图像二值化后进行边缘检测是一种提取建筑物轮廓的可取办法。3.1 图像二值化复杂场景图像中“被遮挡”建筑物大多竖直而立，形状比较规则，具有明显的“水平”边缘和“垂直”边缘。因此采用基于边缘特征图像预处理算法。数字图像二值化是将灰度图像数字信号变成二值(0,1)的数字信号，它是整个预处理的第一步，也是关键步骤之一。将原图像转化为二值图像时，需要满足以下两个条件：1、尽可能明显地将目标与其背景区分开来；2、最大限度地保留目标的几何特征。图像二值化的关键问题是阈值的选取问题，按照对图像像素的处理方式和阈值的应用范围不同可以分为全局阈值法、局部阈值法和动态阈值法。全局阈值法是指对整幅图像选择单一的阈值进行二值化，这个阈值可以人工设定也可以由灰度直方图来自动获得。局部阈值法把图像分成若干区域，然后对每个区域设置一个阈值进行二值化，或者对图像中每个像素点,根据其领域像素点的灰度变化情况来设定阈值，然后逐点对图像进行二值化。但局部阈值法开销大，而且某些情况下会产生失真。动态阈值法的阈值选择不仅取决于该像素点灰度值以及它周围像素点的灰度值，而且还和该像素点的坐标位置有关。一般整体阈值法对直方图双峰特性明显的图像较为有效，而局部阈值法则可以适应比较复杂或者背景存在噪声的情况。本文在分析常用的平均灰度阈值法、直方图阈值法和Otsu最大类间阈值法基础上，采用一种保留图像边缘特征的图像二值化阈值确定法，它是一种全局和局部相结合的阈值方法。 (1)平均灰度阈值法：计算整幅图像的平均灰度，将平均灰度作为阈值将图像转换成二值图像(2)直方图阈值法：根据灰度直方图的双峰之间的谷底处的灰度值作为阈值转换成二值图像。(3)Otus法是是一种使类间方差最大的自确定阈值法14，它的基本思想如下：设图像像素数为：N，灰度范围为0,L-1，对应灰度级i的像素为ni，各灰度值的概率为： 然后用T将其分成两组，各组产生的概率如下：C0产生的概率为 C1产生的概率为 C0的平均值为 C1的平均值为 式中，是整体图像的灰度平均值；是阈值为T时的灰度平均值，由公式(3-1)(3-2)(3-3)(3-4)采用全部采样的灰度平均值为 两组间的方差可用下式求出： 从1m改变T，求公式(3-7)为最大值时的T，即求时的T*值，此时，T*则是阈值。是阈值选择函数。(4) 基于边缘特征的图像二值化算法15基本思想如下：首先使用某种边缘检测算子，根据边缘检测结果来确定各像素点二值化阈值。目前建筑物屋顶形状除了平顶外还有人字形屋顶、双面人字型屋顶或近似对称四棱台屋顶等多种类型。对于正面拍摄的建筑物图像，在边缘检测时除了考虑其明显的“水平”边缘和“垂直”边缘特征外，也要考虑屋顶的斜向边缘。普通的中心差分算子(Central Difference Operator) 只考虑了水平方向和垂直方向的差分，并没有考虑斜方向的信息。所以本文采用改进中心差分算子检测图像的边缘，在边缘像素点上进行自适应阈值选择，非边缘点则采用统一的全局阈值。因此，在检测水平、垂直方向差分基础上，检测与垂直向上的方向夹角近似为45o和135o方向的差分，如公式(3-8)(3-9)(3-10)(3-11)(3-12)所示： /水平方向 /垂直方向 /正斜向（从左上到右下） /反斜向（从右上到左下） 使用改进中心差分算子进行边缘检测，得到边缘图像f，对图像f中非边缘点，设置统一的全局阈值128。对于边缘点，将该点及其周围33领域中8个像素点的阈值设置为灰度图像中这九个点的平均灰度值。从而得到边缘特征明显的二值图像。这里我们使用的改进中心差分边缘检测的阈值Threshold(3-13)，是各像素点各方向差分值的平均值，下图是使用改进中心差分算子进行图像二值化处理各步骤结果。图3-1 哈佛大学建筑群图像 图3-2 中心差分算子边缘检测图3-3 Otus自确定阈值法图3-4 平均灰度阈值法图3-5 基于边缘特征二值化上图是使用Otus自确定阈值法、平均灰度阈值法和基于边缘特征的二值化算法对建筑物图像进行二值化操作的结果，通过比较可以看出，使用基于边缘特征的二值化算法能很好地保留图像中建筑物的边缘特征。而平均灰度阈值法和Otus自确定阈值法模糊了边缘特征，会影响后续边缘检测和直线段提取的效果。3.2 二值数学形态学二值形态学16中的运算对象是0和1二值图像集合A，设B为结构元素，它是尺寸比A小的图像集合，每个结构元素须指定一个原点（这个原点不一定在结构元素中）。二值基本形态学运算是让B在A上平移，同时施加交、并等基本集合运算。数学形态学的实质是使用不同结构元素与图像集合相互作用来提取不同层面上有意义的图像信息。3.2.1 膨胀与腐蚀膨胀和腐蚀是数学形态学中最基本的操作。设A和B是整数空间Z中的集合，其中A为原始图像,而B为结构元素。膨胀的运算符号是，AB表示A用B来膨胀，定义为： 其中，表示空集，为集合B的映射集： 公式(3-14) 用膨胀的过程是，先对B做关于原点的映射，再将其映像平移x，这里与映像的交集不为空集。腐蚀的运算符号是，AB表示A用B来腐蚀，定义为： 公式(3-16) 用B腐蚀A的结果是，所有的x的集合，其中B平移x后仍在A中。下图给出了使用半径为10的圆盘的结构元素对二值图像cicles进行膨胀和腐蚀的结果。对比原图可以看出经过膨胀的图像比原图像所占的像素更多，而腐蚀后的图像较原图像有所收缩，腐蚀结果是原图像的一个子集。二值图像cicles 膨胀结果 腐蚀结果图3-6 膨胀结果与腐蚀结果3.2.2 开启与闭合开启和闭合是形态学中另外两个重要操作，它们由基本运算膨胀和腐蚀组合而成的复合运算。前者先对图像进行腐蚀后再膨胀其结果；后者先对图像进行膨胀后再腐蚀其结果（这里使用同一个结构元素）。开启的运算符号为，AB表示A用B开启，其定义为： 而闭合的运算符号为，AB表示A用B闭合，其定义为： 可以证明，开启是结构元素B在X内变换的并集，闭合运算是结构元素B在X以外变换的补集的交集，所以可以得到下式： 下图是用结构元素半径为10的圆盘采用公式(3-19)(3-20)对图像circles进行开启和闭合运算的结果。通过实验结果可以看出，开启运算可以起到平滑图像轮廓的作用，去除轮廓上突出的毛刺，切断细长搭接起到分离作用；而闭合运算也能起到平滑图像轮廓的作用，但是与开启相反，它能把比结构元素小的缺口或孔填充上，搭接短的间断而起到连通作用。图3-7 闭合结果与开启结果基于灰度特征的建筑物轮廓提取步骤如下所示：图3-8 轮廓提取流程图3-9 建筑群图像图3-10 图像分割结果图3-11 轮廓提取结果从实验结果来看，基于灰度特征的建筑物轮廓提取方法对噪声的处理较好，也能够排除非建筑物的树木对建筑物轮廓提取的干扰，但对于有遮挡的建筑物的处理效果还有待增强。3.3 本章小结本章提出了基于灰度特征的建筑物轮廓提取算法，首先对图像进行基于灰度的阈值分割后将图像二值化，并通过二值数学形态学中的开启与闭合运算解决二值图像中的孔洞填充问题。最后通过边缘检测提取建筑物的轮廓，实验发现这种算法具有较好的效果，但对有遮挡的建筑物的遮挡部分提取效果有待增强。4 基于边缘特征的建筑物轮廓提取本章基于绪论中提出的第二类研究方法中的建筑物形态信息进行算法的初步探究，在上一章的研究中发现基于灰度特征的建筑物信息提取易受到遮挡物的影响，而在本类方法中可以避免此类缺陷。本章方法流程主要是对通过预处理后的图像直接进行边缘检测，而后通过Hough变换提取直线段，这样可以避免遮挡物对建筑物提取带来的影响。4.1 边缘检测边缘检测对于处理数字图像非常重要，因为边缘是说要提取目标和背景的边界线，提取出边缘才能将目标和背景区分开来。在图像中，边界表明一个特征区域的终结和另一个特征区域的开始，边界所分开区域的内部特征或属性是一致的，而不同区域的内部特征或属性是不同的，边缘的检测正是利用物体和背景在某种图像特征上的差异来实现的，这些差异包括灰度、颜色或纹理特征。边缘检测实际上就是检测图像特征发生变化的位置。4.1.1 边缘检测技术边缘检测技术可以按照处理的技术分为串行边缘检测及并行边缘检测。所谓串行边缘检测技术是指：要想确定当前像素点是否属于欲检测边缘上的一点，取决于先前像素的验证结果；而在并行边缘检测技术中，一个像素点是否属于检测边缘上的一点取决于当前正在检测的像素点及该像素点的一些相邻像素点，这样该模型可以同时用于图像中的所有像素点，因而称之为并行边缘检测技术。最简单的边缘检测方法是边缘检测算子，它利用相邻区域的像素值不连续的性质，采用一阶或二阶导数来检测边缘点。近年来还提出了基于曲面拟合的方法，基于边界曲线拟合的方法。下面分别简单介绍一下这些方法。（1）边缘检测算子边缘检测算子对图像中灰度的变化进行检测，通过求一阶导数极值点或二阶导数过零点来检测边缘。常用的一阶导数算子有梯度算子、Prewitt算子和Sobel算子，二阶导数算子有Laplacian算子，还有Kirsch算子和Wallis算子等非线性算子。梯度算子不仅对边缘信息敏感，而且对于像素点也很敏感。（2）基于曲面拟合的方法基于曲面拟合的方法的基本思想是将灰度看成高度，用一个曲面来拟合一个小窗口内的数据，然后根据该曲面来决定边缘点。（3）基于边界曲线拟合的方法基于边界曲线拟合的方法用平面曲线来表示不同区域之间的图像边界线，视图根据图像梯度等信息找出能正确表示边界的曲线从而得到图像分割的目的，而且由于它直接给出的是边界曲线而不像一般的方法找出的是离散的、不相关的边缘点,因而对图像分割后的后继处理如物体识别等高层处理有很大的帮助。即使是用一般的方法找出的边缘点，用曲线来描述它们以便于高层处理也是经常被采用的一种有效的方式。4.1.2 边缘的分析边缘是构成图像形状的基本要素，边缘包含了有价值的目标边界信息，这些信息可以用于图像分析和目标识别。边缘特征是图像的最底层特征，边缘检测的好坏直接影响到后续的更高层处理。图4-1 常见边缘的分类由于噪声和模糊的存在，检测到的边界可能会变宽或在某些点处发生间断17，因此，边界检测包括两个基本内容：首先抽取出反应灰度变化的边缘点，然后剔除某些边界点或填补边界间断点，并将这些边缘连接成完整的线。图像处理上，一般认为灰度发生急剧变化的点即为边缘，在频率域中则表现为高频分量，边缘检测的过程就是找出图像中灰度剧烈变化的位置，也是一个高频增强过程。典型的边缘有：阶跃状边缘和屋顶状边缘两种。对于阶跃状边缘，图像灰度变化曲线在边缘点的一阶导数为极值点，二阶导数为零交叉点；对于屋顶边缘，图像灰度变化曲线在边缘点的一阶导数为零交叉点，二阶导数为极值点。4.1.3 关于梯度的概念边缘检测是检测图像局部显著变化的最基本运算。在一维情况下，阶跃边缘同图像的一阶导数局部峰值有关。梯度是函数变化的一种度量，而一幅图像可以看作是图像强度连续函数的取样点阵列18。因此，同一维情况类似，图像灰度值的显著变化可用梯度的离散逼近函数来检测。梯度是一阶导数的二维等效式，定义为向量 有两个重要的性质与梯度有关：（1）向量 G(x,y)的方向就是函数f(x,y)增大时的最大变化率方向；（2）梯度的幅值由下式给出： 在实际应用中，通常用绝对值来近似梯度幅值： 或 由向量分析可知，梯度的方向定义为 其中角是相对x轴的角度。对于数字图像，方程(4-1)的导数可用差分来近似。最简单的梯度近似表达式为 请注意j对应于x轴方向，而i对应于负y轴方向。4.2 边缘检测算子经典边缘检测算子是考察每个像素在某个邻域内灰度的变化，利用边缘邻近一阶或二阶方向导数变化规律提取边缘，包括如Robert算子、Sobel算子、Granient算子、Krshc算子、Robisnon算子、Prewitt算子等一阶微分算子和Laplaican算子等二阶微分算子。一阶微分算子的思想是：阶跃状边缘灰度曲线的一阶导数取极值；二阶微分算子的思想是：阶跃状边缘灰度曲线的二阶导数在边缘点出现零交叉，屋顶状边缘灰度曲线的二阶导数在边缘点处取极小值。4.2.1 罗伯特(Robert)边缘算子罗伯特（Robert）边缘算子是一种斜向偏差分的梯度计算方法，梯度的大小代表边缘的强度，梯度的方向与边缘走向垂直。该算子通常由下列计算公式表示： 式中是具有整数像素坐标的输入图像，平方根运算使该处理类似于在人类视觉系统中发生的过程，罗伯特（Robert）操作实际上是求旋转两个方向上的微分值的和。罗伯特（Robert）边缘算子定位精度高，在水平和垂直方向效果较好，但对噪声敏感。4.2.2 索贝尔(Sobel)边缘算子索贝尔算子是一组方向算子，从不同的方向检测边缘。索贝尔算子不是简单求平均再差分，而是加强了中心像素上下左右4个方向像素的权重，运算结果是一副边缘图像。该算子通常由下列计算公式表示： 式中、分别表示x方向和y方向的一阶微分，为Sobel算子的梯度，是具有整数像素坐标的输入图像。求出梯度后，可设定一个常数T，当T时，标出该点为边界点，其像素值设定为0，其他的设定为255，适当调整常数T的大小来达到最佳效果。索贝尔算子通常对灰度渐变和噪声较多的图像处理得较好。4.2.3 Prewitt边缘算子Prewitt边缘算子是一种边缘样板算子，利用像素点上下左右邻点灰度差，在边缘处达到极值检测边缘，对噪声具有平滑作用。由于边缘点像素的灰度值与其领域点像素的灰度值有显著不同，在实际应用中通常采用微分算子和模板匹配方法检测图像的边缘。该算子通常由下列计算公式表示： 式中、分别表示x方向和y方向的一阶微分，为Prewitt算子的梯度，是具有整数像素坐标的输入图像。求出梯度后，可设定一个常数T，当T时，标出该点为边界点，其像素值设定为0，其他的设定为255，适当调整常数T的大小来达到最佳效果。Prewitt算子不仅能检测边缘点，而且能抑制噪声的影响，因此对灰度和噪声较多的图像处理得较好。4.2.4 拉普拉斯(Laplacian)边缘算子拉普拉斯算子是一个二阶导数算子，而前面提到的3种算子均为一阶导数算子。该算子是一个与方向无关的各向同性（旋转轴对称）边缘检测算子。若只关心边缘点的位置而不顾其周围的实际灰度差时，一般选择该算子进行检测。该算子通常由下列计算公式表示： 式中表示数字图像中每个像素关于x轴和y轴的二阶偏导数之和，即处理后像素(x,y)处的灰度值，是具有整数像素坐标的输入图像。由于拉普拉斯算子为二阶差分，其方向信息丢失，常产生双像素，对噪声有双倍加强作用，因此它很少直接用于边缘检测。鉴于此，Marr和Hildreth将高斯滤波和拉普拉斯边缘检测结合在一起，形成了LoG(Laplacian of Gaussian)算子，即高斯-拉普拉斯算子，也常称为马尔算子(Marr-Hildreth)。该算子先用高斯算子对图像进行平滑，然后采用拉普拉斯算子根据二阶微分过零点来检测图像边缘。高斯-拉普拉斯算子通常具有如下形式： 式中，是方差，是离原点的径向距离，即，、为图像的横坐标和纵坐标。高斯-拉普拉斯算子是两种算子的结合，即具备高斯算子的平滑特点又具备拉普拉斯算子的锐化特点。平滑和锐化、积分和微分是一对矛盾的两个侧面，统一在一起后就变成了最佳因子。因为图像中包含噪声，平滑和积分可以滤掉这些噪声，消除噪声后再进行边缘检测（锐化和微分）会得到较好的效果。4.2.5 坎尼(Canny)边缘算子针对一些边缘检测算子抗噪声干扰能力差的缺点，一些学者提出希望在边缘增强前先滤除噪声。检测阶跃边缘的基本思想是在图像中找出具有局部最大梯度幅值的像素点。检测阶跃边缘的大部分工作集中在寻找能够用于实际图像的梯度数字逼近。由于实际的图像中的阶跃边缘不是十分陡立。图像也受到摄像机噪声和场景中不希望的细节的干扰。图像梯度逼近必须满足两个要求：（1）逼近必须能够抑制噪声效应，（2）必须尽量精确地确定边缘的位置。抑制噪声和边缘精确定位是无法同时得到满足的，也就是说，边缘检测算法通过图像平滑算子去除了噪声，但却增加了边缘定位的不确定性；反过来，若提高边缘检测算子对边缘的敏感性，同时也提高了对噪声的敏感性。有一种线性算子可以在抗噪声干扰和精确定位之间提供最佳折衷方案，它就是高斯函数的一阶导数，高斯平滑和梯度逼近相结合的算子不是旋转对称的。这种算子在边缘方向上是对称的，在垂直边缘的方向上是反对称的(沿梯度方向)。这也意味着该算子对最急剧变化方向上的边缘特别敏感，但在沿边缘这一方向上是不敏感的，其作用就像一个平滑算子。J.F.Canny提出了边缘检测的最优准则：检测性能良好（漏检率、误检率小），边缘定位精确，一个边缘点只有一个响应19。他还证明了最佳滤波器是一