（信号与信息处理专业论文）城市航空影像中建筑物信息的自动提取方法研究.pdf

摘要 利用高分辨率航空影像来获取城市地理环境信息是城市规划的主要技术之一， 而如何从航空影像中提取建筑物信息是一个亟待解决的关键技术问题。本文对城 市区域的高分辨率航空影像中建筑物三维信息的提取方法进行了研究。 首先分析了城市航空影像数据特点，并利用分块f c m 聚类方法对建筑群进行 预分割，从而缩小了在航空影像数据中建筑物提取的搜索空间，大大较少了计算 量。一般，碍到的航空影像并不是正摄影像，在影像中对大多数建筑物均存在倾 斜视角，且绝大多数建筑物还存在垂直边缘。本文结合航空摄影模型给出的灭点 几何约束，利用自适应模糊h o u g h 变换，提出了种建筑物垂直边缘检测方法， 并用窗户纹理分析技术来验证高层建筑物的垂直边缘。根据垂直边缘这一建筑物 的一般特征，提出了一种基于单幅影像的直线s n a k e s ( 又名主动轮廓，a c t i v e c o n t o u r s ) 建筑物轮廓跟踪方法。另外，还针对屋硕灰度变化较均匀的建筑物，研 究和提出了一种基于多幅图像垂直边缘地面点坐标拟合的建筑物屋顶区域提取方 法。本文所提出的方法主要针对存在倾斜视角的高层建筑的分析，基本不受屋顶 结构复杂度的影响。对实际图像进行实验，得到了较好的效果，验证了本文方法 的有效性。 关键词：分割垂直边缘检测窗户纹理分析 直线s n a k e s屋顶轮廓拟合 a b s t r a c t g e o g r a p h i ci n f o r m a t i o na c q u i s i t i o no fc i t yb yu s i n gh i g h r e s o l u t i o na e r i a li m a g e s i so n eo ft h ep r i m a r yt e c h n o l o g i e sf o rc i t yp r o g r a m m i n g h o wt oe x t r a c tb u i l d i n g i n f o r m a t i o nf r o ma e r i a li m a g e si sak e yt e c h n i c a li s s u ed e s i d e r a t e dt ob es o l v e d i nt h i s p a p e r , s o m e r e s e a r c ha b o u te x t r a c t i o no f3 - di n f o r m a t i o no f b u i l d i n g f r o m h i 曲一r e s o l u t i o nu r b a na e r i a li m a g e s i si m p l e m e n t e d s o m e a n a l y s e s o fd a t af e a t u r ei nu r b a na e r i a l i m a g e a r ed o n ef i r s t ，a n da s p l i t b l o c k - c l u s t e r i n gb a s e d o nf c mm e t h o di sd i s c u s s e df o rt h ec o a r s es e g m e n t a t i o no f b u i l d i n gg r o u p s ，w h i c hc a n r e d u c et h es e a r c h r c ：g i o n f o rb u i l d i n g se x t r a c t i o na n d d e c r e a s ec a l c u i a t i o nm u c hm o r e i na g e n e r a lw a y , a e r i a li m a g e i sn o to r t h o g r a p h ，m o s t b u i l d i n g s e x i s ts l o p ea n g l ea sw e l la sv e r t i c a ll i n e si n a e r i a l i m a g e s i nt h i sp a p e r , c o m b i n e dw i t h v a n i s h i n gp o i n tg e o m e t r i c a l r e s t r i c t i o n g i v e nb y t h ea e r i a l p h o t o g r a m m e t r i cm o d e l i n g ，a m e t h o df o re x t r a c t i n gv e r t i c a ll i n e sb a s e do nt h ea d a p t i v e f u z z yh o u 曲t r a n s f o r mi sp r e s e n t e d t h e nt h ee x t r a c t e dv e r t i c a ll i n e sa r ev a l i d a t e db y a n a l y s e so fw i n d o wt e x t u r e b a s e do nt h ee x t r a c t e dv e r t i c a le d g e s ，am e t h o df o rr o o f b o u n d a r y e x t r a c t i o ni nm o n o c u l a ra e r i a li m a g e su s i n gl i n es n a k e sm o d e li sp r o p o s e d n a d d i t i o n ，t od e t e c tb u i l d i n g sw h i c hh a v es m o o t hg r a y - v a l u ei nr o o f ，am e t h o df o r e x t r a c t i n gb u i l d i n gr o o fr e g i o ni sp r e s e n t e d ，w h i c hi sb a s e do nf i t t i n gg r o u n dp o i n t so f v e r t i c a ll i n e sf r o mm u l t i p l ea e r i a l i m a g e s b o t ht h et w om e t h o d sm e n t i o n e da b o v e m a i n l ya p p l yt ot h ea n a l y s i so fh i g h - r i s eb u i l d i n g sw i t hs l o p ea n g l eo fv i e w , a n da r e b a s i c a l l yu n a f f e c t e db yt h ec o m p l e x i t yo fb u i l d i n gs h a p e s t h er e s u l t so fe x p e r i m e n to n a c t u a li m a g ea r eg o o d ，w h i c hs h o wt h a tt h em e t h o d sa r ee f f e c t i v e k e y w o r d ：s e g m e n t a t i o n v e r t i c a ll i n ed e t e c t i o nw i n d o wt e x t u r e a n a l y s i s l i n es n a k e sr o o f b o u n d a r yf i t t i n g 创新性声明 y 5 8 3 5 7 9 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其他教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做 的贡献均已在论文中做了明确的说明并表示了谢意。 本人签名： 祧型1 日期：趔主：芝兰? 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部或 部分内容，可以允许采用影印、缩印或其它复制手段保存论文。 本人签名： 导师签名： 日期：趔墨：三塑 日期：2 竺c 垒：驾 第一章绪论 第一章绪论 1 1 引言 在现代社会，城市的经济发展、自然资源配置、环境保护等问题越来越受到 关注，这使得对城市地理环境变化信息的需求急剧增加。另外，现代城市的快速 发展，也要求尽可能快地获取城市地理信息。对地观测技术可以快速、准确、大 量地提供城市空间基础信息，已经成为当今国内外城市地理信息获取的重要技术 手段。而其中的航空摄影测量技术以其成本低、机动灵活、获取的空间信息分辨 率高而备受关注。目前的航空摄影测量技术一般采用人工或半人工( 人机交互) 的方式进行航空影像的后处理，如进行影像校正、获耿d e m 高程数据、获取和标 记道路、建筑物等地理数据，这些工作需要大量的操作人员耗费大量的精力和时 间，而且效率很低。另外，从研究的观点来看，对建筑物的检测和描述为场景分 割、三维重建和形态描述等计算机视觉技术的研究提供了挑战性的测试环境。因 此，研究和解决航空影像中城市空间基础信息的自动提取技术具有重要的理论研 究价值和实际应用价值。 然而，在城市航空影像中，建筑物信息的获取要比道路、湖泊等其他信息的 获取难得多，主要体现在：( 1 ) 数据来源主要是二维的航空影像，缺少直接的三维 数据；但】航空影像常常因为尺度、光谱范围、传感器的几何图像、图像质量、成 像条件等因索的不同而相差较大；( 3 ) 各种房屋所表现出来的外形和细节千变万化， 统一的房屋模型库难以建立，使得建筑物的提取变得更加困难；( 4 ) 山于场景的复 杂性，如较低的对比度以及房屋相互遮挡等因素的影n 向，自动地从背景中分割出 建筑物并进行信息的提取困难很大。 1 2 国内外研究现状 尽管建筑物的检测与描述的研究历史已经相当长，但是由于航空影像的复杂 性，至今仍没有一个完全实用的适合于各种影像的建筑物识别系统。特别是我国 在计算机技术和航空( 天) 摄影技术方面与发达困家相比还有很大的差距，目前 国内在高分辨航空影像中检测和重建人造目标主要是采用人工方法，计算机辅助 建筑物检测才刚刚起步，这远远不能满足现代数字城市发展的需要。近年来，对 这一问题的研究受到了越来越多的关注，本论文的课题来源就是国家自然基金项 目“数字城市三维影像图关键地物智能识别技术研究”。国内外许多学者在这一领 域进行了较多的研究，并出了不少的成果。 从航空影像中提取建筑物的已有方法可以分为四种：利用单幅影像直接提 取建筑物，利用多幅影像通过立体像对匹配提取建筑物，结合多种数掘提取 建筑物，如将影像与激光距离图像或d e m 数据结合。利用直接分割方法提取屋 城市航空影像中建筑物信息的自动提取方法研究 顶区域，再提取轮廓。 文献【1 】f 2 1 利用单幅影像直接提取建筑物，这类检测方法一般是先检测直线和角 点等低层特征，通过生成矩形轮廓来假设屋顶轮廓，用高度、阴影和墙来验证屋 顶轮廓，这些方法对扁平屋顶和人字形屋顶的建筑物提取具有一定的效果。但是 仅仅利用单幅影像要从二维图像推断出三维信息是很困难的，而且不能得到好的 鲁棒性。文献1 3 】【4 】【5 】【6 】利用了多幅影像对直线以及角点等低层特征进行匹配，从而 使提取的结果更具鲁棒性，具体的提取策略与文献【1 】【2 】相似。文献【5 】利用多幅影像 进行立体像对匹配，得到d e m 数据，从而更好地分离建筑物。文献【7 j 贝0 结合灰度 图像和深度图像产生建筑物初始轮廓，再利用具有恰当的方位和尺度参数的矩形 模板来逼近轮廓，然后矩形模板进一步变形以合并更多的边缘，由此产生具有凹 凸形状的真正轮廓。文献【8 l 【9 】首先对影像进行分割，然后利用s n a k e s 模型求得目标 分割的轮廓描述。文献1 ”】首先利用d s m 数据建立场景模型，然后利用不变几何距 得到建筑物屋顶轮廓。文献j 对晟近几年的研究成果作了评估，并提出了一些策 略。上述所列举的方法大部分都是基于假设一检验或建立模型库，而且都是针对较 简单的建筑物，并假设建筑物屋顶具有几何规则性，阴影假设投影在平坦地面上。 如果建筑物屋顶不具有几何规则性，阴影被遮挡。则这些方法就不能准确地提取 和描述建筑物。 虽然国内外已有不少的建筑物提取方法，但是大多数是针对屋顶结构具有几 何规则性的低层建筑物，对高层建筑提取研究得比较少。这主要是因为高层建筑 在特征描述上存在较大的困难，模型库也难以建立。然而出于现代城市的建筑， 其屋顶结构都比较复杂，而且高层建筑已经成为城市发展的一种趋势。因此，对 于结构复杂的高层建筑物提取是今后研究的一大热点，也是一大难点。本文所研 究的对象就是针对屋顶结构复杂的高层建筑。 1 3 本文主要工作 本文结合了国家自然基金项目“数字城市三维影像图关键地物智能识别技术 研究”，根据航空影像的数据特点，对高层建筑物信息的提取做了较系统的研究， 主要研究成果如下： 1 提出了一种基于分块f c m 聚类的建筑群分割方法。这种方法根据建筑群区 域的数据特点，对图像子块进行聚类分析，有效地将建筑群与其他区域划 分开来，这为后面建筑物的提取缩小了范围。 2 尽管建筑物结构复杂，但是垂直边缘是所有建筑物所共有的特征，可以把 垂直边缘作为建筑物提取的依据。因此，本文利用自适应模糊h o u g h 变换， 提出了一种检测垂直边缘的方法。还提出了一种利用r a d o n 变换和短时傅 立叶变换的窗户纹理分析技术，片j 来进一步对垂直边缘验证，提高垂直边 第一章绪论 3 缘提取的正确性和准确性。 3 根据垂直边缘这一建筑物的基本特征，提出了一种基于单幅图像的直线 s n a k e s ( 又名主动轮廓，a c t i v ec o n t o u r s ) 建筑物三维信息提取方法，得到 了建筑物的屋顶轮廓及对应的高度信息。另外，还提出一种基于多幅图像 的建筑物三维信息提取方法，得到了建筑物的屋顶区域以及高度。对实际 影像图进行实验，达到较好的效果。 本文在整个建筑物提取过程中，综合运用了图像分割、灭点分析、自适应模 糊h o u i g h 变换、r a d o n 变换、时频分析、纹理抑制边缘检测、直线检测和s n a k e s 轮廓跟踪算法、曲线拟合等多种计算机视觉、信号处理和图像识别等领域的先进 技术，从建筑物关键证据垂直边缘出发，充分结合物方空间和图像空间各种 有用信息，采用证据推理的方式逐步推导出建筑物存在的可靠证据、高度和准确 位置等。给出了高层建筑物信息提取的一种有效思路和实现方法，具有理论价值 和较大的实际应用价值。 1 4 本文内容安排 本文的第一章对全文的内容作了概要性的介绍。阐述了研究意义，国内外研 究现状，并说明本文要解决的问题以及取得的成果。第二章提出了一种建筑群分 割方法。这种方法在充分分析图像数据特点的基础上，利用分块f c m 聚类方法分 割建筑群，并详细讨论了边界区域的确定问题。第三章首先介绍和分析了两种边 缘检测方法，包括坎尼( c a n n y ) 边缘检测和非标准感受野抑制( n o n c r f ) 纹理的边缘 检测。还介绍和分析了自适应模糊h o u g h 变换( a f h t ) 直线段检测方法以及一种 基于边缘连通性及梯度方向的直线段跟踪方法( b o c o ) 。第四章讨论了建筑物垂直 边缘的提取与验证方法。首先利用自适应模糊h o t i g h 变换( a f h t ) 提取垂直边缘， 并根据垂直边缘周围存在窗户的事实，利用了r a d o n 变换和短时傅立叶变换对窗 户纹理进行分析，得到了经过验证的垂直边缘，同时得到垂直边缘所在的墙壁水 平方向。第五章提出两种建筑物三维信息提取方法，一种是基于单幅影像的直线 s n a k e s 的建筑物三维信息提取方法，另一种是基于多幅影像的建筑物三维信息提 取方法。本文最后对整个论文作一总结。 4城市航空影像中建筑物信息的自动提取方法研究 第二章基于分块f c m 聚类的建筑群分割方法 在提取建筑物信息之前，先对整幅图像进行预处理是很有必要的，比如对建 筑群区域进行初始分割，后续的建筑物信息提取仅在建筑群区域内进行，这将大 大缩小搜索空间，缩短运算时间。文中所研究的航空影像分辨率高( 像素地面分 辨率为0 2 m ) ，场景范围大( 每一幅大小为9 1 5 2 9 1 5 2 ) ，对如此大的数据量直接 进行处理，将会大大增加运算复杂度，因此有必要先将建筑群区域与其他区域划 分开来。 对于遥感或航空图像的分割，前人在这一领域已经做了许多工作，提出了许 多方法。文献【8 刷用s n a k e s 模型对单个建筑物进行分割，这种方法适用于分辨率 较高的且边界清晰的图像。文献【1 4 1 利用区域生长概念和塔型数据结构进行分层分 析，构造网格图像，利用网格内多光谱通道的灰度均值作为特征进行模糊c 均值 聚类，这种方法要求各个类灰度比较均匀。文献【1 5 】贝u 利用改进的f c m 在象素级上 进行聚类，这种方法适用于分辨率较高且场景较简单的影像。 本文的航空影像虽然在分辨率方面可以满足以上方法的要求，但是由于范围 过大，造成场景过于复杂，并不满足其处理简单场景的条件，因此并不适用。作 者认为，分割建筑物群可以先在较低分辨率的影像图中进行，再变换到高分辨率 影像图，这就减少了直接对高分辨率影像进行分割由于场景过于复杂而造成的分 割误差。为此，本文针对变换后的低分辨率航空影像，从其中的建筑群区域灰度 变化的特征出发，利用f c m 进行分块聚类分析，得到的结果再进行进一步的处理， 最终确定建筑群区域的边界。 2 1 特征矢量的选取 考虑图2 i ，建筑群区域由于阴影的存在其灰度呈现不规律的明暗变化。而绿 地、道路或者空旷地带，其灰度变化较小。这种不同区域灰度变化差异性体现在 灰度的标准差上。对于大小为k x k 的图像子块，其标准差可用下式计算： s t d = 4 e 1 ( x , y ) - e ( 1 ( x , y ) ) 2 = 芝羔，二。 ，o ，) ，) 一二，二，o ，y ) 】2 k 2 ( 2 - 1 ) 其中，t ( x ，y ) 为图像子块中，点0 ，y ) 的灰度值。对于灰度变化大的图像子块， ，o ，y ) 一e ( i ( x ，y ) ) 的平方和必然大，即标准差大。 灰度直方图的熵用下式计算： 2 5 5 s 一p ，l o g p ，( 2 - 2 ) 。u 其中，p 表示图像中扶度为的像素数占总像素数的比值。如果区域是完全 第二章基于分块f c m 聚类的建筑群分削方法 均匀的，那么其直方图仅在某一位置为1 ( 归一化后) ，其熵值为0 ，区域越不均 匀，其灰度直方图的熵值越大，因此区域中灰度变化的差异性可以用灰度直方图 的熵表征。 图2 2 为从图2 1 中截取的4 个影像子块，分别计算它们的灰度标准差和直方 图的熵，结果示于表2 1 。从表2 1 可以看出，a 块灰度的标准差和直方图的熵比 其它的大。说明在建筑群区域，其灰度的标准差和直方图的熵较大，而绿地或空 旷地带这两个值较小。因此，选取图像子块灰度的直方图的熵和标准差作为特征 矢量来分割建筑群区域是可行的。 幽2 1 低分辨率城市航空影像( 人小为 5 1 2 5 1 2 ，像素地面分辨率为1 6 m ) 幽2 2 从幽2 1 中截墩的子块( a ) 、( b ) 、 ( c ) 、( d ) 对麻幽21 的a 、b 、c 、d 蚓块 表2 1 各子块标准著及直方图的熵 2 2 基于分块f c m 聚类分割 上一节讨论了特征矢量的选取，接下来将利用所选取特征矢量对航空影像进 行分割。出于所选取的两个特征是针对一定大小的图像子块，具有统计意义，因 此在分割之前需要将影像分为一定大小的子块，计算每个子块的标准差和直方图 的熵作为特征矢量。出于分块造成了块分类的不定性，因此选用了模糊c 均值 ( f c m ) 聚类方法对影像子块进行聚类。 具体步骤如 i ： ( 1 ) 影像分块 假设影像大小为n x n ( 为2 的幂次方) ，把眩 j = ；像分成大小为l x l 化为2 6城市航空影像中建筑物信息的自动提取方法研究 的幂次方且ltn ) 的若干子块。为减小方块效应及提高分割的准确性，在影像长 度和宽度方向上块与块之间均有5 0 重叠，在对角线方向上块与块之间有2 5 重 叠，共得到m x m 个子块( m = 2 x n l j ) 。块的大小不能太大，也不能太小，太 大分割不准确，太小不具有统计意义。 ( 2 ) 图像子块特征矢量计算 计算每一子块的特征矢量( s t d ( i ) ，s ( i ) ) ( f l ，m m ) ， 洲卜忙善荟u 扛) 2 一咕再荟l i o ) ) 2 汜。3 其中，( j ，k ) 为第i 个图像子块中第行第k 列的灰度值。 s ( f ) = 一2 ，5 5 。p 口l o g p 口( 2 - 4 ) 其中，p 。表示第f 个图像子块中灰度为，的像素数占总像素数的比值。 ( 3 ) 基于f c m 的分块聚类分割 将特征矢t ( s t a ( i ) ，s ( i ) ) ( f 一1 ，mx m ) 作为输入样本，利用f c m 对其进行 聚类分析，类数定为2 ，得到模糊隶属度矩阵u 以及类中心矢量v ( j ) - ( s t a ( j ) ，s ( d ) ( ，- 1 ，2 ) ，根据模糊隶属度矩阵【，可把图像粗略地分为两类。由上述特征 矢量的讨论可知，建筑群区域的类中心矢量的欧氏距离大，而非建筑群区域的类 中心矢量的欧氏距离小。 2 3 区域边界块的确定及边界细化 因上述的分割方法需要把图像进行分块，而且块与块之阃有部分重叠，如果 共同覆盖该重叠部分的各块不属于同一类，则重叠部分属于不定块，因此需要先 确定不定块，再进一步解决其归属问题，才能得到准确的区域边界块。为得到像 素级的区域边界，还需要对边界块进行处理。 2 3 1 区域边界块的确定 根据图像的分块方法知道，对于图像内部的每一个工2xl 2 子块，均被不 同的4 个l x l 图像子块所覆盖，如果这4 个l x l 图像子块不属于同一类，那么 它们所共同覆盖的l 2 l ，2 块就是不定块。 下面讨论不定块的确定方法，步骤如下： 1 首先给出一个与原图大小一样的矩降q 。，并令q ，。一o 。在f c m 分割 结果中，计算属于建筑群区域的每一个l x l 图像子块在原图中对应的位置，然 后在q 中相同位置上的己x l 块的值加1 。同样，计算属于非建筑群区域的每一个 l x l 图像块在原图中对应的位置，在q 中相同位置上的l x l 块的值加上1 。这样， 得到一个只有4 、2 、1 、0 、一1 、24 七个值的矩阵q ，而且每个值至少覆盖了l 2 第二章基于分块f c m 聚类的建筑群分剽方法 l 2 大小的块。 2 矩阵q 分为t x t 个边长为，2 的方块q ，( t ；1 ，t t ，t = 2 + n l ) ， 如果q ，t4 或一4 ，则说明该块被4 个属于同一区域的l l 块覆盖。 如果q t2 或一2 ，则有两种情况，一种是该块处于矩阵边界，仅被2 个 属于同一区域的l x l 块覆盖；另一种情况，对于q ，；2 ，说明该块被3 个属 于建筑群区域的lx l 块和1 个属于非建筑群区域的l ，z 块覆盖，对于 q ，一2 ，说明该块被1 个属于建筑群区域的lx l 块和3 个属于非建筑群区 域的l l 块覆盖。两种情况不能混淆，可以对前一种情况重置q ，= 4 或一4 。 如果q ，；1 或一1 ，则该块处于矩阵的四个角，仅被1 个l x l 块覆盖。为 了处理方便，可重置q = 4 或一4 。 如果q ，；0 ，说明该块被2 个属于建筑群区域的l x l 块和2 个属于非建 筑群区域的l x l 块覆盖。 3 修正后的q 仅有4 、2 、0 、24 五个值，如果q ，= 4 或一4 ，该块是确定 的，如果q ，= 2 ，o 或一2 ，陔块就是不定块，如图2 3 所示。 幽2 32 、0 、一2 为不定块 经过以上处理，不定块已被确定，接下来需要对刁i 定块作进一步处理，以确 定这些块到底应该属于那一类。考虑上一节无监督的分割结果得到的模糊隶属度 矩阵和类中心矢量，可以利用它们进行有监督的不定块处理。 将原影像分为t x t 个边长为上2 的块，t = 2 + n l ；计算上2 l 2 大小 的不定块狄度的标准差s t d 及其宜方图的熵s ，在f c m 聚类结果的类中心矢量 v ( j ) = ( s t d ( j ) ，j ( 脚( ，= 1 , 2 ) 中，用k 表示建筑群区域的中心矢量，表示非建筑 区域的中心矢量，分别计算矢量v ；( s t d ，s ) 到两类中心矢量k 和的距离e ，和 e ，如果w 1 e ，w 2 i e ，则不定块属于建筑群区域，否则不定块属于非建筑区 域。这罩，e = 0 v 一嵋旷，：t i l v 一吐旷，芦- o 1 ：权值w l 和w 2 山f c m 聚类 结果中共同覆盖垓l 2 l 2 块的4 个l l 块的模糊隶属度( ，。( f _ 1 ，4 ，卜1 , 2 ) 决定。殴u ，。为第i 块属于建筑群区域的模糊隶属度，。，为第j 块属于一i # 建筑群区 域的模糊隶埔度，则w l 鲁u l l + u2 l + c ，j l + c ， w 2 # u 坨+ u2 二+ u j 二+ u 4 2 。 通过 ：丽的判断，解决了不定块的归属问题，得到了难确的区域边界块。 城市航空影像中建筑物信息的自动提取方法研究 2 3 2 边界的细化 不定块经过上述处理后，就得到了区域的边界。但是，这里的边界还是一些 l 2xl 2 大小的方块，为了得到更细的区域边界，可以考虑区域生长的方法。 如果l 2xl 2 大小的图像子块正好处于区域边界，则这一块被分为建筑群 区域的可能性比被分为非建筑区域大。因此可以把非建筑区作为种子区块，按8 邻域搜索非建筑区的l 2 l 2 大小边界块，对它的边界块进行区域生长运算， 生长方向朝向建筑群区域，并且不超过与非建筑区块相邻的工2 l 2 大小的建 筑群区块。生长规则如下： 设边界块r 的灰度均值为 1 1 ，方差为( d r2 ，r 的邻域像素“，y ) 灰度值为i ，计 算约束条件( ，一m ) 2 盯2 ，如果( ，一) 2 o - 2 l m ) 、视野范围 较大的航空影像。 1 0城市航空影像中建筑物信息的自动提取方法研究 第三章边缘检测及直线段检测方法研究 边缘是构成图像形状的基本要素，边缘中包含了有价值的目标边界信息，利用 这些信息可以用于图像分析和目标识别。因此边缘特征是图像的最底层特征，边 缘检测的好坏直接影响到更高层的处理。直线段是人造物体组成的重要部分，对 于建筑物，其垂直边及屋顶轮廓均存在直线段，研究直线段的提取对建筑物的提 取具有重要意义。 3 1 边缘检测 边缘是计算机视觉的底层信息，边缘检测的好坏直接影响到更高层的处理。边 缘检测的方法有很多1 1 2 1 , 1 ”1 ，如罗伯茨交叉算子( r o b e r tc r o s s ) 、酱瑞维特( p r e w i t t ) 算子、索贝尔( s o b e l ) 算子、l o g 算子、局部曲面最小二乘拟合法、坎尼( c a n n y ) 算子、边缘聚焦法、小波交换方法等等。由于垂直边缘检测需要有准确的定位以 及边缘梯度方向，因此采用了坎尼( c a n n y ) 边缘检测器。坎尼边缘检测器在提高 信噪比和定位精度方面有一个好的折衷，并且其输出不仅包含边缘和边缘强度， 还有边缘梯度方向信息。本文还介绍一种非标准感受野纹理抑制的边缘检测器， 这种检测器可以抑制纹理边缘，为后面的直线s n a k e s 轮廓跟踪排除了窗户纹理造 成的干扰。 3 1 1 坎尼边缘检测( c a n n y ) 坎尼【1 q 给出了评价边缘检测性能优劣的三个指标：好的信噪比，即将非边 缘点判为边缘点的概率要低，将边缘点判为非边缘点的概率要低；好的定位性 能，即检测出的边缘点要尽可能在实际边缘的中心：对单一边缘仅有唯一的响 应，即单个边缘产生多个响应的概率要低，并且虚假边缘响应得到最大抑制。坎 尼首次将上述判据用数学的形式表达出来，然后采用最优化数值方法，得到了对 应给定边缘类型的最佳边缘检测模板。 坎尼的分析针对的是一维边缘，对于阶跃形边缘，坎尼导出的最优边缘检测 器的形状与高斯函数的一阶导数类似，利用二维高斯函数的圆对称性和可分解性， 很容易计算高斯函数在任一方向上的方向导数与图像的卷积。可选择高斯函数的 一阶导数作为阶跃边缘的次最优检测算子。 设二维高斯函数为 眠加刍e x p ( 一等) ( 3 - 1 ) 在某一方向n 上o ( x ，y ) 的一阶方向导数为 第三章边缘检测及直线段检测方法研究 1 1 g 。墨n v g ( 3 - 2 ) o n 其中，n - c s o l n s 拶0 v g - a o g g l a 砂x 】。n 是方守矢量，v g 是梯度矢量。将图像 f ( x ，y ) 与g 。作卷积，同时改变n 的方向，g + f ( x ，y ) 取得最大值时的n 就是正交 于检测边缘的方向，对应d ( 瓯，o ，y ) ) a n = 0 的方向n n = v g + ， ，y ) 元可丽，两 ( 3 3 ) 在该方向上g + ( x ，y ) 有最大输出，此时i g 。+ ，h v g ( x ，_ ) ，) i 。二维次最优阶跃 边缘算子是以卷积g + y ( x ，y ) 为基础，边缘强度由l g 。，0 ，y ) | _ i v g + ( x ，) r ) j 决 定，方向由n = 青黼决定a 而且因为二维高斯函数具有圆对称性和可分解 性，实际操作的时候可将二维滤波卷积模板分解为两个一维的行列滤波器： 罢；h c x 卧i x 2 ) e x 卧j y 2 ) _ l ：( y ) ( 3 _ 4 a ) 詈一岫p ( - 鲁e x p ( - 驴x 2 ) - h 1 ( y 比( z ) ( 3 _ 4 b ) 将上两式与图像f ( x ，y ) 作卷积，得到输出： e ，；i d g f ( x ，y ) ( 3 - 5 a ) 啦 铲警邯( 3 - 5 b ) 令 a ( i ，加扛瓦再i 而( 3 - 6 ) a ( f ，力a r c t g b e e ( i , j j ) ( 3 - 7 ) 则a ( i ，) 反映了图像( f ，d 点的边缘强度，a ( ，) 是图像( f ，) 点处的法向矢量( 与 边缘方向正交) 。 对于图像的每一像素。根据其边缘强度和边缘方向，若满足以下三个条件， 驯袖“为旱图像的曲缘占 1 2城市航空影像中建筑物信息的自动提取方法研究 1 ) 该点的边缘强度大于沿该点的梯度方向的两个相邻像素点的边缘强度； 2 ) 与该点梯度方向上相邻两点的方向差小于4 5 度； 3 ) 以该点为中心的3 3 邻域中的边缘强度极大值小于某个阈值。 3 1 2 非标准感受野抑制纹理的边缘检测( n o n - c r f ) 科学家根据猴子和猫的视觉神经生理学系统，发现主视觉皮层神经元能够对给 定视觉场的直线或某一方向的边缘做出响应，最终发现了两类定向选择神经单元， 一类是能够感受直线和边缘的相对极性，称为简单细胞单元，另一类则不能，称 为复杂细胞单元。这种普遍的生物检测边缘的特性，近似为非标准感受野抑制， 它能检测真正的边缘，同时抑制纹理边缘。据此，g r i g o r e s c u 等人设计了一组g a b o r 滤波器，用来模拟简单细胞单元的功能，并设计g a b o r 能量，它与复杂细胞单元 响应相关，复杂细胞单元由一对相位相差石，2 的简单细胞单元组合而成，然后设 计非标准感受野抑制模型，从而模拟了生物检测边缘的过程【1 ”。 1 g a b o r 滤波器设计 简单细胞单元的感受野函数是在工程术语上的脉冲响应g 抽。，0 ，y ) ， ，) ，) q e r 2 ， “州肛脏业c o s ( 幼知，y 宝- m e 2 0 2 。三：篙 ( 3 - 8 ) 。g 。州，o ，_ y )c o s ( 2 石+ 妒) ，一! ：。j ： ( 这里y - 0 5 ，盯是高斯函数标准差，确定感受野范围， 是波长，1 a 确定余 弦系数空间频率，比例口a 确定空间频率带，经验值为0 5 6 ，o 【o ，口) ，妒( q ，玎 是相位偏移量确定g 抽 ，( z ，y ) 的对称性。图3 1 就是一个0 为0 ，妒为0 的对称滤 诙器 幽3 1g a b o r 滤波器 对输入图像f ( x ，) ，) ，其输出响应为 ，。0 ，y ) ，。，。，( x ，y ) - ( 厂+ g - ，。，( x ，y ) ) ，y ) 。盯厂以，v ) g 一o - - u , ) ，一”m 咖 n 2 g a b o r 能量滤波器 ( 3 9 ) g a b o r 能量滤波器与复杂细胞单元组合的响应相关，这个组合由一对相位相差 石，2 的简单细胞单元组成，即g a b o r 能量b 。o ，) ，) 组合了一对对称和反对称的滤 波器输出结果h 舢o 仁，_ ) | ) 和r a ，。 ( 。2 ) 0 ，y ) ： e ，y ) 。护= 丽万了石二磊历 ( 3 - 1 0 ) e 抽，。x ，_ ) ，) 表示给定方向和空间频率带的图像局部功率谱实际中，将学量化为 只，量化数为虬一- 訾，f 蕾咖。 。 3 非标准感受野抑制模型 为了定性她模仿定向选择细胞单元的非标准感受野抑制行为，对g a b o r 滤波 器增加了一项扩展的抑制项。对图像中给定的点，抑制项在该点感受野周围的环 形区域进行计算，其加权函数为w 口0 ，y ) ，如图3 2 所示： 图3 2 抑制项加权函数 k g ，y ) 矿孑西丽1 日( 。g 。，y ) ) ，日。) - 耋；： 这里川i 。表示工。范数，d o g 。 ，y ) 是下面定义的高斯函数： d o g , , ( x , y ) 。赤e 崭一刍e 等 对每一个b 定义抑制项f 乏。0 ，y ) ： t 。a ，b ( x ，y ) t 陋 。b + w 。) ，y ) f 3 一i i ) ( 3 - 1 2 ) ( 3 1 3 ) 1 4 城市航空影像中建筑物信息的自动提取方法研究 并定义一个新的操作6 老n0 ，y ) ： 6 j ：_ ( 工，y ) - h ( e 。岛0 ，y ) 一c 口置。，b ( z ，y ) ) ( 3 - 1 4 ) 这里口用来控制抑制强度。如果一个给定点周围没有纹理，则不会有抑制，这的 操作输出定于g a b o r 能量响应。 接下来构造轮廓操作6 髫似y ) ，它取所有乱中最大的5 盅。0 ，y ) ： b 。, 4 , - 0 ，y ) = m a x p 乜( x ，y ) l i = 1 ，。 ( 3 - 1 5 ) 其相应的方向为0 4 0 ，y ) ： 0 4 0 ，y ) - 吼，k a r g m a x 6 撬( x , y ) i i - 1 ，。) ( 3 - 1 6 ) 6 0 0 ，y ) 可以作为边缘幅度，e 4 0 ，y ) 作为边缘梯度方向，边缘点的确定与坎 尼边缘检测器类似。采用这个算法检测边缘时，盯取值应该根据所要抑制的纹理 来确定，而且一般应取较大的值，对纹理边缘抑制的效果更好。 3 1 3 仿真实验与结果 1 坎尼边缘检测( c a n n y ) 以建筑群的某一块为实验对象，如图3 _ 3 所示，取盯= 1 ，图像高斯平滑后， 用式( 3 - 4 a 及3 - 4 b ) 分别对图像进行卷积操作，得到横向输出e ，和纵向输出e ，慨 度响l 盘a ( i ，) 和梯度方向a ( i ，) 可根据式( 3 6 及3 - 7 ) 得到。幅度a ( i ，j ) 经过非最大 抑制后得到细化的边缘，利用双阈值得到边缘，边缘图如图3 4 所示。从图3 4 中 可见，利用c a n n y 边缘检测器，大多数的边缘均被检测出来，而且定位精度校准。 幽3 3 原幽 例3 4 c a n n y 边缘倒 2 非标准感受野抑制纹理的边缘检测( n o n c r f ) 以图3 3 为实验对象，利用3 1 2 节所述的方法进行操作，其中o 。4 ，纹理抑 第三章边缘检测及直线段检测方法研究 制后的幅度图和边缘图像如图3 5 ，3 6 所示。 图3 5n o n c r f 幅度图 幽3 6n o n c f f 边缘图 比较图3 4 和3 6 ，发现用n o n c r f 方法检测边缘时，窗户纹理确实能够得到 有效的抑制，而真正的屋顶轮廓得到保留，这为提取屋顶轮廓去除了许多干扰， 但是因为盯取值较大，使得其边缘的定位精度明显比用c a n n y 检测的结果差。 3 2 直线段检测方法 直线段的检测和提取是计算机视觉及模式识别中的一类典型任务，许多学者 在这方面已经作了大量的研究。n e v a t i a b a b u1 2 0 】将图像首先与六个5 x 5 梯度模板 卷积，然后用一门限去除幅度小的边缘像素点，再通过细化得到边缘像素。边缘 像素通过标记前趋和后继位置进行连接，并记录相应位置。边界线段可通过这些 位景来计算，并且可以通过一系列分段的线段使用迭代的端点匹配方法来进行拟 合。在b u m s 等提出的方法中，边缘首先用两个简单的2 2 模板进行卷积，像 素被群聚为具有相似梯度方向的线性支撑区域，与每个线性支撑区域有关的强度 曲面可用平的曲面拟合。直线段就是通过这个匹配的平面与水平面的交线来提取， 这个水平面表示用一个局部梯度幅值加权的平均强度区域。在v e n k a t e s w a r 等提出 的方法中1 2 2 1 ，用c a n n y 边缘检测器检测边缘，然后从左到右从上到下扫描边缘像 素，对每个扫描过的边缘像素分配一个直线标签，由此产生一幅标签图，每个边 缘像素具有与之相关的直线标签，属于同一直线的边缘像素分配有相同的标签， 利用这一点，可以提取直线段。 由于对图像噪声和直线段不连续性的鲁棒性，h o u g h ”】变换长期以来成为 直线段检测的主要方法。但传统h o u g h 变换( c h t ) 存在以下几个主要的缺点： ( 1 ) 计算量大，占用内存大；( 2 ) 提耿参数受参数离散划隔制约；( 3 ) 只能指f u 图像中某条直线的存存，不能给出直线段的完整描述( 端点坐标和长度信息) 。n ： 多学者刈传统h o u g h 变换进行改进吲1 2 5 1 2 6 1 1 2 ” 2 8 1 ，但并没有从根本上解决上述 1 6城市航空影像中建筑物信息的自动提取方法研究 问题为此，本文介绍一种自适应模糊h o u g h 变换算法( a f h t ) 4 1 1 ，这种方法在依 据梯度方向信息对边缘像素进行模糊映射的基础上，以模糊累积矩阵作为全局约 束条件，采用模糊推理求取每像素所属直线的具体参数，并通过二次累积检测直 线。该方法具有计算量较小、能克服峰值扩散和提供直线段完整描述的优点，在 第四章将讨论利用该方法提取建筑物垂直边缘。 根据整个算法的需要还采用了一种基于连通性及梯度方向的直线段跟踪方 法，主要用于提取包含屋顶轮廓的直线段。这种方法简单有效同时也能给出直 线端点坐标，以及直线长度、平均幅度和平均亮度，为后面的s n a k e s 轮廓跟踪所 需的种子直线的选取提供足够的信息。 3 2 1 自适应模糊h o u g h 变换( a f h t ) 直线段检测方法 h o t i 曲变换的基本思想是利用直线参数方程： o fc o s 口+ y lsin0一p(3-17) 将边缘像素q 仁f ，y f ) 映射为参数空间( p ，口) 中的一条正弦曲线并累积投票，累积矩 阵的峰值即对应检测的直线。这种方法检测直线采用的是全局累积矩阵，对噪声 和线段不连续具有较好的鲁棒性。但是运算量大，而且无法给出直线的端点。如 果结合边缘梯度方向，运算将大大降低。 设边缘像素q 。的坐标为 。，y 。) 。梯度方向为y ；。假定像素的梯度方向与直线的 方向垂直，并考虑边缘检测算子对边缘位置、梯度方向的计算误差，将q f 模糊映 射为p ，日) 参数空间的模糊数五： 4 一r ( ，如) ( 3 - 1 8 ) 式中r 表示元素的罗列，设位置和方向的误差容忍范围分别为p 。，钆，则： 0 “【n 一0 脚，y ，+ 口耐】 p 倒【p 口一p “，p + p “】 ( 3 - 1 9 ) p i i x i c o s o u + y is i n o i i 采用高斯函数计算隶属度，得 a 蝉- , x p - ( o 口一y ，) 2 2 盯；j e x p 【_ ( p 耐- p # ) 2 2 仃：j ( 3 2 0 ) 式中，盯，为p ，口的方差a 肛叫表示局部意义上点q f 属于直线( p 舭吼) 的可能性。 将