基于随机森林的遥感影像云影信息检测方法研究——硕士论文

分类号密 级UDC编 号 硕 士 专 业 学 位 论 文基于随机森林的遥感影像云影信息检测方法研究研究生姓名： 学号：指导教师姓名、职称： 专业类别（领域）：轻工技术与工程 年 月基于随机森林的遥感影像云影信息检测方法研究摘 要随着我国国产遥感卫星陆续发射成功并投入运行，遥感影像在越来越多的行业领域得到应用，发挥着重要的作用。光学遥感卫星传感器在成像过程中极有可能受到云层的干扰，遥感影像上经常会成对出现由云及其投影带来的不规则高亮区域以及暗淡的阴影区域，使相应的拍摄地域目标信息丢失或受到干扰。这降低了目标检测、识别和地物分类的准确性，对遥感影像的判读解译和应用带来不利影响。随机森林是一种基于决策树的监督学习算法，在泛化能力和分类精度上均优于单一决策树，并且具有良好的鲁棒性，因此随机森林算法已成功应用于遥感影像分类。本文研究基于随机森林的遥感影像自动云影信息检测方法，设计实现影像云及云影信息的自动检测方法，本文主要工作为：（1）分析遥感影像中云、云影、地物的光谱和纹理特征，在传统的光谱、纹理特征基础上，加入了基于Sobel算子的边缘特征，以描述影像中边缘的幅度特性，构建有效区分云、云影、地物的特征组合。（2）利用遥感影像降采样得到的遥感影像快视图，采集云影区域、云区域、地物影像分块处理得到训练样本，提取样本特征集，利用随机森林算法训练影像分类器。（3）使用随机森林影像分类器对待测遥感影像进行分类，得到云、云影、地物分类结果，接着对分类的各区块进行形态学闭运算，处理不同类区域相互重叠的情况，得到最终的分类结果，确定云和云影区域位置；（4）构建遥感影像测试集，通过改变随机森林训练参数进行分类器的训练与分类实验，确定最优的随机森林参数；针对分类器将较亮地物识别为云，将纹理平滑地物识别为雾的情况，增加对云、雾区域的“二次检测”；针对分类器将较暗地物识别为云影的情况，增加云影空间方位判定，以修正检测结果，提高检测精度；并对本文方法和优化改进后的方法进行精度评价。 本文在国产卫星的遥感影像测试集上进行云影信息检测试验，试验结果表明，本文方法可以较为准确地检测到遥感影像中的云影信息，具有精度较高、运行速度较快、不依赖辅助数据的优点。关键词：随机森林；云影检测；影像分类；特征提取 AbstractWith the successful launch of remote sensing satellites in our country, remote sensing images are becoming ever more and more important in more and more industries. However, optical satellites will inevitably be affected by clouds and fogs in the process of imaging, the remote sensing images often appear in pairs from the cloud and its projection to bring the irregular highlight area and the dim shadows, so that the target information of the corresponding geographical area is lost or disturbed. This situation directly affects the accuracy of target detection, object identification and terrain classification, hinders the interpretation and application of remote sensing images. Therefore, detection and removal of clouds and cloud shadow information in remote sensing images are an important means to improve the quality of remote sensing images and the efficiency of data utilization.Random Forest is an effective supervised learning algorithm with high classification accuracy and good robustness, which has stronger generalization ability and classification effect than single Decision Tree. Therefore, the Random Forest algorithm has been successfully applied to classification application of remote sensing images.This thesis researched the automatic cloud shadow information detection method based on Random Forest algorithm, which utilized the computer to realize the automated detection of cloud and cloud shadow. To achieve the research goal, the following work have been done in this paper:(1) The spectral and texture features of cloud, cloud shadow, and fog in remote sensing images are analyzed. On the basis of traditional spectral and texture features, edge features based on Sobel operator are added to describe the amplitude characteristics of the edges in remote sensing images, and the feature combination of cloud, cloud shadow and terrain is effectively constructed.(2) Segmentation processing of the fast view images, which was generated by down-sampling processing of corresponding original remote sensing data, was be taken to extract the features of cloud shadow area, cloud area and terrain area sub-images. Then, train the shadow-cloud-fog image classifier with the sample features, using Random Forest algorithm.(3) Shadow-cloud-fog image classifier was utilized to classify the target remote sensing images and obtain classification of the cloud, cloud shadow, and terrain images. Then, morphological block operations are performed on each images block of the classified area, then, cloud and cloud shadow area location was determined by area overlap detection.(4) Test set of remote sensing images was established, and the training and classification of the classifier tests are carried out by setting different Random Forest parameters to find the optimal parameters. In the case where the classifier recognizes the brighter terrain as cloud or the smooth terrain as fog, the secondary detection of cloud and fog areas was added; in the case where the classifier recognizes the darker terrain as cloud shadow, spatial direction judging method was taken to correct cloud shadow area, and improve the accuracy of detection.The performance assessment of the cloud shadow detection method and optimized one which proposed by this paper was carried out under domestic satellite remote sensing images set. The experimental results show that the method in this paper detects the cloud shadow information in remote sensing image fairly accurately, and has the advantages of high precision, fast arithmetic speed, and independent of auxiliary data.Keywords: Random Forests; Cloud Shadow Detection; Image Classification; Feature ExtractionIII目录摘 要IABSTRACTII1 概述11.1 研究背景及意义11.2 国内外研究现状分析21.2.1遥感影像云影信息检测研究现状分析41.2.2 随机森林方法在遥感影像处理中的研究现状分析41.3 本文主要研究内容62云、云影、雾影像特征提取方法72.1 遥感影像实验数据集72.2 云、云影、雾影像特征分析及提取82.2.1 灰度、颜色特征92.2.2 纹理特征112.2.3 边缘特征143 随机森林算法分析173.1 随机森林算法原理173.1.1 监督学习方法原理173.1.2 决策树模型203.1.3 CART决策树的生成213.1.4 随机森林的构造213.2 随机森林算法性能特点234 基于随机森林的云影检测方法244.1 基于随机森林的云影信息检测实验244.1.1 云影信息检测方法流程244.1.2 云影信息检测技术实现264.1.3 云影信息检测实验结果274.2 参数设置对分类器训练的影响294.2.1 随机森林模型参数294.2.2 随机森林参数与分类误差的关系294.3 云影信息检测方法优化304.3.1 云影信息检测方法存在的问题304.3.2 优化的云影信息检测方法流程324.3.3 优化方法的云影信息检测结果335 云影检测结果精度评价355.1 云影检测精度评价方法355.1.1 云影检测精度主观评价方法355.1.2 云影检测精度客观评价方法355.2 云影检测方法优化前后对比375.2.1 优化前后云影检测结果375.2.2 优化前后检测精度主观评价385.2.3 优化前后检测精度客观评价3996 总结与展望406.1 研究总结406.2 研究展望41参考文献42攻硕期间发表的科研成果目录46致 谢47 1 概述1.1 研究背景及意义“遥感”一词最早出现于20世纪60年代，指的是非接触的远距离探测技术。目前广泛应用的典型遥感技术是基于卫星平台的成像遥感技术，在这种遥感技术系统中，遥感卫星携带的传感器获取目标物发射或反射的各波段电磁辐射，再将电磁辐射转换为数字图像形式的卫星遥感影像，获取的遥感影像通过无线信道传输到地面，经过一定的影像处理解译，得到可以使用的目标信息。在对地观测时，卫星遥感技术具有观测范围广、观测限制少、运行周期短、可动态监测等独特优势1，这是人工现场测量和航空摄影测量无法相比的。近年来随着卫星遥感技术的迅速发展，越来越多的民用遥感卫星系统投入运行，特别是一系列国产遥感卫星发射成功，遥感影像信息在我国经济建设中的应用程度大大提高，在测绘制图、国土资源普查、土地覆盖分类、气象观察预测、农作物监控估产、灾害监测评估等领域得到广泛应用2,3,4。尤其是可见光遥感卫星影像，它的空间分辨率较高，颜色信息丰富，利于目视判读，已经成为应用最广泛的民用遥感数据类型5。然而，光学遥感卫星在成像过程中会不可避免地受到云雾的影响，云及其投影的存在，直接阻碍了地面区域遥感影像的获取，极大影响了遥感影像的应用。据统计，地球上平均有预计66%的地区被云层覆盖6，即使我国湿度最小的西北地区平均云覆盖也接近30%7。所以，在遥感影像上会出现由云带来的不规则高亮区域以及云影及不规则暗淡区域，使相应的拍摄地域目标信息丢失或受到干扰，降低了目标检测、识别和地物分类的准确性，对遥感影像的解译与应用带来不利影响4,8,9,10。对于含有部分云以及云影的影像，如果完全不使用，则造成了卫星资源的浪费，以及有效影像拍摄成本的增加11，因此，消除云和云影是提高遥感影像质量以及影像利用效率的一个重要手段，而其前提就是遥感影像中云和云影信息的检测。最早应用的云和云影信息检测方法是人工目视解译，利用判读人员的先验知识去标记云和云影的范围，相比于计算机解译，人工解译精度较高且灵活性好，可以识别各种复杂情况下的云和云影，因此被广泛应用。然而，遥感影像目视解译结果取决于判读人员的主观判断，不同判读人员对同一影像中云和云影的判读结果存在差异12，遥感影像中云形态多变，地物背景变化复杂，对于多光谱遥感影像，云影通常会减少受云层阴影影响的地面区域对太阳辐射的反射，使得云影区域在影像中的亮度很低，使得云影区域与水体、其他阴影或其他暗目标在可见光波段的光谱特征很相似，容易被混淆13，目视解译很难具备可重复性。另外，随着我国 “高分辨率对地观测”重大专项的推进以及国家遥感对地观测体系的不断建设，遥感卫星成像性能和无线传输能力越来越强，卫星影像数据量快速增长14。以中国科学院遥感与数字地球研究所为例，其下属的密云遥感卫星地面站覆盖接收面积达到国土面积的80%，可以接收15颗国内、外遥感卫星传来的数据15。在2008年接收国内外遥感卫星数据共计36.91万景14，同期处理能力却不超过200景/日。可见，依靠目视解译来进行大批量遥感影像检测还存在着时效性差的问题，因此，发展大批量遥感影像中云和云影信息的计算机自动检测技术具有重要的实践意义。机器学习的一大应用就是分类问题，而遥感影像云影信息检测问题可以理解为将影像分为云、云影、雾、地物四类的分类问题，所以可以用机器学习的方法解决。机器学习可以让计算机在没有明确编程的情况下做出基于学习的判断，通过计算机模拟人的学习行为，学习新的知识，并通过改变参数验证学习效果，对所学知识重新组织和优化，提高分类精确度、泛化能力等性能2。机器学习方法在语音识别、计算机视觉、搜索引擎、自然语言处理、医学诊断等领域应用广泛，取得了显著成果，早已得到理论和实践上的认可。云影信息检测通过选取云、云影、地物在影像中的灰度、纹理等特征，利用计算机进行监督学习得到分类模型，快速对大批量待测遥感影像中的云、云影和地物进行预测和识别，提高云影检测的时效性。随机森林是目前流行的机器学习算法之一，其分类精度优异，训练速度快，泛化能力好，鲁棒性强16，在遥感影像处理领域被大量应用。本文以实现遥感影像中云影信息的自动检测为目的，研究了基于随机森林的遥感影像云影信息检测方法，并通过对该方法检测的云影区块进行形态学变换、云影空间方位判断，减少云影区域错检，提高检测精度。1.2 国内外研究现状分析1.2.1 遥感影像云影信息检测研究现状分析遥感影像中的云影具有一些显著的特点，在光谱方面，由于入射光被云团遮挡，导致地面只有较小的光谱能量反射到遥感传感器，云影区域在遥感影像上表现为灰度均值较低，直方图能量值较小，容易与水体以及山脉阴影的光谱特征相混淆17。在形状方面，由于云影是云的投影，在空间关系上，云、云影通常成对出现且保持特定的方位位置关系，并且出现具有随机性，与地物的情况一般没有直接关系；这些因素决定了在形状方面，云影呈现出与云相同的特点，即多为团块状且形状极不规则，难以有效表达。利用云影的这些特点，很多学者对于影像中云及云影的检测和识别已经提出了诸多方法，概括起来，主要有下列四类：第一类是波段差异法，这种方法利用单景数据不同波段对云的敏感性差异进行图像运算与处理来确定云的区域，再利用云与云影的相对位置关系检测云影。Li等人18研究了单景Landsat影像中无云区地物在第一波段和第三波段影像的特性，利用这两个波段影像高度相关的特点确定了云的区域，再计算附近像元相对云区边缘的偏移距离（HOT），根据HOT的大小来判定是否是薄云或者云影，实现云影的自动探测。Zhu和Woodcock19,20 主要利用了Landsat的近红外NIB波段（Near Infrared Band）影像，将该波段影像进行Flood-fill种子填充变换，之后与原波段影像比较找到大致的云影区域，再将已经找到的云团与云影团块匹配，确定云影区域。沈金祥等人研究了单景Landsat 8影像中的云及云影协同检测方法，应用红、短波红外、热红外三个波段的信息，利用SAM（光谱角制图）方法得到云光谱特征曲线，再分别结合短波红外、热红外波段像元值筛除冰雪区域以及其他地物区域的干扰得到云像元，最后，对云区掩码定向移动，并匹配近红外波段亮度阈值，检测出与云区对应的云影区域。但是这种方法利用的是经验阈值，只能处理在同一类大气情况下的遥感影像，所以不能实现批量化的云及云影检测。波段差异法利用单景数据，比较简单，也有不错的效果，但前提条件较高21，波段较少的卫星影像数据受到限制8，阈值的设置也收到经验的限制，云影检测的自动化程度不高。第二类是多时相比较法，这种方法依据同一地区不同时相的多幅影像进行小波融合等运算来检测云影。Jin等人22利用同一地域不同时相的含云和无云Landsat ETM+影像数据分别作为目标影像和参考影像，利用两景影像的蓝色、短波红外和热红外波段光谱信息进行运算来获取大致的云影区域，再进一步处理得到准确的云影区域。Pyongsop等人23利用Landsat影像数据云影在多波段光谱各波段的光谱特征，建立云影地域增强模型初步定位影像中的云影，再对无云参考影像进行图像配准，找到差异区域 ，对差异区域进行非监督分类，筛选初步定位结果，实现了云影的检测。多时相比较法需要选取同一区域的无云参考影像，且要求这一时段内区域的地物变化不大，最好是要用不同年份同一季节或者近时相的数据，其检测效果取决于无云参考影像与待检测影像的相似程度24,25，而且需要对无云数据进行精确的配准和校正26，并设置判别规则排除真实地物的光谱变化，导致这种方法处理周期比较长，不适用于大量遥感影像的自动云影信息检测。第三类是滤波法，这种方法利用单景影像，通过均值、低通、高通、小波27、同态28等不同算子进行频率域图像处理以消除云及云影，适用于处理大范围存在薄云及其投影的情况。Zhang等人28针对薄云色调过渡均和，纹理结构简单，在影像频率域中是低频信息这一特点，通过小波变换将影像转化到频率域进行处理，再用同态滤波处理影像的低频近似分量，消除云及云影，最后使用小波重构将影像转换回到空间域，得到处理后的影像。滤波法原理简单、操作方便，但这种方法由于涉及滤波器结构以及截止频率的选择，不仅处理有云的区域，同时也影响非云区域，使灰度信息受到损失，造成不必要的信息丢失。第四类是几何关系法，这种方法利用云与云影之间的相对位置关系检测云及其投影。Hgarat-Mascle 和Andr29利用云及其投影形状、面积相似且相对位置关系固定的特点，在对影像进行通道间校准等预处理之后，分别在像元以及云团实体两个层次建立马尔可夫随机场，进行云和云影的分类检测。Jin等人22利用Landsat TM和ETM+传感器影像的蓝、短波红外、热红外三个波段的光谱信息来检测影像中的云及云影，再利用云和云影之间的地理位置相关性来判断云影是否有对应的云团实体，从而筛除错检的云影，得到更高准确率的检测结果。作者在5景Landsat测试影像上进行算法试验，像元级的检测准确率达到93.9%以上，但并没有在影像数量更大的遥感影像数据集上进行测试。几何关系法可有效避免云影与其它光谱类似地物的混淆，在预处理找出的大致云影区域的基础上定位云影，但这类方法模型复杂，涉及的参数较多，需与其它方法结合30，也涉及到经验性阈值的设置，不能适用于自动的云影检测。目前，云影检测技术正向着高精度、高效率的方向发展。这些方法各有特色又各有局限性，在同时满足高效率和高精度的平衡上，四种检测方法都有不足之处。因此，综合利用遥感影像的灰度、纹理特征以及云和云影呈现的成对出现、同一影像中相对方位一致的特点，避免云影在可见光波段中与水体、地物阴影的光谱相似性对检测结果的影响，利用机器学习方法在速度和效率方面的优势，研究基于机器学习的云影信息自动检测方法，并提高检测的效率和精度，是目前云影信息检测的一大发展趋势。1.2.2 随机森林方法在遥感影像处理中的研究现状分析随机森林（Random Forest，RF）算法由美国科学院院士Leo Breiman等人在2001年提出31。随机森林分类器由CART分类与回归决策树通过Bootstrap方法集成得到，其结构简洁，可以处理具有高维度特征的海量数据，分类准确性高，有很好的鲁棒性，且训练和分类速度快，这些特性决定了随机森林在较复杂的高维度大批量样本分类问题中具有很大的优越性。作为一种监督学习分类方法，随机森林在遥感影像处理领域很自然地被直接应用到土地覆盖分类等分类应用中32。国外方面，美国的Ham等人33用随机森林分类器对在样本数量较少的情况下，改进随机森林的节点分裂方法，训练基于二元分裂决策树的随机森林，完成高光谱遥感影像土地覆盖分类，发现RF比传统方法在高光谱影像地物分类中有更强的泛化能力；比利时的Chan和Paelinckx34利用Adaboost、随机森林两种方法对含有126个波段的航空高光谱影像进行生态区土地植被覆盖分类，并将两种方法的分类准确率与神经网络方法的准确率比较，发现随机森林和Adaboost方法都有70%左右的准确率，比神经网络方法提高了10%；其中，随机森林训练最快、最稳定。Rodriguez-Galiano等人35利用随机森林算法对西班牙Granada地区的以植被覆盖为主的14类地物进行了分类试验，并探究了训练参数对模型训练误差的影响，得到了泛化能力最优的分类模型，分类测试中的各类总体分类精度达到92%，指数达到0.92。德国的Wurm等人36利用TerraSAR-X卫星的双极化合成孔径雷达（dual-polarized Synthetic Aperture Radar）数据对大城市中贫民窟区域进行变化检测，实现对城市中贫民窟的社会经济研究，利用贫民窟地块影像中建筑密度高且排布不规则的特点，提取地块的纹理特征、形态学特征、波段极化特征，训练随机森林分类器进行贫民窟地块检测，并在孟买的SAR影像上进行了测试，总体精确度为88.58%，为0.7809。国内方面，武汉大学的孙洪团队37利用随机森林进行极化SAR影像上的地物分类，结合两种新提出的组合特征策略，在ALOS PALSAR影像上进行分类测试并与其它分类器比较，证明随机森林分类器在训练和分类花销时间更少的同时，性能也更优。Guo等人38将LiDar（Light Detection And Ranging）机载激光探测数据和航空多光谱影像相结合，基于随机森林进行城市分类；利用随机森林可以给出特征重要性的性能特色，通过大量数据的训练测试过程，给出了不同地物类别的各个特征对分类的重要性程度，证实了LiDar和多光谱数据在联合运用中的重要相关性。刘毅等人39将随机森林方法应用于国产小卫星的遥感影像分类，通过在HJ-1、BJ-1的多光谱遥感影像集上的试验表明，随机森林在运行稳定性，分类精度和运算速度等方面较支持向量机、最大似然法等分类方法表现更优秀。以上的众多基于随机森林的遥感应用研究表明，目前随机森林在来自卫星或者航空遥感平台的多光谱影像、全色影像、LiDar数据、SAR数据、高光谱影像以及多源数据组合上，在遥感变化监测、遥感土地覆盖使用等方面有广泛的应用，并且在分类性能上有更优良的表现，因而随机森林在应用中有着显著的研究价值。1.3 本文主要研究内容本文以自动检测卫星遥感影像中云及云影信息为目的，分析了随机森林在遥感影像处理中的研究应用现状以及近几年遥感影像云影信息检测研究的进展，发现随机森林方法可以应用于包括多光谱、全色数据在内的各种遥感影像，并且具有泛化能力强、分类精度高、运算速度快、支持海量数据的优点；而现有的云影检测方法在检测精度和运行效率两方面都各自有局限性，不能在效率和精度上取得平衡。所以，本文基于随机森林算法对遥感影像云影信息检测问题进行了研究，提出了基于随机森林的遥感影像云影信息检测方法，并对其进行了改进。本文主要研究内容如下：（1）研究遥感影像云、云影区域有效特征提取方法本文通过观测和特征提取实验，分析全色、多光谱遥感影像中云、云影、雾区域的光谱和纹理特征，根据云、云影、雾区域呈现的不同特点，选择灰度均值、灰度方差、一阶差分、直方图信息熵等光谱特征，以及基于灰度共生矩阵的逆差矩、对比度、角二阶矩和自相关性，以及分形维数等纹理特征；在传统的光谱、纹理特征基础上，加入了基于Sobel算子的边缘特征，以描述影像中边缘的幅度特性，构建有效区分云、云影、地物的特征组合。（2）研究基于随机森林的云影信息检测方法本文在对随机森林原理以及随机森林构造过程的研究基础上，设计了基于随机森林的云影信息检测方法：首先，通过提取云、云影影像样本集中的有效特征矢量，进行随机森林训练实验，找到最优随机森林训练参数，得到影像云影区块分类器；接着，使用分类器对待测影像进行分类，得到云和云影的分类区块，对云和云影区块进行形态学闭运算，再去除形态学运算后不同类区域相互重叠的情况，得到最终的云和云影区域位置。（3）研究改进的云影信息检测方法本文在基于随机森林的云影检测方法得到的云、云影分类结果基础上，针对分类器将较亮地物识别为云、将部分纹理平滑地物识别为雾的情况，增加对云区域“二次检测”；针对分类器将较暗地物识别为云影的情况，增加云影空间方位判断，以修正检测结果，提高检测精度。并对比分析改进后方法在精度上的提升，证明改进的有效性。2云、云影、雾影像特征提取方法利用随机森林算法实现对遥感影像中云影的检测，首先要建立实验数据集，并构建有效区分云、云影、地物的特征组合。本章将介绍用于本文实验的遥感影像实验数据集，并分析遥感影像中云、云影、地物的灰度、纹理和边缘特征，研究与各特征对应的特征提取方法。2.1 遥感影像实验数据集考虑到遥感影像云影信息检测方法研究的实用意义，本文以国产遥感影像为 实验数据，检测影像中的云影分布。分别选取近几年发射的四颗国产卫星的全色（PAN）和多光谱（MSS）遥感影像作为实验数据，数据来自中国资源卫星应用中心、国家测绘地理信息局卫星测绘应用中心和北京国测星绘信息技术有限公司，分别是高分一号（GF-1）、高分二号(GF-2)的多光谱影像数据，以及资源三号（ZY-3）、资源一号02C（ZY02C）的全色影像数据。四颗卫星发射时间分别是2013年4月、2014年8月、2012年1月、2011年12月，代表了我国在轨光学遥感卫星的最高技术水平。 本文实验数据中，GF-1号卫星PMS传感器的多光谱遥感影像437幅，拍摄区域覆盖北京、天津、河北；GF-2号卫星PMS传感器多光谱遥感影像389幅，拍摄区域主要是河北、山西； ZY-3号卫星NAD传感器的全色遥感影像270幅，拍摄区域主要是内蒙古； ZY-02C号卫星HRC传感器的全色遥感影像280幅，拍摄区域是北京、天津以及辽宁部分区域。影像中的地物包括了山脉、森林、平原、城市、湖泊等多种类型，在这样的数据集上进行云影检测方法的实验和优化，有利于提高本文方法在不同背景影像中的云影检测精度。本文实验的卫星遥感影像数据的获取时间等信息如表2-1所示，由表2-1可见，每种遥感影像的获取时间范围均至少包含四个季度，影像中会出现各种各样的云和云影，实验数据的丰富有利于提高本文方法在不同气象情况下云影检测的精度。表2-1 本文遥感影像数据列表卫星类别波段数获取时间传感器类别分辨率/m高分一号（GF-1）42013.05-2016.01PMS8.0高分二号（GF-2）42015.03-2016.02PMS4.0资源三号（ZY-3）12015.01-2016.03NAD2.5资源一号02C（ZY02C）12012.10-2016.01HRC2.362.2 云、云影、雾影像特征分析及提取本文使用基于随机森林的云影检测方法，以影像分类的方式检测影像中的云影，分类检测精度同时取决于云检测的精度，雾和云虽然相似，但其在影像中往往没有明显的投影，所以单独列为一类影像。并且，影像分类器训练过程中，每个输入实例就是某样本所有特征值组成的特征矢量，因此，首先需要构建有效的特征组合以及对应的提取方法，获取特征组合矢量。本节对实验影像集中的云、云影、雾在光谱特征和纹理特征两方面进行分析，给出各特征值的计算方法，并在此基础上，提出基于Sobel算子的边缘特征描述符，形成最终的特征组合矢量。如图2-1所示为实验数据中各遥感卫星的云、云影、雾区域影像样本。 (a) GF-1、GF-2、ZY-3、ZY2-02C云样本 (b) GF-1、GF-2、ZY-3、ZY2-02C云影样本 (c) GF-1、GF-2、ZY-3、ZY2-02C雾样本图2-1 各卫星云、云影、雾影像样本2.2.1 灰度、颜色特征 灰度、颜色特征分析对于遥感影像来说，光谱特征是最底层的一项特征，在特征提取中，一般采用颜色、灰度特征来描述影像的光谱特征。云一般是由水滴或冰晶凝结而成，太阳光照向云层将会被反射、吸收和散射， 随着云层厚度的增加，云对太阳光的反射和吸收能力增强，导致到达地表的光能量大幅减小而形成投影，在遥感影像上表现为云和云影。虽然雾也是由大气中的大量水滴形成，但云与雾在光学特性上不同的是，由于地表反射的太阳光不能穿透云层到达传感器，所以遥感影像的云区只有云的影像；而雾由于比云更加稀薄，入射的太阳光和地表反射光穿透雾的同时发生明显的米氏散射，以至于到达传感器的地表反射光能量降低，并且包含了地物和雾的混合信息。对于雾区域，在遥感影像上一般表现为模糊且质量退化的图像，原因主要是两方面：一是刚刚分析到的反射光能量降低，二是未经地面反射的太阳光散射后混杂于地面反射光。雾天大气散射模型如图2-2所示，即传感器接收的光来自两部分，一是被雾散射而减弱的地表反射光；二是入射地表时遇雾发生散射后被传感器直接接收的部分太阳光。图2-2 雾天大气散射模型对比图2-1中云、雾样本也可以看出，云样本的亮度均值水平比雾样本高，并且，雾样本边缘不清晰，并且会含有模糊的地表信息，这就是由于各自成像机制不同而在遥感影像上的具体体现。按照形成方式不同，阴影可以分为本影和投影两大类40，对于遥感成像而言，云影即是云遮挡了太阳光，从而在地球表面形成的投影，云影区域由于入射的可见光波段太阳辐射被云层大量遮挡、反射，因此云影区反射进入遥感卫星传感器的能量也较小，区域灰度均值低，对于多光谱影像，颜色接近于黑色。正因为如此，云影的光谱特征与水体以及建筑物、山脉阴影的光谱特征比较相似，如图2-3所示。 (a)云影区域 (b)水体区域 （c）山脉阴影图2-3 云影与其他较暗的影像区域但是，由于水体对可见光的选择性吸收并非在各个波段都是相同的，所以，水体的像素值偏蓝，图2-3（b）中的湖泊区域RGB三通道灰度均值（1,8,18）；云一般是白色的，对可见光的反射在各波段接近于相同，但是仍会有少量光透过，云影区域的颜色偏向地物区域影像颜色，例如，图2-3（a）中的云影区域RGB三通道灰度均值为（18,6,6），偏红；山脉和高大建筑由于完全不透光，所以这种阴影区域颜色会偏向于纯黑，图2-3（c）中阴影区域RGB三通道灰度均值为（6,6,7）。综上，在灰度、颜色特征方面，云影与水体、地物阴影区域存在着差异，但不够明显，可以考虑在提取特征之前进行线性拉伸等预处理。 灰度、颜色特征提取由于地物的复杂性，云的多样性，以及季节、天气的不同，导致遥感影像中的云以及云的投影复杂多样17。在应用中，仅仅通过一个特征是无法有效描述云和云影目标特性的，因此本文使用多种特征形成多维特征矢量来描述每一个样本影像。对于灰度图像而言，最基本的特征就是每一个像素点的灰度值，灰度特征在运算上比较简单，但往往能够直观有效的反映图像在亮度、颜色方面的特性，本文选用灰度均值、灰度方差、一阶差分、直方图信息熵作为灰度特征矢量。(1) 灰度均值样本影像的灰度均值计算公式为：（式2-1）其中， 是影像处的灰度值，M是图像的长，N是图像的高。本公式既可以计算RGB三通道内的3个灰度均值，也可以计算灰度图的1个灰度均值。灰度均值反映了云、云影、地物之间的整体亮度差异，对于光学遥感影像，一般来说，大部分云区亮度较高，大部分地物亮度较低。（2）灰度方差样本影像的灰度方差计算公式为：（式2-2）灰度方差反映了影像整体灰度的分布均匀程度，或者说灰度分布的离散程度。（3）一阶差分样本影像的一阶差分计算公式为：（式2-3）一阶差分描述图像相邻像素之间的分布差异，反映了影像中灰度变化的剧烈程度。（4）直方图信息熵样本影像的直方图信息熵计算公式为：（式2-4）其中，是图像的直方图，是在某灰度级下像素占所有像素的分布频率，直方图信息熵综合反映了影像不同灰度值分布的概率情况，熵值越低，影像灰度值分布越均匀。2.2.2 纹理特征 纹理特征分析纹理是数字图像处理中的常用特征，指图像内部色调和方向有规律的变化，并以一定的频率重复出现造成的小形状结构。能够反映目标表面的质感，具有光滑、平滑、粗糙等视觉特征，例如，城市，农田，山脉分别呈现格点状，条带状，褶皱状纹理特征，如图2-4。纹理一般可以分为规则纹理和自然纹理，遥感印象中更多出现的是自然纹理，它并没有明确的纹理基元，是内部某色调在空间中重复出现形成的可被感知的规律变化，这种重复在局部小范围很难观察，只有在整体层面发现它的存在。 (a)云 (b)农田 （c）城市 (d)山脉图2-4 不同影像区域的纹理特点对于云而言，不同高度、不同厚度的云灰度相差较大。水汽含量、高空大气环境等不确定因素导致云的形态千变万化，在影像上体现为纹理的多样性。由图2-1（a）可见，云样本纹理多变，在局部层面难以观察到明显纹理，然而，遥感影像中的云在整体层面呈现出光滑而有层次的纹理质感，与局部范围的灰度变化相比具有自相似性。另外，云区内部灰度变化缓慢，灰度梯度幅度不大，整体来看纹理特征较弱。正因为云区呈现出这两点纹理特性，因此使用纹理特征描述云影像是有意义的。对于雾而言，雾对光的散射使得它展现出和云不太一样的纹理表现，相比于云的纹理，雾区纹理特征更为规则。如图2-1（b）所示，雾因为是一种模糊的影像，所以其边缘信息很弱，看上去比较平滑，呈现出一种模糊混沌的主观质感。云影区域几乎不具备明显的纹理特征，本特征主要描述云影像，利用随机森林方法更准确的检测云的分布，从而利用云的分布来辅助判断云影分布。 纹理特征提取对于遥感影像中自然纹理呈现的纹理特征，主要通过统计分析方法加以提取，提取方法主要包括分形维数方法，灰度共生矩阵法。（1）分形维数方法分形维数基于分形几何理论41，利用影像自相似性强弱描述不规则形状图像的纹理特征。遥感图像中的云整体上是不规则的，但在细小的局部尺度上却又是相似的，具备自相似性，满足了分形几何特征，因此将分形维数提取为描述云影像的一个纹理特征参数。然而，分形维数的理论定义过于复杂， 其解析值很难计算，并且在应用中近似值也足以起到特征描述符的作用，因此，本文使用计盒维数法42求分形维数的近似值。本文算法流程为：设图像灰度级数为，取一组尺度值，按将图像切分成的网格，设，每个网格是一组高为的盒子。设网格中最大灰度级和最小灰度级分别落在盒子和中，则赋给该网格的所有灰度值，需要盒子数量为：(式2-5) 累加得到整个图像的盒子个数：(式2-6)分形维数的值即为：(式2-7)本文选择值为4，8，16，将得到的三组，值绘制在直角坐标系，用最小二乘法拟合三个点数据，得到的一次函数斜率就是分形维数值。分形维数特征反映出图像中纹理的复杂程度。局部区域纹理也是不规则，值越大；对于云图来说，灰度变化平缓，纹理细节少，往往较小。地表物体纹理反复复杂，往往较大。（2）灰度共生矩阵方法本文选择了以下五个基于灰度共生矩阵的二次统计值来作为纹理特征值，首先计算得到归一化的灰度共生矩阵，再通过提取以下值：1）对比度(式2-8)2）角二阶矩(式2-9)3）自相关(式2-10)4）逆差矩 (式2-11)其中，是矩阵P中行标为m，列标为n的元素，um ,un, m,n分别是mm ,mn的均值和标准差，mm ,mn的计算方式为mm=n=0N-1P(m,n)，mn=m=0M-1P(m,n)，分别是矩阵P每列和每行之和。关于各个二次特征的意义，当对比度越大，或角二阶矩越大时，图像纹理特征越明显；当自相关越小，逆差矩越大，纹理特征的变化越不明显；反之亦然。（5） 信息熵(式2-12)因为是归一化的，所以矩阵中的每一个值本身就是概率值，因此信息熵的计算公式得以简化。2.2.3 边缘特征由于云和地物的复杂性和多样性，仅仅使用上述灰度、颜色、纹理特征区分度较差。实验发现，山地等部分地物区域使用上述特征容易造成错判。通过目视比较大量容易错判的云与地物，发现它们虽然灰度、颜色、纹理特征存在很大相似性，但是边缘特征存在较明显的差别。山地等地物的边缘通常表现得更明显，边缘梯度较大；云的边缘则不清晰，表现得较为模糊，在局部中，边缘梯度小，变化缓慢。为了利用数值描述边缘差异，提高特征组合对云、云影、地物的区分能力，本文提出了基于Sobel算子的边缘特征用于云影检测，包括边缘幅度最大值和边缘幅度均值两个特征。另外，由于影像局部灰度范围窄，如图2-5，2-6所示，云区亮度均值较高，直接提取边缘得到的边缘信息不明显，提取边缘之前，本文对影像进行线性拉伸处理，将子图灰度范围拉伸到最大，以放大边缘特征，进而提取到的边缘特征值区分度更高。 本文基于Sobel算子提取边缘幅度最大值和幅度均值特征的方法步骤如下：（1）对样本图像进行线性拉伸，将子图灰度范围线性拉伸至0到255区间，得到拉伸处理之后的图像P(m,n)；（2）利用三阶Sobel边缘检测算子对P进行水平和垂直方向的卷积运算，求取边缘图像。设和分别是经水平和垂直方法边缘检测之后的边缘图像，计算公式为：(式2-13)(式2-14)(式2-15)（3）计算边缘特征：(式2-16)(式2-17)为了验证这两个边缘特征的有效性，选取部分灰度特征非常相似的云和地物样本进行特征比较分析，所选典型样本分别，归一化后的样本的各项特征值分布情况散点图如图2-7所示，其中，图2-7(a)(b)为归一化的灰度特征分布，图2-7(c)(d)为归一化的纹理特征分布，图2-7(e)(f)为归一化的边缘分布。图2-5 典型云类样本图2-6 对比地物样本除此之外，图2-7(g)(h)给出了不经线性拉伸预处理的情况下，提取到的边缘特征分布。由图2-7可以看出，这两类样本的灰度特征分布区域大部分是重叠的，这意味着灰度特征很难区分两类影像；分形维数等纹理特征虽能够区分部分两类样本，但效果不够显著。而由图2-7(e)和图2-7(f)可见，两类影像的边缘特征分布区域交集相比其他特征分布情况减小了很多，尤其是边缘最大值特征，能显著区分云类和地物子图，说明本文提出的边缘特征能够较好的区分云和地物。对比图2-7(g)和图2-7(h)中不进行拉伸预处理 的情况，本文提出的经线性拉伸后提取的边缘特征，将云和地物的特征分布区分得更开，区分云和地物的能力大大提高，说明线性拉伸处理是有效的，反过来，这也充分说明了本文提出的基于Sobel算子的两个边缘特征的有效性。(a)方差(b)直方图熵(c)分形维数(d)角二阶矩(e)边缘最大值(f)边缘平均值(g)边缘最大值（未拉伸）(h) 边缘平均值（未拉伸）图2-7 归一化的特征分布3 随机森林算法分析随机森林算法（Random Forest，RF）由Breiman等人在2001年提出31，它以CART决策树算法（Breiman，1984）为基础，是一种由多棵CART决策树集成的机器学习算法。区别于其他的决策树集成学习算法，RF算法在生成单棵树的过程中，训练子集获取、节点特征选择是完全随机的，具有很好的泛化能力，由于整个决策树森林输出“过拟合”程度降低，对训练样本中的噪声有很好的鲁棒性，降低了测试误差，使训练得到的RF分类器有很强的稳定性。本章通过研究随机森林的基本原理和学习过程，为利用随机森林算法进行云、影分类以及随机森林分类器的训练优化奠定理论基础。3.1 随机森林算法原理3.1.1 监督学习方法原理遥感影像中的云、云影区域的多维特征矢量值具有统计规律性，这些特征矢量就能够作为监督学习所用的数据，这也是本文利用随机森林方法解决云影信息检测问题的前提条件。 监督学习问题的形式化监督学习分为学习和预测两个过程，分别由学习系统和预测系统实现，可以用图3-1描述。图3-1 监督学习问题首先给定训练数据集，其中，是样本点。是第个样本的特征矢量，是该样本的分类标签。在学习系统中，学习算法利用训练数据集中的样本点，训练得到模型，对于随机森林或者决策树算法来说，得到的是为非概率模型，可以表示为决策函数（decision fu