多源遥感影像时空谱融合与土地利用变化监测进展

1、 多源遥感影像时空谱融合与土地利用变化监测进展 Summary：随着遥感对地观测技术的不断发展，目前已发展到多卫星、多传感器、多时相影像，并步入遥感影像大数据时代，同时遥感应用与数据处理方法也不断扩增。本文归纳了多源遥感影像的时空谱融合与土地利用变化监测方法，论述了两者相互关系及土地利用变化监测发展趋势。Keys：时空谱融合；变化监测；发展趋势随着经济不断发展，人类社会活动不断扩张，土地利用情况时刻发生着较大的变化，其中每年城市土地利用变化最为显著1收稿日期：。同时，2020年是我国“十三五”规划最后年，也是扶贫攻坚与全面建成小康社会的决胜年，因此农村土地利用已发生较大变化。如今，及时、准确获

2、取土地利用信息，为政府后续分析与决策、城市规划、生态环境保护、国土资源调查与更新、可持续发展提供重要依据与保障。多源遥感时空谱融合，具有宏观、精度高、快速等优势，为土地利用变化主动监测提供基础数据源。随着航天技术和光学遥感的不断发展，卫星遥感技术已成为新时代的高端科技。近年来，高光谱遥感和激光雷达技术发展迅速，不但能够提供丰富的地物空间信息，还提供十几、数百甚至上千个波段及精确的地面高程数据，因此被广泛应用于农业、海洋、冰川、城市和军事等领域2。同时，随着全球各国遥感技术发展与竞争，遥感卫星数量不断上升，同一区域可获得多卫星、多传感器、多时相、多空间分辨率及多光谱信息3，因此大数据遥感为快速、

3、有效监测地类变化提供可能，同时时序遥感影像的研究与应用也成为当今遥感领域研究的热点之一4。高时间、高空间、高光谱融合涉及较多领域技术，如计算机视觉、传感器技术、信号处理技术及人工智能技术等，交叉学科中研究创新为土地利用主动监测提供了新的技术手段。已有研究使用高时间序列影像与高空间分辨率影像融合，再将融合后影像与高光谱影像融合，及与激光雷达数据融合，主要分为像素级融合、特征级融合和决策级融合3567。随着激光雷达技术的发展，为卫星测量高程信息提供新的有效手段，可根据测量植被冠层高度、海平面变化及冰川消融情况，估算全球生物量及生态环境，因此时空谱融合还包括激光雷达的精密高程数据融合，提高土地利用分

4、类与监测的精度1。1 多源遥感融合1.1 时空融合时空融合是指对同一地区不同时间及不同卫星获取的遥感影像进行融合，从而提高时间分辨率5。传统时空融合主要分为：加权、变换域和字典学习方法。Hilker等8对STARFM方法改进，提出STAARCH（Spatial Temporal Adaptive Algorithm for mapping Reflectance Change）方法，选择加拿大西部亚伯达185185 km范围的Landsat卫星影像与MODIS卫星影像进行试验。该方法主要分为两步，首先采用变化指数方法9检测不同时相Landsat影像对的变化区域，再根据多时相MODIS影像与变化

5、信息融合。特点在于对不同时相影像中的变化区域非常敏感，在未变化区域不做处理，属于典型的基于变换域的融合方法。1.2 空谱融合空谱融合包括高空间分辨率、激光雷达、高光谱数据间融合。近年来我国城镇化不断发展，建筑物也不断增高，高光谱影像针对于高程变化区域并不敏感，而激光雷达可以精确测量空间高程，真实反应地物三维信息，但不能获取地物光谱信息。因此，全色、高光谱遥感与激光雷达数据融合，将进一步提高遥感数据的高程信息，及土地利用分类精度及变化监测1011。如图1所示，常用方法主要分为三个层次：像素级、特征级和决策级融合。图1 三种融合方法：像素级、特征级和决策级1像素级融合核心思想是将多个图层进行叠加合

6、并为一幅新的影像，因此次融合方法保留了许多原始影像信息，数据量较大，可提高后期地物分类及变化监测的精度12。但冗余的数据量将增加数据处理时间，及产生较多的干扰信息，因此该方法不太适用于本文论述的研究问题。特征级融合不同之处在于将多源数据进行特征提取，然后采用统计方法、支持向量机、主成分分析等分类方法对不同影像提取特征的相似性进行分析与融合13。该方法可针对某些特征识别并融合，减少冗余数据，可提高数据处理效率与特征属性分类的可靠性。然而，由于特征级融合会丢失较多的信息，且分类的精度较低及可分辨类别较少，因此后续研究的决策级融合（也称分类器融合）弥补了前两种级别方法的缺点，权衡计算效率与分类精度，

7、并且鲁棒性较高。许凯等14提出单分类器多特征融合方法，首先采用最大似然分类器对影像的光谱、纹理与专题信息进行特征预分类，然后基于Adaboost算法对分类结果进行决策级融合，该方法明显提高地物分类精度。1.3 深度学习方法随着人工智能技术不断发展，Shao和Cai15基于深度卷积神经网络方法，将高空间分辨率的全色影像与多光谱影像融合，得到比传统方法更好的结果。该方法主要分为两步，首先使用两种框架分别提取全色影像和多光谱影像特征，再采用残差学习网络建立两种影像特征的联系，从而进行数据融合。Li等16 采用监督型卷积神经网络和非监督Eps（Extinction Profiles）特征提取方法对高光

8、谱影像和激光雷达数据进行融合，首先采用非监督Eps（Extinction Profiles）特征提取方法预处理激光雷达数据和高光谱影像，然后构建三个卷积神经网络分别提取高光谱影像的光谱特征和空间特征，及激光雷达数据的高程特征，再构建复合核进行两类数据融合，获得更为精细的分类地图。Cao等17同样采用深度学习算法构建不同网络框架，实现遥感影像和社会场景数据融合，进而识别城市范围。深度学习方法应用范围非常广，其主要思想是利用卷积运算、线性或非线性运算等构建不同的网络模型，再训练优化模型参数，因此可解决许多传统方法难以解决的问题。但模型参数不能从物理机理角度上解释说明，缺少物理含义和科学解释，因此深

9、度学习需与物理机理相结合，才能促进科学的进步。2 土地利用变化土地利用变化可分为三种不同层次研究：变化检测、变化识别与分类、多时相变化监测。变化检测指使用两幅同一区域不同时期的影像，检测发现变化区域，生成区域变化图18。变化识别与分类指不但需要发现不同时期变化的区域，同时需要识别变化区域具体哪两类地物间的变化，并对多类别地物变化进行分类，生成多类变化图19。多时相变化监测指使用三幅及以上不同时期的同一区域影像，检测变化区域与分类，生成时空演化序列图4。2.1 二值变化发现应用遥感技术快速检测影像变化，广泛应用于其他行业，如：土地利用、地表覆盖、自然资源保护、城市规划与管理、灾害救援等。变化检测

10、主要方法分为传统方法、监督式深度学习和非监督式深度学习。传统方法包括CVA、归一化指数变化图、随机森林等，监督式深度学习包括全监督、半监督、迁移学习、强化学习。由于深度学习需要较大的样本库，故如今研究非监督式端到端的深度学习变化检测为热点，降低对样本的依赖。Chen等提出新的基于语义时空对象的神经网络，相比于其他方法可独立编码双时影像，不需要任何其他参考时空数据，建立自注意力模型，计算像对关系，同时开源介绍LEVIR-CD变化检测数据集。Khelifi等 与Liu等综述文献，总结近年来利用深度学习研究遥感影像变化检测，分别介绍了深度学习进展，该方法在变化检测中的应用，与归纳深度学习在遥感变化检

11、测研究的现状与问题，以及概述深度学习在该领域已有的方法并对比分析。2.2 多类别变化Gong等采用多源地理空间大数据与遥感影像构建2018年中国城市土地利用分类图，该方法首先使用精度（20 m）OSM（OpenStreetMap）数据获取城市道路信息，再根据高分辨Googel Earth Pro软件采样全国34省及322县区的城市道路宽度对OSM数据缓冲分析；再基于30米分辨率非渗透地表图绘制城市边界；然后利用10米分辨率的哨兵2号影像进行地块利用分类；最后采用多源地理空间大数据进行特征提取，包括多光谱哨兵2A/B号影像、腾讯APP移动手机地位大数据、珞珈1号夜光影像、高德POI数据（餐饮、零

12、售、汽车、住宿、娱乐、公共设施、物流等）。Wu等19基于迭代慢特征分析（Iterative Slow Feature Analysis）和贝叶斯软融合（Bayesian Soft Fusion）方法对多时相遥感影像图变化检测与分类，识别土地利用变化类型。该方法由四个部分组成：1）首先采用支持向量机方法对不同时期的多光谱影像进行土地利用分类；2）然后采用ISFA方法检测不同时期影像的变化区域；3）在采用贝叶斯软融合方法处理土地利用分类信息和变化检测数据；4）由于贝叶斯软融合方法对一些未变化像素错误检测为变化像素，故采用类概率滤波方法避免错误的变化检测，最后得到多类别土地利用变化图。2.3 时空演

13、化土地利用和地表覆盖的变化是全球环境变化的主要原因，因此快速有效的监测土地利用变化，有利于分析理解国土信息、资源环境、生态等之间平衡与循环。Liu等基于Google Earth Engine（GEE）软件建立全球1982年至2015年的地表覆盖时空演化图，该研究首先收集每年数据GLASS CDRs、VCF、GMTED2010，然后进行样本训练，再采用随机森林算法分类，最后精度评估与分析。Zhu和Woodcock Center等提出CCDC算法（Continuous Change Detection and Classification）解决多时相遥感影像的变化检测与分类问题，该方法主要分为影像

14、预处理、连续变化检测和连续地表覆盖分类三个部分。预处理包括几何配准、大气校正、遮云、云影和雪的影响，使用Landsat L1T影像进行几何配准，然后利用LEDAPS（Landsat Ecosystem Disturbance Adaptive Processing System）进行大气校正，针对于遮云、云影和雪的影响采用RIRLS（Robust Iteratively Reweighted Least Squares）方法进行时间序列分析，检测三者的影响。然后基于OLS（Ordinary Least Squares）构建年周期函数模型，根据影像不同光谱年周期性变化模型与实际测量值差值分析，设

15、置3倍RMSE阈值检测土地利用变化。同样，每个地类不同光谱对应特定的时间序列变化模型，因此采用随机森林算法分类每个光谱中不同地类模型，然后根据光谱时间序列进行连续分类，并识别变化前后不同地物类别。该方法优势在于，对于新的影像输入可近实时的变化检测与分类，关键在于前期长时间序列影像的收集与处理，及时间序列模型的构建。Kalinicheva等4基于图形与深度学习自动编码算法，提出端到端非监督方法解决时序卫星影像中变化检测与聚类问题。详细分为五部分：1）构建自动编码网络对双时相影像进行变化检测，获得多时相二值变化图；2）采用graph-based tree-merging segmentation算

16、法对变化图进行分割，该算法可合并相同类别的像素，即将影像变化区域中不同类分割为多个不同部分；3）基于图形演化方法和Khiali等 提出自动分析跨年遥感影像时间序列变化特征方法，结合数据挖掘技术和演化图形分析整个时序影像的时空演化；4）添加高斯噪声至原影像，再构建深度卷积自动编码网络进行去噪与特征提取；5）基于循环神经网络构建GRU（Gated Recurrent Units）自动编码模型对变化特征演化图进行聚类分析，并此方法可解决LSTM（Long Short-Term Memory）长依赖问题。Zhu等基于时间序列影像分析构建模型，采用1984-2012年的Landsat时序影像，根据每年的

17、观测次数构建三种不同模型，模拟每个像元的变化趋势，若每年观测次数O6，则采用4参数模型；若6O12，采用6参数模型；若O12，采用8参数模型。作者提出观测次数需大于等于模型参数数量的三倍，故采用更为复杂多参数模型，需增加更多的观测值，该作者采用LASSO(Least Absolute Shrinkage and Selection Operator)算法解决复杂模型过拟合问题。基于像元时间序列模型，采用三倍（夏季变化范围更大）或两倍（冬季变化范围更小）RMSE（Root Mean Square Error）阈值能够较好的模拟与预测缓慢型变化（季节性、植被生长和生态环境变化等），如森林、湿地、种

18、植的树木、土壤、植被、城市、农作物、居民区、地形阴影的影像特征，并且模拟的影像不含有云、雪及条带的影响。但该方法对于人为导致的非规律性变化，无法识别与模拟，如砍伐森林建设房屋的变化过程。然而，可利用已有的房屋模型与森林模型识别两种变化的状态，识别由森林变为房屋。3 发展趋势3.1 针对性土地利用变化监测变化监测应用广泛，如城市规划、生态环境、自然灾害、人类活动、经济发展、城市扩张、农作物耕种、气候变化、空气污染等领域中非常重要，可解决许多行业问题。依据土地利用现状分类GB/T21010-2017和中华人民共和国土地管理法土地利用分类为一级（12个）、二级（73）两个层次的分类体系，由于人类活动

19、与经济社会的发展，许多土地利用变化属于跨一级类变化，特别在城市郊区最为明显。而农村土地利用变化属于二级类变化较多，如农作物随季节、气候条件、市场经济调整。因此利用遥感影像研究多类别变化监测尤为重要，对遥感影像数据要求也不断提升，需要高空间分辨率、高光谱分辨率、高时间分辨影像数据，而依靠单个或几个卫星获取影像是不足以满足此需求。故多源卫星融合技术也将成为研究重难点。针对12个一级类和73个二级类间的变化，由于各类别间变化物理机制与驱动因素存在较大不同，故用一种或几种方法解决多类别变化监测极为困难。因此根据某个或几个典型土地利用变化为导向，从数据源、光谱特征、空间特征出发，研究针土地利用变化的物理

20、机制与驱动因素的监测方法，从而提高监测精度及变化边界信息。3.2 人与社会的监测土地利用主要受人类活动与社会经济发展的影响而产生变化，因此对土地利用变化监测的结果也可以从另角度反映人类活动与社会发展的情况。如郊区的荒地-建设用地-居住用地的变化，反映随城市不断扩张趋势。同样，若林地、公园与绿地、湿地、草地的变化可反映该城市的生态环境与空气质量。还可以结合夜光遥感监测城市用地变化，反映城市经济情况。4 结语本文结合遥感对地观测技术与深度学习的发展，总结了已有的遥感时空谱融合方法，以及从二值变化发现、多类别变化、时空演化角度论述土地利用变化监测的方法，阐述了土地利用变化监测的发展趋势与应用价值。本

21、文提出从土地利用变化监测到对人与社会的监测，大多变化由人与社会发展而引起，因此可结合土地利用变化的物理机制与驱动因素进行监测，从而提高监测精度及变化边界信息。Reference1 满其霞. 激光雷达与高光谱数据融合的城市土地利用分类方法研究D. 20152 刘冰, 余旭初, 张鹏强, et al. 联合空-谱信息的高光谱影像深度三维卷积网络分类J. 测绘学报, 2019, 48(1): 53633 史榕, 许惠平, 陈华根. 遥感影像数据融合技术及融合质量评价研究J. 鲁东大学学报(自然科学版), 2008, 3(2): 54674 Kalinicheva E, Ienco Di, Subli

22、me J, et al. Unsupervised Change Detection Analysis in Satellite Image Time Series Using Deep Learning Combined with Graph-Based ApproachesJ. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 145014665 蔡家骏. 基于深度学习的遥感图像空谱融合与时空融合D. 20196 陈善静, 向朝参, 康青, et al. 基

23、于多源遥感时空谱特征融合的滑坡灾害检测方法J. 计算机研究与发展, 2020, 57(9): 187718877 Pohl C, Van Genderen J L. Review Article Multisensor Image Fusion in Remote Sensing: Concepts, Methods and ApplicationsJ. International Journal of Remote Sensing, 1998, 19(5): 8238548 Hilker T, Wulder M A, Coops N C, et al. A New Data Fusion M

24、odel for High Spatial- and Temporal-Resolution Mapping of Forest Disturbance Based on Landsat and MODISJ. Remote Sensing of Environment, Elsevier Inc., 2009, 113(8): 161316279 Healey S P, Cohen W B, Zhiqiang Y, et al. Comparison of Tasseled Cap-Based Landsat Data Structures for Use in Forest Disturb

25、ance DetectionJ. Remote Sensing of Environment, 2005, 97(3): 30131010 Priestnall G, Jaafar J, Duncan A. Extracting Urban Features from LiDAR Digital Surface ModelsJ. Computers, Environment and Urban Systems, 2000, 24(2): 657811 Hartfield K A, Landau K I, van Leeuwen W J D. Fusion of High Resolution

26、Aerial Multispectral and Lidar Data: Land Cover in the Context of Urban Mosquito HabitatJ. Remote Sensing, 2011, 3(11): 2364238312 高珍, 邓甲昊, 孙骥, et al. 微型无人机图像无线传输系统方案与关键技术J. 北京理工大学学报, 2008, 28(12)13 Mangolini M. Apport de La Fusion dimages Satellitaires Multicapteurs Au Niveau Pixel En Tldtection et Photo-InterprtationD. 199414 许凯, 秦昆, 杜鹢. 利用决策级融合进行遥感影像分类J. 武汉大学学报信息科学版, 2009, 34(7): 82682915 Shao Z, Cai J. Remote