遥感图像变化检测

摘要

随着航空航天技术的发展，卫星采集的高分遥感图像呈现高光谱、高时间和

高空间分辨率的特点，内含大量结构和时空信息。高分遥感图像变化检测作为遥

感领域的研究热点，人们能够及时监测地表变化，目前被广泛应用在地表覆盖、

城市规划和环境监测等方面。但受采集设备和环境条件的影响，遥感图像质量受

限制，同时人工界定变化区域的方法具有不确定性，影响了变化检测的精度。

由于原始季生网络和Unet网络结构简单，泛化能力低，学习特征能力弱，

Siam-Unet网络在LEVIR-CD数据集的Fl-score值为83.27%。在此基础上，提出

SCNN模型，引入残差结构代替普通卷积，加深网络结构，增加网络提取特征能

力，针对小目标物体的检测，引入空间金字塔池化模块，增大模型感受野，提高检测

完整度。考虑到循环神经网络内部建立循环机制的结构特点，擅长处理时间序列

信息，提出RcSCNN膜型。

关键词:遥感图像;变化检测;挛生网络;LSTM;边缘检测

Abstract

Withthedevelopmentofaerospacetechnology,thehigh-resolutionremote

sensingimagescollectedbysatelliteshavethecharacteristicsofhighspectrum,high

timeandhighspatialresolution,andcontainalotofstructuralandspatio-temporal

information.Asaresearchhotspotinthefieldofremotesensing,high-resolution

remotesensingimagechangedetectioncanmonitor:hesurfacechangeintime,andis

widelyusedinsurfacecoverage,urbanplanningandenvironmentalmonitoring.

However,duetotheinfluenceofacquisitionequipmentandenvironmentalconditions,

thequalityofremotesensingimagesislimited,andthemethodofmanuallydefining

thechangeareaisuncertain,whichaffectstheaccuracyofchangedetection.

BecausetheoriginaltwinnetworkandUnetnetworkaresimpleinstructure,low

ingeneralizationabilityandweakinlearningcharacteristics,theF1-scorevalueof

Siam-UnetnetworkinthedatasetofLEVIR-CDis83.27%.Onthisbasis,theSCNN

modelisproposed,andtheresidualstructureisintroducedtoreplaceordinary

convolution,whichdeepensthenetworkstructureandincreasestheabilityof

extractingfeatures.Forthedetectionofsmalltargetobjects,thespatialpyramidpool

moduleisintroducedtoincreasethemodelreceptivefieldandimprovethedetection

integrity.Consideringthestructuralcharacteristicsofestablishingcirculation

mechanismincircularneuralnetwork,andbeinggoodatprocessingtimeseries

information,ReSCNNmodelisproposed.

Keywords:remotesensingimage;Changedetection;Twinnetwork;LSTM;

edgedetection

目录

摘要..............................................................

Abstract......................................................................................................................I

目录.............................................................in

一、绪论..........................................................I

1.1研究背景..................................................1

1.2研究目的..................................................1

1.3研究意义..................................................2

1.4研究方法..................................................2

1.5研究内容..................................................3

二、文献综述和基本理论...........................................4

2.1国内外研究现状............................................4

2.2文献评述..................................................5

2.3变化检测概念及流程........................................7

2.3.1基区概念.............................................7

232检测流程.............................................8

2.4变化检测基础网络..........................................9

三、基于多尺度特征的SCNN遥感图像变化检测.....................II

3.1数据集概述................................................II

3.1.1数据集介绍..........................................11

3.1.2数据集划分..........................................11

3.2基于李生网络的变化检测模型..............................12

3.2.1Unet基础网络.......................................12

332基于挛生结构的Unel网络............................13

五、基于边缘结构的E-RcSCNN遥感图像变化检测...................15

5.2基于边缘结构的改进E-ReSCNN模型........................16

5.4设计双边引导损失函数.....................................16

5.5实验设置与结果分析.......................................17

5.5.1实验环境............................................17

in

5.5.2实验过程............................................18

5.5.3实验结果与分析.....................................18

5.5.4消融实验与分析.....................................19

总结.............................................................21

致谢.............................................................23

参考文献.........................................................24

IV

一、绪论

1.1研究背景

20世纪70年代，美国先后发射了一系列进行周期性对地观测的遥感卫星，

促进了遥感应用的发展。此后，由于航天科学技术、电子计算机技术等领域的飞

速发展，IKONOS（伊科诺斯）等高分辨率卫星相继发射成功，突破了遥感数据

采集的瓶颈。遥感图像的空间分辨率、时间分辨率、光谱分辨率等得到了巨大提

升，高分辨率图像的获取变得相对容易起来。由于数据的积累和应用的需求不断

提高，人们需要从遥感图像中收集到更加有效的信息，因此促使图像分割、目标

识别、地物分类和变化检测等遥感数据处理技术持续发展，也使得遥感技术的应

用形式变得日趋多元化。

变化检测被广泛应用于森林植被检测、土地覆盖变化、环境监测、灾害监测

评估、城市规划等领域。比如可以借助变化检测功能检测研究区域内植被覆盖、

建筑物与构筑物等是否发生了变化，从而明确森杯火灾受灾情况或研究城市化进

程；变化检测还可以明确具体变化类型，如退耕还林还草；甚至分析变化的时空

分布模式，实现自然事件的预警；变化检测还可以监测气候变化，如分析冰川或

海岸线的变化等。变化检测对耕地红线、土地利用监管等应用也具有重要意义。

传统遥感行业基于人工两期影像标注从而判别地物时相变化的方法受限于效率

低、成本高等问题，难以满足实际应用需求。高效的遥感图像变化检测算法模型，

可以对图像中的变化图斑信息进行高效识别，提高空间信息网络建设中遥感图像

快速变化识别能力。

L2研究目的

在遥感影像变化检测发展初期，由于科学技术发展水平的限制，影像之间的

变化通常是由人眼进行判断和解译的；随着科学研究的不断深入，非人工的变化

检测方法被逐步提出，这使得变化检测的效率和应用领域大幅度提升。虽然遥感

影像变化检测技术已经应用于包括土地资源和环境监测、城市变化、灾害评估和

预测、军事信息检测在内的诸多领

域，但是完全摒除人工干预的非监督的、自动的快速变化检测方法，仍然是

当前遥感影像处理领域的研究热点和主要研究方向。

使用遥感图像，研究对耕地-建筑/动土的对象级变化，通过从高分辨率的高

分一号、高分二号图像中的空间特征、时相特征、光谱特征中分析出该区域的地

表事物的具体变化情况，分析算法分类的准确性，测试数据尺寸变化的适应性,

提取出地物发生变化的斑块，从而做出相应的处理措施。

L3研究意义

在遥感大数据的新时代背景下，遥感图像变化检测技术能够监测生态环境变

化、跟踪城市发展，走于研究人类与自然环境之间的交互关系有着重要的意义。

日前，研发出一个快速的、自动的且可迁移的精准变化检测方法对中国的耕地红

线，土地利用监管有着巨大的好处，保护耕地红线是农业发展和农业现代化建设

的根基和命脉，是国家粮食安全的基石。随着新型遥感影像的不断普及，变化检

测也在高光谱影像变化检测和高分辨率影像变化检测两个方向上有了深入的探

索。在土地资源、森林资源，地质矿产资源、水利资源调查和农作物估产等方面

具有广阔的应用前景。

1.4研究方法

根据不同阶段的研究侧重，拟采用为以下儿类研究方法：

（1）基于代数的方法。代数法原理是将不同时相的遥感图像采用适当的代

数运算方法，获得基于像素的差异图，再利用聚类、阈值分割等算法生成变化结

果图。

（2）基于特征的方法。与代数法不一样，基于特征的方式选择了多种图像

特征，进行特征变换以及特性融合。

（3）基于深度学习的方法。深度学习中端定端的网络结构将特征提取和分

析两个过程融合为一个过程，所以能够直接从多时相遥感影像中获得变化检测结

果。

2

（4）其他综合方法。上述方法均是从变化检测问题特征出发提出的方法，

运用在某一变化检测场合，所以每种方法都具备优缺点。将多种方法进行融合,

提高变化检测准确度和泛化性，逐渐成为变化检测方向的发展趋势。

L5研究内容

遥感变化检测是在多时相图像中自动识别和分析地表区域的空间和光谱信

息变化的过程，其实质是通过分析遥感瞬时视场中地表特征随时间变化，从而引

起的不同时期遥感影像像元光谱响应的变化，进而实现通过选取合适的检测算法

和手段，达到对拍摄于不同时间的同一地区地物差异信息的提取，以及对同一地

区发展变化情况进行长时间的连续的动态监测的目的。

本研究的主要内容为利用多时相遥感数据，在不同时间获取的同一地域的一

组影像、地图或地理数据并定量分析和确定地表变化的特征与过程，以耕地-建

筑/动土的对象级变化检测为目标，数据为1米-2米分辨率的高分一号、高分二

号图像，对通过前后两时相的遥感影像，提取出地物发生变化的斑块，分析算法

分类的准确性，测试数据尺寸变化的适应性。

3

二、文献综述和基本理论

2.1国内外研究现状

目前，深度学习作为计算机视觉领域36的理论基础，在目标检测、语义分

割和自然语言处理等领域有重要的研究价值。同时，也为遥感图像变化检测领域

的国内外学者提供了大量的研究思路，该任务提取的深度特征能够表示出大量图

像地物信息，推动变化检测技术朝着更加智能化的方向发展。

(1)基于卷积神经网络的研究。2012年，Alex等人提出卷积神经网络

(ConvolutionalNeuralNetworks,CNN),CNN的优势主要体现在提取特征方面,

网络具备自动学习特征的能力，能更好地提取变化信息，在遥感图像检测领域被

大量采用。Daudt等人、Lei等人考虑将CNN用于语义变化检测任务中，融合

Unet网络和FCN网络有效预测土地覆盖信息，共同完成变化检测，提高了检测

任务的广度。Hong等人结合CNN和图卷积神经网络提出小型图卷积神经网络，

在高光谱图像上进行实验分析，该网络的优势是能够保留对样本外数据的关注,

融合不同类型的特征。徐真等人利用CNN网络对SAR图像提取图像特征并进

行分类，然后通过对应像素点直接相减做差法，得到最终的变化检测结果。此外，

Peng等人采用Unet++网络对配准后的输入图像对进行叠加，有效结合特征图的

全局信息和局部信息，接着引入多端输出融合策略进行特征融合，检测变化信息。

唐文博对Unel网络编码器端进行改进，提出金字塔网络模型，用于建筑物的边

缘信息检测任务。

(2)基于循环神经网络的研究。Mou等人首先采用共享权重的挛生网络完成

初步特征提取，学习图像的光谱信息，后结合长短期记忆(LongShort

Memory,LSTM),进一步挖掘特征间的时间相关性，提取图像的时间和空间特征,

共同完成多光谱图像的变化检测。Chen等人通过搭建深度LSTM循环神经网络,

充分利用神经元之间的历史信息，提取图像对之间的上下文信息，实验表明在多

类图像上均取得不错的效果。LyuH等人设计了一个端到端的网络结构，提出具

有迁移性的变化规则，主要思想是联合频谱和时间表示特征，利用LSTM模型

挖掘遥感数据时间序列的变化信息，先从多类变化信息中学习变化规律，再利用

迁移学习的思想作用于新的目标图像上，进行变化检测。QingWang等人使用

FasterR-CNN对高分遥感图像进行变化检测，实险表明该方法的枪测精度和

4

K叩pa指标均有所提升，同时降低了错误样本的检测概率。MouL等人提出一类

基于PRetanh激活函数的RNN模型，使用改进后的网络模型对高光谱遥感图像

进行识别与分析，判断发生变化信息的具体类别。WuH等人将循环和卷积神经

网络进行融合，先利用CNN对图像提取特征后，又用RNN对多光谱图像的时

间相关性进行建模，提高分类精度。MaggioriE等人提出将RNN网络和微分方

程相结合，直接学习迭代过程，探索目标图像更精细的边缘。

与传统方法相比，以深度学习为基础的变化检测方法性能效果更好，这类算

法能够更好地学习图像特征，挖掘深层次的特征信息，解决了传统方法的不足,

降低了变化检测任务中的人工解译工作难度，使用更加自动化的技术代替人工操

作，提升了变化检测任务的精度，使得变化检测技术更好的为各领域创造价值。

因此，继续探索更先进性的变化检测方法，才能适应当下高效快速、智能化变化

检测的应用需求c

2.2文献评述

自20世纪70年代初至今，得益于国内外学者在遥感图像变化检测方向的深

入研究，变化检测的性能不断提升，取得了众多突破性成果。学者们先后提出了

一系列变化检测方法，概括为以下几类：

(1)常见的代数方法有差值法、比值法、变化向量分析法(ChangeVector

Analysis,CVA)⑴以及主成分分析法(PrincipalComponentsAnalysis,PCA)12,31

等。钟家强用等提出将灰度差分和纹理差分结合，实现基于差分图像融合的遥感

图像变化检测，并采用循环自适应参数估计方法进行分类。刘陆洋⑸等通过对比

数和均值比得到两个差异图，并将其融合，利用模糊C均值算法聚类得到变化

图，降低了散斑噪声对变化检测影响。为防止阈值法过分地依靠经验选择⑹。

Melgani⑺等人将使用不同阈值的算法进行融合，为无监督变化检测阈值的确定

提出新的方法，有效地提高了模型的鲁棒性。王立民⑻使用双阈值指数信息燧自

动获取最佳阈值进行遥感影像分割，自动地生成变化图，有效缩小了阈值确定范

围，并对虚警现象有一定的抑制作用。尽管代数法算法原理较为简单，且使用起

来也相对简单，但由于代数法一般只采用了单个或少数几个波段的像元光谱值加

以运算，而并未考察像元间的空间关联，也就未能利用图像间的时间联系，因此

5

对于改变较不显著的地区(即该区域虽然发生了地物变化，但是光谱像元值未发

生较大的变化)识别效率也较差。

(2)根据新的特征空间数据信息再做出变化检测，这样能有效降低图像中噪

声对变化信息的干扰，以便更好地识别变化。汪闽⑼等人通过计算结构相似性将

纹理、梯度等特征进行融合，基于检测窗口内的统计特征进行变化检测，有效提

高图像灰度差异不敏感度，同时降低了对预处理过程的精度要求。马红“°】等人

提出的将多种特性自动适应组合的方式，可以更好地调整多个特性的权值，使纹

理和光谱两种组合特征能够被充分利用，降低了时专家经验的依赖度。Celik11"

等提出了基于对象的变异向量分析法，该方法综合利用对象的各种特征参与分析,

一定程度上提高了变化的检测精度。Cu"⑵等提出利用小波变换生成多尺度特征

的遥感图像变化检测算法，并且验证了小波纹理特征比空间纹理特征效果更佳，

但没有考虑子带间的依赖性「刘波口引等人提供了一种基于图像空间关系特化度

量的变化检测算法，空间关系的加入更好地提升了变化检测准确度。

(3)Dau如川等提出FC-EF网络，将不同时相的图像对进行融合作为输入，采

用跳跃连接结构融合浅层和深层特征，通过softmax层得到遥感图像变化检测图，

一定程度上减少了底层网络的信息损失。李进।⑸等人提出基于高斯金字塔和深

度卷积神经网络的变化检测模型，能够从不同尺度的提取特征信息，对于小目标

变化检测精度的提升有一定的作用。徐锐【⑹等设计了一种融合Unet网络和

IR-MAD的城市建筑物变化检测方法，对两种方法检测出的疑似变化像素，通过

投票方法判断是否为改变，将深度学习和传统方法结合，有效提升检测准确度。

Cheni⑺等提出将注意力机制加入UNel网络中，并采用数据相关的上采样(DUp

抽样)方法得到变化检测结果，一定程度上降低了样本数据不平衡带来的检测难

度。王明常।⑶提出基于FPNRes-UNct的变化检测方法，用残差块取代普通的卷

积层，并与特征金字塔网络相融合，定程度上克服了语义分割网络对小目标检

测的不足。Wiratama”9】等人提出基于特征级UNet的多光谱图像变化检测算法，

采用泛锐化方法，对于微小变化有较好的检测精度。上述方法虽然都在一定程度

上提高了变化检测的精度，但是对于伪变化的识别仍然不够精确，同时时间效率

也有待提高。因此，尽管深度学习技术在遥感图像变化检测中的运用已经实现了

初步成效，但提高变化检测的精确度与效果仍然是该领域研究难题所在。

6

(4)将多种方法进行融合，提高变化检测准确度和泛化性，逐渐成为变化检

测方向的发展趋势。Li⑵"通过把GIS(GeographicInformationSystem)数据分析

和遥感影像相结合，提供了一个自动变化检测方式，并且指出使用多源数据分析

和辅助数据开展变化检测是未来的一个趋势。Chen⑶］等采用分类后比较法和变

化矢量分析方法相结合，进行变化检测。Yousif^】等人通过多种特征变换方式获

取变化粗糙度，再使用支持向量机对其进行分析生成特征变化检测结果图。

ZHAN1231等利用基于挛生网络CNN(ConvolutionalNeuralNetwork)模型提取特征,

使用阈值分割算法生成变化图，通过K最近邻算法提高精度。

2.3变化检测概念及流程

2.3.1基本概念

变化检测的基本概念是，比较多个从同一地域、不同时刻采集的图像对，选

择合适的检测方法识另J图像中的各个像素点，定量分析变化和未变化区域。随着

变化检测技术的快速发展，这种只满足于检测出是否发生变化的研究，已不再满

足于人们在该领域的需求，而是需要进一步对变化区域内的种类再进行判定，进

行定性分析。

遥感图像变化检测是指针对遥感图像内某一区域的地表覆盖情况，取一段时

间间隔内的数据，利用计算机处理系统对图像像素点进行识别和分析，得到检测

结果。因数据受采集设备和环境条件的限制，需先进行数据预处理，再输入检测

网络中，最后利用专业的变化检测方法，判断这一时期的地物现象变化，定量、定性

的分析发生变化区域的信息。

根据不同的检测目的，遥感图像变化检测任务类型可分为以下两类。•类是

二值变化检测，它是定量分析的过程，主要面向图像中的目标区域，依次检测图

像中的像素点，并对比像素前后的灰度和纹理特性，从而确定是否发生变化，而

不考虑具体的变化类型。建筑物的二值变化检测如图2.1所示，前两幅图分别表

示前后时间采集的某地区图像，以检测图中建筑物的新增与消失为目标，表示建

筑物的二值变化检测结果。

7

图2.1建筑物的二值变化检测

另一类是语义变化检测，它是指从时间和空间两个维度上分析发生变化的规

律和前后联系，在划分出变化区域的基础上，根据具体需求，进一步鉴别地物的

具体变化类型。

而对于大多数变化检测任务而言，二值变化检测是必须进行的步骤，也是关

键前提。因此，本文将针对高分辨率遥感图像二值变化检测问题，分析目前该领

域存在的问题与挑战，提出有效、可行的改进方案。

2.3.2检测流程

遥感图像变化检测的基本流程包括图像预处理、提取变化信息和输出检测结

果三部分。获取遥感图像的过程中，易受到采集设备和环境条件等影响，为提高

变化检测任务的精度，通常需先对遥感图像进行数据预处理操作，常用的有几何

配准、辐射校正和图像去噪等相关操作，经过处理后的数据再输入网络模型中进

行特征提取，划分为变化和未变化区域，最后输出检测结果，并采用合适的模型

评价指标对网络进行评估，验证检测结果的有效性。完整的检测流程如图2.2所示。

图2.2变化检测流程

8

2.4变化检测基础网络

卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一种单向网络，内

部数据独立处理，由堆叠每层的卷积运算组成。除两端的输入层和输出层以外,

还包括：

(1)卷积层。卷积核是卷积层的内核，每个卷积核都有相应的权重值和偏置

值，然后通过在图像，不断滑动窗口的方式做卷积运算，窗口越大，卷积核便越

大，意味着网络的感受野越大，待卷积核完成输入矩阵的全部卷积运算，得到最

终图像特征图。总的来说，浅层卷积往往提取纹理、角度等低层信息，深层卷积

则提取几何、空间等高层信息。网络具体的卷积运算过程如图2.3所示。

(a)Input(b)Filter(c)FeatureMap

图2.3卷积运算过程

图2.3中，a-c是7X7的输入特征经过Kemalsize为3X3,stride为1的

卷积运算，得到5X5特征图的过程，为了更好地保留图像边界信息、，将输入图

像的padding填充为0。即(a)的紫色区域经过单个像素先相乘后相加的卷积

运算，得到(。)的绿色区域结果，将卷积核作用丁整张图像得到特征图。

(2)池化层。通常图像维度越高，网络训练则越难。池化层的主要功能是对

图像进行降采样，压缩数据，有效控制过拟合，提高了计算速度。常用方式有以

下两种，最大池化是取特征图池化区域范围内的最大值，生成采样之后的特征值，

平均池化则是对池化区域内的全部元素取平均，作为特征池化值。最大池化与平

均池化的不同矩阵运算形式如图2.4所示。

9

26102

84572X2poolsi2e

1249712

4084

(a)最大池化

76107

v

84572X2poolsize6

1249757

4004

(b)平均池化图

2.4池化操作

(3)全连接层。全连接层的主要功能是将前两层提取的特征，转换到另一特

征空间，对特征分配不同的权值后再进行相加，降低不同特征位置造成的分类结

果误差，完成图像分类。通常分为两类，一是转叱为1X1的卷积核运算，应对

堆叠两个全连接层的情况，二是转化为hXw的全局卷积运算，应对上层是卷积

层的情况。由于全连接层的参数多，网络训练速度慢，后被全局平均池化代替，实

验表明网络预测性能也得到一定提升。

通过设置不同的网络结构，卷积神经网络不断发展,得到了VGG、GoogleNet

和ResNet等不同神经网络模型，在计算机视觉领域得到广泛应用。

10

三、基于多尺度特征的SCNN遥感图像变化检测

3.1数据集概述

3.1.1数据集介绍

随着遥感技术的突飞猛进，众多高质量数据集被公之于众，作为相关学者开

展变化检测实验研究的数据支撑。常用的遥感图像变化检测数据集有MtS-WH、

Google>LEVIR-CD.SZTAKI等，均包含不同类型的多对航空图像，被应用在

各类变化检测任务中，本节将主要介绍本文实验中使用的LEVIR-CD数据集。

2020年，LEVIR-CD数据集在HaoChen等人的研究下被公布［56,众多学

者将其用于遥感图像二值变化检测研究中。LEV1R-CD数据集是从美国德克萨斯

州的多个城市区域内采集的真实数据，历时5-14年，共有637对高分辨率遥感图

像，3万多个独立变化的建筑物，像素大小为1024x1024像素，分辨率为O.Sm/pixeL

且数据集内的图像己经过严格的图像配准，完成初步预处理操作。该数据集主要

关注地区内建筑物的数量变化，包括别里、车库和库房等多类建筑物，且图像采

集前后季节差异大，体现了数据的多样性和丰富性，给变化检测方法带来了新的

挑战。LEVIR-CD数据集的部分样本如图3.1所示，第一行为T1时刻，第二行

为T2时刻。

图3.1LEVIR-CD数据集

3.1.2数据集划分

本文实验选择在LEVIR-CD数据集上进行，遥感变化检测数据集划分为训

练集与测试集，由训练集事先划分出部分样本组成验证集。训练集用于拟合数据

样本，训练基础网络模型;险证集调整网络模型的超参数，尽量保证深度和宽度

11

平衡，不断进行参数优化,初步验证网络参数的拟合程度和评估模型的检测性能；

测试集则是计算模型预测与实际情况的近似误差，评价最终训练模型的泛化能力。

采用留出法划分实验数据集，主要思想是将整个数据集划分为两个无重叠的

样本集合，划分过程中应尽量保证数据的分布i致性，防止样本不平衡影响最终

的实验结果。在本文的实验中，LEVIR-CD数据集共有637个多时相图像对，具

体训练集:测试集:验证集的划分比例为7:2:1,划分为445个训练集，128个测试

集和64个验证集，作为实验数据。

受GPU显存限制，输入图像的尺寸不易过大，因此将原1024X1024像素大

小的图像裁剪为256X256像素，作为网络模型的输入数据，经过数据预处理后，最

终用于实验的数据集合分别为7120个训练样本，2024个测试样本和1024个验

证样本。部分训练集样本如图3.2所示。

train57.pngtrdin5R.pngtrain59.png

train/2p-gtr^in?4.pngtrAin八tmim7b.pcq

train_9O.png92.png

tmn105.pnqtrAin1O6.pngtrain1O7.pngtrain108.prq

图3.2部分训练集样本

3.2基于享生网络的变化检测模型

3.2.1Unet基础网络

全卷积神经网络(FullyConvolutionalNetwork,FCN)是一种能够保证输入

端与输出端维度一致的网络结构，它的特点是对网络的输入图像尺寸没有限制，

但它的分割结果并不理想，不能很好的保留图像纽节信息，忽略了图像特征之间

的关联性，信息完整性不足。Unet网络在其基础上进行改进，网络结构可以分

12

为特征提取和上采样两部分，并通过添加跳跃连接的方式融合对应编码-解码层

的特征信息，实验表明特征学习能力较强。

Unet网络是一种左右对称的U型结构，本文将Unet网络用于高分辨率遥感

图像变化检测中，Unet网络结构如图3.3所示。

I6S812864642

▼2S4256

J2X2XlaxP5ol^

HI-fIpsareriinf

inst2

—JXSCom

•1X1Com

■(ErMdCmr;l

由图3.3可知，收缩路径的主要作用是识别和分析图像像素信息，对输入图

像进行特征提取，由两个堆叠的3X3Conv提取特征，再通过2义2MaxPooling

压缩数据量，特别的是，经过卷积层的卷积运算后，需利用Relu激活函数激活

输入数据，通过下采样操作降低通道维度，增加图像通道数。扩张路径与收缩路

径呈对称分布，主要作用是精确定位像素点并完成特征融合，通过叠加2X2Conv

和3X3Cunv的上采样操作完成，采用跳跃连接与对应收缩路径的特征图触住,

最终图像同时蕴含高层特征和低层特征。

3.3.2基于挛生结构的Unet网络

孳生网络(SiameseNetwork)的提出起初是为了测量图像对之间的相似性，后

被用于变化检测领域，作为变化检测任务的基础网络。对于李生网络主干网络的

选择，首先本文的变化检测属于二值分类问题，优先考虑简单网络，其次网络的

13

输入为多光谱图像，空间分辨率受限制，在输入图像为小尺寸的情况下，可以减

少网络深度，提高变化检测任务的准确率。综合考虑，本文实验在小网络的检测

效果更佳。

Unet网络的优势是能够使用少部分的样本学习特征，所以本文选择Unet

网络作为SiameseNetwork的分支网络,提出了改进的SCNN网络。原始

Siam-Unet网络结构是在挛生网络的基础上结合Unet网络提出的，Siam-Unet网

络的整体框架如图3.4所示。

上面是编码器部分。原始的Siam-Unet网络结构与Unet网络的编码器相似，

由卷积和池化操作组成。挛生网络的两个分支分别输入T1、T2时刻的遥感图像，

两个Unet子网络之间共享权重，通过逐层卷积操作提取特征，可以看到,每个分

支包含4次池化操作，可提取5对多尺度特征，输出不同层次的遥感图像变化信

息C

下面是解码器部分。与Unet网络的解码器结构相似，每层由卷积和上采样

操作组成，层层递推。通过网络的初步特征提取，输出低层颜色、纹理等细节信

息，主要思想是采用跳跃连接将二者融合后，逐步实行上采样操作，再与网络对

应编码器部分的低级表层特征进行融合，提取高层空间、几何等语义信息，最后

输入到Softmax层完成分类,得到最终的变化检测结果。

c

o

p

y

白

一K

匚

二

三

更

.pgtnc

14

图3.4Siam-Unel网络

四、基于边缘结构的E・ReSCNN遥感图像变化检测

4.1边缘检测

图像的边缘检测原理是寻找图像中所有灰度值前后差异大的像素点，将其连

接成线条，即图像的边缘。常用的边缘检测算子有Canny/62算子和Sobcl631W

子。

(1)Canny:目标是找到最优的边缘检测算子,提高表示实际边缘的概率，降低

漏检率和误检率，满足算法检测边缘点与实际边缘点一一对应的原则。

具体步骤如下：

对原始图像使用高斯流波平滑的方式进行图像降噪；定位图像中灰度变化最

大的位置；非极大值抑制，保留像素点局部最大值，删掉其他值；设定住值的上

界和卜.界，采用双阙值法判定图像的强边界和弱边界；滞后边缘追踪，保留与强

边缘点连通的弱边缘点，其他弱边缘点则被抑制。

Canny算子的优势主要体现在保留极大值和设置上下阈值边界两个方面，进

一步细化算子效果，定位准确率更高。

(2)Sobel:主要分析图像横向和纵向的亮度差异，计算梯度的近似值，梯度

值大时，边缘的可能性也越大。Sobel算子能够消除噪声对图像的影响，主要思

想是通过求解中心像素点周围的前后、上下像素点的梯度值，距离越小权重值越

大，使用一阶微分求导，求解水平方向与垂直方向的梯度值，判断变化趋势。该

方法更适用于处理噪声较多的图像，但其定位边缘的准确率并不高，往往对精度

要求低时考虑使用。

两种检测算子的走比结果如图4.1所示。

cannysobel

图4.1Canny和Sobel算子检测结果对比

15

综合考虑，Canny算子在检测过程中受图像噪声的影响小，对弱边缘的检测

效果更准确。因此,本又选择使用Canny边缘检测算子，完成实验的边缘检测部

分。

4.2基于边缘结构的改进E-ReSCNN模型

在第4章提出的ReSCNN模型基础上，本章引入解码器部分提取的边缘结

构信息，将边缘估计信息和变化估计信息结合在一个深度学习框架中，提出

E-ReSCNN模型，共同完成遥感图像建筑物的变化检测任务。

编码器结构如图4.2所示，在通过结合栈式LSTM结构的ReSCNN模型构

建图像差分图后，对网络解码器进行改进，针对输出部分的两个分支进行卷积操

作，上面分支先通过1X1卷积操作，与Inpul的卷积核大小保持维度一致，再

利用Softmax函数输出图像的边缘估计信息，得到的边缘概率图用于训练模型,

调整参数加速收敛，卜面分支将边缘信息通过Rclu函数激活后和解码器的输出

信息结合，再通过1X1卷积操作和Softmax函数输出变化估计信息，用于变化

检测分支，同时，输出的变化检测信息又促进目标边缘信息的提取，完成遥感图

像变化检测。

最终模型编码器的操作会输出边缘检测概率图和变化检测概率图，主要功能

是训练时更好地设计本章实验的多尺度损失函数，在反向传播过程中的优化参数

调整，测试时只保留Decoder最后一层的边缘图和变化图生成最终的变化检测结

果。

CGDV

图4.2E-ReSCNN模型解码器结构

4.4设计双边引导损失函数

针对上述模型解码器的结构，本节对变化检测和边缘检测两个分支分别进行

损失函数设计。对于变化检测而言，考虑到样本分布不平衡的问题，不变区域大

于变化区域，训练过程使用FocalLoss函数64],函数命名为L,公式如4.1所

16

不0

£】=一初晨%+(l-a)外(l-yjog(l-%)](5.l)

式4.1中，yn表示样本真值，y表示预测概座值，N表示样本总数。

解决样本分布不平衡的有效策略是引入加权因子。，一般通过逆类频率或作

为超参数进行交叉验证设置。当调制参数y大于0时，能够平衡正确样本和错误

样本的权重。在FocalLoss函数中通过不断调整加权囚子口和调制参数y的值，

降低负样本的权重，使网络在训练过程中更加关注正样本，实验表明在«

=0.25,产2时网络取得的效果最佳。

对于实验中的边缘检测分支，使用交叉嫡损失函数，函数命名为L,公式如

4.2所示。

£2=-Q“yE9+(i-y)in(i7)

式4.2中，y表示图像的标签值，y表示预测的结果值。

通过对变化检测信息和边缘信息两个分支的殒失函数设计，在实验的训练过

程中采用双边引导损失函数，总体Loss值公式如4.3所示。

£=+b£2(4.3)

在实验训练过程中通过平衡。和b的值，将两个损失函数维持在相同的衰减

趋势以及数量级，不断优化损失函数，使得变化检测任务中的建筑物边界值更清

晰，精确度更高。

4.5实验设置与结果分析

4.5.1实验环境

与前两章实验环境有所不同的是，在E-ReSCNN模型训练过程中，具体的

实验参数设置如表4.1所示。

表4.1实验参数设置

17

ParametersOptionalValuesFinalVikie

Shape256X256256X256

BatchSize{12.14.16}12

Epoch000.120}120

Li\xutUe-3,le-4}le-4

OptimizerAdamAdam

AclivaiionFunction{EluKelu}Relu

网络的优化算法仍选用自适应优化的Adam优化器，加速网络模型收敛。学

习率调整下降策略更改为ReduceLROnPlateau,该方法的原理是以训练过程中某

个测量值为基准，对学习率进行动态调整，初始学习率由le-3更改为le-4,结果

表明取得的实验结果更佳。本文实验选定以验证集的Fl-score值为基准,具体设

置为随着Fl-score值的增加，不断减小学习率，其衰减周期为20,衰减速率为

0.1,即连续20个epoch没有增加时，学习率便减小为原来的0.1倍。

4.5.2实验过程

本文的边缘结构信息提取是在解码器的输出部分做卷积操作，得到边缘信息

概率图和变化信息概率图。通过实验表明，随着原始图像的逐层下采样操作，不

断压缩图像数据，像素信息受影响，图像质量低，向网络后三层特征图的空间分

辨率低，边缘信息模糊，缺乏信息价值性，采用1义1卷积操作输出变化概率图，

后通过预测解码器后三层的输出，保留前两层的边缘结构信息生成相关概率图，

最终实验得到5个变化概率图和2个边缘概率图。

在实验过程中，综合4.4节加入边缘检测辅助的变化检测多尺度损失函数,

不断平衡预先设定的a值和b值，优化参数设置，最终本文为平衡两者参数数量

级以及损失收敛趋势保持•致，将实验比例设置为1:5,作为本章网络训练的最

终损失函数。

4.5.3实验结果与分析

在搭建的基于边缘结构的ReSCNN模型基础上，本章主要进行了三组对比

实验进行网络性能验证，包括原始Siam-Unet+LSTM,改进的SCNN+Diff和

SCNN+LSTM模型，分别结合设计的多尺度损失函数训练网络，进行实验。实验

结果如表4.2所不。

表4.2不同模型的对比实验结果

18

ModelPrecision(%)Recall(%)Fl-score(%)OA(%)

SCNN+Diff86.2381.2283.6798.03

Siam-Unct+LSTM86.2588.0987.1698.38

ERcSCNN86.4690.8888.4998.52

由表4.2的定量分析结果可以看出，改进的SCNN+LSTM结合设计的双向

引导损失函数,在Precision(86.23%)>Recall(90.88%)、Fl-score(88.49%).OA

(98.52%)方面取得了本文实验的最好结果，相对原始的Siam-Unet+LSTM直接

结合双边引导损失函数效果也有所提升，Recall值达到90.88%,提取特征的感

受野增大，Fl-score值提升了1.3%。并且在网络训练过程中，以过程中取得的

BestFl-score值作为参考，原始的Siam-Unet+LSTM的BestFl-score值为

87.75%,而改进的SCNN+LSTM网络则达到88.87%的效果，证明了本文的改进

网络和边缘信息是有效的。也将最终的SCNN+LSTM网络和SCNN+Diff网络进

行了对比实验，二者的区别是差异信息提取部分是否引入时间序列函数，实验结

果的多项评价指标表明，结合时间序列的网络模型在结合边缘信息的情况下效果

更好。

模型在测试过程中，通过人工设置检测阈值的方法实现图像的二值化分类操

作，本文实验设立阙值工为0.3,当某点(x,y)处的概率值大于0.3时，则认为该

像素点发生了变化。最后，在提出的SCNN模型的基础上，结合本章设计的深

度双边引导损失函数，进行了测试集的实验验证，结果如表4.3所示，通过两种

差分信息提取的对比实验来看，提出的E-ReSCNN模型在测试集上的Fl-score

值可以达到90.04%,准确率和召回率也均有所提高。

表4.3测试集实验结果

ModelPrecision%)Recall%)Fl-score(%)OA(%)IoU(%)

SCNN+Diff85.9586.8686.1997.8886.73

SCNN+LSTM89.2091.0490.04984790.12

454消融实验与分析

本章的消融实验在模型结合边缘信息的损失函数上进行。结果表明,对原始

的Siam-Unet网络分别加入ChangeLoss和EdgeLoss进行对比实验，采用双分

支损失函数的模型取得更优的效果，Fl-score值增长0.2%左右，而对改进后的

SCNN网络结合直接和减法和融合LSTM模型法，对设计Loss做消融实验时，

19

结果也有轻微的变化，最终提出的ReSCNN模型结合两个Loss值即E-ReSCNN

模型，取得本文最佳的实验效果，Fl-score值达到88.49%。具体实验设计和结果

如表4.4所示。

表4.4消融实验结果

ChangeEdgeFl-

ModelPrecision(%)RecalK%)OA(%)

I.ossI.ossscore(%)

Siam-UnetJX84.1182.4583.2797.93

Siam-UnetJV84.8082.6883.4698.02

SCNN-DiffVX85.6081.3883.4898.12

SCNN-DiffJJ86.4681.2283.7698.03

SCNN+LSTMJX85.8188.5086.4298.15

SCNN+I5TMJJ86.2390.8888.4998.52

为了验证本文提出E-ReSCNN模型的泛化能力，选取同样适用于变化检测

任务的Google数据集［，该数据集涵盖了中国广州市郊区从2006-2019年10年间

获取的城市变化图像，均属于采集的真实数据，包含20对空间分辨率为

0.55m/pixcl的图像，尺寸为1006X1168到4936X5224像素，该数据集也常被用

于建筑物的变化检测实验。

与本文实验数据集处理一样，为了便于GPU训练，首先对原始数据进行图

像裁剪操作，生成256X256像素大小的非重叠图像，并通过图像随机旋转角度

（90、180、270）、左右翻转和随机加模糊等操作进行数据集扩充，作为实验的

测试集，利用本章提出的结合边缘结构信息的E-ReSCNN模型对其进行测试。

测试结果如表4.6所示，结果表明本文提出的E-ReSCNN变化检测模型较其他几

类网络模型在准确率上有所提升，达至U81.78%,Recall值为84.79%,证明基于

季生网络的改进SCNN网络在特征提取和差异分析上效果有所提升，网络能够

提取更深层次的图像特征，获取多尺度信息,检测精度和检测广度效果均有所提

升，综合评价的BestFl-score指标最终达到82.98%,在该数据集上比目前检测

精度较高的DASNet网络高出0.3%左右，说明本文提出的网络具有一定的泛化

能力，且检测结果较好。

20

总结

遥感图像变化检测技术作为遥感课题的研究热点，能够监测地表覆盖和建筑

物的分布情况，除了在土地规划、灾害评估等国民领域的影响外,在战场模拟、

军事侦察等军事领域也有重要的研究意义。随着深度学习的飞速发展和计算机系

统能力的提高，变化检测方法也在不断更新，以深度学习理论为基础的高效、自

动化变化检测方法，目前仍处于探索和发展中。

本文在LEVIR-CD数据集的基础上，以提升遥感图像二值变化检测精度为

目标，围绕基于深度学习的高分遥感变化检测展开研究，提出了用于遥感图像变

化检测任务的E-ReSCNN模型。主要成果如下：

(1)结合挛生网络和Unet网络的原始Siam-Unet,在遥感图像变化检测任

务中效果取得一定的提升，得到广泛应用，在