论文——基于深度学习与高光谱数据的人造目标检测

：基于深度学习与高光谱数据的人造目标检测1. 摘要高光谱遥感，基于其内在能力来捕捉描述材料的光谱信息，对于目标检测与识别有独特的能力。在这篇文章中，我们使用深度学习分类框架与高光谱数据处理了人造目标检测问题。通过对卷积神经网络的有效探索，我们编码像素的光谱信息和空间信息，使用多层感知机完成分类任务。在广泛使用的高光谱数据中获得的实验结果和性能定量验证，证明了提出的方法对于正确率和人造目标自动检测。的良好性能。2. 简介自动提取人造目标，比如建筑、建筑群或者马路，是一些政府活动的重要支持，比如城市计划、地籍管理和自然保护区域监视， 环境监测和多种GIS应用比如地图绘制和更新。因此，从高光谱遥感数据中进行人造目标的提取成为遥感领域、摄影测量法与计算机视觉的一个重要话题，至今已活跃了至少20年。今天，人造目标检测依旧是一个活跃的研究领域，研究热点从目标细节表示到使用多传感器的数据和通用的包含空间信息的正确率算法设计。最近国际摄影测量与遥感学会的研究成果显示，在城市目标检测与3D建筑重构方面的benchmark显示，在2D方面，可以有效地识别与分离建筑与其他地形目标，然而，这里有个成果改进了对于小目标结构的检测与建筑物边界的精确描绘。许多研究机构努力考虑在他们的人造目标检测架构上的分类方法，检测是主要基于卫星多光谱数据集上。对于多时间数据高效计算是一个前提。然而，由于最近的光子学、光学和纳米技术高光谱卫星和空气数据变得越来越可用和便宜，同时，新的目标检测算法被引入和验证。通常，对于遥感应用和高光谱数据分类，深度学习算法比起其他效果好的方法有更低的错误率。与遵循传统的范例的模式识别的方法，包括从原始输入数据构造复杂的人工制作的特性相比，深度学习模型是一类可以从低层特征构建高层特征的信息处理模型，可以自动处理特征重构，更多的是，人类大脑可以很好的完成目标检测任务，因为人类可以从视网膜到大脑皮层完成多重信息处理。与此相似，具有多层信息处理结构的机器学习结构可以组织更加抽象和泛化的特征，因此被认为比起传统的浅层结构，具有获得高的分类正确率的能力。比如卷积神经网络，层叠自动编码机，深度信念网络，以及其他包括深度模型的例子。我们使用高光谱数据，通过深度学习分类架构解决人造目标检测问题，尤其，通过开发卷积神经网络（CNN），我们同时对光谱信息和空间信息进行编码，通过MLP，完成分类任务。在广泛使用的高光谱数据中获得的实验结果和性能定量验证，证明了提出的方法对于正确率和自动人造目标检测的巨大潜能。其余文章将从如下几个方面组织，章节2通过描述深度学习架构的基础知识和它在高光谱图像数据上的分类简述了我们的方法。章节3描述了我们提出的系统的结构，章节4是实验结果和对照，章节5完成了工作总结3. 卷积神经网络基础3.1 卷积神经网络基础一个卷积神经网络包含了一些卷积层和子采样层，输入卷积层的数据是3D数据（hwc）, h, w, c表示输入的高度，宽度和通道数。卷积层包含C个维度为（mmq）的可训练滤波器，m小于h和w，q通常等于c。每个滤波器是一个小的区块，但是它在全通道上扩展了输入，生成了2D特征图。直观地，当看到在它的输入中一些空间位置出现了特定的特征类型时。网络的滤波器会被激活。所有的滤波器激活的特征图在深度方向堆叠之后，构成最终的输出。输出是3D数据（h m + 1 w m + 1 C），卷积层的输入边界不予考虑。卷积层最终的输出与非线性函数（比如Sigmoid，TanH等）结合，再与偏置项求和，实现了输入数据的非线性变换。卷积层输出之后接子采样层，每个特征图在kk区域内使用最大值池化算法。深度学习结构可能包含很多卷积层和子采样层，最后一个子采样层通常连接到MLP，解决分类或回归任务。整个深度学习结构使用经典的BP算法进行训练。3.2 针对高光谱数据的卷积神经网络一幅高光谱图像被表示为3维张量，维度为（h*w*c）,h, w, c表示输入的高度，宽度和通道数。和之前提到的一样，卷积神经网络生成全局图像特征。然而，人造目标检测可以视作基于像素的分类问题。为了能够使用CNN做人造目标检测，我们必须分解捕获的高光谱图像为区块，每个区块包含了特定像素的光谱信息和空间信息。更特殊地，为了分类位于图像平面坐标（x, y）的像素p(x,y)，和成功融合光谱信息和空间信息，我们使用具有相同中心坐标（ss）的方形区域。我们标记 lx,y 是 (x,y) 处坐标的类别标签，tx,y 是以 px,y 为中心的区块。然后我们可以组织数据集D=(tx,y,lx,y),x=1,2,.,w;y=1,2,.,h。区块 tx,y 是一个3D数据，维度为(ssc),包含了坐标为(x,y)的像素的光谱信息和空间信息。更多地，张量 tx,y 被划分为 c 个 ss 的矩阵，作为CNN的输入，在层次上构建表征像素 px,y 的包含光谱信息和空间信息的高层次特征。这些特征会被送进MLP，完成分类任务。对于这一点，不得不提的是，在训练深度学习结构之后，完成的是对于区块分类而不是对于像素分类。我们假设在图像平面中心坐标为 (x,y) 的区块的标签一定与相同位置的像素标签相同。尽管这是一个强假设，但是对于这个即将到来的特殊的问题，对于广阔的大多数的像素，这是有效的。4 系统结构这一节将描述系统结构，首先介绍我们提出的把输入数据降维的方法，然后介绍CNN和MLP的结构4.1 对原始输入数据进行降维操作CNN可以自动提取高层次特征。结构特征是2D网络输入和可训练滤波器的卷积结果，占据了整个训练过程。对比具有三个色彩通道的RGB图像，几百个通道（网络输入）遍及高光谱图像的整个光谱维度，可能会使训练和预测的过程中占据的计算开销变得不可接受。然而，材料的光谱信息非常特殊。描述了相同材料的像素应当具有非常相似的谱信息。甚至，对于像素的光谱信息，通过一个简单的统计学分析，我们发现两件事，首先，描述相同材料的像素的光谱信息，方差非常小。其次，描述不同材料的像素，他们在相同波段的响应或在不同波段的响应是非常不同的。这两个观察提示我们高光谱图像的光谱维度包含很多冗余信息，因此，我们可以使用降维操作来降低输入数据的维度，来加速训练和预测的过程。对于降维操作，Randomized Principal Component Analysis(R-PCA)被引入，作用于光谱维，用来压缩图像信息。PCA把数据降维到低维空间，去掉比较小的特征值对应的数据，保留最大的方差信息。R-PCA限制计算，做精度估计，执行数据变换。因此，比PCA的计算要高效的多，更加适合大尺度的数据集，比如高光谱数据。必须要说的是，这一步计算了光谱信息，但是R-PCA是作用于整个光谱维度的，空间信息完整地得到了保留。为了保留至少99.9%的最初信息，在使用了R-PCA之后的主成分数量，视具体的数据集而定。这非常重要，因为降维操作要求指定最大允许的信息损失，主成分的数量并不是一个固定不变的数字。在整个实验过程中，在广泛使用的高光谱数据集上，99%的信息被保留，使用前面的RPCA算法，保留10-20主成分，执行20次4.2 检测结构图 1 完整的系统结构在降维之后，每个区块都是一个3D张量（sscr）。参数 cr 等于主成分的数量，保留了至少99.9%的初始信息。同时，参数 s 决定了在分类任务中会被计算的临近像素的数量。利用一个像素的临近像素来表示它的空间信息。在整个实验过程中，我们为了考虑像素最近的24个像素，设置参数 s=5,。通过增加s参数的值，被计算的临近像素的数量也会增加，因此计算开销也会增加。同时，设定参数值s大于5，在所有的实验中，分类正确率都没有提升。相反的是，当s增加至13时，分类正确率反而降低了。事实验证了我们之前的假设，我们假设在图像平面中心坐标为(x,y)的区块的标签一定与相同位置的像素标签相同，当s比较大时这个假设不再成立。在估计了 s 和 cr 的值之后，我们就可以开始设计CNN结构了。第一层是一个卷积层，卷积核数量为C1= 3*cr 个可训练滤波器，维度为33。这一层输出为C1个33矩阵（在卷积过程中我们不考虑边界块）。不同于传统的CNN，我们在卷积层之后不使用子采样层，因为我们不想引入任何变换及尺度不变性。因此第一层卷积层之后跟随第二层卷积层 C2=3 C1 个可训练滤波器，滤波器是33矩阵。第二个卷积层输出一个具有 C2 个元素的向量，作为MLP分类器的输入。MLP隐藏层单元的数量比输入维度要小。特别地，我们设置隐藏层单元数量为 6cr 。 为了训练深度网络结构，我们使用标准的BP算法进行训练。为了学习优化模型参数，最小化负对数似然函数，对于数据集在模型参数之下，通过MLP的权值和滤波器的权值。完整的系统结构见图1。5. 实验结果和验证这一节我们讲述实验结构。尤其，我们展示数据描述，与其他技术做对比，预测该方法的功能。5.1 验证该方法的数据集在我们的学到系中，我们试验和验证了广为认知的方法，在ROSIS高光谱数据集上。特别的是，我们使用了Pavia Centre和Pavia University数据集，波段数分别是102和103。Pavia Centre是一个10961096的图像，Pavia University是一个610610的图像。两张图像中的一些样本没有包含任何信息，在分析之前被丢弃掉。地理分辨率为1.3M。地面实况中白色的像素是没有注释的。两个数据集和他们的地面实况和描述具体材料的标签在图2中描述。图 2 Pavia University（左）和Pavia Centre（右）数据集，左为Ground Truth，右为材料类别这篇文章中，我们关注人造目标的探测。因此，我们把 描述人造目标的像素与其他的像素聚集在一起。未标记类别的像素在分类问题中不予考虑。对于Pavia University 数据集，描述人造目标的像素被标记为 asphalt, metal sheets, bricks, bitumen。对于Pavia Centre 数据集，描述人造目标的像素被标记为 asphalt, tiles, bricks, bitumen。被标记为shadows的像素在分类任务中不予考虑，因为它们是否是人造目标尚存疑问。我们使用监督训练完成描述人造和非人造目标的像素的分类。特别地，我们分割上述的数据集中的有标记的部分为3部分，训练、验证和测试集。在整个实验过程中，为了验证这个系统的分类正确率，我们测试了不同的分割比例。为了量化系统的正确率，我们在测试集上使用误分类率。最终使用验证集在训练过程中实现早停。5.2 定量评价我们的方法将于RBF-SVM方法和Linear SVM方法做对比，为了进行公平的比较，在训练过程中，SVM也应当同时利用像素的空间信息和光谱信息。由于这个原因，每个像素被他自己和他周围的（ss-1）个像素的光谱信息同时决定。换句话说，位于图像平面坐标（x,y）的像素被以它为中心的像素块所代表。尽管这种表示对应的是3D数据，我们把它拉平为1D向量，为了用于训练SVM。我们在两个数据集上分别独立地得到了实验结果，在整个实验过程，我们组织了6个尺寸的训练集，范围从整个数据集的5%到75%。由于训练集、验证集、测试集是依据预先确定的分割比例随机选择的，我们把每个实验重复了25次，因此，分类错误率相当于平均错误率，分类正确率相当于平均正确率。表格1和表格2 表示了我们与基于SVM的方法的定量评价。我们的方法在两个数据集上，在全尺度的训练集上，都有比基于SVM的方法有更好的效果。我们可以在很小的训练集上实现很高的正确率，同时当使用大训练集时可以避免了过拟合。图片3按照分类正确率显示了结果。表 1 Pavia University定量分析结果，分别划分训练集从5%到75%Pavia University - misclassification error (%)Split ratio5 %10 %20 %30 %50 %75 %Our approach2.57732.57731.32030.77290.26450.1861RBF-SVM3.62133.26203.09602.88252.76852.6976Linear SVM4.40654.13323.97753.96933.93393.9166表 2 Pavia Centre定量分析结果，分别划分训练集从5%到75%Pavia Centre - misclassification error (%)Split ratio5 %10 %20 %30 %50 %75 %Our approach0.22810.12230.07590.06630.03290.0086RBF-SVM0.65980.55530.47300.40570.38760.3578Linear SVM1.14181.09881.03231.08101.10041.0563图 3 不同训练集比例对应的正确率5.3 预测能力更多地，我们检查分类正确率通过透视图，使用全部的像素，在每一张图片上。换句话说，像素，与注释和未注释的源一致，对每一张高光谱图像使用我们的分类器进行分类。通过设置分类区间为5%到75%，获得分类结果。在应用这个框架之后的分类结果被表示在图4（图4略）中，两个数据集的分类结果图随着Ground Truth一同显示。绿色和红色的像素 分别与人造目标和非人造目标相一致，Ground Tr