基于深度学习的高光谱图像特征学习研究

本科毕业设计论文摘要与普通图像相比，高光谱图像处理面临的两个主要问题是：一是光谱分辨率高、光谱曲线近乎连续、数据量大、数据冗余严重、谱间相关性强；另一是空间分辨率有限、存在大量混合像元，“Hughes”现象凸现。“特征学习”从原始的像素出发通过特定的神经网络结构自动发现图像中隐藏的模式以学习出有效特征，近年来获得空前的发展，成为国际上信号处理模式识别等领域的研究热点。深度学习是一种多层的神经网络结构，是自 2012 年来机器学习领域非常热的一个研究方向，它能够从原始的像素出发通过多层结构自动学习有效特征并在输出层实现分类。本文将基于深度学习的特征学习方法引入到高光谱遥感图像处理中，结合像元的空谱联合特征，设计了一种深度学习网络，能够从高光谱数据上百个波段中提取高光谱图像的空谱联合特征进行分类处理，其性能优于国际上最新的RPCA+CNN算法。同时，训练好的网络具有很好的泛化性能，可以直接提取同种传感器获取的其他高光谱图像数据，与传统的SVM、SVM-CK等分类方法比较，正确率得到了显著的提升。关键词：高光谱图像，特征提取，深度学习，卷积神经网络41AbstractHyperspectral classification, which categorizes all image pixels into one of several land cover classes according to their characteristics, has become one of the most popular topics in hyperspectral remote sensing. However, it faces two main problems. First, hyperspectral image is featured with high spectral resolution and its spectral curve is nearly continuous. However, the redundancy in data is serious and the spectral correlation is very strong. Second, there exist a lot of mixed pixels since its space resolution is limited. The Hughes phenomenon always happens in classification. In machine learning, feature learning or representation learning is a set of techniques that learn a feature: a transformation of raw data input to a representation that can be effectively exploited in machine learning tasks. This obviates manual feature engineering, which is otherwise necessary, and allows a machine to both learn at a specific task (using the features) and learn the features themselves: to learn how to learn. Deep learning (also known as deep structured learning, hierarchical learning or deep machine learning) is a branch of machine learning based on a set of algorithms that attempt to model high-level abstractions in data by using multiple processing layers, with complex structures or otherwise, composed of multiple non-linear transformations. This article will introduce a feature learning method based on deep learning, which combined with the spectral-spatial characteristics of pixels can learn the deep feature from hyperspectral remote sensing image, and be able to extract useful information from hyperspectral data to get lower classification error rate. Compared with other classification method based on deep learning, the accuracy of our method has been significantly improved, and even better than the state of the art algorithms. Meanwhile, the trained network has good generalization performance, and we can use weight which had been trained by one of hyperspectral image to directly extract feature from other hyperspectral image, compared with the origin data, the classification error rate has been significantly lower.KEY WORDS：hyperspectral image, feature extraction, deep learning，convolutional neural network目录第一章绪论11.1研究的背景和意义11.2高光谱图像特征提取与分类的国内外研究现状21.3深度学习的国内外研究现状41.4论文的内容安排和主要工作5第二章卷积神经网络理论62.1 引言62.2 卷积神经网络的结构62.2.1稀疏连接与权值共享62.2.2最大池采样72.2.3 Softmax回归72.2.4 全连接层102.2.5 Batch normalization批量正则化102.2.6激活层112.3 基于卷积神经网络的特征学习12第三章基于卷积神经网络的高光谱图像特征学习研究143.1 引言143.2 网络结构153.2.1 网络总体结构153.2.2 输入层153.2.3 卷积层163.2.4 批量正则化层163.2.5 全连接层173.2.6 输出层173.3 高光谱图像分类测试数据集173.3.1 Indian Pines173.3.2 Salina183.3.3 Pavia Centre and University193.4 分类研究213.4.1 简介213.4.2 实验设计213.4.3 实验结果与分析223.5 特征学习253.5.1 特征学习简介253.5.2 实验设计263.5.3 实验结果与分析273.5 本章小结30第四章总结与展望314.1 研究工作总结314.2 对进一步工作的展望31第五章本科阶段已取得的成果32参考文献33致谢38毕业设计小结39第一章 绪论1.1 研究的背景和意义高光谱遥感影像具有光谱分辨率高及图谱合一等特点，其光谱分辨率可达到纳米级，提供了比常规图像传感器更丰富且更精确的光谱信息，使得本来在宽波段范围内不可探测的物质，在高光谱遥感中可以被探测到，因此，与其他技术相比，高光谱遥感技术在地表物质的识别、分类以及感兴趣目标信息的提取等方面具有的更大的优势。与此同时，高光谱数据分析及处理的方法与技术研究也随之成为遥感信息处理领域的研究热点，引起国内外相关科研机构和应用部门越来越多的关注，并逐渐成为国内外遥感信息处理与相关应用领域科研工作者的研究重点和热点。与普通图像相比，高光谱图像处理面临的两个主要问题是：一是光谱分辨率高、光谱曲线近乎连续、数据量大、数据冗余严重、谱间相关性强；另一是空间分辨率有限、存在大量混合像元，“Hughes”现象凸现。由于高光谱遥感图像数据量非常巨大，使用传统的处理方法处理高光谱图像时，其效率非常低甚至失效，这给信号与信息处理学科提出了严峻的挑战。因此，研究高光谱图像数据的特征提取，对于提高高光谱图像分类、目标识别等处理的精度具有非常重要的意义，并将对高光谱遥感的深层次应用技术的发展起到积极的推动作用。“特征学习”从原始的像素出发通过特定的神经网络结构自动发现图像中隐藏的模式以学习出有效特征，近年来获得空前的发展，称为国际上信号处理模式识别等领域的研究热点。深度学习是学习一种多层的神经网络结构，是自 2012 年来机器学习领域非常热的一个研究方向，它能够从原始的像素出发通过多层结构自动学习有效特征并在输出层实现分类，目前的研究证明，利用深度学习获取的特征可将相关的图像处理（分类、识别等）的精度提高10%以上。因此，本文章将基于深度学习的特征提取方法引入到高光谱遥感图像处理中，结合像元的光谱特征，设计一种深度学习网络，从高光谱数据上百个波段中提取有用的信息，用于进一步的数据处理(如地物分类和目标检测等)，对于提高高光谱图像分类和识别等处理的精度具有重要意义。1.2 高光谱图像特征提取与分类的国内外研究现状高光谱遥感技术的发展是遥感领域20世纪80年代起最重要的发展之一，至90年代已成为遥感技术研究领域的热门课题，也是当今及今后几十年内的遥感的前沿技术。在成像过程中，高光谱遥感技术利用成像光谱仪纳米级的光谱分辨率，以几十或几百个波段同时对地物成像，获得地物连续的光谱信息，实现了地物空间信息、辐射信息以及光谱信息的同步获取，因而在相关领域具有巨大的应用价值和广阔的发展前景。相对于多光谱而言,它有更多的波段数目(一般为几十至几百个) 、更高的光谱分辨率(在可见光和近红外波段可以达到纳米级) 和更大的信息量和数据量。高光谱遥感的出现是遥感界的一场革命，它使得本来在多光谱的宽波段中不可探测的物质，在高光谱遥感中可以被探测到，所以，高光谱遥感技术自诞生之日起，就引起了遥感界的极大兴趣和关注，并在各国政府的大力扶持下得到了飞速发展。特征提取通常是指从原始数据中提取有用信息，兼或提高后续数据应用能力。在高光谱图像处理中，特征提取通常起到数据降维的作用，同时能够提高后续地物分类、目标检测、混合像素解译以及子像素制图的处理能力1-3。下面对高光谱遥感图像处理领域中特征提取研究的现状进行介绍。高光谱图像在获取较高空间分辨率图像的同时，在光谱维进行了更广的扩展，图像在光谱维度上具有很大的数据量，即光谱特征数目与以往相比呈现十倍甚至百倍的增长，这就使得相邻或相近光谱特征之间的相关性变得异常的高。面对如此巨大的数据量，若对原始图像直接进行处理，势必会影响处理的效率。使用传统多光谱图像分类方法对高光谱图像进行分类时会遇到“维数灾难”现象，而且计算量随波段数量成四次方增加。研究表明，绝大多数情况下，异类物质的光谱特性具有唯一性，不同物质的光谱信息只有在一定的波段范围内才会表现其差异性，而在这之外的波段范围内差异性表现不显示，也就是具有很强的相似性。这样一来，本文期望得到对辨识地物类型最有利的特征记录，去除其他无关紧要的冗余信息。有着如此优越性的特征降维处理，在对高光谱图像进行处理后，不仅可以大大减小分类之前的输入数据量，而且对分析图像数据的结构及其它信息变得更简单和快捷，这样对场景中地物的分类有很大的助益。高光谱图像数据减少方法一般可分为特征选择和特征提取。特征提取的主要作用是保留数据中正交信息，即非相关信息。因此，特征提取通常具有去除相关性较强的冗余信息的作用。下面将概括地介绍主成分分析、最小噪声分离变换、投影寻踪等典型的特征提取方法。(1)主成分分析国际遥感领域著名学者 J. Richards4等采用具有正交变换特性的主成分分析(Principal Component Analysis，PCA)的方法对图像进行变换，使得图像波段之间互不相关，用于数据降维并隔离噪声。X. Jia和 J. Richards 等5在对高光谱图像进行特征提取时，采用了 PCA 的扩展形式分段 PCA 的方法，在对变换后的特征数据进行分类时，计算速度有很大的提升。同样采用此方法，D. Manolakis等6则是从数据降维角度对高光谱图像数据进行处理。(2)最小噪声分离变换最小噪声分离变换(Minimum Noise Fraction, MNF)是对 PCA 的延伸和扩展。典型地，Boardman7和 Green8给出利用 MNF 对图像数据进行处理时的三个优势：降维(类似于 PCA，能够将信息按照信噪比由高到低的顺序集中到少量分量上)、分离噪声(以信噪比最大化为准则)、减少计算量。李海涛等9在利用支持向量机(Support Vector Machine, SVM)进行分类之前，先利用 MNF 对遥感数据进行特征提取，也得到了很好的分类效果。武汉大学杜博等10用 MNF 对数据进行降维处理，同时分离数据中的噪声，实现了有效识别高光谱遥感影像中亚像元目标的目的。(3)投影寻踪法考虑到相邻波段具有更强的相关性的特点，L. Jimenez 等11利用投影寻踪法有效地将高光谱图像数据中相邻波段进行了分组处理，再对每组内的波段数据进行给定方向的投影来得到相应特征。进一步，L. Jimenez 等12又对投影寻踪法进行改进，给出基于监督和参数的投影寻踪法，在对低维子空间进行变换时利用了先验知识。山东大学张连蓬等13在投影寻踪方法的基础上，引入了非线性主曲线，使二者合二为一，还提出多方向投影寻踪等多种方法用于高光谱遥感数据的特征提取，同样收到了很好的分类效果。(4)其它方法C. Lee 等14在提取高光谱遥感图像特征时使用了分类算法中的决策边界法，考虑到高光谱图像的高维度特点，这种方法能够减小分类所需输入数据的特征维数。B. Kuo等15针对遥感数据进行特征提取提出了基于满秩分布矩阵的非参数加权方法，这种方法在降低了奇异问题影响的同时，通过给决策边上的样本赋予较大权值来改善分类效果。在信号处理的理论方面，小波理论的发展使信号处理与分析步入了新的时代，特别是多分辨率和多尺度特性更是使得小波理论得到了进一步完善。基于此，S.K. Meher等16利用小波变换，在不同尺度下对光谱曲线分别进行高低频特征提取，保留包含重要信息的小波系数。G.P. Asner17和R.A. Neville18等针对高光谱图像混合像素的特点，采用光谱混合分析的方法进行了特征提取。与 PCA 和 MNF类似，独立分量分析(Independent Component Analysis, ICA)也被广泛地应用于高光谱图像分类前的特征提取步骤中19。此外，还有一些其它的方法能够用于以地物分类为目的的高光谱遥感图像的特征提取20-26。其中，J.A. Benediktsson等人20, 22提出了一种基于数学形态学滤波的高光谱图像特征提取，这是一种典型的高光谱图像空间纹理特征提取方法。针对空间特征提取问题，Gabor 滤波器也被引入到高光谱遥感领域，用于实现空间纹理特征的提取，进而提高后续地物分类的能力27-29。所形成的Gabor 空间纹理特征也被看做是一种典型的高光谱图像空间特征。研究表明，空间特征的引入，能够较大幅度的提高高光谱图像的地物分类能力。1.3 深度学习的国内外研究现状深度学习是一种含有多隐含层的神经网络，具有特定的结构和训练方法，其主要思想源于人类大脑对视觉信息的层次式处理方式，从原始的像素逐层提取特征并实现分类，所以深度学习和特征提取密切相关。目前，深度学习技术如卷积神经网络（CNN）等在图像领域特别是图像分类和目标检测领域已取得了丰硕成果。一些研究者已开始将相关技术应用于高光谱分类，例如，Chen等第一次使用层叠自动编码机（SAE）提取判别特征分类；Hu等第一次应用深度卷积神经网络（CNN）对高光谱图像进行分类30，文献31中作者提出了一种监督的神经网络架构进行大规模的高光谱图像分类，文献32提出了一种更深层次的神经网络架构用于高光谱图像分类，分类的性能与SVM相当。 深度学习架构由不同类别的层堆叠而成，通过反向传播算法（backpropagation algorithm）对网络进行迭代训练，深度学习网络可以从海量数据中习得复杂的多层次结构，不同的层实现不同的功能，其中大部分层会对输入执行非线性变换。通过多个非线性层的变换（例如，深度5-20层），网络可以对输入数据中重要而微小的细节进行识别，同时忽略输入数据中明显却无关的变量（例如，物体周围的环境、姿势、光照条件和周围物体）。在语音识别、视觉识别、目标检测等诸多领域（比如，药物发现以及基因组学），深度学习方法已经得到了广泛应用并且取得了瞩目的成果。深度学习通过组合低层特征形成更加抽象的高层类别属性或特征，每个层都会将简单的描述（从原始输入开始）转变成较高层、较为抽象的描述。通过积累足够多的上述表征转化，机器能够学习非常复杂的函数。就分类任务来说，更高层的表征会放大输入信号的特征，而这对区分和控制不相关变量非常关键。比如，图片最初以像素值的方式出现，在第一层中，机器习得的特征主要是图像中特定方位、边沿轮廓。第二层中，主要是通过检测图像的边缘来检测图案，此时机器并不考虑边沿位置的微小变化。第三层中会将局部图像与物体相应部分匹配，后续的层级将会通过组合这些局部特征从而识别出整个物体。深度学习的优势之一在于：这些特征层级并非出自人工预设，而是机器通过一种通用（general-purpose）学习方法，从大量数据中自动习得。深度学习能够在海量的数据中习得复杂的结构，因而在许多不同的领域都有应用。除了图像识别33-36和语音识别37-39，它还在许多方面表现出了比其他机器学习技术更加优越的性能，比如预测潜在药物分子40的活性、分析粒子加速器的数据41,42、重构大脑回路、预测非编码DNA的突变对基因表达和疾病的影响 43,44等。另外，在自然语言处理方面45，如话题分类、情感分析、问答系统46和语言翻译47-49等不同的任务上，深度学习都展现出了无限光明的前景。1.4 论文的内容安排和主要工作目前，高光谱遥感已经被广泛应用于许多领域。其中，高光谱图像分类和特征学习是高光谱遥感最重要的应用之一，是许多其他应用的基础。高光谱图像在为分类提供丰富的空间信息和光谱信息的同时，也给分类与特征学习带来了诸多挑战。本论文的主要工作如下：第一章介绍了研究的背景与意义，高光谱图像特征提取与分类研究的国内外现状与深度学习的国内外研究现状。第二章概述了卷积神经网络的结构与卷积神经网络在特征学习方面的应用。第三章提出了一种新的卷积神经网络结构，分类性能优于现有的基于深度学习的高光谱图像分类算法。在此基础上进行延伸和扩展，首次使用卷积神经网络进行特征学习，之后，使用SVM、SVM-CK等经典算法，分别对原始数据与特征学习方法获得的特征进行分类，验证特征学习方法习得的特征质量。实验表明，使用本文提出的特征学习方法学习的特征做分类，性能要远远优于使用同种算法对未经处理的数据做分类。这说明本文提出的特征学习方法对于从未学习过的数据，也具有很好的通用性能，可以从原始数据中提取更加有效的信息。第四章总结前三章的工作，展望下一步的研究工作。第二章 卷积神经网络理论2.1 引言卷积神经网络是一种多层的深度学习网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。卷积神经网络一般包括卷积层、子采样层和全连接层。卷积神经网络的低隐层是由卷积层和子采样层交替组成，高层是全连接层，对应传统多层感知器的隐含层和logistics回归分类器。第一个全连接层的输入是由卷积层和子采样层进行特征提取得到的特征图像。最后一层输出层是一个分类器,可以釆用logistics回归，Softmax回归甚至是支持向量机对输入图像进行分类。2.2 卷积神经网络的结构2.2.1稀疏连接与权值共享在传统的神经网络中，每个神经元都会与下一层全部的神经元连接，卷积神经网络不同于传统的神经网络，卷积神经网络中的神经元与下一层的神经元的连接具有稀疏性，基于临近连接。也就是说，在由全连接层组成的网络中，每个隐藏层的激活值等于全部的输入V乘以这一层的权重W。然而在卷积神经网络中，每一层的输出值等于很小的局部输入乘以权重W。整个输入共享权值W，如图1，同一层的输入共享权值。权值共享是卷积神经网络的主要原理，它降低了总的训练参数的个数，使模型效果更好，训练更快。通过卷积运算，可以使原信号的特征增强，并且降低噪声。一个卷积层的参数包括:输入图像和特征图像的数量,图像的尺寸大小,每一层图像有相同的尺寸，卷积核的尺寸大小,卷积核作用于输入图像的有效区域;步长因子定义了卷积核对图像进行卷积运算的步长。经过卷积层特征提取后得到的图像尺寸由以下公式定义输入维度：ncihiw 输出维度：ncohow 其中：ho=hi-kernelstride+1,wo=wi-kernelstride+1,卷积核尺寸：kernel，步长：stride2.2.2最大池采样卷积神经网络利用图像局部相关性的原理，对图像进行子采样，可以减少数据处理量同时保留有用信息。在卷积神经网络的实现中,相邻的像素在卷积时被跳过,子采样层通过对输入图像的每一个方向进行子釆样，提供了位移不变性。经过卷积神经网络的权值响应，输入数据的特征会被提取。如果目标在输入图像中的位置发生移动，卷积层神经元检测到的特征也会随之移动。卷积层后的池化层对卷积层输出的特征做进一步提取，可以使局部特征不发生改变。典型的池化函数是最大值函数，最大值池化函数把输入数据划分为许多不重叠的窗口，输出每一个窗口的最大值，降低了后一层的计算复杂度，提供了平移不变性。经过池化运算后的输出图像大小由以下公式定义：输入维度：ncihiw 输出维度：ncohow 其中：ho=hi-kernelstride+1,wo=wi-kernelstride+1,池化核尺寸：kernel，步长：stride2.2.3 Softmax回归Softmax回归由logistics回归扩展而成，logistics回归只能解决二分类问题，Softmax回归在此基础上做了改进，可以解决多分类问题。Softmax回归在很多分类问题比如MNIST手写数字识别问题中取得了很好的分类效果。 Softmax回归既可以单独使用，也可以与深度学习或其他学习方法结合使用。在logistics回归中，训练集由m个有标签样本构成：x(1)，y(1)，x(2)，y(2)，x(m)，y(m) 其中输入特征 x(i)Rn+1 。（其中，特征向量的维度为 n+1，x0=1为截距项）logistics回归目的是解决二分类问题，因此分类标签为 y(i)0,1。假设函数如下：hx=1exp-Tx（2-1）通过最小化损失函数以训练模型参数 ：J=-1mi=1my(i)loghxi +1-yi log1-hxi （2-2）在Softmax回归中，我们需要解决的是多分类问题，其中类别y可以取k个不同的值k 2。因此，对于训练集 x(1)，y(1)，x(2)，y(2)，x(m)，y(m)，有 yi1,2,k。例如，在ImageNet分类竞赛中，有k=1000个不同的分类。其中对于训练样本x，我们用假设函数对每一个类别j估计出概率值p(y=j|x)。即计算样本x被分到每一个具体类别里的概率。于是，假设函数会输出一个k维向量表示这k个概率值，这个向量所有元素之和为1。假设函数h(x)可表示为：hxi=pyi=1|xi; pyi=k|xi; =1j=1kejTxie1Txie3Txi（2-3）其中，1,2,kRn+1是模型参数。为了使所有概率之和为1，添加 1j=1kejTxi项进行归一化处理。我们使用符号对所有模型参数进行表示，在Softmax回归实现中，将 用一个kn+1的矩阵表示，这个矩阵是将 1,2,k按行罗列得到，如下所示：=1TkT（2-4）Softmax 回归损失函数接下来对Softmax回归损失函数进行分析。在下面公式中，1是示性函数，示性函数的运算规则为：1表达式的值为真=1,1表达式的值为假=0。损失函数可表示为：J=-1mi=1mj=1k1yi=jlogeiTxii=1keiTxi （2-5）这个公式是logistics回归损失函数的推广。logistics回归损失函数可以以同样的方式表示：J=-1mi=1myiloghxi +1-yi log1-hxi =-1mi=1mj=011yi=jlogp(yi=j|xi;) （2-6）从以上公式可以看出，Softmax回归损失函数与logistics回归损失函数有很相似的表示形式，不同的是在Softmax回归损失函数中对k个可能分类的概率值进行累加。在Softmax 回归中将样本x分类为类别j的概率为：pyi=jxi;=eiTxii=1keiTxi（2-7）对于损失函数最小化问题，现在还没有快速解法。通常都是使用迭代优化算法。对损失函数求导后，损失函数的梯度公式如下：jJ=-1mi=1mxi(1yi=j-pyi=jxi;) (2-8)其中jJ()本身是一个向量，它的第 l 个元素 Jjl 是 J 对 j 的第l个分量的偏导数。得到以上求解偏导数公示后，就可以将它代入梯度下降法算法中，对损失函数J()进行最小化。在梯度下降法的实现中，每次迭代过程中都需要对参数进行更新：j=j-jJ()(j=1,2,k)。在实现Softmax回归算法时，通常会对上面的损失函数进行改进，在损失函数中增加一个衰减项。在本文对损失函数的改进中，我们通过在式xxx中添加一个权重衰减项2i=1kj=0nij2 ，它会对过大的参数值进行惩罚。回归损失函数公式将变为如下形式：J=-1mi=1mj=1k1yi=jlogeiTxii=1keiTxi+2i=1kj=0nij2 （2-9）增加了第二项权重衰减项后，损失函数就成为凸函数，可以改善优化过程陷入局部极小值点的情况，有助于得到最优解。为了对其进行优化，我们需要计算J的梯度，在此给出它的求导公式如下：jJ=-1mi=1mxi1yi=j-pyi=jxi;+j (2-10)最后，通过最小化损失公式J，就可以实现Softmax回归分类模型。2.2.4 全连接层通过多个非线性层的变换（例如，深度5-20层），网络可以对输入数据中重要而微小的细节进行识别，同时忽略输入数据中明显却无关的变量（例如，物体周围的环境、姿势、光照条件和周围物体）。全连接层通常作为神经网络的最后一层，后面接输出单元进行分类。全连接层具有权值多，容易过拟合等特点，因此一般会在网络前向运算时在全连接层中进行dropout50运算，随机对全连接层中的权值按确定的比例置零，可以在一定程度上改善过拟合现象。2.2.5 Batch normalization批量正则化在训练神经网络的过程中，会遇到同一层不同维度的数据梯度相差较大，网络训练速度慢的情况。随着网络的增加，这会使网络训练速度变慢，甚至难以收敛。Google在2015年提出了批量正则化层51（Batch Normalization，BN）来解决这个问题，可以通过在网络中添加BN层改善这一现象。BN层归一化了每个维度的scale，所以可以整体使用一个较高的学习率，而不必像以前那样迁就小scale的维度。设mini-batch为m，则BN层前向传导公式可以写作：Mini-batch 均值：B1mi=1mxi (2-11)Mini-batch 方差B21mi=1m(xi-B) 2 （2-12）归一化：xixi-BB2+ （2-13）平移与缩放：yi xi+BN,(xi)（2-14）2.2.6激活层图 21 左上为Sigmoid激活函数，右上为TanH激活函数左下为ReLU激活函数，右下为PReLU激活函数卷积层和全连接层之后通常接激活层完成特征的非线性变换。其中，比起传统用于卷积神经网络的Sigmoid与TanH激活函数，ReLU可以使卷积神经网络的训练速度大大加快。Sigmoid和TanH的梯度在饱和区域非常平缓，接近于0，很容易造成梯度消失现象，减缓收敛速度。梯度消失现象在网络层数多的时候尤其明显，是加深网络结构的主要障碍之一。相反，ReLU的梯度在大多数情况下都是常数，有助于解决深层网络收敛问题。ReLU的另一个优势是在生物上的合理性，它是单边的，相比Sigmoid和TanH，更符合生物神经元的特性。2.3 基于卷积神经网络的特征学习一个模式识别系统包括特征和分类器两个主要的组成部分，二者关系密切，而在传统的方法中它们的优化是分开的。在卷积神经网络的框架下，特征表示和分类器是联合优化的，可以最大程度发挥二者联合协作的性能。图 2-2 2012年Hinton参加ImageNet比赛所用网络模型深度模型具有强大的学习能力，高效的特征表达能力，从像素级原始数据到抽象的语义概念逐层提取信息。这使得它在提取图像的全局特征和上下文信息方面具有突出的优势。以2012年Hinton参加ImageNet比赛所采用的卷积网络模型为例，这是他们首次参加ImageNet图像分类比赛，没有太多的先验知识。但是，针对ImageNet分类任务进行网络优化时，深度卷积网络学习到的特征具有非常强的泛化能力，在其他任务例如目标检测，目标定位等，同样取得了成功的应用。卷积神经网络通过组合低层特征形成更加抽象的高层类别属性或特征，每个层都会将简单的描述（从原始输入开始）转变成较高层、较为抽象的描述。通过积累足够多的上述表征转化，机器能够学习非常复杂的函数。就分类任务来说，更高层的表征会放大输入信号的特征，而这对区分和控制不相关变量非常关键。比如，图片最初以像素值的方式出现，在第一层中，机器习得的特征主要是图像中特定方位、边沿轮廓。第二层中，主要是通过检测图像的边缘来检测图案，此时机器并不考虑边沿位置的微小变化。第三层中会将局部图像与物体相应部分匹配，后续的层级将会通过组合这些局部特征从而识别出整个物体。卷积神经网络的优势之一在于：这些特征层级并非出自人工预设，而是机器通过一种通用（general-purpose）学习方法，从大量数据中自动习得。第三章 基于卷积神经网络的高光谱图像特征学习研究3.1 引言卷积神经网络在图像识别领域取得了巨大的成功，从ImageNet训练得到的图像特征可以直接有效地应用到各种与图像相关的识别任务中，例如图像分类，图像检索，物体检测，图像分割等，具有良好的泛化性能。受此启发，本文针对高光谱图像设计卷积神经网络，从高光谱数据中习得相应的特征。具有数百个波段的高光谱数据可以被看作二维曲线（或一维数组），可以看到，类别相同的曲线具有相似的形状，类别不同的曲线具有不同的形状，同时，对于人眼来说有一些类别难以识别。我们知道卷积神经网络在某些视觉任务中可以挑战甚至超过人类的水平，它的这种能力鼓舞了我们使用光谱与空间信息研究用于高光谱图像分类的卷积神经网络。传统的卷积神经网络已经在高光谱图像分类上取得了一定效果，但在面对高光谱图像时还存在一些不足。以往的高光谱或多光谱图像分类与识别，往往只关注像元光谱维的特性，其一切特征统计也只在光谱维展开。但是自然界的复杂性、混合像元问题的存在，仅靠像元的光谱特性是不够的，常会出现 “麻点”现象，大大影响了分类效果。本文把深度卷积神经网络中的一些最新成果集成到高光谱图像分类中，最终，获得了一种新的5层深度卷积神经网络架构用于高光谱图像分类。更重要的是，利用了高光谱图像光谱信息丰富的优势，在网络架构中集成了空间信息和光谱信息，提升了网络分类性能。3.2 网络结构3.2.1 网络总体结构本文提出了一种新的5层基于卷积神经网络的深度学习框架用于高光谱图像分类，网络同时集成了空间信息和光谱信息，在特征学习与分类性能上达到了当前最好的效果。图 31 卷积神经网络图卷积神经网络是一种前馈神经网络，通常卷积神经网络会由多个卷积层和最大值池化层交叠而成，最后以全连接神经网络作为结束。受此启发，本文提出了一种新的5层神经网络用于高光谱图像分类。本文提出的网络中包含更多的元素，比如Batch Normalization，Dropout，Parametric Rectified Linear Unit (PReLU) activation function，利用这些元素与特定的结构，网络可以同时利用高光谱图像的光谱信息和空间信息，从原始数据集中习得像元的高层次特征，因此分类性能得到了明显提升。3.2.2 输入层空间信息已经被广泛使用，用来改善高光谱图像分类性能。比如SVM-CK算法，直接在SVM核中集成空间信息，使用空间邻域的均值特征提升分类正确率。基于SOMP的分类器，通过对邻域像元同时分类，改善了OMP分类器的性能。因此，为了获得更高的分类性能，本文提出的基于卷积神经网络的方法也要考虑空间信息。为了实现这个目标，一种直接的方法是把待分类像元及其邻近像元全部同时输入到网络中，但是学习这些像元之间的关联需要非常多的神经元和网络参数。受到SVM-CK算法的启发，在本章节提出的卷积神经网络采取一种简单的方式提取空间特征，提取待分类像元的邻域像元的空间特征，比如每个波段的均值或方差。这些提取空间特征的方法可以降低最终输入到卷积神经网络中的样本数量。这里设网络的输入为(n1,1)，原始像元为 (b,1) 的向量，那么对应不同的提取空间特征方法，网络输入的维度有以下三种情况。1. 输入为原始的未经处理的像元，此时 n1=b2. 输入为像元与邻域像元的均值，此时 n1=b3.输入为像元与邻域像元的均值与标准差合并组成，此时 n1=2b3.2.3 卷积层在传统的神经网络中，每个神经元都会与下一层全部的神经元连接，卷积神经网络不同于传统的神经网络，卷积神经网络中的神经元与下一层的神经元基于临近连接，具有稀疏性。事实上，卷积神经网络包含一系列参数可变的滤波器，可以从原始数据中习得特定的特征。如图 1，在我们的卷积神经网络中，会对输入的 n11 的输入数据使用20个 1k 的卷积核进行滤波操作，每个卷积核会从原始数据中学习连续k波段的特征。最终，n2=n1-k+1，这一层包含 20n1-k+1 节点。同时，卷积神经网络的权值共享技术降低了总的训练参数的个数，使得训练更高效。3.2.4 批量正则化层对于高光谱图像，不同波段表示不同波长的光谱响应。最大值池化的方法在传统图像识别中有着平滑输入，对特征提供平移不变性，以及减少训练参数的优点，在图像识别、目标检测等领域取得了巨大的成功。但是对于高光谱图像，像元的每个波段都有其独特的物理意义，池化层特有的降采样操作会导致有效信息的丢失。 因此，我们没有使用卷积层+池化层的结构，而是使用batch normalization层对卷积层获得的特征进行归一化，这样每个波段的特征大小就会变得相似，从而可以使用更大的学习率加速训练过程。因为B2层是C1层归一化的结果，所以B2层的大小与C1层相同，都是 20n2。3.2.5 全连接层在卷积层和批量正则化层之后，我们使用标记为F3的全连接层。不同于卷积层，这一层的每一个神经元都和BN层中的全部输出相连，这样做可以集成上一层中获得的所有特征的全部局部信息。为了避免过拟合，我们在这一层使用Dropout技术。在训练过程中，Dropout会以一定比例将全连接层中的权值置零，可以在一定程度上改善过拟合现象。3.2.6 输出层在高光谱图像分类任务中，输出层的节点数量 20n5 设置为与类别数一致，当像元被输入到网络中时，输出层使用Softmax模型进行分类计算，输出层每个节点会计算对应的权值，像元会被分类至最大输出值对应的类别。在我们的卷积神经网络中，我们在每个神经元之后使用PReLU激活层，可以减少额外的计算开销，降低过拟合风险。比起传统用于CNN的Sigmoid与TanH激活函数，我们的卷积神经网络的训练速度大大加快。3.3 高光谱图像分类测试数据集本章使用了四种常用的数据集验证我们提出的卷积神经网络特征学习性能。3.3.1 Indian Pines 图 32 Indian Pines数据集，左为高光谱图像，右为Ground-truthIndian Pine数据集，这一场景是由AVIRIS传感器拍摄于印第安纳州西北部的松树林，包括224个波段，图像大小为145145个像素，波长范围为0.42.510-6米。Indian Pines场景由三分之一的森林三分之二的农耕地以及一些天然草本植被组成，除此以外，还有两条公路，一条火车道，少量居民住宅和一些小路。图像拍摄于六月份，拍摄之后，一些作物如玉米，大豆开始慢慢生长，但覆盖率不超过5%。实际可用数据被分为16大类，剔除被水吸收的波段，图像波段最终降至200，被删减的波段分别为104-108,150-163,220。表 31 16 GROUND-TRUTH CLASSES IN AVIRIS INDIAN PINES#ClassSamples1Alfalfa462Corn-notill14283Corn-mintill8304Corn2375Grass-pasture4836Grass-trees7307Grass-pasture-mowed288Hay-windrowed4789Oats2010Soybean-notill97211Soybean-mintill245512Soybean-clean59313Wheat20514Woods126515Buildings-Grass-Trees-Drives38616Stone-Steel-Towers933.3.2 Salina 图 33 Salinas 数据集，左为高光谱图像，右为Ground-truthSalina数据集，这一场景由具有224个波段的AVIRIS 传感器收集于萨利纳斯谷和加利福尼亚州，图像以3.7米像素为单位，具有极高的空间分辨率。Salinas scene的图像大小为512217个像素，波段数为224。与Indian Pines场景类似，这里依然删减水吸收带，波段数分别为108-112，154-167 ，224。样本类别有蔬菜、裸露的土地，葡萄园庄园等一共16大类。表 32 16 GROUND-TRUTH CLASSES IN AVIRIS SALINAS#ClassSamples1Brocoli_green_weeds_120092Brocoli_green_weeds_237263Fallow19764Fallow_rough_plow13945Fallow_smooth26786Stubble39597Celery35798Grapes_untrained112719Soil_vinyard_develop620310Corn_senesced_green_weeds327811Lettuce_romaine_4wk106812Lettuce_romaine_5wk192713Lettuce_romaine_6wk91614Lettuce_romaine_7wk107015Vinyard_untrained726816Vinyard_vertical_trellis18073.3.3 Pavia Centre and University这两个场景是由机载ROSIS传感器在意大利北部的帕维亚飞行的时候拍摄。Pavia Centre场景的光谱波段数为102，Pavia U