【小麦长势信息提取的数据与方法分析案例9900字】

作者简介小麦长势信息提取的数据与方法分析案例目录TOC\o"1-3"\h\u11713小麦长势信息提取的数据与方法分析案例 164771.1研究区域概况 1277321.2数据来源及预处理 263851.1.1MODIS数据简介 2117621.1.2时间序列VTCI的生成 3149951.1.3时间序列LAI的生成 474751.1.4气象数据 5229031.1.5产量数据 7161731.3CNN模型 7106801.3.1CNN架构 855041.3.2卷积层 852761.3.3池化层 9168631.3.4全连接层 993501.3.5反向传播算法 9160431.4数据增强技术 10260121.4.1Mixup技术 1075811.4.2SMOTE技术 1121251.4.3GAN技术 1311751.5DA-CNN模型 15157091.6冬小麦长势信息提取和产量估测步骤 1687151.7回归分析与模型评价 16161771.7.1回归分析 16239671.7.2精度评价 17231331.8小结 181.1研究区域概况关中平原位于中国陕西省中部的渭河流域（106º22′E－110º24′E和33º57N－35º39′′N），西起宝鸡市，东至潼关县，南至秦岭，北至陕北黄土高原南缘，包括宝鸡市、咸阳市、西安市、渭南市、铜川市和杨凌示范区（图2-1）。关中平原属于大陆性季风气候，四季分明，处于暖温带半湿润半干旱气候的过渡地带，冬天寒冷干燥，夏天温暖多雨。地势平坦，土壤肥沃，适宜冬小麦生长。适宜的降雨和适宜的温度使其成为陕西省粮食主产区，耕地面积约占总面积的70%，主要包括粮食种植区、果林种植区和蔬菜种植区，粮食作物主要以冬小麦与夏玉米轮作为主。年平均降雨量在500mm至700mm之间，年平均气温在6℃至13℃之间。由于该地区降水量较低，分布不均匀，难以满足作物整个生长期的需水量，因此该地区春旱、夏旱的发生频率较高。关中平原50%以上的农田是旱地，西部和中部大部分农田是灌溉地，而东部大部分农田是旱地。将冬小麦的主要生育期划分为返青期（3月上旬－3月中旬）、拔节期（3月下旬－4月中旬）、抽穗－灌浆期（4月下旬－5月上旬）和乳熟期（5月中旬－5月下旬）4个生育时期。图2-1关中平原的位置及冬小麦分布区域1.2数据来源及预处理1.1.1MODIS数据简介本研究使用的时间序列VTCI和LAI数据均来自于MODIS产品。MODIS是为美国国家航空航天局（NASA）地球观测系统的Terra和Aqua卫星开发的中分辨率成像光谱仪[95]，目的是了解地球如何作为一个系统运作，研究陆生植被在大规模全球进程中的作用，在监测植被结构、物候和生物物理参数的季节性、年际和长期变化方面有较好的作用[96,97]。本研究选取2012-2019年每年3-5月的MODIS数据产品，包括日反射率产品（MYD09GA）、日LST产品（MYD11A1）以及4天的LAI产品（MCD15A3H）。MYD09GA是MODIS的2级产品，MYD11A1是MODIS的3级产品，空间分辨率均为1000m，投影均为Sinusoidal投影，覆盖研究区域MODIS产品的轨道号是h26v05和h27v05。MCD15A3H是MODISTerra+Aqua的4天复合500mLAI产品，除包括LAI外还包括光合有效辐射（fractionofphotosyntheticallyactiveradiation,FPAR），是MODIS的4级产品，为Sinusoidal投影，较MOD15A2（Terra-MODIS）和MYD15A2（Aqua-MODIS）产品有更高的时间分辨率（4d）和更高的空间分辨率（500m）。1.1.2时间序列VTCI的生成时间序列VTCI生成的主要步骤包括：日NDVI的计算、旬NDVI和LST产品的合成、旬VTCI的计算、生育时期VTCI的计算、县域尺度VTCI的统计。（1）日NDVI的计算NDVI(2-1)其中，ρNIR为日近红外波段的反射率，ρ（2）旬NDVI和LST产品的合成应用最大值合成（maximumvaluecompositing,MVC）技术，对日NDVI和日LST产品逐像素取最大值，分别合成旬NDVI和旬LST最大值合成产品：x(2-2)其中，xmax为经过最大值合成后的像素的NDVI或LST值，x1,（3）多年旬NDVI和LST产品的合成再次应用最大值合成技术对每年旬NDVI和旬LST逐像素取最大值，合成多年旬NDVI和多年旬LST最大值合成产品。（4）多年旬LST的最大—最小值合成应用最小值合成（minimumvaluecompositing）技术对每年旬LST最大值合成产品逐像素取最小值，合成多年旬LST最大-最小值合成产品：x(2-3)其中，xmin为经过最小值合成后的像素的LST值，x1,（5）旬VTCI的计算基于NDVI和LST的散点图呈三角形区域分布的特点提出VTCI，VTCI是一种近实时的干旱监测方法，可用于反映区域作物水分胁迫信息的时空特征：VTCI(2-4)其中：LST(2-5)LST(2-6)其中，NDVI为归一化植被指数，LST为地表温度，a,b,a'和b'为待定系数，由研究区域的NDVI和LST的散点图近似获得，LSTmaxNDVIi和LSTminNDVI根据上述步骤生成关中平原2012-2019年3月上旬-5月下旬的旬尺度时间序列VTCI数据。（6）冬小麦各生育时期VTCI的计算基于旬VTCI，依据对冬小麦主要生育期的划分情况，应用取平均值的方法生成冬小麦各生育时期的VTCI，将冬小麦的VTCI影像由旬尺度转化为生育时期尺度。例如，逐像素求3月上旬-3月中旬的旬VTCI影像的平均值，将其作为冬小麦返青期VTCI影像的值。通过上述方法，得到关中平原2012-2019年各年冬小麦返青期、拔节期、抽穗-灌浆期、乳熟期4个生育时期的VTCI影像。（7）县域尺度VTCI值的统计基于某生育时期VTCI影像，通过叠加研究区域的行政矢量图，逐像素取某县所有像素上VTCI值的均值，将其作为该县该生育时期的VTCI值。例如，逐像素取2012年关中平原冬小麦返青期VTCI影像中泾阳县所有像素VTCI值的均值，将其作为2012年泾阳县冬小麦返青期的VTCI值。1.1.3时间序列LAI的生成时间序列LAI生成的主要步骤包括：旬LAI的计算、生育时期LAI的计算和县域尺度LAI的统计。（1）旬LAI的生成针对MODISLAI受云和大气等因素的影响出现的时空不连续问题，应用上包络线S-G（Savitzky-Golay）滤波对时间序列LAI进行平滑处理，并逐像素地取某旬LAI最大值作为该旬的LAI。（2）冬小麦各生育时期LAI的计算基于旬LAI，依据对冬小麦主要生育期的划分情况，应用取平均值的方法生成冬小麦各生育时期的LAI，将冬小麦的LAI影像由旬尺度转化为生育时期尺度。例如，逐像素求3月下旬-4月中旬的旬LAI影像的平均值，将其作为冬小麦拔节期的LAI影像的值。通过上述方法，得到关中平原2012-2019年各年冬小麦返青期、拔节期、抽穗-灌浆期、乳熟期4个生育时期的LAI影像。（3）县域尺度LAI值的统计基于某生育时期LAI影像，通过叠加研究区域的行政矢量图，逐像素取某县所有像素上LAI值的均值，将其作为该县该生育时期的LAI值。例如，逐像素取2012年关中平原冬小麦拔节期LAI影像中高陵县所有像素LAI值的均值，将其作为2012年高陵县冬小麦拔节期的LAI值。1.1.4气象数据2012-2019年关中平原冬小麦主要生育期的逐日气象数据由陕西省气象局提供，包括逐日降水量、日照时数、相对湿度、最高气温和最低气温。在进行逐像素产量估测时，需要各像素点的气象数据，故本文基于ArcMap的简单克里金（Kriging）插值法对22个气象站点的气象数据进行预处理。基于ArcMap的关中平原像素级气象数据获取步骤如下：（1）气象站点数据的生成。依据对冬小麦主要生育期的划分情况，由逐日气象数据经过求和运算得到4个生育时期气象数据，将每年每一类气象数据添加对应经纬度后得到对应的气象站点数据。（2）基于克里金法的插值。在ArcMap中加载关中平原底图和气象站点数据，使用ArcMap中的克里金工具进行插值，得到每年4个生育时期像素尺度的气象数据。简单克里金插值法通过对研究对象构造最佳线性无偏估计模型，求出每一个采样点样本的权重系数，运用计算加权平均法得到目标区域预估值[98-100]。设x1,…,xn为采样坐标点，z(xz(2-7)其中，λi算法要求λi（1）无偏性E=E=(2-8)（2）估计方差最小性Var(2-9)即σ=E=min(2-10)对公式（2-10）应用拉格朗日乘数法在满足公式（2-8）的条件下得到条件极值：∂(2-11)若空间数据随机函数Zu①在全采样点区域范围内，ZuE=E=m(常数)(2-12)②在全采样点区域范围内，Zucov{Z=E[Z(u)Z(u+h)]-E[Z(u)]E[Z(u+h)]=E[Z(u)Z(u+h)]-m2=C(h)(2-13)考虑极端的情况，当h=0时，公式（2-13）则为：var(2-14) 由公式（2-11）至（2-14）得：i=1(2-15)由公式（2-15）可求出所有λi当Zu①在整个研究区内有：E(2-16)成立，但是出现E[Z(u)]不存在的情况；②空间函数增量[ZuVar(2-17)此时有：γ(2-18)可用γ(h)来表示克里金方程：i=1(2-19)同上，由公式（2-19）求出λi以上两种情况下的克里金最小方差估计为：σ(2-20)和σ(2-21)其中，公式（2-20）为协方差克里金法对应的最小方差估计，公式（2-21）为变差函数克里金法对应的最小方差估计。1.1.5产量数据2012-2017年关中平原县域冬小麦单产数据来源于陕西省农村年鉴。选取关中平原地区冬小麦种植区年产量高于3000kg/ha、记录时间超过6年且每年的3-5月份气象数据完整的县作为样本集来源，22个县经过筛选作为本文使用的原始数据集。1.3CNN模型卷积神经网络（CNN）最早是由Lecun利用Kunihiko提出的Neocognitron结合Rumelhart的BP算法提出的[101-104]。CNN是一种监督学习下的深度学习模型，用于处理多阵列形式的数据。一个典型的卷积神经网络由输入层、若干个隐含层和输出层组成，隐含层通常由一系列的卷积层、池化层和全连接层组成。网络的局部连接和卷积核的共享权重是卷积层的两个核心思想，可使CNN在学习特征时大大减少卷积层的参数数量，提高学习速度，降低过拟合的可能性。当输入数据在前一层中的位置有变化时，池化操作令这些特征表示对这些变化具有鲁棒性。因而，局部连接、共享权值、池化和多层使用是CNN的四个关键思想，这使得CNN比只有完全连接层的神经网络更容易训练，而且泛化能力更好[105]。1.3.1CNN架构本文的长势信息提取和产量估测模型是基于Lecun提出的Lenet-5架构[106]。长势信息提取模型由1个输入层、2个卷积层、2个池化层、2个全连接层和1个输出层构成。考虑到可能出现的过拟合情况，在全连接层添加dropout层以提升模型的泛化能力。图2-2是CNN的基本架构。CNN模型的输入层为5×5的矩阵，卷积层C1和C3中卷积核的个数分别为32和64，步长为1，卷积核大小都是3×3，每个卷积层进行零填充，激活函数为线性整流函数（ReLU）。池化层S2和S4采用最大值池化法，内核大小为2×2，步长为2。全连接层F5和F6中神经元的个数分别为128和1。图2-2卷积神经网络架构1.3.2卷积层卷积层是CNN的主要组成部分，其功能是通过卷积核对前一层的特征矩阵进行卷积，检测上一层特征的局部连接，然后提取指定的特征[106]，通过激活函数的运算得到输出特征矩阵。卷积层的工作原理如下[107]:x(2-22)其中，xjl表示第l个卷积层第j个通道上的输出，xil−1表示第(l-1)个卷积层第i个通道上的特征向量，kijl表示卷积核，bjl表示卷积后特征矩阵的偏置。Mj1.3.3池化层池化是一种生成输入矩阵的下采样形式数据，并将某一区域的输入减少到单个值的过程，以进一步检索高阶特征并提高模型的鲁棒性，其工作原理如下:y(2-23)其中，xi,j,kl−1表示第(l-1)个池化层在(j,k)位置处第i个特征矩阵上的值，p表示垂直局部邻域，q表示水平局部邻域，yijk1.3.4全连接层全连接层一般作为CNN的最后几层，用来对之前的特征进行加权求和，最终达到分类或预测的目的。它的输出可以通过输入的加权和与激活函数的响应得到[107]:x(2-24)其中，wl表示第l个全连接层的权重系数，bl表示第l个全连接层的偏置项。xl−1表示前一层的特征矩阵，xl表示1.3.5反向传播算法反向传播算法是包括CNN在内的有监督学习神经网络中常用的一种优化网络参数的方法，优化的参数主要包括卷积核个数k、全连接层权值w和各层偏置b。神经网络的每一层计算都存在误差，而反向传播算法的本质是减少误差，故应用反向传播算法使得网络的实际输出更接近目标值[107]。反向传播算法中经常使用平方误差损失函数来减小误差：E(2-25)其中，tn表示第n个样本对应的标签，yn表示第反向传播主要基于梯度下降法计算。首先将网络中的参数初始化为随机值，然后逐层计算E对各神经元参数的偏导数，形成E对参数的梯度，并将其作为调参的基础；继而通过误差反馈不断修改网络的权值和偏置值，直到模型的模拟值与实际值的误差在允许的范围内停止调参。本文基于CNN构建冬小麦长势信息提取和产量估测的模型，通过反向传播算法和对模型中包括卷积核个数、池化层数和神经元个数在内的可调节参数进行调整，以更好地应用于本研究的样本集，以期提高冬小麦长势信息提取和产量估测的精度。1.4数据增强技术在研究目标指导下，由已有数据创造新数据的过程被称为数据增强[28]。它是针对使用小样本数据训练CNN模型导致模型出现的缺少泛化性、可行性和可靠性的问题，出现的扩展数据样本及多样性的方法。图像识别分类问题中通常采用翻转、旋转、裁剪和缩放等方法扩充数据集，一般的数据扩充中通常采用描述训练集中每个样本的邻域，然后在邻域中得到新的训练样本以达到扩充训练数据集的目的。本章选取Mixup、SMOTE和GAN三种目前广泛使用的数据增强技术进行数据增强处理，为更好地从数据集中提取特征奠定基础。1.4.1Mixup技术Mixup和SamplePairing是两种一脉相承的数据增强技术，二者简单、高效且与数据集无关。Inoue提出了SamplePairing[71]，它是一种用于对影像、图片进行数据增强的技术，其基本思想是从训练集中随机选取两个大小相等的图像块，通过对两个图像块中的对应位置上的像素取平均值，得到一个新的图像块，其标签值仍取其中一个图像块的值（图2-3）。Zhang引入了Mixup方法[72]构建虚拟训练样本，该方法比SamplePairing更加通用，其基本思想同样随机选择两个图像块，但由SamplePairing中对两个图像块对应位置求像素平均改为以一定比例进行叠加，即进行线性运算，标签值也同样取两个图像块值的线性运算结果。利用Mixup进行新样本和标签生成的过程为：x(2-26)y(2-27)其中，λ代表混合系数，即权重，λ~Betaα,α,α∈(0,∞),λ∈[0,1]，超参数α控制了线性插值的强度。xi本文选取Mixup作为一种数据增强技术，对样本集中的训练集和验证集进行扩充。图2-3Mixup算法的工作原理1.4.2SMOTE技术数据的不平衡问题在现实生产生活中很容易出现，导致分类器等模型性能变差的一个重要原因是类的不平衡，非平衡数据集（imbalanceddatasets）中一个或多个类（即少数类）的数量很少，而其他类（即多数类）的数量则很多。多数类与少数类样本量之比越大则非平衡程度越高[108]。数据的不平衡问题一般发生在二分类问题中，包括期末考试中的不及格人数、人群中患重大疾病的人数、信用卡被盗刷的交易数等等，涉及统计学、医学、金融等各个领域。一旦二分类的分类类别不是近似地相等的话，就会出现不平衡数据集情况。机器学习模型的性能一般依据预测的精度进行评估，若用于训练的数据集是非平衡数据集，那么预测的精度就会不准确，对于模型性能的评估也是不准确的。对多数类数据进行降采样法常被运用于解决数据集的不平衡问题，它在提升模型对于少数类数据集的敏感性上发挥了很大的作用，然而降采样法不适宜运用于小样本数据，在减少数据的同时也减少了可供模型学习的特征，故对少数类进行过采样是解决小样本数据不平衡问题的方法。本文使用的数据集如图2-4所示，其中，产量高于4995kg/ha的样本数占比较少，故本数据集属于非平衡数据集。过采样法通过生成更多的少数类数据平衡数据集，故选取少数类过采样技术（SMOTE）作为数据增强方法扩充数据集，同时也能达到平衡数据集的目的[74]。图2-42012-2017年冬小麦单产的直方图SMOTE是最受欢迎的过采样方法之一，其基本原理是基于k近邻的思想通过选取少数类中的每个样本，沿着其与任意或者所有k近邻的连线引入新合成数据的方法对少数类样本进行过采样，并将合成数据添加至数据集中，从而通过生成新的数据来解决过拟合问题（图2-5）。其中，k个近邻则是根据需要的过采样量进行随机选择的。其算法流程如下：（1）对于少数类样本集{x}中的每个样本xi，以欧氏距离为标准，计算其到少数类样本集{x}中其他所有样本的距离，得到其k近邻。

（2）根据样本失衡比例（失衡比例=少数类样本/多数类样本）设定抽样比例，确定过采样倍率N。对于每个少数类样本xi，从其k个近邻中随机抽取N（N<k）个样本（xj|j=1,2,…N），假设所选近邻为xj。

（3）对于随机选取的每个近邻（xj|j=1,2,…N），在xi和（xj|j=1,2,…N）之间进行随机插值，针对每一个少数类样本xi可以得到N个新合成的样本值：xnew=x+rand0,1×((2-28)其中，xj是xi的N个近邻中的第j个邻居样本，rand(0,1)为[0,1]区间随机生成的一个实数，xnew是在xj和图2-5SMOTE算法合成少数类样本示意图1.4.3GAN技术Goodfellow在2014年提出了生成式对抗网络GAN[78]，它由生成器（generator,G）和判别器（discriminator,D）两个模块组成，两个模块均采用神经网络的架构，G负责捕捉真实数据样本的潜在分布并生成新的数据样本，D负责判别当前输入属于真实数据还是G新生成的数据。GAN的主要思想基于一个极大极小二人博弈，旨在寻找二者之间的一个平衡点，当到达平衡点后，D无法判断数据来自G还是真实数据，此时G达到最优状态。GAN的结构如图2-6，将真实数据的标号设为1，将G生成的伪数据的标号设为0。G的输入为随机噪声z，输出为样本G(z)；D的输入为真实数据x和伪造数据G(z)，输出为0或1。图2-6GAN结构及计算过程本文中D和G均采用全连接神经网络结构，其中，D采用三层全连接网络结构，G采用单层全连接网络结构，D和G均采用Adam优化器和1e-3学习率。经测试，D和G使用的激活函数分别为tanh和leaky_relu时，模型收敛速度更高。D和G的训练过程为：minG其中，V(D,G)表示二人极大极小对策的值函数，即训练GAN模型时的全局目标。Pdata(x)代表真实数据x的概率分布，Pz(z)表示噪声z的概率分布。x~Pdata(x)代表从原始样本集中采样的值x，z~Pz(z)代表根据z的随机分布生成的一个随机噪声。E表示真实数据x和噪声变量z的数学期望。D(x)表示x来自真实数据的概率，D(G(z))表示生成的数据是真实数据的概率，训练D的优化目标是最大化D(x)和最小化D(G(z))。D和G的训练过程如下，对于每一次迭代：（1）从真实数据分布Pdata(x)抽取m个样本{x1,x2,…,xm}；（2）从先验分布抽取m个噪声样本；（3）通过最小化VV(2-30)（4）将噪声样本输入G生成数据{x1,x2,…,xm},xV(2-31)1.5DA-CNN模型为提高CNN在冬小麦长势信息提取和产量估测研究中的泛化功能，基于CNN的网络架构，在融入数据增强模块的基础上，构建DA-CNN（convolutionalneuralnetworkswithdataaugmentation）模型（图2-7）。其中，数据增强模块包括Mixup、SMOTE和GAN三种数据增强技术，分别称加入三种模块的模型为Mixup-CNN、SMOTE-CNN和GAN-CNN模型。DA-CNN模型集成了CNN和数据增强的优势，在为小样本数据提供一种非线性估产模型的同时也防范了模型可能会出现的过拟合的问题，以期得到精度更高的长势信息提取结果和产量估测结果。图2-7DA-CNN模型结构图原始数据集包括冬小麦4个生育时期的VTCI、LAI、降水量、日照时数、相对湿度、最高温度和最低温度，并将其对应的归一化后的冬小麦单产作为模型的目标向量。训练集包括2012-2015年关中平原22个县的88个样本，验证集包括2016年的22个样本，测试集包括2017年的22个样本。在训练集和验证集中，按1.4的要求选择样本xi,yi和xj1.6冬小麦长势信息提取和产量估测步骤基于CNN和DA-CNN模型的冬小麦长势信息提取和产量估测主要分为以下5个部分：网络结构的初始化、模型的训练、模型的误差计算、基于CNN和DA-CNN的冬小麦长势信息提取、冬小麦产量估测模型的构建。（1）网络结构的初始化。选取图2-2的8层架构作为CNN和DA-CNN的初始网络结构，依据对CNN架构的影响程度，对包括卷积层数、卷积核个数、池化层数、全连接层数和全连接层中神经元个数在内的可调节参数进行调整。CNN和DA-CNN中的所有权值初始化为随机截断正态分布，并将偏置值初始化为0.1。

（2）模型的训练。分别将训练集和经数据增强后的训练集输入CNN和DA-CNN，每迭代500次后，再分别将验证集和经数据增强后的验证集输入CNN和DA-CNN中进行模型的验证。通过拟合训练样本的评价矩阵和目标向量，得到不同可调节参数下的CNN和DA-CNN的输出层输出和非线性映射关系F。（3）模型的误差计算。基于CNN和DA-CNN的输入与输出之间的映射关系F得到网络模拟值，计算输出模拟值与目标向量之间的R2、MRE和RMSE，经过前向传播和后向传播后，将模型的权重矩阵和偏差调整到最优值。

（4）基于CNN和DA-CNN的冬小麦长势信息提取。通过计算在不同的可调节参数的组合架构下，CNN和DA-CNN的训练精度、验证精度和测试精度，选取精度最高的网络架构确定的映射关系作为冬小麦长势综合监测结果输出。（5）冬小麦产量估测模型的构建。构建长势综合监测指标I与实