第12章深度学习在表型分析上的应用

深度学习在表型分析上的应用HUAZHONGAGRICULTURALUNIVERSITY1目录CONTENTS第一节卷积神经网络的基本概念第二节基于卷积神经网络的作物图像分类第三节基于卷积神经网络的作物图像分割第四节

基于卷积神经网络的作物目标检测与计数第五节推荐阅读第六节思考与讨论2一、卷积神经网络的基本概念

卷积神经网络（convolutional

neuralnetwork，CNN）是应用最为广泛的深度学习模型之一。在大规模有标签训练样本的监督学习下，CNN可直接以原始二维图像作为输入，模拟人脑分层处理信息机制，以自动学习与表达的方式，从原始像素开始逐层学习图像特征，在挖掘高表达能力图像特征与图像分类识别上具有显著优势。

1989年，LeCun提出LeNet，该网络包含两个卷积层和两个全连接层，共有6万多个参数，并首次提出“卷积”这一新概念，卷积神经网络因此得名。

近年来，随着硬件设备GPU的不断进步，计算机的大规模计算能力显著增强，训练模型所需的时间大幅降低。同时，大数据的获取越来越容易，为卷积神经网络提供了数据支持。3卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层一、卷积神经网络的基本概念

卷积神经网络是受到了生物学感受野机制的启发而提出。在生物学中，感受野（receptivefield）机制指的是听觉、视觉等复杂神经系统中，一些神经元只响应其所控制的刺激区域内的输入信号。

一个典型的卷积神经网络，通常由卷积层（convolutionlayer）、激活函数层（activationfunctionlayer）、池化层（poolinglayer）和全连接层（fullyconnectedlayer)等交替堆叠而成。4卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层一、卷积神经网络的基本概念

局部连接：卷积层中的神经元并不与前一层中所有神经元相连，而是仅与一个局部区域内的神经元建立连接。

权重共享：卷积核中的参数对于所有的神经元都相同。局部连接及权重共享这两个特性使得卷积神经网络的参数大大减少。卷积层的主要作用是从图像中抽取特征，这些特征是通过反向传播算法不断优化卷积参数而得到。卷积层工作时，通过卷积核在输入图像上进行滑动，对每个覆盖区域执行卷积操作，提取出该区域的特征。不同卷积核相当于不同的特征提取器，从图像中捕捉不同的特征模式。可在每一层部署多个卷积核，以增强卷积神经网络的特征表示能力。

卷积层的性能与输出特征图的维度主要受到三个核心参数的影响：卷积核尺寸(filtersize)、步长（stride）和边界填充（padding）。5卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层一、卷积神经网络的基本概念卷积运算提取的是线性特征，要获取非线性特征，需要引入非线性变换，激活函数层即可实现非线性变换。

激活函数的主要作用是将卷积层的输出（即特征图上的像素值）映射到一个非线性空间内。激活函数通常需要具备以下特点：单调、非线性、连续可微等。使用较为广泛的激活函数有tanh函数、Sigmoid函数及ReLU函数等。6卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层一、卷积神经网络的基本概念池化层，亦被称为下采样层，其主要功能在于特征的选择与压缩，可减少特征数量，从而有效缩减模型参数量。

池化一般有两种，均值池化与最大池化。最大池化：在filter区域中找最大值，将其作为该区域的表示。均值池化：取filter区域内的平均值，将其作为该区域的表示。池化层不仅可显著地降低神经元的数量，还增强了模型对输入数据微小变化的鲁棒性，并增大了感受野。池化层常选用2x2的窗口（或称为filter）作为滑动窗口，不重叠地遍历整个特征图。在每个窗口区域内，采用最大池化或平均池化策略来选择最大值或平均值作为该区域的代表，进行采样处理。7卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层一、卷积神经网络的基本概念全连接层一般置于卷积神经网络末端，将特征图扁平化为特征向量，进行非线性组合后传递给输出层。

全连接层的每一个神经元都与前一层的所有神经元相连接。针对图像分类任务，输出层会利用Logistic函数或Softmax函数来计算类别概率，确定图像所属类别。当前，卷积神经网络一个明显的设计趋势是采用更深的网络层次及更小的卷积核（如1×1和3×3）。同时，由于卷积操作的日益灵活多样（如不同步长的应用等），传统池化层的作用逐渐减弱，池化层的应用正逐步减少，趋向于构建全卷积网络架构。8卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层二、基于卷积神经网络的作物图像分类在作物图像检测识别中，经常会遇到阴影、强曝光等情况，因此需要对图像进行预处理，使图像识别结果尽可能不被图像亮度等无关因素影响。卷积神经网络的训练需要大量的有标签样本。通过数据增强，人为扩大训练图像数量，有助于改进模型性能，提高模型泛化能力。传统的数据增强方法：旋转、镜像、翻转、平移、缩放、随机变换等基于生成对抗网络的数据增强法将CNN和LSTM相结合，可以同时利用图像的空间信息及时序信息，提高植物分类的准确性。9作物图像分类基本概念建模方法作物图像分类常用评价指标作物图像分类应用实例二、基于卷积神经网络的作物图像分类准确率：分类器正确判别的样本数量占总样本数量的比例。精确率：分类器判定为正样本的实例中，真正为正样本的比例，用于衡量分类器识别正样本的准确性。召回率：分类器正确判定的正样本数量占所有实际正样本数量的比例，它反映了分类器识别出所有正样本的能力。F值：综合考虑了精确率和召回率，是衡量精确率和召回率之间平衡的一个指标。F值越高，表示分类效果越好。平均精确率：精确率-召回率曲线上精确率对召回率的积分值，AP值越大，分类器对某个类别的识别效果越好。平均精确率均值：所有类别平均精确率的平均值，用于衡量分类器对所有类别的整体检测效果。10作物图像分类基本概念建模方法作物图像分类常用评价指标作物图像分类应用实例二、基于卷积神经网络的作物图像分类基于卷积神经网络的作物病虫害分类Ferentinos利用不同深度学习算法模型对作物病害开放数据集进行分类诊断，该数据集包含25种作物的58种病害图像数据，研究表明识别精度达到了99.53%。Nazki等通过生成对抗网络模型在健康叶片图像-虫害叶片图像间进行风格迁移，生成大量样本图像，大大提高了分类准确率。在病虫害检测时，同一叶片上可能会出现多种病虫害，可通过滑动窗口在原始高分辨大图上滑动，生成可反映病虫害概率的热图。这种方法的优势在于保留了原始高分辨图像的空间分辨率，同时可提供空间信息。高光谱图像用于病虫害检测，可通过3D卷积神经网络，综合利用空间信息和光谱波长信息，达到更准确的病虫害检测，且有望用于症状未显现出来时的病虫害早期检测。11作物图像分类基本概念建模方法作物图像分类常用评价指标

作物图像分类应用实例二、基于卷积神经网络的作物图像分类融合CNN和LSTM的作物品种分类Namin等结合CNN和LSTM进行作物品种识别。时序图像序列中的每一个时间点的图像先由CNN提取一个固定长度的深度视觉特征向量。时序图像序列对应的特征向量时间序列接着被输入LSTM模块，由LSTM学习特征间的时序模式并进行品种识别。经测试，CNN结合LSTM的方法在拟南芥品种识别上的性能显著优于传统人工特征提取+LSTM或单独使用CNN。12作物图像分类基本概念建模方法作物图像分类常用评价指标

作物图像分类应用实例三、基于卷积神经网络的作物图像分割13图像语义分割技术作物图像分割评价指标作物图像分割应用实例图像语义分割是一种图像分割技术，根据图像中每个像素点所蕴含的语义信息来进行分类。该技术的主要任务是将图像划分为若干个具有实际意义的目标区域，并为这些区域分配相应的类别标签。实质上，语义分割是对图像中的每一个像素点进行类别判定，并为其标注所属类别。传统图像分割算法主要可以分为基于阈值、边缘、区域、聚类以及图论的分割等几大类。然而，这些方法大多只能提取图像的低级语义信息，如大小、纹理、颜色和形状，应对复杂环境的能力通常较弱。全卷积神经网络显著提升了图像分割的精度及处理速度，该网络使用卷积层替换传统卷积神经网络中的全连接层，实现了高效的图像分割。三、基于卷积神经网络的作物图像分割14全卷积神经网络结构主要包括卷积部分和反卷积部分。卷积部分借鉴了卷积神经网络模型的设计，输入图像经过卷积部分的处理后，参数减少、特征被增强。反卷积部分对最后卷积层的特征图进行上采样，利用转置卷积恢复输入图像的尺寸，并对每个像素产生一个语义类别预测，从而实现语义级的精确分割。深度学习语义分割模型主要可以划分为三大类：强监督语义分割、无监督语义分割以及半监督语义分割。强监督语义分割能够达到最高的分割精度，但这种方法需要预先对训练图像中的每一个像素进行标注，需要耗费大量时间与精力。另外，强监督语义分割通常过度依赖于标注数据，对未知场景的分割效果较差。无监督语义分割技术无需标注，对复杂环境和场景下的图像具有良好的适应能力，其缺点在于分割性能往往较差半监督学习算法不需要对数据集进行大量的人工操作，通过图像级标注即能完成训练，能减轻人工标注工作量，降低成本，然而，其分割精度低于强监督语义分割，并且往往需要大量的训练时间和计算资源。图像语义分割技术作物图像分割评价指标作物图像分割应用实例三、基于卷积神经网络的作物图像分割15图像语义分割技术作物图像分割评价指标作物图像分割应用实例编解码结构网络是一种典型的图像语义分割网络。该类网络通常包含编码器和解码器两部分。其中，编码器是一个分类网络，负责将待分割图像转换为低分辨率的特征图。解码器通常与编码器呈对称结构，通过上采样技术将低分辨率的特征图恢复到待分割图像的尺寸。网络的最后一层通常是一个softmax分类器，用于预测每个像素的类别，最终生成与待分割图像尺寸完全相同的分割图像。SegNet模型是经典的编解码网络之一。三、基于卷积神经网络的作物图像分割16多尺度信息对于提高语义分割的精度非常重要，多尺度方法能够将粗粒度的高层语义特征与细粒度的底层特征进行有效融合，充分获取详细的空间信息，并有效缓解由多尺度目标导致的分割精度下降的难题。常见的用于提取多尺度信息的方法有图像金字塔结构、空洞卷积、空间金字塔池化等。经典的利用多尺度信息的网络模型包括DeepLab系列模型及PSPNet等。图像语义分割技术作物图像分割评价指标作物图像分割应用实例三、基于卷积神经网络的作物图像分割17图像语义分割技术作物图像分割评价指标作物图像分割应用实例运行时间：神经网络进行训练和测试所需的时间。显存占用：GPU的显存资源有限，在算法运行时间相当的情况下，其运行所需显存也是一个重要的考量因素。精确率：主要包括像素准确率（pixelaccuracy，PA）和平均交并比（meanintersectionoverunion，MIoU）等。像素准确率是指被正确分类的像素占总像素的比例。值得注意的是，当测试集中的各类别样本数量存在显著不平衡，即不同类别样本数量差异较大时，像素准确率可能无法客观反映模型的实际性能。平均像素准确率（meanpixelaccuracy，MPA）是各类像素分类准确率的平均值，相比于像素准确率，能更客观地反映模型性能。平均交并比被广泛认为是评估语义分割性能最为重要的指标，计算的是正确预测的正样本（即真实值集合与预测值集合的交集）与正确预测的正样本、错误预测的正样本以及错误预测的负样本之和（即真实值集合与预测值集合的并集）之间的比值。三、基于卷积神经网络的作物图像分割18图像语义分割技术作物图像分割评价指标

作物图像分割应用实例结合传统语义分割及深度学习的多品种水稻稻穗分割

研究人员通过融合深度卷积神经网络与超像素分割技术，成功实现了大田稻穗的分割，并将此算法命名为Panicle-SEG。该算法首先通过简单线性迭代聚类方法，对图像进行超像素分割，将具有相似特征的相邻像素分割为超像素。在此基础上，对大规模训练样本进行自动标注和选择，通过卷积神经网络，判断超像素是否属于候选稻穗区域，实现稻穗的初步分割。最后，采用基于熵率的超像素分割方法，优化初步分割结果。三、基于卷积神经网络的作物图像分割19图像语义分割技术作物图像分割评价指标

作物图像分割应用实例结合传统语义分割及深度学习的多品种水稻稻穗分割

测试表明，与传统的稻穗分割算法相比，Panicle-SEG算法展示出了显著优势，能够应对不同品种水稻稻穗边缘不规则、外观表现多样、穗叶颜色混叠，以及复杂大田环境中光照变化、风场影响和遮挡等因素的干扰，适用于不同品种、不同生育期、不同光照条件、不同环境及不同拍摄角度下的水稻图像稻穗分割。与其他传统算法相比，该方法具有精度高、适用性强的技术优势。三、基于卷积神经网络的作物图像分割20图像语义分割技术作物图像分割评价指标

作物图像分割应用实例基于深度卷积神经网络的多品种水稻稻穗分割

在SegNet的基础上，研究人员设计了一种名为PanicleNet的深度卷积神经网络，用于大田稻穗的图像分割。该网络采用对称的编解码结构。在处理待分割图像时，首先将其划分为适合PanicleNet输入大小的子图，然后利用PanicleNet对每个子图进行像素级的语义分割。最后，将这些分割后的子图拼接起来，得到完整的输入图像的分割结果。测试表明PanicleNet的分割算法性能优于Panicle-SEG，且处理速度约为Panicle-SEG算法的35倍，在效率上远远高于Panicle-SEG算法。四、基于卷积神经网络的作物目标检测与计数21这种方法通常先将目标区域分割出来，然后再用连通区域计数等方法统计目标的数量。以作物果穗计数为例，

Zhou等通过SLIC算法产生候选区域子图，由双SVM分割模型对候选区域进行分类，分割麦穗，进而统计麦穗数。Fernandez-Gallego等通过傅里叶滤波及二维离散傅里叶变换将麦穗分割出来并计数。Sadeghi-Tehran等则通过融合SLIC和卷积神经网络实现麦穗分割，进而计算穗数。分割-计数两步法检测作物目标数量容易受到分割质量的影响，且一些作物目标相互粘连，容易造成计数误差。分割-计数两步法基于卷积神经网络的目标检测法基于回归的计数方法作物目标检测与计数应用实例四、基于卷积神经网络的作物目标检测与计数22基于卷积神经网络的目标检测技术，如FasterRCNN等可以实现端对端的检测，为作物目标检测与计数测量提供了新的工具。但由于基于目标检测的方法通常在网络的最后需要使用非极大抑制方法去除冗余目标框，较难区分和检测粘连较严重的物体。当图像中包含大量目标（即目标密度较大）时，标注包围框将是一个烦琐的过程。尤其对于集目标检测和语义分割为一体的实例分割网络MaskRCNN，需要标注目标外轮廓，当目标较多时，标注工作量非常大，对于边缘不规则的目标如稻穗等，实例分割的人工标注工作量极其庞大。分割-计数两步法

基于卷积神经网络的目标检测法基于回归的计数方法作物目标检测与计数应用实例四、基于卷积神经网络的作物目标检测与计数23目前，基于卷积神经网络的目标检测算法大致可分为两种模式，即two-stage模式和one-stage模式。two_x0002_stage模式首先由算法生成若干个候选框，再通过CNN对候选框进行分类，典型的two-stage目标检测网络模型有RCNN系列、R-FCN、CascadeRCNN、TridentNet等。one-stage模式则是对目标的类别概率和位置坐标直接回归，速度较two-stage模式的算法更快，但精度有所下降。典型的one-stage目标检测网络模型有YOLO系列、SSD系列、RetinaNet、EfficientDet等。分割-计数两步法

基于卷积神经网络的目标检测法基于回归的计数方法作物目标检测与计数应用实例四、基于卷积神经网络的作物目标检测与计数24相对于基于卷积神经网络的目标检测法，基于回归的计数方法在标注时只需要对每个目标打一个点，标注简单，被证明对粘连物体具有更高的计数精度。Lu等提出了一种基于深度卷积神经网络的局部回归计数网络TasselNet，实现了对田间玉米穗的准确计数。当穗密度非常密集时，严重的遮挡问题会使得TasselNet无法有效计数。针对这一问题，该团队提出了融合上下文信息的局部回归卷积神经网络TasselNetv2，实现了密集麦穗的检测。相比于TasselNet，TasselNetv2的计数准确度提高17.2%，处理速度也更快。分割-计数两步法基于卷积神经网络的目标检测法

基于回归的计数方法作物目标检测与计数应用实例四、基于卷积神经网络的作物目标检测与计数25FasterRCNN是使用较多的目标检测网络之一，其首先通过卷积层提取输入图像的特征图，该特征图被共享用于后续区域候选网络（regionproposalnetwork，RPN）和分类器。Faster-RCNN可应用于作物目标检测与计数，例如，研究人员利用Faster-RCNN实现不脱粒情况下的稻穗谷粒检测与计数，由Resnet101提取特征图，并采用特征金字塔网络（featurepyramidnetwork）融合多尺度特征，以提高对小目标的检测性能，实验表明该方法检测谷粒数目的平均相对误差为1.63%分割-计数两步法基于卷积神经网络的目标检测法基于回归的计数方法作物目标检测与计数应用实例四、推荐阅读BadrinarayananV，KendallA，CipollaR.SegNet：adeepconvolutionalencoder-decoderarchitectureforimagesegmentation［J］.IEEETransactionsonPatternAnalysisandMachineIntelligence，2017，39（12）：2481-2495.论文提出了一种创新的深度架构，名为SegNet，用于图像语义分割。SegNet通过学习的方式，将编码器的输出映射到图像像素标签，以克服与此任务相关的挑战。ChenLC，PapandreouG，KokkinosI，etal.DeepLab：semanticimagesegmentationwithdeepconvolutionalnets，atrousconvolution，andfullconnectedCRFs［J］.IEEETransactionsonPatternAnalysisandMachineIntelligence，2018，40（4）：834-848.该文提出了一种方法，通过将深度卷积神经网络（DCNN）的响应层与全连接的条件随机场（CRF）结合，克服了深度网络在定位特性上的不足，从而有效解决像素级分类任务。26四、推荐阅读3.HeK，ZhangX，R