【植物图像分类相关研究工作综述5000字】

植物图像分类相关研究工作综述目录TOC\o"1-3"\h\u24503植物图像分类相关研究工作综述 1179781.1传统图像特征提取算法 1211761.1.1图像特征提取法 1320921.1.2传统植物图像分类方法 773051.1.3keras介绍 14295431.2深度学习介绍 15236931.3选用的植物图像数据库 15304811.3.1Oxford17flowers数据集 1520671.3.2AppleLeaf数据集 171.1传统图像特征提取算法机器学习中传统的图像特征提取算法主要是基于图像特征提取的传统算法，早期的图像特征提取方式主要是使用基于人工特征方法的图像分类算法，研究重点一般为图像的局部特征[22]。首先，从图像中提取该图像的某些局部特征，然后利用相关的机器学习算法对该图像进行相应的特征编码，得到图像的特征。下面针对常见的基于机器学习的传统图像特征提取算法进行简单介绍[23]。1.1.1图像特征提取法1.1.1.1HOG特征提取方向梯度直方图（HOG）是一种特征描绘子，经过计算图像局部特征和统计直方图的方式来提取图像特征。其主要目的是使用边缘方向密度或者梯度的方向，对图像的局部的形状、表象等进行较好的描述。本质来说是为了更好地统计图像的梯度信息，对图片的局部特征进行提取。使用HOG特征提取算法提取图片特征的流程大致如下：1.标准化输入图像：首先将输入的RGB图像进行灰度化处理，利用Gamma校正法对输入图像进行标准化，校正公式见公式（1.1）：（1.1）1.计算输入图像梯度：是图像横、纵坐标方向的梯度,是每个像素位置的梯度值，是每个像素位置的梯度方向值：（1.2）（1.3）3.单元细胞直方图：将图像划分为若干细胞单元(cell),采用9bin直方图统计每个cell的10×10像素对应的梯度信息，对cell内像素进行加权投影，得到该cell的梯度直方图。4.得到块（block）内梯度直方图并归一化：对所有cell的特征向量串联，得到该block特征，对每个block的特征值并归一化，将归一化后的块描述符称为HOG描述符：（1.4）本文的选用的HOG模型的blocksize是20×20，cellsize为10×10，直方图通道为9bin，此时，每张图像的特征向量维数是36维。单个图片的HOG特征提取算法提取特征实际运行结果如下图2-1所示：图2-1单个图片的HOG特征提取实际结果Fig.2-1TheactualresultsofHOGfeatureextractionfromindividualimage1.1.1.2SIFT特征提取尺度不变特征变换（SIFT），是一种基于尺度不变的局部特征，无论对图像进行旋转、尺度缩放、或者亮度等变化时，它的局部特征都能保持不变，即使在针对海量特征库时也能快速且准确的进行匹配。下面对SIFT特征提取算法提取图片特征的流程进行简单介绍：1.DoG尺度空间极值检测。尺度空间[24]简单来说就是试图模拟人眼对图像或者物体进行观察的理念和方式。所谓构建图像的尺度空间即在对图像进行无关项去除时，尽量保留图像足够多的细节特征。通过将输入图像进行降阶采样，加入高斯滤波，进行高斯模糊处理，构建差分高斯金字塔。1.定位关键点。对上一步得到的极值点进行精确定位，先对图像删除与真正极值点相差过多的极值点，若，则保留该极值点，否则将其删除，再对DoG函数的边缘响应进行消除。3.确定像素点方向。极值点的方向为周围像素极值点的梯度，周围像素点的梯度为下述公式(1.5)：（1.5）此时，梯度幅度为，对应的像素点的梯度的方向如公式（1.6）所示：（1.6）通过对关键点的方向、尺度和位置进行变换的方式，以此确定像素点的主方向。最终，生成特征点的描述子，并对该描述子归一化处理。SIFT特征提取算法提取特征实际运行结果如下图2-2所示：原始图像2原始图像1原始图像2原始图像1进行SIFT运算进行SIFT运算图2-2SIFT图像特征提取实际结果Fig.2-2TheactualresultsofSIFTimagefeatureextraction1.1.1.3LBP特征提取局部二值模式（LBP）主要用来描述图像的局部纹理特征。首先在1994年由T.Ojala,M.Pietikäinen,和D.Harwood共同提出，主要优点是旋转不变性和灰度不变性。简单来说，LBP就是一种将图像的局部像素与它周围的其他像素进行对比，并根据对比后的结果的不同赋予不同标记值，最后对标记值进行相应的求和运算的方法。假设原始的LBP算子是一个3×3的纹理单元，将中间的（xc,yc)像素点的进行灰度化处理，接着将它灰度值作为初始值，与纹理单元里剩下的另外八个像素的灰度值一一进行比较，如果另外八个像素的灰度值大于像素点的灰度值，那么将该像素点标记为1；如果周围像素点的灰度值小于像素点的灰度值，则将像素点标记为0[26]。经过上述操作，可以得到一个八位的二进制数，接着将这个二进制数转换为十进制数，用得到的这个十进制数代替原来的中心的初始值，这个十进制数就是该窗口中心像素点的LBP值。具体公式表示就是：（1.7）为灰度值，是相邻两像素之间的灰度值，而是标记点；（1.8）单个图片的LBP特征提取算法提取特征实际运行结果如下图2-3所示：初始图像灰度化LBP处理边缘提取图2-3单个图片的LBP特征提取实际结果Fig.2-3TheactualresultsofextractionofLBPfeaturesfromindividualimage1.1.2传统植物图像分类方法由上述介绍我们可以得知，针对植物图像细粒度方向的分类研究，传统的基于特征提取的算法对数据集进行局部特征选择时，选择过程相对繁琐，且每一种特征提取算法均有各自的专攻特征，存在表达能力有限的问题。而且，仅看局部特征，容易忽略全局特征之间的位置空间关系，并且忽略了不同的局部特征之间的关联，割裂了特征的整体性，提取出的特征在一定方面来说没有全局代表性，而且模型特征在表述能力方面存在一定的局限性，极大地制约了分类效果的提升，无法取得令人满意的结果。而随着近年来深度学习的兴起并不断发展壮大，使用卷积神经网络的强大的特征提取能力对植物细粒度图像进行特征提取的方式不断发展，进一步推动了细粒度图像分类领域的快速进步。1.1.1.1卷积神经网络结构卷积神经网络（ConvolutionalNeuralNetworks,CNN）[27-30]是一种类似于人工神经网络的多层感知器网络，由传统的神经网络发展而来，该网络中的神经元主要提取图像中被称为感受野的一小部分，常用来分析视觉图像。图2-4是全连接与局部连接的对比。图2-4全连接与局部连接对比图Fig.2-4Fullconnectionvs.localconnectiondiagram卷积神经网络作为一种特殊的深度神经网络模型[31]，具有两种特性：一、稀疏连接，即CNN的神经元之间的联系并不是完全连接的，只于前面部分的节点进行相连。针对植物图像中相邻的图像的像素相关性较强，距离较远的图像的像素的联系较弱导致获取的局部信息有遗漏这一问题，模型通过采用系数连即局部连接的形式对图像信息进行融合，能达到增强图片的目的；二、权值共享，即不同神经元使用相同的卷积核，同层中某些神经元之间的权重可以共享。图像的底层特征与特征位置无关，CNN网络针对图像中物体的平移、倾斜、缩放等变形具有不变性。与传统基于机器学习的图像分类算法相比，CNN仅需要对数据集进行较少的预处理，而且能自动学习海量图像的内部深层特征。通过减少网络参数的方式，降低网络模型的复杂度，进而避免了过拟合。并且图像可以直接在CNN中进行输入，有效避免因传统图像识别算法中特征提取方式复杂而导致的数据进行重建的过程，大幅减少模型运行时间。下面对CNN网络进行简单的介绍。卷积神经网络（CNN）由多一个输入层、多个卷积层和池化层以及一个或几个全连接层组成。神经元中只与上层的一部分神经元相连的神经元统称为局部感受野。一个卷积层一般包含多个特征映射，每个特征映射由特定数量的神经元组成，同一特征映射之间共享神经元的权重。通常，卷积核的初始值是随机生成的。在网络训练过程中，不断地学习和实时更新新的权重，直到最终学会合理的权重。下采样操作又称池化操作，这是一个特殊的卷积过程。池化层（Poolinglayer）利用图像的稳定性，通过取平均值、最大值、降低方差等减小卷积层输出特征图大小，减少图像维度，避免过拟合现象的出现。全连接层（Fullyconnectedlayer）将二维图像连接成一个一维向量，使得CNN的神经元、参数及连接数变少，提高图像处理效率，方便结果输出。卷积神经网络的传输流程大致如下图2-5所示。图2-5卷积神经网络传输流程图Fig.2-5ConvolutionalneuralnetworkstructuretransmissionflowchartCNN的训练过程主要分为两个阶段，一个是前向传输阶段，还有一个是后向传输阶段。在前向传输阶段，从样本中取一个特征图样本将其输入网络中，每个卷积层使用卷积核在输入的特征图上滑动卷积，然后经过一个激励函数输出得到一个新的特征图。为方便原理解释，对下面所有参数进行如下定义：为当前样本所处层数，表示是第一层网络，表示是最后一层网络；是第层网络连接第层网络的权重；第层输出向量为，其具体定义如下：（1.9）此时，是对层网络的输出的激活值，且，是激活函数，CNN的激活函数选用ReLu,。P是所有训练样本，T表示P对应的标签。对图像使用卷积核大小为的过滤器F进行卷积操作,此时，将输出的特征图C有如下定义：（1.10）过滤器F按照一定的步长S从图像中以滑动的方式进行卷积运算，得到了一个新的特征图:（1.11）池化作用于前一层网络经过激活函数输出后，主要是为了减小输入的特征图空间尺寸。目前常见的主要是Max（最大值）池化和Avg（均值）池化，其原理图如下图2-6所示。池化操作对特征图使用卷积核为大小的过滤器F采用滑动窗口方式选择一定步长，遍历特征图中每一个不重合的部分并对每个窗口进行下采样操作：，是下采样函数（1.12）图2-6下采样原理图Fig.2-6Subsamplingschematicdiagram对于个样本，经过CNN网络的一轮前向传输后，该网络预计输出为，此时，对应的实际值为，预测值和实际得到结果之间的均方误差值为：（1.13）而CNN每进行一次前向传播都能得到一个新的均方误差。CNN反向传播的目的是更新权重参数，使网络输出尽可能地逼近期望输出，即使用梯度下降算法让尽可能的变小。的梯度方向是更新最快的方向，此时，结合链式求导法则可知：（1.14）其中，，带入公式(1.14)中：（1.15）对公式（1.12）进行展开除外的分量对求偏导为0，展开得到：（1.16）根据公式（1.11）-（1.13）可推导出：（1.17）通过旋转卷积核来完成到之间的相互转换。举例来说，当输入图片大小为3*3，K为2的过滤器，到的相互转换即为将过滤器进行180度翻转以后与梯度映射在图像上，具体过程示意图如下图2-7所示。图2-7反向传播权值梯度更新到的转换示意图Fig.2-7Theconversiondiagrambackpropagationweightgradientupdateto由公式（1.11）可知，，由链式法则可知：（1.18）由于，则为：（1.19）将公式（1.16）展开得到：（1.20）根据公式（1.17）-（1.19）可得：（1.21）根据公式（1.17）和公式（1.20）：（1.22）根据完成更新，其中为学习率。1.1.3keras介绍Keras是由Python语言进行编写的深度学习框架，它基于tensorflow或者theano框架。Keras支持快速实验，具有高度的模块性、可扩展性，使用方法简单。同时支持CNN和RNN两种网络，也支持两种网络结合。用户可以选择使用CPU或者GPU使用，也可以在他们之间进行无缝切换。1.2深度学习介绍深度学习[32]的概念来源于人工神经网络，由多个隐藏层组成的网络即为多层感知器。人工神经网络中就是一种深度学习。深度学习最早由Lecun等人基于Hinton的想法而产生。为了进一步提高训练性能，Lecun提出了第一个运用于多层结构学习的网络。通过利用空间相对的理念，以期减少网络中的运行参数，试验表明，该想法最终获得了成功，Lecun将这个网络称为卷积神经网络。深度学习主要学习样本数据的内在规律这种浅层特征，在底层特征的基础上，通过各种线性、非线性组合，最终形成更加抽象的深层特征，获取的这些深层的特征，使得机器更容易从实例中进行学习，从而获得更好的分类结果。深度学习一般使用非监督式或者半监督式的特征学习方法，通过对特征进行逐层提取的方式，提取图像的高级的深度特征的方式，代替传统的手工获取浅层特征的方法。深度学习在计算机视觉、语音识别、自然语言处理等方面都具有极大的应用价值。1.3选用的植物图像数据库1.3.1Oxford17flowers数据集Oxford17flower数据集是牛津大学在2009年发布的一种花卉的图像数据集了，该数据下的17种花卉都是在英国日常生活中常见的。本文所用数据集包含1360张图像，每张图像都有可能有十七种便签，且图像的拍摄角度、图片大小、花卉所处状态、形态都各不相同，这十七种类型的图像数量都为80张,各类图片具体见下图2-8。因此，很难从某一单方面来进行区分，比如说Daffodil与Tulip、Sunflower很难从颜色方面进行