【《基于逻辑回归的混合智能学习设计》7600字（论文）】

基于逻辑回归的混合智能学习设计目录TOC\o"1-3"\h\u17964基于逻辑回归的混合智能学习设计 1163311.1逻辑回归简介 159871.1.1数学原理 1129721.1.2模型训练 3277291.1.3逻辑回归在多分类任务中的应用 420091.2逻辑回归和卷积网络混合的智能学习设计 5233101.1.1卷积网络提取特征过程 5129151.1.2逻辑回归和卷积网络的混合智能学习 9127691.3逻辑回归和AdaBoost混合的智能学习设计 12308971.3.1AdaBoost实现过程 1249001.3.2逻辑回归和AdaBoost混合智能学习 15本章首先阐述逻辑回归[27]、AdaBoost[25]和卷积网络[26]的基本原理，然后在此基础上分别进行逻辑回归和卷积网络混合学习设计以及逻辑回归和AdaBoost混合智能学习设计。1.1逻辑回归简介逻辑回归算法具有可塑性强，计算速度快，泛化能力强，在大多数实际应用场合均能适用等优点。1.1.1数学原理逻辑回归算法可以预测某一个事件在多个不同的输入变量作用下发生的可能性，也可以视作设置两个对立事件，如出现A和不出现A事件进行可信度分析，若大于人工设置的阈值则可以判断出现A，反之不出现A。逻辑回归算法具有可塑性强，计算速度快，泛化能力强，在大多数实际应用场合均能适用。逻辑回归算法无论是在模型训练训练集的学习上，还是在模型预测所消耗的时间上，相比于支持向量机、神经网络等自主优化训练的学习算法占有很大优势。常见的逻辑回归的应用主要体现在二项分类问题上，逻辑回归在二分类问题的分类过程中只区分0和1类，其概率分布可以表示为：PY=1x,wPY=0x,w式中：w--模型权重系数，x--输入变量，Y--输出结果，b--偏置。其中x∈Rn，w∈Rn,b∈{0,1}，Y∈{0,1}。x是实例输入的特征变量，w，b当出现多输入的情况时，需要对模型权重向量和输入变量进行扩充，但本文仍然记作w,x向量，w=(w1,w2,…,wPY=1xPY=0x为了表示方便，将上述两个式子统一用下式表示：f(x)上式被称为逻辑回归函数。如图1.1为当参数w=1，输入向量x只有一个变量时的式(1.5)随着x的变化f(x)值而变化的波形。这里将输出的结果记为f(x)，f(x)图1.1当回归系数w为1时的回归模型图Fig.1.1Regressionmodeldiagramwhentheregressioncoefficientwis1如图1.1所示，f(x)将类别0和类别1囊括在同一个表达式式(1.1.1.2模型训练为了求取逻辑回归模型系数的最优解，逻辑回归模型训练过程中普遍使用梯度下降法[28]优化模型系数。梯度下降法依据实际结果与预测结果的偏差以及学习率(设定参数)决定回归系数训练最大步长的基础上，经过多次迭代调整，获得最优回归系数。假设有m个样本数据，样本的标签只有0和1类别，可以用极大似然估计法[29]训练模型权重，优化逻辑回归模型。我们将P(Y=1|w,x)记为Pi，P(Y=Pyi=式中，yi为输出结果，yi∈{0,1}Lw=i将上式取对数后得到：lw=y式(1.8)可以视作逻辑回归函数的对数损失函数，取J(w)dJ(w在得到权重的导数之后，根据每一次训练时出现的导数偏差计算参数更新函数：wj=w权重的更新公式如式(1.10)所示，逻辑回归在每次对训练样本进行预测后，出现偏差经过对数损失函数得到目标的偏差量，如式(1.9)，然后根据这个偏差量对权重wj进行调优，其中α为了防止模型训练出现过拟合现象，增加逻辑回归模型在预测过程中的泛化性能，人们常常在逻辑回归训练过程中往往加入正则项L2范数[30]。其中L2正则项公式如式(1.11)所示。L2=i加入L2正则项后的损失函数公式变为：Jw=1正则化后的梯度下降法w的更新变为：wj=w式中λ为正则化系数。1.1.3逻辑回归在多分类任务中的应用生活中遇到的问题往往是多类别问题，例如在煤与瓦斯突出危险性预测问题中，如果只把问题分为有危险和无危险两类过于简单，且无法判断需要采取什么样的应对措施。在实际应用过程中，只能完成二分类任务的分类器往往无法满足实际应用需求。将逻辑回归算法应用在多个类别分类任务中，当前主流方法有两个，分别为One-Vs-Rest[32]和One-Vs-One[31]。（1）One-Vs-One方法。One-Vs-One方法通过穷举法对比不同类别之间的可信度，筛选在当前样本中可信度最高的类作为最终分类结果。如果一共有a(a≥3)（2）One-Vs-Rest方法。One-Vs-Rest方法，又称SoftMax方法[33]。One-Vs-Rest方法是将逻辑回归中的0和1分别表示为是当前类别和不是当前类别两类。当一共有a个类别时(a≥3)，只需要构建逻辑回归的One-Vs-Rest多类别分类法如式(1.14)表示：fxi=如图1.2所示，图中输入部分是将已知的关联信息组合成输入变量分别导入{1,0}，{2,0}，…，{a,0}等a个逻辑回归分类器，其中{1,0}分类的逻辑回归分类器表示该逻辑回归判断当前类别为1类的可信度，以此类推，图1.2One-Vs-Rest方法Fig.1.2One–vs-Restmethod1.2逻辑回归和卷积网络混合的智能学习设计1.1.1卷积网络提取特征过程卷积网络[39]是利用多个卷积层、池化层的多次交替计算的组合而成的图像特征提取网络，运用卷积网路提取到的每一个特征都可以看作是整个图像中所有像素点的串联，运用多个不同的卷积，池化计算得到一组可以表征整幅图像的特征集合。卷积网络结构主要由卷积层和池化层构成。（1）卷积层卷积计算的最终目标为获取原始导入图片数值矩阵的差异特征点，虽然首层卷积层或许只可获得少许初级的特征信息，如边沿、线段和弧度等档次的特征，不过假设运用众多的卷积的运算可以从初级特征中叠代获得更丰富的特征点值。图1.3卷积运算原理图Fig.1.3Schematicdiagramofconvolutionoperation单个卷积核的卷积运算实现原理如图1.3所示，图中左边是原始数值矩阵，中间为卷积核，右边是运算后的结果，卷积核在输入矩阵中从左到右一次匹配一个和卷积核大小一致的数值矩阵进行内积运算。在图1.3中输入矩阵是5×5的输入矩阵，经过3×3卷积核的卷积层运算后，输出得到3×3矩阵。为了使输出矩阵和输入矩阵大小一致，采用填充0的方法将计算得到的3×3矩阵填充至5×5大小。假设输入矩阵为A=[a11A=a11a在卷积层中，卷积核可以将输入图像进行变换，过滤具有特定特点的像素值。假设b为卷积核的大小，则卷积层的输出一般比输入矩阵维数要小b-1维。为了得到和原图像一样的大小，通常将输出图片四周用0填充到和原图像大小一致。假设建立卷积核如式(1.16)，式(1.17)所示。Kernal1=-1Kernal2=1使用式(1.15)卷积核将图1.4在Kernal1和Kernal2下的卷积层运算后得到图1.4和图1.5，对比图1.4和图1.6，图1.5和图图1.4卷积层运算前的图片Fig.1.4Pictureoftheconvolutionallayerbeforeoperation图1.5在卷积核1下的卷积层运算输出图像Fig.1.5Outputimageofconvolutionallayeroperationunderconvolutionalkernel1图1.6在卷积核2下的卷积层运算输出图像Fig.1.6Outputimageofconvolutionallayeroperationunderconvolutionalkernel2卷积层主要的特点有：①参数共享。在同一层卷积运算中，使用的卷积核是相同的，相同的卷积核可以提取图像矩阵的不同位置的同一类型变换下的特征。保证不同图像在同一卷积层中提取到的特征具有一致性，同时降低需要训练的权重数量。②多核卷积。同一个卷积核运算只能得到一类特征，采用多个卷积核运算，并且每个卷积核运算的卷积核均不同，丰富特征空间信息。③局部感知。惯用的卷积网络在运用分类器判别样本标签时，会把每个输入单元都要求与图片上所有数值点相连接。如果按照惯用的卷积运算方法连接会出现权重的数量爆炸式的增长，权重训练举步维艰。而使用局部感知方式的卷积层，在执行卷积层的运算器中每层输入项的权重个数都是和卷积核系数个数一致，由此可以看出每个输入数值仅仅与对应数值矩阵部分的数值关联，尽最大可能的缩小了需要计算的权重系数数量。（2）下采样层下采样，亦可叫做池化，通过遴选设定矩阵领域内的像素点值，对图像实行压缩，能够有效地缩小参数矩阵的尺寸，减少全连接层中的参数数量。所以加入下采样运算可以加快计算速度，防止过拟合。将下采样运算应用在卷积网络中有特征不变性、降维、去除冗余数据和扩大感知视野等效用。运用卷积网络方法可以让计算机自主理解或解释图像等数字矩阵信息，从抽象的数值矩阵中提取特征，利用这些特征深入理解和区分不同类别的抽象数值矩阵特征信息。本章节就是运用卷积网络作为图像数值矩阵的特征提取方法，用逻辑回归作为图像类别分类识别算法。运用逻辑回归和卷积网络混合的方法克服了逻辑回归不适应于大样本数据的不足，将逻辑回归算法的应用拓展到图像领域。卷积网络通过执行卷积层和池化层运算提取图片特征，从中提取到的每个特征和原始图片中所有像素点都有关联的，但是每个特征在图像中的关联程度和方式各有不同。总体而言，多个特征数学组合可以用于表征整张图片数据的类别信息，因此本文将从卷积网络提取到的多个特征降维，筛选处理，为后续图像识别模型训练提供支持。常用的卷积网络有VGG16[40]、VGG19[41]、ResNet[42]等，本文仅对常用的VGG16和VGG19网络及其拓扑结构展开研究。VGG16网络，顾名思义，该结构共含有16层，个中前13层为卷积层，后3层为全连接层，运用VGG16对数字矩阵实行特征提取就是用到前13层网络结构。起初VGG16网络实行2个64核的卷积，一个下采样运算。然后2个128核的卷积，一个下采样运算。接着3个256核的卷积层，一个下采样运算。最后连续两次进行3个512个核的卷积一个下采样运算提取得到图像特征。VGG19网络架构和VGG16网络架构类似，VGG19比VGG16多三层卷积层，它的结构为：2层64卷积核的卷积层，2层128卷积核的卷积层，4层256卷积核的卷积层和两个4层512卷积核的卷积层。VGG16和VGG19框架如图1.7和图1.8所示。VGG16和VGG19框架最后一个卷积和池化层运算后输出512个7×7的特征矩阵。由于VGG19和VGG16提取得到的特征十分相似，而VGG19的权重个数和计算时长要远大于VGG16，因此本文选择运用VGG16网络作为特征提取部分。图1.7VGG16卷积网络架构Fig.1.7VGG16networkarchitecture图1.8VGG19网络架构Fig.1.8VGG19networkarchitecture1.1.2逻辑回归和卷积网络的混合智能学习卷积网络可以对抽象图像数据进行特征提取，而逻辑回归可以对多分类问题进行高效分类，因此可以利用两种算法各自优劣势互补，展开逻辑回归和卷积网络的混合学习，实现对图像多类别的有效识别。基于逻辑回归和卷积网络混合模型如图1.9所示。注：图中n表示图片卷积+最大值筛选后的特征点个数，k表示特征n经过PCA处理后特征点个数图1.9逻辑回归和卷积网络混合学习模型Fig.1.9Logicalregressionandconvolutionalnetworkhybridlearningmodel逻辑回归和卷积网络混合学习模型可以划分为卷积网络提取图片特征、PCA降维和逻辑回归目标分类三个部分。（1）卷积网络提取图片特征逻辑回归和卷积网络混合学习模型利用已有研究的卷积网络结构和池化原理提取图片特征。接下来本文以VGG16架构为例做出分析：起初，当将图片输入到VGG16的卷积部分后，输出得到一个512维7×7的数字特征矩阵。这里得到特征矩阵中的每一个数值均与输入图像所有的像素点相关联，可视为图像特征，由此可以得到25088个特征。如果直接将这些特征在逻辑回归分类模型中训练会大大增加训练的复杂度，而且这些特征中存在大量的冗余数据，需要对特征进行筛选过滤，因此本文分别采用池化法（最大池化法[43]，平均池化法[44]）。根据卷积层参数共享特性，由于除了最后一层外，每个特征矩阵里的数值均是由相同的卷积核运算得到，因此本文选择运用池化法对特征进行初步筛选。池化法预先设定领域的池化窗口，让设定好的池化窗口其在输入矩阵中由左向右依次平移，通过制定步长的平移遴选池化窗口中的数值，最终计算得到一个矩阵或数值（见图1.10）。注：a图为最大池化原理；b图为平均池化原理图1.10池化法运算原理图Fig.1.10Poolingmethodoperationschematicdiagram为了防止数据点的重复选取，一般采用池化法提取特征时会引入步长（stride）的概念，防止局部较大值被多次输出。由于卷积网络输出的特征是512维的7×7的特征矩阵，因此本文使用7×7的池化窗口筛选特征，从512维7×7的特征矩阵中筛选出512个特征作为图像的原始特征向量。（2）卷积网络特征的PCA降维图片经过卷积网络和池化法计算后得到512个特征点，512个特征仍然存在不必要的冗余数据，为了最大限度去除图像噪音，本文使用PCA法对特征进行处理。PCA分析能够从最初的数据矩阵空间中寻找k个关键成分特征，映射矩阵空间的主要信息。将卷积网络提取到特征的PCA降维步骤如表1.1。表1.1数据样本集PCA降维计算步骤Tab.1.1PCAdimensionreductioncalculationstepsforconvolutionalnetworkfeatures输入512维数据集D=X过程1.对所有的样本去中心化：x1.计算数据集的协方差矩阵X3.分解协方差矩阵XX4.遴选出拥有最大的k个特征值及其相应的特征向量(w15.对数据集中的每一个样本xi，转换为新的样本输出输出样本集D表中m为训练数据集中的图片数量，x池化筛选到的特征，Xi为表征第i张图片的特征向量，k表示PCA降维后的特征维数。PCA对最初的数据矩阵实行压缩，亦可以理解为把512维数的特征矩阵映射到拥有k个正交向量联合而成的坐标系中。PCA运用方差来度量包含512维数初始特征矩阵的信息量。为了确保PCA分析后得到的k维数据最大限度的保留初始数据的信息，需要使降维后的数据尽可能的分散，从方差视角解释就是保持方差最大。求得数值矩阵及其协方差，以及计算出协方差矩阵的特征值和特征向量，接着遴选出当中特征值显著的k（3）逻辑回归分类将须要辨别的图片在经由卷积网络、池化运算和PCA分析后，获得k维的特征向量，将k维特征输入到逻辑回归One-Vs-Rest分类器中学习训练，最终达成基于逻辑回归和卷积网络混合的图像识别模型设计。综上，逻辑回归和卷积网络混合的智能学习方法在图像识别中应用的基本实现步骤为：起初，运用卷积网路对预处理好的图像进行特征提取，图像经过卷积网络后会受到多次卷积运算和下采样运算处理，其中卷积运算可以将图像信息融合，并强化其边缘、锐化、角度等信息特征，下采样运算则可以降低图像信息的维度，对特征进行整合，减少计算量。然后经过PCA分析和池化运算，压缩特征维数。最后将压缩好的特征输入到One-Vs-Rest类型的多分类逻辑回归模型中，训练逻辑回归权重系数，设计逻辑回归和卷积网络混合的图像识别模型。1.3逻辑回归和AdaBoost混合的智能学习设计1.3.1AdaBoost实现过程AdaBoost是Boosting框架的一种，Boosting又能够溯源到集成学习这一大框架中。集成学习的核心构思是构筑众多架构精炼、拥有杰出的鲁棒性的弱识别器，并将这些弱识别器联合，以带权值表决的形式决定分类器最终任务目标的详细数值或种类。集成学习框架[34]可划分为两个主流框架——Bagging框架[36]和Boosting框架[35]。Bagging算法是多种“异质”弱分类器混合的集成算法，且每个分类器之间是独立的，互不受影响。其中弱识别又可以被称为弱学习器。Bagging集成多种不同的识别器，而且每种分类器的数量不少于一个。为了区分其中相同“同质”识别器之间的性能，避免建立雷同的分类器模型，除了在超参数上设置以外，还需要随机从原始数据集中随机抽取用以区分训练每个“同质”弱分类器。Bagging算法结构如图1.11所示。图1.11Bagging算法结构图Fig.1.11StructurediagramofBaggingalgorithmBoosting的各个识别器内部框架雷同。虽然Boosting聚集的识别器的种类上不如Bagging多样，但是Boosting运用的每个弱识别器之间是非独立学习的，即Boosting中的弱识别器能够遵循前一个弱识别器的表现结果，调整下一个弱识别器训练集数据的权重系数，改良前一个弱识别器的不足。Boosting能补偿单独运用弱识别器训练学习过程中的拟合能力羸弱的缺陷。Boosting类别的算法中用的比较多的有AdaBoost算法，GBDT算法[37]。AdaBoost和GBDT算法的主要区别在于GBDT只能集成决策树分类器，而AdaBoost可以集成逻辑回归、支持向量机、神经网络等多种分类器。AdaBoost的算法结构如图1.12所示。图1.12AdaBoost算法结构图Fig.1.12AdaBoostalgorithmstructurediagram从图1.12可以看出，在AdaBoost框架下的首个弱识别器伊始训练学习前，AdaBoost框架会给训练数据集一个起始权重D(1)，弱识别器1基于学习误差e1更新弱识别器的权重系数α1，然后根据弱识别器权重系数α1更换数据样本训练集权重D(1)为D(2)，以此类推，直到实现AdaBoost实现步骤如表1.2：表1.2AdaBoost算法流程表Tab.1.2AdaBoostalgorithmflowtable步骤一初始化输入训练集D={x弱学习算法；训练轮数T；AdaBoost学习率η弱学习算法学习率η2步骤二计算权重，共1~8步1.Dx1.fort=13.ht4.εt5.ifεt>6.α7.D=D8.endfor步骤三输出结果Hx表中yiϵ{-1,+1}，f函数的结果在样本中一一对应，ht代表第个弱识别器，αt运用AdaBoost机理搭建的模型长处为：AdaBoost能够拓展于二分类或多分类的使用场合；在AdaBoost的框架下，而且结合多个不同种类的训练能力较弱的目标分类数学模型来搭建强分类器，具有很强的灵活性和泛化能力。1.3.2逻辑回归和AdaBoost混合智能学习当提出一个分类问题时，往往会找到两个或多个明确与之相对立的类别用于区分，例如在诊断是否患有白内障疾病时，将分类结果划分为患有白内障和未患有白内障两个类别，像这样的结构模型符合大多数工业、医疗等实际应用场景需求。而这种类型的问题恰好也是逻辑回归擅长的分类问题，逻辑回归根据输入特征参数信息，很好地把握目标