【《支持向量机（SVM）和卷积神经网络（CNN）的基本知识理论概述》8000字】

支持向量机（SVM）和卷积神经网络（CNN）的基本知识理论概述目录TOC\o"1-3"\h\u32634支持向量机（SVM）和卷积神经网络（CNN）的基本知识理论概述 194151.1统计学习简介 1172301.2线性SVM分类 2137331.3非线性SVM 4187681.3.1核函数方法 543321.3.2核函数的选择 5108011.4SVM多类分类 6261841.5卷积神经网络 8209251.5.1卷积神经网络简介 8189121.6卷积神经网络结构 1094461.6.1卷积层 10124661.6.2激活函数 11166711.6.3池化层 1454001.6.4Dropout层 15264641.6.5全连接层 16112941.6.6优化器 16统计学习简介统计学习是一门学科，是计算机基于大数据构建统计概率和模型，并基于这些模型预测和分析数据，也称为统计机器学习。统计学习是一门基于数据的学科，是一门综合性专业，在许多领域，例如概率论，统计学和信息论，计算论，优化论和计算机科学的交叉学科。统计学习的目标是数据，它从数据开始，提取数据的特征，总结数据模型，从数据中发现知识，最后返回到分析和预测数据。数据统计学习的基本假设是相似数据具有一定的统计规律性，这是统计学习的基础。统计学习的目的是考虑应该学习哪种类型的模型以及应该如何学习模型。统计学习方法包括模型假设空间，模型选择标准和模型学习算法。实现统计学习的步骤如下：（1）获取有限的训练数据集（2）确定包含所有可能模型的假设空间，即学习模型集（3）确定模型选择的标准，即学习策略；（4）实现求解最优模型的算法，即学习算法；（5）通过学习方法选择最优模型；（6）使用最佳学习模型预测或分析新数据。线性SVM分类SVM原理简单归结于一句话就是最大化离超平面最近点（支持向量）到该平面的距离。如图2.1所示。图2.1线性分类实例SVM方法是通过一个非线性映射P,把样本空间映射到一个高维乃至无穷维的特征空间中，使得原来样本空间线性不可分问题转化为在样本空间在线性可分的问题，通俗来讲就是升维和线性化。升维，就是把样本向高维空间做映射的过程，一般这会增加计算的复杂性，甚至会引起“维数爆炸”，因而人们很少过问。但是就分类、回归问题来说，在低维样本空间无法线性处理的样本集，很可能在高维特征空间却可以通过一个线性超平面实现线性划分。如上图2.1所示，，即为分离超平面，虽然对于线性可分的数据集来说，这样能用的超平面有无穷多个，但是几何间隔最大的分离超平面却是唯一的。假设给定一个特征空间上的训练数据集，其中为第i个特征向量，为类标记，当它等于+1时为正例；为-1时为负例。再假设训练数据集是线性可分的。几何间隔： （2.1）数据标签定义：由于决策方程为，令，则得到 （2.2）优化的目标：找到一条线（满足），使得离该线最近的点能够最远，点与直线距离（几何间隔）根据公式2.2可以化简为。由此可得优化目标： （2.3）由于，得到新的目标函数。由拉格朗日乘子法，得到 （2.4）约束条件：。分别对求偏导，得到两个条件（由于对偶性质），对求偏导可得：；对b求偏导得：。可以得到相应对偶式： （2.5）把代入到公式2.1原始拉格朗日函数可得： （2.6）由此可得决策函数为： （2.7）非线性SVMSVM要处理非线性问题，使无解问题变得有解，就是给线性目标函数添加了一个正则项，限制条件添加了一个松弛变量，即最小化： （2.8）限制条件：，是事先设定的参数，是正则项，不能太大。太大就不能达到优化目的。在解决实际问题的时候，将原始空间中的样本映射到高维特征空间中，使样本在特征空间中可以线性分离。对于非线性关系，需要选择合适的非线性特征集，并将数据作为新的表达式写入。换句话说，需要应用固定的非线性映射将数据映射到特征空间，并在该空间中使用线性学习器。因此，请考虑对假设集使用这种类型的函数： （2.9）因此决策函数可以表示为： （2.10）核函数方法可以在特征空间直接计算。核函数方法我们将低维空间的内积运算定义为核函数。简单来说，核函数就是低维空间的内积的某个函数，即核函数就是低维空间的内积。因为在机器学习中求解的过程需要用到内积运算，而变换后的高维空间的内积不好求，所以定义了核函数，换句话说有了核函数就不需要知道那个映射是什么，从而可以直接计算出高维空间中两个数据点之间的距离和角度。推导如下： （2.11） （2.12）支持向量机利用核函数将输入空间中线性不可分的数据映射为高维非线性。该空间实现了样本在高维特征空间中的线性分类，即核函数在高维特征空间中隐式的表示原始低维空间中的数据，并在其中训练线性分类器，训练过程不需要知道具体的非线性映射。因此，高维特征空间中所有向量的内积运算都是通过原空间的核函数来实现的，不需要在高维特征空间中进行非常复杂的内积运算，算法的复杂度也不受维数的影响，在高维特征空间中的推广能力也不受影响。核函数的选择要构造不同的支持向量机，就需要满足Mercer条件不同的核函数。核函数构造是支持向量机的主要技术，其选择直接影响到泛化和学习机器学习的能力。不同的核函数定义了不同的特征空间和非线性变换，因此选择不同的核函数来训练支持向量机将导致完全不同的分类效果。共有6种常见的核功能类型：线性核，多项式核，径向基核，傅立叶核，样条核和sigmoid核。通常，如果特征数量远大于样本数量，则使用线性核。如果特征数量远小于样本数量，则通常使用RBF。当将Sigmoid函数用作内核函数时，支持向量机是多层感知神经网络。支持向量机方法用于在设计过程（训练）的数量（神经网络体系结构的确定）和输入节点中隐藏层节点的权重期间自动定义隐藏层节点。另外，支持向量机的理论基础决定了它最终获得了全局最优值，而不是局部最小值，并且还确保了它对未知样本具有良好的泛化能力而不会过度学习。在选择内核函数解决实际问题时,常用的方法有：一种是利用专家的先验知识预先定义内核函数。另一种是使用交叉验证方法，即在选择内核功能时尝试使用不同的内核功能并总结出具有最小误差的内核功能是效果最佳的内核功能。第三是采用Smits及其同事提出的混合核函数方法，与以前的两种方法相比，该方法目前是选择核函数的主要方法，也是构建核函数的另一项开创性工作。将不同的内核功能组合在一起具有更好的属性。这是混合内核函数方法的基本思想。内核功能选择在世界范围内还没有形成标准化的模式，只能根据实际样本的经验和特征来确定。SVM多类分类SVM多类分类的实现依据大概有两种：1.将多分类问题分解成一系列SVM可直接求解的两类问题，依次得出最终的判决结果。2.通过对原始优化问题的适当修改，使之能同时计算出所有多类分类决策函数，从而一次性实现多分类。原始问题修改如下： （2.13） （2.14）式中：k为类别数量；这样就可以得到决策函数：，判别结果为第i类。由于第二类方法最优问题计算量太大，实现起来比较困难，因此未被广泛应用。大多采用第一种分类思想，而基于第一种思想的SVM分类方法主要有五种：(1)一对其余法：一对一（OVR）是目前应用最早、最广泛的方法之一。其步骤是构造k个两类分类器（假设共有多个类别），其中第i类分类器将第i类与其余类别分开。在训练过程中，第i个分类器将训练集中的第i个类别作为正类别，其余的类别点作为负类别进行训练。在判别时，输入信号通过k个分类器获得k个输出值。如果只有一个+1出现，则对应的类别为输入信号类别；实际情况中，决策函数总是存在误差。如果输出大于1个+1（多个类声明它属于自己），或者没有输出+1（即没有类声明它属于自己），那么比较值的输出，最大的对应类别就是输入类别。该方法的优点是对于k类问题，只需训练k个二类分类支持向量机，得到的分类函数个数（k）较小，分类速度较快。(2)一对一法：对于任何两种分类，Kressel构造一个分类器，并且只识别这两种分类。为了完成这一过程，需要k（k-1）/2个分类器，计算量非常大。对于每个样本，根据每个分类器的分类结果，看它更经常属于哪个类别，最后看它属于哪个类别（将这两类分类器结合起来，采用投票的方法，投票最多的类就是样本点所属的类）。(3)决策树方法：决策树的基本思想是从根节点开始，用某种方法将节点中包含的类别划分为两个子类别，然后再进一步划分这两个子类别，以此类推，直到子类别只包含一个类别。这样就得到了一个倒二叉树。最后，在二叉树的每个决策节点训练支持向量机分类器，实现对识别样本的分类。决策树支持向量机有多种分类方法。不同方法的主要区别在于树形结构的设计方法。(4)DAG方法：DAG-SvMS是由PIatt提出的决策导向的循环图DAG导出的，是针对“一对一"SVM存在误分，拒分现象提出的。这种方法的训练过程类似于“一对一”方法，类别问题需要求解个支持向量机分类器，这些分类器构成一个有向无环图。该有向无环图中含有个内部节点和个叶结点，每个节点对应一个二类分类器。(5)纠错输出编码法（ECOC）:对于K类分类问题，可根据不同的方法构造一系列的两类分类问题，并为每个两类分类问题建立一个决策函数,得到了L个决策函数。如果这些判定函数是完全正确的，则K类中的每一类都对应于长度为L的序列，其为-1或+1，根据K类中的第一类和第二类，…，第K类的顺序。排列这些数字得到一个由K行和L列组成的编码矩阵。为了确定测试输入点的属性，首先用得到的L决策函数得到一个元素-1或长度为L的数组，然后将该数组与前一个矩阵进行比较，对应于矩阵中的一行，只有一行与该数组相同，这个行数是输入点的归属类；如果矩阵中没有与数字列相同的行，则可以通过计算距离找到最近的行，更改行对应的类别就是该点的类别。卷积神经网络卷积神经网络简介卷积神经网络是近年来发展起来的一种有效的识别方法，受到了广泛的关注。在1960年代，Hubel和Wiesel研究猫的大脑皮层中的神经元的局部敏感性和方向选择时，发现它们独特的网络结构可以有效地降低循环神经网络的复杂性，于是他们提出了卷积神经网络（CNN）。如今，CNN已成为许多科学领域，尤其是模式分类领域中研究的热点之一，由于该网络避免了复杂的图像预处理并且可以直接输入原始图像，因此已经得到了广泛的应用。k.Fukushima提出的新识别机是1980年首次实现卷积神经网络的机器。此后，越来越多的研究人员改进了该网络。其中，亚历山大和泰勒（AlexanderandTaylor）提出的“增强型认知机”的结合了各种增强方法的优点，避免了费时的错误反向传播。图3.1卷积神经网络卷积神经网络具有三个重要特征：稀疏连接，权值共享和等效表达。这些功能使它在识别事物时获得良好的结果。稀疏连接：传统的神经网络使用矩阵乘法来描述每个输入单元和输出单元之间的交互，因此每个输出单元都需要与每个输入单元交互。卷积神经网络使用一个比输入大小稍小的卷积核来实现稀疏连接的效果。例如，输入是一幅图像，该图像可能包含数百或数千个像素，但它只能说明一些小的有意义的特征（例如，边缘）和卷积核，尺寸非常小，最多可以有几个像素或几十个像素。与原来的数百乃至数千像素相比，整个网络的参数将比传统网络所需的参数小得多，相应地减少了存储空间，并相对提高了计算效率。权值共享：当图像分辨率较大时，卷积神经网络权值共享功能可以有效地减小参数的大小。在常规网络中，当计算网络层的输出时，参数的权重矩阵仅使用一次，然后乘以输入单位，这是不必要的。在卷积神经网络中，为每个输入位置（不包括边缘像素）计算相同的卷积核心，这与常规网络中每个站点的一组独立参数不同；在卷积神经网络中，只有一组参数。这不会影响前向传播的运行时间，但是权重共享会将模型内存减少到k参数。等效表达：在卷积中权值分配具有一个重要特征：等效转换。函数是否等效取决于输入更改时输出是否更改。在卷积中，如果函数是输入数据转换函数（例如：转换输入数据），则卷积函数将是等效的。例如，当输入是图像时，卷积神经网络将创建一个包含输入特定特征的二维映射。在输入平移对象时，输出也将平移相同的偏移量。通常，CNN的基本体系结构包括两层，其中一层是特征提取层，将每个神经元的输入连接到上一层的局部接受域，以提取本地特征。一旦提取了局部特征，就可以确定其与其他特征的局部关系。第二层是特征映射层，网络中的每个计算层都由多个特征映射组成，每个特征映射是一个平面。在该级别上，所有神经元的权重均相等。特征映射架构采用具有小效应函数核的x函数作为卷积网络的激活函数，因此特征映射具有位移不变性。另外，由于映射平面上存在的神经元共享权重，因此减少了网络的自由参数的数量。卷积神经网络中的每个卷积层都跟随一个计算层，用于局部取平均和二次提取。这种独特的双重特征提取架构降低了特征的分辨率。CNN主要用于以位移和缩放的形式定义不变的2D图形。由于CNN的特征发现层是由训练数据识别的，因此在使用CNN时，它避免了显式的特征提取，而是从训练数据中隐式学习。另外，由于神经元位于同一特征映射面上，权重相同，因此网络可以并行学习，这也是跨神经元互连网络的卷积网络的主要特征。卷积神经网络具有独特的局部加权结构，在语音识别和图像处理方面具有独特的优势。其设计类似于实际的生物神经网络。权重共享降低了网络复杂度，尤其是多维特征的输入矢量图像可以直接插入网络，直接避免了特征提取和分类过程中由数据重构导致的的复杂性。卷积神经网络结构卷积神经网络包括卷积层、激活函数、池化层、Dropout层、全连接层、优化器。卷积层该层是卷积神经网络中最重要的层，也是“卷积神经网络”名称的来源。与传统的需要人工设计特征工程的算法不同，卷积神经网络通过诸如BP算法和梯度下降之类的优化算法来学习特征，卷积层的功能是基于局部连接权重的共享使用不同的卷积核提取输入信号的各种属性。神经网络提取特征的能力也通过卷积层实现。为了提取更多特征，每个神经元共享一个核，并且在卷积层中可以使用多个不同的卷积核，并且不同的卷积核提取不同的特征。如图3.2所示，对卷积层的几个术语进行了解释：图3.2卷积层示例卷积的运算它其实是一种简单数学运算，有两个步骤：一是矩阵内积乘法，另一个是将内积乘法的结果进行全加。（1）矩阵内积乘法矩阵的内积乘法非常简单，就是把两个相乘的矩阵，相同位置的元素进行乘法运算，这个时候会得到一个新的矩阵。（2）全加计算这个新矩阵的全部值会进行相加，然后会得到一个值，这个值才是卷积运算的结果。卷积计算过程如下图所示：图3.3卷积运算激活函数所谓的激活函数是一种在人工神经网络的神经元上运行的函数，负责将神经元的输入分配给输出。在网络计算中，节点的激活功能确定节点在特定输入或一组输入下的输出，可以将标准计算机芯片电路视为数字电路的激活功能，该数字电路根据输入获得开（1）或关（0）输出。这类似于神经网络中线性感知的行为。但是，只有非线性激活函数才允许此类网络仅使用少量节点来解决非平凡的问题。在人工神经网络中，此函数也称为传递函数。由于存在激活函数的原因，如果不使用激活函数，则每一层的输出都是上层输入的线性函数。无论神经网络有多少层，输出都是输入的线性组合，这是最原始的感知器。没有激活功能的每一层等效于乘以一个矩阵。即使您堆叠了几层，也无非就是将矩阵相乘。如果使用激活函数，则将非线性因素引入到神经元中，从而使神经网络可以任意接近任何非线性函数，从而可以将神经网络应用于许多非线性模型。如果使用线性激活函数，则输入和输出之间的关系是线性的，并且无论神经网络有多少层，它都是线性组合。激活函数通常是非线性函数，非线性激活函数的使用是为了增加神经网络模型的非线性因子，从而使网络更加厉害，容量更大，使学习复杂的事物，形成复杂的数据，在非线性之间映射复杂的函数。输出层可以使用线性激活函数，而隐藏层使用非线性激活函数。简而言之，激活功能是减少计算参数并防止过度拟合。常用的激活函数：sigmoid，Tanh，ReLUsigmoid函数sigmoid函数又称Logistic函数，用于隐层神经元输出，取值范围是（0,1），可以用做二分类。其函数表达式为： （3.1）其函数图像如下图：图3.3sigmoid函数图像从图3.3可以看出Sigmoid函数的优点是：1.可以将输入的值域从转换成范围为的数值，输出范围有限，如果输入较大的负数则输出0，输入较大的正数输出则为1。2.是连续函数，便于求导。缺点是：1.Sigmoid函数当变量取非常大的正值或负值时将饱和，这就意味着函数将变得非常平坦，并且对输入中的微小变化不敏感。在反向传播的时候，梯度接近0时，权值基本上不会更新，梯度很容易消失，无法完成深层网络的训练。2.Sigmoid函数的输出不是均值的，会导致后面层的神经元输入是非零均值信号，容易过饱和，因此这会对梯度产生影响。3.Sigmoid的计算复杂度很高。tanh函数Tanh函数也称为双曲正切函数，取值范围为。其函数表达式为： （3.2）函数图像为：图3.4tanh函数由图3.4可得出Tanh函数是sigmoid的变形： （3.3）Tanh函数是0均值的，因此实际应用Tanh会比Sigmoid更好。但依然会存在梯度饱和与指数计算的问题。Relu函数Relu函数（Rectifiedlinearunit，ReLU），即整流线性单元，是现代神经网络中最经常用的激活函数之一，是大多数前馈神经网络默认使用的激活函数。此非线性的relu函数比饱和非线性的Sigmoid和Tanh函数收敛速度更快。在相同的神经网络结构下，使用Relu函数训练要比使用tanh及Sigmoid函数快很多倍。其数学表达式为： （3.4）函数图像为：图3.5relu函数图像由于Relu函数为线性函数，只要一个阈值就可以得到激活值，计算复杂度将大大降低。Relu函数使得小于零输入的输出皆为0，而输入大于零的输出皆为本身数值。但Relu函数也有缺点，例如：1.其输出不是0均值。2.会出现神经元坏死现象（relu在训练时容易出现梯度为零的状况，不再对任何数据有所响应，这样会使得相关的参数永远不会更新）池化层池化层（poolinglayer）,简单来说就是其目的就是减少了下一层待处理的数据量。例如当卷积层输出的大小为32*32时，如果池化层过滤器的大小为2*2时，那么经过池化层处理后，输出数据的大小就为16*16，也就是现有的数据量一下子减少到了池化前的1/4，这样就减少了参数数量，从而可以防止网络过拟合。常见的池化层有最大池化和平均池化，最大池化保留了纹理特征,平均池化保留整体的数据特征. 最大池化（maximumpooling）：选取区域内的最大值的神经元作为该区域的概括。平均池化（meanpooling）：取区域内所有神经元的均值作为该区域的概括。示例如下图：图3.6池化策略池化层不仅可以降低特征的维数，而且具有平移不变性。如果图片有轻微的平移，它的输出特性也不会改变。当你不需要知道特征出现在哪里，而只需要知道特征是否存在时，平移不变性可以发挥很大的作用。比如，当需要预测图片是否包含人脸时，不需要精确的眼睛位置。只需要知道人眼的位置，一个在脸的左