机器学习基础与应用 课件 第八章 基于支持向量机的路面状况分类

第八章基于支持向量机的路面状况分类目

录支持向量机算法定义支持向量机算法原理图像及其特征010203支持向量机算法定义01支持向量机算法定义支持向量机（supportvectormachine，SVM）算法是一种监督学习算法，用来进行分类或者回归，在深度学习被提出之前，一直是公认的、最优秀的分类算法，直至现在，支持向量机算法的使用率仍居高不下。支持向量机算法是由超平面定义的一种二分类模型，即能够将不同类别的样本在样本空间分隔的超平面。（给定标记好的训练数据，SVM算法输出一个最佳分隔超平面，用来对新样本进行分类）01支持向量机算法定义01图中可以看出，分别使用了最近邻KNN、决策树、随机森林和支持向量机SVM四种分类算法进行分类的效果，其中SVM的分类效果一直是比较好的。支持向量机算法定义01例：中国有南北方之称，科学家根据各地的年降雨、温度等因素，进行一系列的推算，最终决定以“秦岭-淮河”为中国南北边界线，从此人们就能根据“秦岭-淮河”知道是南、是北了。各种气候因素相当于SVM的训练数据“秦岭-淮河”这条最佳的南北分界线，相当于SVM算法找到的最佳分类超平面支持向量机算法原理02支持向量机算法原理支持向量机算法既可以用于分类任务中，也可以用于回归任务中，其基本原理是将数据映射到高维空间中，找到一个超平面，使得不同类别的数据被分隔开来，同时最大化所有数据点到超平面的距离，这些离超平面最近的数据点被称为支持向量。02支持向量机算法原理支持向量机算法的最终目的是用训练数据集的间隔最大化找到一个最优分离超平面02超平面假设有5个男生和5个女生的身高、体重数据，将它们绘制成散点图将已知的点划分为圆形和“十”字形两个部分，其中相接的部分直线就是支持向量机算法中的超平面。支持向量机算法原理支持向量机算法的最终目的是用训练数据集的间隔最大化找到一个最优分离超平面02超平面加入头发长度的数据时，输入数据变成了三维此时需要一个二维平面，才能把数据分成两个部分。当我们的数据点集为N维的时（意味着有N个特征），需要一个N-1维的平面才可以把数据分成两个部分。支持向量机算法原理在使用支持向量机算法进行分类或者回归的过程中，超平面的选择可以有多个02超平面的选择随意画出三条可以正确划分男性和女性数据的直线，这些直线都是可以作为超平面的，因此超平面不是唯一的。支持向量机算法原理在使用支持向量机算法进行分类或者回归的过程中，超平面的选择可以有多个02超平面的选择最佳的超平面选择：在固定超平面的方向（图中为直线的斜率）且不会错误分类样本的时候移动超平面（图中为上下移动直线），此时会在超平面的两侧找到两个极限位置(越过该位置就会分错数据)，如图所示，在两条虚线中心（到两虚线的距离相同）的实线就为该方向的最佳分类超平面。其中两条虚线的垂直距离就是这个超平面的最大分类间距（margin）。支持向量机算法原理实际生活中，我们碰到的数据集大多是线性不可分的，需要对数据进行转换。事实上，低维平面内不可分的数据放在一个高维空间中就有可能变得可分。理论上任意的数据样本都能够找到一个合适的映射，使得这些在低维空间不能划分的样本到高维空间中之后能够线性可分，而这个映射就是核函数。02核函数图像及其特征03图像及其特征图像是指由像素组成的二维或三维数据，可以是数字图像、模拟图像或计算机生成的图像。数字图像是一种特殊的图像，它是由数字表示的图像，通常以像素矩阵的形式存储在计算机中。03图像及其特征数字图像由二维元素组成，每一个元素具有一个特定的位置和幅值，这些元素就称为像素。像素（pixel）是picture和element这两个字母的缩写，是用来计算数字图像的一种单位，是组成数字图像的最小单位，比如对一幅标有1024像素×768像素的图像而言，这幅图像的长边有1024个像素，宽边有768个像素，1024×768=786432，即这是一幅具有近80万像素的图像。03数字图像图像及其特征在日常生活中，我们通常看到的彩色图像中的每一个像素都是用三个字节来表示的，其中每个字节对应着R（红色）、G（绿色）、B（蓝色）分量的亮度。灰度图像则是将亮度值量化为0～255共256个级别，每个像素是只有一个采样颜色的图像；0表示纯黑色，255表示纯白色，中间的数字从小到大表示由黑到白的过渡色。灰度化处理就是将一幅彩色的图像转化为灰度图像的过程。03灰度图像图像及其特征在机器学习中，通常会对图像进行处理并提取相应的特征之后再输入模型中，这样不仅能够减少运算量，也可以达到提高模型性能的目的。常见的图像特征：颜色特征、形状特征和纹理特征等。图像特征的提取方法：常用的纹理特征提取方法——灰度共生矩阵。03图像特征提取方法图像及其特征灰度共生矩阵（gray-levelco-occurrencematrix，GLCM）是一种基于灰度图像的特征提取方法，其基本思想是统计图像中像素灰度值之间的空间关系。通过计算灰度共生矩阵中的特征参数，如对比度、相关性、能量、熵、逆差矩等，可以有效地描述图像的纹理信息。03图像特征提取方法常用的特征参数二阶矩对比度相关性熵逆差矩图像及其特征03图像特征提取方法二阶矩二阶矩也被称为能量（energy），表示的是灰度共生矩阵中所有元素的平方和。其反映了图像灰度分布的均匀程度和纹理粗细度。二阶矩越大，表示图像的纹理越粗糙，越复杂；二阶矩越小，表示图像的纹理越细。对比度对比度（contrast）反映了图像的清晰度和纹理沟纹深浅的程度。纹理的沟纹深，其对比度大，效果清晰；反之，对比度小，则沟纹浅，效果模糊。图像及其特征03图像特征提取方法相关性相关性（correlation）表示灰度共生矩阵中像素之间的线性相关程度。相关性越大，表示图像的纹理越趋向于线性。熵熵（entropy）表示灰度共生矩阵中像素对的不确定性程度。熵越大，表示图像的纹理越复杂，