数据分析与数据挖掘课件 【ch12】感知机与支持向量机

第十二章感知机与支持向量机数据分析与数据挖掘01线性判别函数线性判别函数表示二分类方法可有多种转换多重分类的方法。本节采用构造c个线性判别函数的方法实现c个类别判定。判别函数如式(12.4)所示。多重线性判别函数20%30%40%50%考虑交互效应的线性回归或多项式回归都能转换为线性回归问题，属于广义线性回归的应用。线性判别函数也可以进一步推广，形成广义线性判别函数。按式(12.1),g(x)可写为式(12.6)其中，w是w的分量，x,是x的分量。广义线性判别函数02感知机分类器M-P模型可看作一个人工神经元，它在线性判别函数的基础上，增加了一个单位阶跃函数，如图12.3所示。M-P模型如图12.4所示，在1维和2维空间中，图12.4(a)、(c)线性可分，图12.4(b)、(d)、(e)线性不可分。感知机结构感知机(Perceptron)在1958年由Rosenblatt提出，它是由一个人工神经元节点或多个人工神经元节点构建的单层网络结构，如图12.5(a)、(b)所示。感知机结构感知机训练就是依据训练样本集为感知机确定最佳权重参数wo和w。将感知机中的损失函数定义为误分对象到超平面的距离之和，如式(12.13)所示，其中，D。感知机训练算法03感知机训练算法扩展20%30%40%50%除算法12.1～算法12.4外，还存在其他算法进行训练。裕量是指多出来的部分，这里是指将超平面与最近的点之间留有一定距离的空间，又称边沿裕量。

line1和line2距离两类样本最近的点都很近，相比之下，line3距离两类样本中最近的点都较远，因此line3的裕量相对较大。感知机的典型训练算法

假设总体中对象的同一个属性值具有集中分布趋势，那么越远离中心的特征值发生的概率越小。远离中心的对象虽然概率小，但仍有发生的可能性。感知机松弛算法最小均方误差求解算法最小均方误差求解算法(LeastMeanSquare,LMS)对于线性可分和线性不可分两种情况都能给出解，该解是最小均方误差意义下的最佳解。令a(k)和b(k)分别表示第k次迭代过程中的a向量值和b向量值。Ho-kashyap算法采用初始化b(1)>0,并且限制后续b(k)中各分量不允许变小。实现方式是将式(12.34)中V₆J,的正分量强制修改设置为0。Ho-kashyap求解算法多分类扩展伪逆求解感知机的对偶形式可以理解为换一个角度来解析感知机参数求解，获得另一种求解方案。感知机的对偶形式04最大间隔超平面与结构风险最大间隔超平面最大边缘超平面是指将两类线性可分样例按照类别完全分隔在超平面两侧，并使得每个类别中距超平面最近的点(对象)到超平面的距离最大，如图12.9(b)中linel。VC维的定义：示性函数集H的VC维，是指能够被H打散的集合的最多元素个数，记为VC(H)。若H能分散任意大小的集合，那么VC(H)为无穷大。经验风险最小化与结构风险最小化05支持向量机线性可分时的支持向量机

线性支持向量机(线性SVM)是使用最大间隔超平面进行分类的分类器，也称最大边缘分类器(Maximalmarginclassifier)或最大间隔分类器。SVM实现二分类，将样例分为-1和+1两类，经过二分类器转多分类方法可以实现多分类。图12.12(a)给出了2维空间下“线性不可分”时使用软间隔超平面划分，图中允许个别边缘点划分错误。图12.12(b)给出各点的样例号。图12.13(a)给出了软间隔超平面降低边界敏感性。数据不可分时的线性SVM图12.12(a)中的数据集为近似线性可分。硬间隔可以进行线性可分数据集分类，软间隔可进行线性可分和近似线性可分数据集分类。但对于复杂的线性不可分数据集，软间隔SVM也难以分隔，如图12.15(a)、(b)和(c)也不属近似线性可分数据。非线性支持向量机06本章小结本章小结感知机和线性SVM都属于线性分类器