第5章支持向量机及其学习算法-2016

1、支持向量机及其应用支持向量机及其应用 Support Vector Machines and its Application 主要内容主要内容一、一、 历史背景历史背景二、二、 统计学习理论统计学习理论三、三、 支持向量机支持向量机四、四、 支持向量机的分类学习算法支持向量机的分类学习算法 五、五、 用于函数拟合的支持向量机用于函数拟合的支持向量机 六、六、 支持向量机算法的研究与应用支持向量机算法的研究与应用 传统统计学是一种渐进理论渐进理论，研究的是样本数目趋于无穷大时的极限特性。 现有的学习方法多基于传统统计学理论传统统计学理论，但在实际应用中，样本往往是有限的，因此一些理论上很优秀的学

2、习方法在实际中的表现却不尽人意，存在着一些难以克服的问题，比如说如何确定网络结构的问题、过学习问题、局部极小值问题等，从本质本质上来说就是因为理论上需要无穷样本与实际中样本有限的矛盾造成的。 与传统统计学的方向不同，Vapnik等人提出了一个较完善的基于有限样本的理论体系统计学习理论统计学习理论。 统计学习理论是一种专门研究小样本研究小样本情况下机器学习规律的理论，它从更本质上研究机器学习问题，为解决有限样本学习问题提供了一个统一的框架 。 支持向量机方法是在统计学习理论基础上发展起来的通用学习方法，它具有全局优化、适应性强、理论完备、泛化性能好等优点 。Return统计学习理论统计学习理论

3、（ Statistical Learning Theory ，SLT） 机器学习的基本问题 统计学习理论机器学习问题的表示机器学习问题的表示 基于数据的机器学习是现有智能技术中的重要方面，其研究的实质实质是根据给定的训练样本求出对系统输入输出之间依赖关系的估计，使它能对未知样本的输出做出尽可能准确的预测。 定义期望风险： ,RLfdFyxx y,fx,Lfyx 预测函数集 广义参数 损失函数 （误差函数）,F x y联合概率分布 经验风险最小化经验风险最小化 （Empirical Risk Minimization ，ERM） 实际应用中，一般根据概率论中的大数定理，即采用下式的算术平均来逼近

4、期望风险。 用对参数 求经验风险 的最小值代替求期望风险 的最小值。 11,nempiiiRLfnyx empR R经验风险最小化经验风险最小化 从期望风险最小化到经验风险最小化没有可靠的依据,只是直观上合理的想当然。 期望风险和经验风险都是w的函数,概率论中的大数定理只说明了当样本趋于无穷多时经验风险将在概率意义上趋近于期望风险,并没有保证两个风险的w是同一点,更不能保证经验风险能够趋近于期望风险。 即使有办法使这些条件在样本数无穷大时得到保证, 也无法认定在这些前提下得到的经验风险最小化方法在样本数有限时仍能得到好的结果。复杂性与推广能力复杂性与推广能力 学习机器对未来输出进行正确预测的能

5、力称作推推广能力（广能力（也称为“泛化能力泛化能力”）。）。 在某些情况下,训练误差过小反而导致推广能力的下降,这就是过学习过学习问题。 神经网络的过学习问题是经验风险最小化原则失败的一个典型例子。 事实上，从期望风险最小化到经验风险最小化并没有可靠的理论依据，只是直观上合理的想当然做法。 经验风险最小化原则不成功的一个例子就是神经网络的过学习过学习问题:训练误差（经验风险）过小反而会导致推广能力的下降，即真实误差（期望风险）的增加。 出现过学习现象的原因主要是由于学习样本不充分和学习机器设计不合理。 当试图用一个复杂的模型去拟合有限的样本，必然会丧失推广能力。由此可见，有限样本下学习机器的复

6、杂性复杂性与推广性推广性之间存在矛盾。机器的复杂度高，必然会导致其推广性差；反之，一个推广性好的学习机器，其分类能力必然不够强。 设计一个好的学习机器的目标目标就变成如何在学习能力和推广性之间取得一个平衡，使得在满足给定学习能力的前提下，提高其推广性。 统计学习理论统计学习理论（SLT） 统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论。它从理论上较为系统的研究了经验风险最小化原则成立的条件、有限样本下经验风险与期望风险的关系以及如何利用这些理论找到新的学习原则和方法等问题。 其中，最有指导性的理论结果是推广性的推广性的界界的结论，和与此相关的一个核心概念是函数集的函数集的VC维

7、维。 函数集的函数集的VC维维 （Vapnik Chervonenkis Dimension ） 模式识别方法中VC维的直观定义是：对于一个指标函数集，如果存在n个样本能够被函数集中的函数按所有可能的 种形式分开， 则称函数集能够把n个样本打散；函数集的VC维就是它能打散的最大样本数目h。有界实函数的VC维可以通过用一定的阈值将其转化为指示函数来定义。 VC维反映了函数集的学习能力，维反映了函数集的学习能力，VC维越维越大则学习机器越复杂（学习能力越强）。大则学习机器越复杂（学习能力越强）。2hVC维维(函数的多样性函数的多样性) 为了研究经验风险最小化函数集的学习一致收敛速度和推广性，SLT

8、定义了一些指标来衡量函数集的性能，其中最重要的就是VC维(Vapnik-Chervonenkis Dimension)。 VC维维：对于一个指示函数集，如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开，则称函数集能够把h个样本打散，函数集的VC维就是能够打散的最大样本数目。 如果对任意的样本数，总有函数能打散它们，则函数集的VC维就是无穷大。VC维（续）维（续） 一般而言,VC维越大, 学习能力就越强,但学习机器也越复杂。 目前还没有通用的关于计算任意函数集的VC维的理论,只有对一些特殊函数集的VC维可以准确知道。 N维实数空间中线性分类器和线性实函数的VC维是n+1。 Sin

9、(ax)的VC维为无穷大。 VCVC维（续）维（续） Open problem: 对于给定的学习函数集,如何用理论或实验的方法计算其VC维是当前统计学习理论研究中有待解决的一个难点问题。推广性的界推广性的界 统计学习理论系统地研究了各种类型函数集的经验风险经验风险（即训练误差）（即训练误差）和实际风险实际风险（即期望风险）（即期望风险）之间的关系，即推广性的界。 关于两类分类问题有如下结论：对指示函数集中的所有函数，经验风险和实际风险之间至少以概率 满足如下关系： 其中h是函数集的VC维，l是样本数。 1 lhlhRRemp4ln12ln置信范围置信范围实际实际风险风险学习机器的实际风险由两部

10、分组成： 经验风险 ，即训练误差； 置信范围（Confidence Interval） 可以简单的表示为： 它表明在有限样本训练下，学习机VC维越高（机器的复杂性越高），则置信范围越大，导致真实风险与经验风险之间可能的差别越大。这就是为什么出现过学习现象的原因。 empR lhRRemp结构风险最小化结构风险最小化 （Structural Risk Minimization，SRM） 经验风险最小化原则在样本有限（即 较大）时是不合理的，此时一个小的经验风险值并不能保证小的实际风险值。为解决此问题，就需要在保证分类精度（即减小经验风险）的同时，降低学习机器的VC维，从而使得学习机器在整个样本集

11、上的期望风险得到控制，这就是结构风险最小化（SRM）原则的基本思想。 结构风险最小化为我们提供了一种不同于经验风险最小化的更科学的学习机器设计原则，显然，利用结构风险最小化原则的思想，就可以完美解决神经网络中的过学习问题。支持向量机方法实际上就是这种思想的具体实现。 lh风险欠学习过学习实际风险的界置信范围经验风险1S2S3Sh函数集子集： VC维： 结构风险最小化示意图 321SSS321hhh2022-6-2723支持向量机支持向量机SVMSVM是一种基于统计学习理论的机器是一种基于统计学习理论的机器学习方法，它是由学习方法，它是由Boser,Guyon, Boser,Guyon, Vap

12、nikVapnik在在COLT-92COLT-92上首次提出，从此上首次提出，从此迅速发展起来迅速发展起来Vapnik V N. 1995. The Nature of Statistical Learning Theory. Springer-Verlag, New York Vapnik V N. 1998. Statistical Vapnik V N. 1998. Statistical Learning Theory. Wiley-Learning Theory. Wiley-Interscience Publication, John Interscience Publicatio

13、n, John Wiley&Sons, IncWiley&Sons, Inc目前已经在许多智能信息获取与处理领目前已经在许多智能信息获取与处理领域都取得了成功的应用。域都取得了成功的应用。 支持向量机支持向量机 （Support Vector Machine，SVM） 90年代中期，在统计学习理论的基础上发展出了一种通用的学习方法支持向量机。它根据有限的样本信息在模型的复杂它根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以获得性和学习能力之间寻求最佳折衷，以获得最好的泛化能力最好的泛化能力。 支持向量机在很多机器学习问题的应用中已初步表现出很多优于已有方法的性能。

14、 支持向量机的理论最初来自于对数据分类问题的处理。对于线性可分数据的二值分类，如果采用多层前向网络来实现，其机理可以简单描述为：系统随机的产生一个超平面并移动它，直到训练集合中属于不同类别的点正好位于该超平面的不同侧面，就完成了对网络的设计要求。但是这种机理决定了不能保证最终所获得的分割平面位于两个类别的中心，这对于分类问题的容错性容错性是不利的。 保证最终所获得的分割平面位于两个类别的中心对于分类问题的实际应用是很重要的。支持向量机方法很巧妙地解决了这一问题。 该方法的机理可以简单描述为：寻找一个满足分类要求的最优分类超平面，使得该超平面在保证分类精度保证分类精度的同时，能够使使超平面两侧的

15、空白区域最大化超平面两侧的空白区域最大化；从理论上来说，支持向量机能够实现对线性可分数据的最优分类。为了进一步解决非线性问题，Vapnik等人通过引入核映射核映射方法转化为高维空间的线性可分问题来解决。 最优分类超平面最优分类超平面 （Optimal Hyperplane ） 对于两类线性可分两类线性可分的情形，可以直接构造最优超平面，使得样本集中的所有样本满足如下条件：（1）能被某一超平面正确划分；（2）距该超平面最近的异类异类向量与超平面之间的距离最大，即分类间隔（margin ）最大； 以上两个条件体现了结构风险最小化（SRM）的原则。保证经验风险最小保证置信范围最小 设训练样本输入为

16、， ， 对应的期望输出为 如果训练集中的所有向量均能被某超平面正确划分，并且距离平面最近的异类异类向量之间的距离最大（即边缘margin最大化），则该超平面为最优超平面（Optimal Hyperplane ） 。ix1, ,ildiRx1, 1iy最优分类面示意图最优分类面示意图 支持向量Support Vector 其中距离超平面最近的异类向量被称为支持向量（Support Vector），一组支持向量可以唯一确定一个超平面。SVM是从线性可分情况下的最优分类面发展而来，其超平面记为： 为使分类面对所有样本正确分类并且具备分类间隔，就要求它满足如下约束：0bxw1 110 1 1iiiii

17、ibforyybbfory xwxwxw 可以计算出分类间隔为 ，因此构造最优超平面的问题就转化为在约束式下求： 为了解决这个约束最优化问题，引入下式所示的Lagrange函数： 其中 为Lagrange乘数。约束最优化问题的解由Lagrange函数的鞍点决定。 2 w 211min 22www w21112lliiiiiiLybwxw 0i 利用Lagrange优化方法可以将上述二次规划问题转化为其对偶问题对偶问题，即在约束条件： 下对 求解下列函数的最大值： 如果 为最优解，那么： 选择一个正分量并据此计算 liiiy10lii, 1,0i 1,112lliijijijii jWy yxx

18、i1liiiiywx*jlijiiijxxyyb1*).( 以上是在不等式约束下求二次函数极值问题，是一个二次规划问题（Quadratic Programming，QP），），存在唯一解。根据最优性条件Karush-Khn-Tucker条件（KKT条件），这个优化问题的解必须满足： 对多数样本对多数样本 将为零，取值不为零的将为零，取值不为零的 所对应的样本即为支持向量，它们通常所对应的样本即为支持向量，它们通常只是全体样本中很少的一部分。只是全体样本中很少的一部分。 10,1,iiib yilx wii 求解上述问题后得到的最优分类函数是： 在通过训练得到最优超平面后,对于给定的未知样本x，

19、只需计算f (x)即可判断x所属的分类。 1sgnliiiifybxxx 若训练样本集是线性不可分的，或事先不知道它是否线性可分，将允许存在一些误分类的点，此时引入一个非负松弛变量非负松弛变量 ，约束条件变为: 目标函数改为在以上约束条件下求： 即折衷考虑最小错分样本和最大分类间隔。其中，C0 为惩罚因子 ，控制对错分样本的惩罚程度 。0i1 0 1,iiiiybil w x，11min ,2liiCww w 线性不可分情况和线性可分情况的差别差别就在于可分模式中的约束条件中的 在不可分模式中换为了更严格的条件 。除了这一修正，线性不可分情况的约束最优化问题中权值和阈值的最优值的计算都和线性可

20、分情况中的过程是相同的。 0i0iC支持向量机支持向量机 （Support Vector Machine，SVM） 在现实世界中，很多分类问题都是线性不可分的，即在原来的样本空间中无法找到一个最优的线性分类函数，这就使得支持向量机的应用具有很大的局限性。但是可以设法通过非线性变换将原样本空间的非通过非线性变换将原样本空间的非线性问题转化为另一个空间中的线性问线性问题转化为另一个空间中的线性问题题。SVM就是基于这一思想的。首先将输入向量通过非线性映射变换到一个高维的特征向量空间，在该特征空间中构造最优分类超平面。 由于在上面的二次规划（QP）问题中，无论是目标函数还是分类函数都只涉及内积运算，

21、如果采用核函数(Kernel Function)就可以避免在高维空间进行复杂运算，而通过原空间的函数来实现内积运算。因此，选择合适的内积核函数核函数 就可以实现某一非线性变换后的线性分类，而计算复杂度却没有增加多少 ，从而巧妙地解决了高维空间中计算带来的“维数灾难”问题。 ,ijijK x xxx 此时，相应的决策函数化为： 支持向量机求得的决策函数形式上类似于一个神经网络，其输出是若干中间层节点的线性组合，而每一个中间层节点对应于输入样本与一个支持向量的内积，因此也被称作是支持向量网络。 1sgn,liiiifyKbxx x支持向量机示意图支持向量机示意图 选择不同的核函数 可以生成不同的支

22、持向量机，常有以下几种： （1）线性核函数： （2）多项式核函数： （3）Gauss核函数： （4）Sigmoid核函数： ,ijijK x xxx,iiKx xx x,1qiiKx xx x2( ,)exp2iiKxxx x,tanhiiKcx xx x一个具体核函数的例子一个具体核函数的例子 假设数据是位于 中的向量，选择： 然后寻找满足下述条件的空间H：使映射 从 映射到H且满足： 可以选择H=R3以及： 2R 2,ijijKx xxx2R 2 x yxy211 222( )2xx xxxx2x1z3z2z1用图来表示该变换：用图来表示该变换：SVM用于二维样本分类用于二维样本分类支持向

23、量机的分类学习算法支持向量机的分类学习算法 对于分类问题，用支持向量机方法进行求解的学习算法过程为： 第一步第一步 给定一组输入样本 ， 及其对应的期望输出 ； 第二步第二步 选择合适的核函数 及相关参数； 第三步第三步 在约束条件 和 下求解 得到最优权值 ；ixli, 11, 1iy,ijijK x xxxliiiy100iC1,11max ( )(, )2lliijijiii jWy y K x xi 第四步 计算： ；选择一个 计算 第五步 对于待分类向量x ，计算： 为1或1，决定x属于哪一类。1()liiiiywx 1sgn,liiiifyKbxx xlijiiijxxKyyb1*

24、)(，0*j用于函数拟合的支持向量机用于函数拟合的支持向量机 假定数据集 。首先考虑用线性回归函数线性回归函数 拟合数据集X的问题。 所有训练数据在精度 下无误差地用线性函数拟合，即： 考虑到允许拟合误差存在的情况：(,)1,iiXyilx( )fbxw x 1,iiiiybilbyw xw x 1,iiiiiiybilbyw xw x 优化目标函数为： 对偶问题为：在约束条件 下求下式的最大值。 回归函数为： 11min ( ,)()()2liiiiiC ww w11111(,)()()()()()2lllliiiiiiiiijjijiiijWy xx0, 1,iiCil 1( )()()l

25、iiiifbbxw xx xPage 48 其它类型的支持向量机其它类型的支持向量机 线性可分的支持向量（分类）机线性可分的支持向量（分类）机 线性支持向量（分类）机线性支持向量（分类）机 支持向量（分类）机支持向量（分类）机 最小二乘支持向量（分类）机最小二乘支持向量（分类）机 硬硬 - -带带支持向量（回归）机支持向量（回归）机 软软 - -带带支持向量（回归）机支持向量（回归）机 - -支持向量（回归）机支持向量（回归）机 最小二乘支持向量（回归）机最小二乘支持向量（回归）机 不确定支持向量机不确定支持向量机 支持向量机应用支持向量机应用Page 49四、最小二乘支持向量(分类)机nkk

26、kTempybxwn1bwR12)(),( SuykensSuykens等人等人在支持向量回归机中引入如下的二次损失函数作在支持向量回归机中引入如下的二次损失函数作为代价函数，并将其不等式约束改为等式约束：为代价函数，并将其不等式约束改为等式约束：nkkTeb,w,e21wwe)J(w,min1221且带有如下等式约束条件：且带有如下等式约束条件： nkebxwykkTk, 1,)(其中其中 bxxyeTi因此，把支持向量机的原始优化问题转变为如下寻找因此，把支持向量机的原始优化问题转变为如下寻找w和和b的优的优化问题：化问题： nkebxwykkTk, 1,)(Page 50最小二乘支持向量

27、(回归)机 为了在对偶空间中求解上述优化问题，定义如下的为了在对偶空间中求解上述优化问题，定义如下的Lagrange泛函：泛函： nkkkkTkyebxw-e)J(w,)e,b,L(w,1)(其中其中kR为乘子（叫做支持向量）。为乘子（叫做支持向量）。 其优化条件由下式给出：其优化条件由下式给出： nkyebxwLnkeeLbLxwwLkkkTkkkknkknkkk, 1,)(0, 1,000)(011Page 51最小二乘支持向量(回归)机上式能被直接表示为求解如下如下线性方程组：上式能被直接表示为求解如下如下线性方程组： 其中其中y=(y1,yn)T, (x)=( (x1), (xn)T,

28、 1n=(1,.,1)T, e=(e1,en)T, =(1, n)T。在上式中消去。在上式中消去w和和e后，得到如下后，得到如下线性方程组：线性方程组： yebwIxIIxInnTnnTn00001)(001000)(00ybInnTn01110其中其中kl=(xk)T(xl), k,l=1,.,n。 Page 52最小二乘支持向量(回归)机根据根据Mercer定理，最小二乘支持向量分类器为：定理，最小二乘支持向量分类器为： 其中其中与与b通过求解上述方程组通过求解上述方程组得到。得到。 nkkkbxxKxf1),(sgn)(Page 53例子：最小二乘支持向量(分类)机Page 54目录目录

29、u 线性可分的支持向量（分类）机线性可分的支持向量（分类）机u 线性支持向量（分类）机线性支持向量（分类）机u 支持向量（分类）机支持向量（分类）机u 最小二乘支持向量（分类）机最小二乘支持向量（分类）机u 硬硬 - -带带支持向量（回归）机支持向量（回归）机u 软软 - -带带支持向量（回归）机支持向量（回归）机u - -支持向量（回归）机支持向量（回归）机u 最小二乘支持向量（回归）机最小二乘支持向量（回归）机u 支持向量机应用支持向量机应用Page 55五、硬硬 - -带带支持向量（回归）机支持向量（回归）机1 1、一个简单的回归例子、一个简单的回归例子。 考虑两个量考虑两个量x x与与

30、y y的关系。假设已测得若干个数据构成的数据的关系。假设已测得若干个数据构成的数据集集D D：Page 56硬硬 - -带带支持向量（回归）机支持向量（回归）机Page 57五、硬硬 - -带带支持向量（回归）机支持向量（回归）机2 2、不敏感损失函数、不敏感损失函数 为了在回归问题中使用结构风险代替经验风险来作为期望风为了在回归问题中使用结构风险代替经验风险来作为期望风险，以及保持在支持向量分类机的稀疏性质，险，以及保持在支持向量分类机的稀疏性质，Vapnik引入了如引入了如下的下的不敏感损失函数不敏感损失函数：其中：其中：Page 58硬硬 - -带带支持向量（回归）机支持向量（回归）机P

31、age 59硬硬 - -带带支持向量（回归）机支持向量（回归）机),( ,),(),(2211nnyxyxyxD，niRyRXximi, 1,首先考虑硬首先考虑硬 - -带支持向量带支持向量线性线性回归回归情况。设有如下两类样本的训情况。设有如下两类样本的训练集：练集：即使用一个线性函数来即使用一个线性函数来回归回归（拟合拟合、逼近逼近）样本点，且这种情）样本点，且这种情况下，没有样本点落在况下，没有样本点落在 - -带外。表示为如下的带外。表示为如下的原始优化问题原始优化问题：nibxwyniybxwtswiiiibw, 1,)(, 1,)(. .21min2,y=(w.x)+b+y=(w.

32、x)+b-y=(w.x)+bPage 60硬硬 - -带带支持向量（回归）机支持向量（回归）机niiiiniiiibxwybxwywbwL1*12(*)()(21),(nTnnR2*22*11(*), ,(0),(, 0),(*)(*)bwLbwLwb 为求解上述原始优化问题为求解上述原始优化问题, ,使用使用Lagrange乘子法乘子法将其转化为对将其转化为对偶问题。于是引入偶问题。于是引入Lagrange函数函数：其中，其中， 称为称为Lagrange乘子。乘子。首先求首先求Lagrange函数关于函数关于w,bw,b的极小值。由的极小值。由极值条件有：极值条件有：niii1*0)(nii

33、iixw1*)(得到：得到：Page 61硬硬 - -带带支持向量（回归）机支持向量（回归）机nitsxxiniiininiiinjjijjii, 1, 0, 0)(. .)()()(21min(*)1*11*1*）（niiiixw1*)(将上式代入将上式代入Lagrange函数，则原始的优化问题转化为如下的函数，则原始的优化问题转化为如下的对偶问题对偶问题( (使用极小形式使用极小形式) )：求解上述对偶问题，得求解上述对偶问题，得 ( (* *) )。则参数对。则参数对(w,b)(w,b)可由下式计算：可由下式计算：)(jjxwyb选择某个选择某个j 0或或j* 0来计算来计算b: :Pa

34、ge 62硬硬 - -带带支持向量（回归）机支持向量（回归）机bxwxfy)()(支持向量：支持向量：称训练集称训练集D中的样本中的样本xi为支持向量，为支持向量， 如果它对应的如果它对应的i*0或i0 。把把w的式子代入函数：的式子代入函数：于是，得到如下的回归函数：于是，得到如下的回归函数：niiiibxxxf1*)()(y=(w.x)+b+y=(w.x)+b-y=(w.x)+bPage 63目录目录u 线性可分的支持向量（分类）机线性可分的支持向量（分类）机u 线性支持向量（分类）机线性支持向量（分类）机u 支持向量（分类）机支持向量（分类）机u 最小二乘支持向量（分类）机最小二乘支持向

35、量（分类）机u 硬硬 - -带带支持向量（回归）机支持向量（回归）机u 软软 - -带带支持向量（回归）机支持向量（回归）机u - -支持向量（回归）机支持向量（回归）机u 最小二乘支持向量（回归）机最小二乘支持向量（回归）机u 支持向量机应用支持向量机应用Page 64软软 - -带带支持向量（回归）机支持向量（回归）机),( ,),(),(2211nnyxyxyxD，niRyRXximi, 1,考虑软考虑软 - -带支持向量带支持向量线性线性回归回归情况。设有如下两类样本的训练集情况。设有如下两类样本的训练集：同样希望使用一个线性函数来同样希望使用一个线性函数来回归回归样本点，且这种情况下

36、，除了样本点，且这种情况下，除了大量样本点在大量样本点在 - -带内，还有少量的样本带内，还有少量的样本落在落在 - -带外。这时需要对带外。这时需要对落在落在 - -带外的样本进行惩罚。于是带外的样本进行惩罚。于是原始优化问题原始优化问题为：为：ninibxwyniybxwtsnCwiiiiiiiniiibw, 1, 0, 1,)(, 1,)(. .)(121min(*)*1*2,(*)y=(w.x)+b+y=(w.x)+b-y=(w.x)+bPage 65软软 - -带带支持向量（回归）机支持向量（回归）机niiiiniiiiniiiiiniiibxwybxwynCwbwL1*11*1*2

37、)()()()(21),(0, 0(*)(*)0(*)(*)(*)iinCL 为求解上述原始优化问题为求解上述原始优化问题, ,使用使用Lagrange乘子法乘子法将其转化为对将其转化为对偶问题。于是引入偶问题。于是引入Lagrange函数函数：其中，其中， 称为称为Lagrange乘子。乘子。首先求首先求Lagrange函数关于函数关于w,b,w,b, ( (* *) )的极小值。由的极小值。由极值条件有：极值条件有：niiibL1*0)(0)(1*niiiiwxwLPage 66软软 - -带带支持向量（回归）机支持向量（回归）机ninCtsyxxiiniiiniiiininiiinjji

38、jjii, 1,0, 0)(. .)()()()(21min*1*1*11*1*）（niiiixw1*)(将上式代入将上式代入Lagrange函数，则原始的优化问题转化为如下的函数，则原始的优化问题转化为如下的对偶问题对偶问题( (使用极小形式使用极小形式) )：求解上述对偶问题，得求解上述对偶问题，得 ( (* *) )。则参数对。则参数对(w,b)(w,b)可由下式计算：可由下式计算：b的计算（略）。的计算（略）。Page 67软软 - -带带支持向量（回归）机支持向量（回归）机bxwxfy)()(支持向量：支持向量：称训练集称训练集D中的样本中的样本xi为支持向量，为支持向量， 如果它对

39、应的如果它对应的i*0或i0 。把把w的式子代入函数：的式子代入函数：于是，得到如下的回归函数：于是，得到如下的回归函数：niiiibxxxf1*)()(y=(w.x)+b+y=(w.x)+b-y=(w.x)+bPage 68目录目录u 线性可分的支持向量（分类）机线性可分的支持向量（分类）机u 线性支持向量（分类）机线性支持向量（分类）机u 支持向量（分类）机支持向量（分类）机u 最小二乘支持向量（分类）机最小二乘支持向量（分类）机u 硬硬 - -带带支持向量（回归）机支持向量（回归）机u 软软 - -带带支持向量（回归）机支持向量（回归）机u - -支持向量（回归）机支持向量（回归）机u 最小二乘支持向量（回归）机最小二乘支持向量（回归）机u 支持向量机应用支持向量机应用Page 69 - -支持向量（回归）机支持向量（回归）机下面通过下面通过核技术核技术来处理。引入一个来处理。引入一个非线性映射非线性映射 把把输入空间输入空间映射到一个映射到一个( (高维的高维的) )Hilbert空间空间H, ,使在使在H中进行线性回归中进行线性回归（硬（硬 - -带或