支持向量回归机

1、支持向量回归机SVM本身是针对经典的二分类问题提出的，支持向量回归机(Support Vector Regression, SVR)是支持向量在函数回归领域的应用。SVR与SVM分类有以 下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点 分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在 两条边界线之间，求最优回归超平面同样等价于求最大间隔。3.3.1 SVR基本模型对于线性情况，支持向量机函数拟合首先考虑用线性回归函数4兀几/(打=max 0,|y - /広)| - &/(x) = co-x + b 拟合(x-,y.),i = 1,2,.,

2、n， xi e Rn 为输入量'y. e R 为输出量'即 需要确定3和Z? oBz图3-3a SVR结构图图3-3b£不灵敏度函数惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己 经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的 损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-Io表3T常用的损失函数和相应的密度函数损失函数名称损失函数表达式c()噪声密度()S 不敏感觥2(1 +昇吩乩)拉普拉斯fexp(帥商斯2S,伍* 2)鲁棒损失£（駢,if | <<7；, otherwise;&#

3、171; 2exp（暮），页|引 Sbexp（ - 呂 |）, otherwise2多项式2不严訓）分段多项式<|切- b -. othenviseP<"P（ p：M），（/呂卜” exp（cr - -1|）, otherwise标准支持向量机采用肝不灵敬度函数，即假设所有训练数据在精度£下用线性函数拟合如图（3-3a）所示，-/（x.）-yr.+/ = 1,2，,n（）式中，.釜是松弛因子，当划分有误差时，歹;都大于o,误差不存在取0。 这时，该问题转化为求优化LI标函数最小化问题：1 «2式（）中笫一项使拟合函数更为平坦，从而提高泛化能力；笫二项为

4、减小误差； 常数C>0表示对超出误差£的样本的惩罚程度。求解式（）和式（）可看出， 这是一个凸二次优化问题，所以引入Lagrange函数：厶=；。s + C £ （§ + 釜）一 £ 久§ + £ - 牙 + / （托）丄r-1r-1（）-Z a；离 + £ 一 X + f U）-S （欽 + 釜/）/-IJ-l式中，a t a/ > 0 ,儿，y； 丫0，为Lagrange乘数，j = l,2,山。求函数厶对血，b，§,，§；的最小化，对, a； , y；的最大化,代入Lagrange函数得

5、到对偶形式，最大化函数：1 nW（a.a） = -工（4-&；）（勺-©（召®）2 /-LJ-1ftfl+工（3 - a；）升一工（q + a；）£>-i/-1其约束条件为:工（e0<aiya- < CC怎么来的（）一个点不能同时 两个等式都满足求解式()、()式其实也是一个求解二次规划问题，111 Kuhn-Tucker定理，在 鞍点处有：y£+§ 一X + f(x,)1 = 0+g； 一 z + /U,)l（）a=°得出a： a； = 0 ,表明a；不能同时为零，还可以得出:怎么得到的(C_y)£

6、;=0(C-<)=(从式()可得出，当e=C，或a； =C时，l/UJ-x-l可能大于与其对 应的片称为边界支持向量(Boundary Suppoit Vector, BSV),对应图3-3a中虚 线带以外的点；当a；e(0,C)时，|/(九)一刃=£，即岳=0，打=0,与其对应 的人称为标准支持向量(Normal Support Vector, NSV),对应图3-3a中落在g管 道上的数据点；当匕=0，&：=0时，与其对应的兀为非支持向量，对应图3-3a 中g管道内的点，它们对w没有贡献。因此g越大，支持向量数越少。对于标准 支持向量，如果0<% vC(tz=

7、0)，此时刍=0，曲式()可以求出参数b：I/? = )_工(勺_勺兀兀_£=)：一 E (勺-町)卩齐-£同样，对于满足0 < a/ < Cai = 0)的标准支持向量，有b = y, Z j_a；)Xj Xj_£XjSV一般对所有标准支持向量分别计算方的值，然后求平均值，即b = E &厂 X (勺-a；)K(®,xJ-£o<a,<c XjSV+ E "一 E (勺 -q；)k®兀)-£ o<a/<c Xjsv因此根据样本点求得的线性拟合函数为/(x) = 0 x +

8、 Z?=工© a；)兀 x + 方()()非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一 个高维特征空间（Hilben空间）中，然后在此高维空间中再进行线性回归，从而 取得在原空间非线性回归的效果。 与之前有的解释不一样首先将输入量x通过映射4R” tH映射到高维特征空间H中用函数式变 为：与对应1 川W（a.a） = -工（0-£）（勺一町）（软兀）3（®）2 f-ij-inn()+工（y-a；）；-工（+*）£j-ij-i式（）中涉及到高维特征空间点积运算（兀）（勺），而且函数是未知的，高 维的。支持向量机理论只考虑拓维特征空间的

9、点积运算KaT）= ®a）gg）, 而不直接使用函数，称Kg宀）为核函数，核函数的选取应使其为高维特征空间的一个点积，核函数的类型有多种，常用的核函数有: 多项式核：k(x,x)=X,x ) + dY, p 已 N、d AO； 高斯核：k(x、a ) = exp(-BJL)；2crJ. .|x-x IIRBF 核:k(x,x) = exp(- )；2bB 样条核：k(x, x ) = B2V+1 (卜-xj|)；1sin( + -)Cv-x)Fourier 核：k(x.x) =；sin (x-x)支持向量机的核心要点说明为什么，其次讲一下为什么 引入核函数因此式（）变成1 “W(a.

10、a) = -为(ea；)(£a；)K(x 兀)2 r-l.j-l()+工 a - a；)X -工(a + a；)£j-ij-i在变换过后的空间中的表 示式可求的非线性拟合函数的表示式为：/(X)= d?<I)Cv) + Z?=£ (y.-a；)K(x,齐)+bi()3.3.2结构改进的支持向量回归机前半部分怎么解释，分类的时候 好解释，回归的时候呢上节所述的SVR基本模型其优化目标为：艸4卜+止©+s.t.yi - w 0(x) _ b £ £ + 各< w0(xj + b_” <£ +()§；

11、noj = i2JSVR结构改进算法一般在优化LI标中增加函数项，变量或系数等方法使公 式变形，产生出各种有某一方面优势或者一定应用范圉的算法。Suykens提出了最小二乘支持向量机(LS-SVM)阿，与标准SVM相比其 优化指标采用了平方项，从而将不等式约束转变成等式约束，将二次规划问题转 化成了线性方程组的求解，其优化L1标为：唸？訥+A注()< sJ.y. = e+ b + §i"2LS-SVM与标准SVM相比减少了一个调整参数，减少了 /个优化变量，从 而简化了计算复杂性。然而LS-SVM没有保留解的稀疏性。改进的最小二乘支 持向量机有：递推最小二乘支持向量机

12、“叫、加权最小二乘支持向量机1回1、多分 辨率LS-SVW08】及正则化最小.二乘方法【等。心撐（舁+翳）Scholkoph等提出的v-SVM方法叫 引入反映超出£管道之外样本数据点 （即边界支持向量数量）和支持向量数的新参数卜，从而简化SVM的参数调节。 其优化LJ标为：min护Q+C仏+每當a)-(/>(xi) + b-yi<£ + 212 ，/h,表示边界支持向量机的上限和支持向量机的下限。与标准支持向量机相比优 化求解过程不需要设定g值。标准SVM方法中，引入惩罚系数C实行对超出带数据点的惩罚。在实际 问题中，某些重要样本数据点要求小的训练误差，有些样本

13、数据点对误差的要求 不是很高。因此，在优化问题描述时，对每个样本点应采用不同的惩罚系数C， 或对于每个样本数据点应采用不同的不敬感函数，使回归建模更加准确，这 一类结构变化的支持向量机通常称为加权支持向量机（WSVM） 加权支持 向量机可以通过对惩罚系数C加权实现，也可以通过对£加权实现。通过对参数 C加权实现时，其优化LI标为：minS.t.弘+c£g+x）(3.26a)护“心12J通过对£加权实现时，其优化L1标为:Friess等提出了一种针对分类问题的SVM变形算法-BSVM算法卩。与标准SVM相比，BSVM的优化LI标多一项，而约束条件少一项等式约束，变为

14、边 界约束条件下的二次规划问题，适合迭代求解。同时可以应用矩阵分解技术，每 次只需更新Lagrange乘子的一个分量，从而不需要将所有样本载入内存，提高 了收敛速度。BSVM算法应用于回归分析，其优化tl标为：Mins.t.111LLj-i血0(兀)+方一“ 孵0和0()212 ，/标准SVM回归算法都是把问题转化为求解凸二次规划cKecman和比切小 提出用厶范数替代厶范数，从而通过改造用线性规划（LP）代替凸二次规划， 以便于利用非常成熟的线性规划技术求解回归支持向量机。山最优化理论， 血=£（*-匕犹，据此考虑把原始目标函数的厶模岡|、用/,模/- IKI=EI+KI）替换。贝

15、叽模可以改写为：卜冷卜£©+町），用卜畀代替 r-lr-1原口标函数中的0| ；将血代入原约束条件；增加约束6Z.,<z/ > 0,z =»可得：/M力（4一/）（兀吗）+ 5-牙<£ +4r-lI 丿IX 一工（匕一力）（兀勺）一 b " +釜/-eUy>no,2i2J针对实际问题的特殊性，有时可以选择其他形式的更适宜的惩罚函数。惩罚 带为任意形式的支持向量回归机叫通过定义推广的不敏感损失函数:y - /(a) 一 wg(x), y-/(a) > 乡*(x)；y-fM-sg (x), y-f(x)<-sg

16、(x);釆用推广的厂不敬感损失函数构造v-SVR问题，将原+&)+C吃纟+“工釜+(§+§)1 /-IL 人】/-I1 r-l_0 兀+/?_片££(召)+岳()苧莒no, ： = 12丿c(x,= <( 0,£<(x) > y-f(x) > wj(x);其中"x),J(x):/tR+，始最优化问题转化为：min< s.t.惩罚带为任意形式的支持向量回归机包含了针对惩罚函数改进SVR结构的 所有模型。此外，还有模糊支持向量回归机(FSVR) El、拉格朗日支持向量机(LSVR) H5等。3.3.3

17、 SVM参数优化方法研究支持向量机的性能取决于超参数C、£、核函数类型及核参数。核函数类型 的选择与所应用的领域有关，核函数特性的不同决定建立的模型也具有不同的特 性，对于静态软测量建模，一般采用rbf核函数，因为其跟踪性能较好且没有记 忆性，符合静态建模的特点。核参数反映了训练数据的范用或分布，它对模型的 预测效果影响较大；调整因子C是模型复杂度和推广能力的折中，它决定了对 损失大于g的样本的惩罚程度，当Cts时，模型优化口标退化为经验风险最小 化，C过小，使经验风险所占比重太少，模型结构复朵度下降，但训练误差可能 超出接受范围；£不灵敏函数是SVR的贞要特征，它决定了支

18、持向量的数L1, 保证了解的稀疏性，是模型推广性能的象征，但是太平滑的估计乂会降低模型的 稱度。口前没有一个理论的方法来设计SVR的参数，现有的软件都是基于建模 者的经验在建模之前设定。常用的设定SVR参数的方法主要有以下儿种：1) 交义检验法交义检验法是用的最多的一种参数选择方法，其基本思想是将样本集分为训 练集、检验集和测试集，选择若干组模型参数，用训练集推导模型系数，选择其 中使检验集误差测度最好的参数用于测试集。根据样本集的长度，可以设定交叉 检验的次数。2）经验选择法经验选择就是根据建模者的经验在建模之前选择参数。Vladimir等提出了一种根据训练集数据特性选择模型参数的方法卩，其

19、中式中分别表示训练数据集中y的均值和标准偏差;<7为噪声的标准偏差，”为样本数。上述经验公式是基于噪声水平已知的假设， 并没有理论上的证明。3）网格优化选择法网格优化算法是一种大范圉点集搜索方法。搜索范圉的确定仍需建模者设 定。该方法简单易行，但是训练时间较长，一般用来确定参数范围，再用其他方 法进行渐近搜索。4）统计学习理论的VC维学习方法卩1,81采用统计学习理论的方法导出模型推广错误的界，并用VC维来表示，用统 计学习理论选择的核和调整因子C可以使VC维的上界最小，从而可以确定模型 的参数。但这种方法需要在非线性空间计算超球半径。5）Bayesian学习方法James Tin-Yau Kwok基于权值空间的观点给出了 SVM的贝叶斯解释刃。 说明了 SVM可以解释为MacKay证据体系的笫一层推理，还说明了证据体系下 的第二层、第三层推理也可