支持向量回归机

1、支持向量回归机SVM本身是针对经典的二分类问题提出的，支持向量回归机(SupportVectorRegression,SVR)是支持向量在函数回归领域的应用。SVR与SVM分类有以下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。3.3.1SVR基本模型对于线性情况，支持向量机函数拟合首先考虑用线性回归函数4兀几/(打=max0,|y-/|-/(x)=co-x+b拟合(x-,y.),i=1,2,.,n,XieR&为输入量'y.eR为输出

2、量即需要确定3和Z?o图3-3aSVR结Bz构图图3-3b£不灵敏度函数惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-Io表3T常用的损失函数和相应的密度函数损失函数名称损失函数表达式c(A)噪声密度(?)S?不敏感觥2（1+昇吩乩）fexp(T巾商斯2s，伍*2)鲁棒损失£(胁if|八|<<7;,otherwise;?2exp(一暮)，页|引Sbexp(-g|),otherwise2多项式2不严割I）分段多项

3、式<|切-b-.othenviseP<"P(p：M),(/吕卜"exp(cr-1A|),otherwise标准支持向量机采用肝不灵敬度函数，即假设所有训练数据在精度讣用线性函数拟合如图（3-3a）所示，-/（x.）-yr.+/=1,2,n（）式中，.釜是松弛因子，当划分有误差时，歹；都大于o,误差不存在取0。这时，该问题转化为求优化LI标函数最小化问题：1?2式（）中笫一项使拟合函数更为平坦，从而提高泛化能力；笫二项为减小误差；常数C>0表示对超出误差知勺样本的惩罚程度。求解式（）和式（）可看出，这是一个凸二次优化问题，所以引入Lagrange函数：A=;

4、os+C£（§+釜）一£久§+£牙+/（托）I.r-1r-1（）-Za；离+£X+fU）-S«+釜/）/-IJ-l式中，ata/>0，儿，y;丫0,为Lagrange乘数，j=l,2,山。求函数对血，b，§,，§；的最小化，对,a；,y；的最大化,代入Lagrange函数得到对偶形式，最大化函数inW(a.a)=-工(4-&；)(勺-?(召？)2/-LJ-1ftfl+工(3-a；)升一工(q+a；)£>-i/-1a；)=0I*0<a iya- < CC怎么来的其约

5、束条件为：求解式()、()式其实也是一个求解二强钎问题,在鞍点处有：111 Kuhn-Tucker 点定理,不能同y£ + § X + f(x,)1 = 0 +g； z + /U,)l° a=得出a: a; = 0，表明a；不能同时为零，还可以得出(C_y) £0(C-<)八二(怎么得 到的从式()可得出，当e=C,或a； =C时，l/UJ-x-l可能大于与其对 应的片称 为边界支持向量(Boundary Suppoit Vector, BSV),对应图3-3a中虚 线带以外的点； 当a； e(0,C)时，|/(九)一刃二只即岳=0,打=0,与其对

6、应 的人？称为标准支持向量(Normal Support Vector, NSV),对应图3-3a中落在g管 道上的数据点；当匕=0, & :=0时，与其对应的兀为非支持向量，对应图3-3a中g管道内的点，它们对w没有 贡献。因此g越大，支持向量数越少。对于标准 支持向量，如果0<% vC(tz=0),此时刍=0,曲式()可以求出参数b：/? 二 )_兀？兀_£二):一 E (勺-盯)口 ？齐-£同样，对于满足0 < a/ < Cai = 0)的标准支持向量，有b = y, Z j_a; )Xj ? Xj_ £XjASV,股对所有标准支持

7、向量分别计算方的值，然后求平均值，即£ o<a/<c XjAsv E &厂 X (勺-a； )K(?,xJ-壬o<a,<c Xj?SV+ E " 一 E (勺-Q；)K?()因此根据样本点求得的线性拟合函数为/(x)=0?x+Z?=工？一a；)兀？x+方非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间（Hilben空间）中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。与之前有的解释不一样首先将输入量x通过映射4R'TH映射到高维特征空间H中用函数式变为:1 川与对应W（a.a）=

8、工（0-4（勺一盯）？（软兀）3（?）2 f-ij-inn+工（y-a；）;-工（+*）£（）j-ij-i式（）中涉及到高维特征空间点积运算（兀）琏（勺），而且函数是未知的，高维的。支持向量机理论只考虑拓维特征空间的点积运算KaT）=?a）gg）,而不直接使用函数，称Kg）为核函数，核函数的选取应使其为高维特征空间的一个点积，核函数的类型有多种，常用的核函数有：多项式核：k（x,x）=«X,x）+dY,p已N、dAO;高斯核：k(x、a)=exp(-BJL);支持向 量机的 遥刎 什么， 其次讲2crJ.|x-xIIRBF核：k(x,x)=exp()；2bB样条核：k(x,

9、x)=B2V+1(卜-xj|);1sin(A+-)Cv-x)Fourier核：k(x.x)=sin(x-x)因此式（）变成W(a.a)=-为(la；)(a；)?K(x兀)2r-l.j-lj-i()+工a-a；)X-工(a+a;)£可求的非线性拟合函数的表示式为:在变换过后的j-i/(X)=d?<I)Cv)+Z?()二£(y.-a；)K(x,齐)+bi3.3.2结构改进的支持向量回归机上节所述的SVR基本模型其优化目标为:前半部分怎么解释，分类的时候 好 解释，回归的时候呢、+止？+s.t.< w?yi - w ? 0(x) _ b0(xj + b_ ” <

10、 £()§noj=i2JSVR结构改进算法一般在优化LI标中增加函数项，变量或系数等方法使公式变形，产生出各种有某一方面优势或者一定应用范圉的算法。Suykens提出了最小二乘支持向量机(LS-SVM)阿，与标准SVM相比其优化指标采用了平方项，从而将不等式约束转变成等式约束，将二次规划问题转化成了线性方程组的求解，其优化L1标为：脸？言内+A注<sJ.y.=e?+b+§()i"2LS-SVM与标准SVM相比减少了一个调整参数，减少了/个优化变量，从而简化了计算复杂性。然而LS-SVM没有保留解的稀疏性。改进的最小二乘支持向量机有：递推最小二乘支持

11、向量机“叫、加权最小二乘支持向量机1回1、多分辨率LS-SVW081及正则化最小.二乘方法【等。Scholkoph等提出的v-SVM方法叫引入心搏（舁+翳）反映超出£管道之外样本数据点（即边界支持向量数量）和支持向量数的新参数卜，从而简化SVM的参数调节。其优化LJ标为：min护Q+C亿+每富a）-（/>（Xi）+b-yi<£+A212-；/h,表示边界支持向量机的上限和支持向量机的下限。与标准支持向量机相比优化求解过程不需要设定g值。标准SVM方法中，引入惩罚系数C实行对超出带数据点的惩罚。在实际问题中，某些重要样本数据点要求小的训练误差，有些样本数据点对误差

12、的要求不是很高。因此，在优化问题描述时，对每个样本点应采用不同的惩罚系数C,或对于每个样本数据点应采用不同的不敬感函数，使回归建模更加准确，这一类结构变化的支持向量机通常称为加权支持向量机（WSVM）加权支持向量机可以通过对惩罚系数C加权实现，也可以通过对£加权实现。通过对参数C加权弘min+CS.t.（3.26a）实现时，其优化LI标为：护“心12-J通过对£加权实现时，其优化L1标为：Imin.彳忖s.t.yt-iv*x（）-b<£t+£tFriess等提出了一种针对分类问题的SVM变形算法-BSVM算法P。与标准SVM相比，BSVM的优化LI

13、标多一项，而约束条件少一项等式约束，变为边界约束条件下的二次规划问题，适合迭代求解。同时可以应用矩阵分解技术，每次只需更新Lagrange乘子的一个分量，从而不需要将所有样本载入内存，提高了收敛速度。BSVM算法应用于回归分析，其优化tl标为：Min111s.t.LLj-i血?0（兀）+方一“孵0和0212；/（）标准SVM回归算法都是把问题转化为求解凸二次规划cKecman和比切小提出用公范数替代公范数，从而通过改造用线性规划（LP）代替凸二次规划,以便于利用非常成熟的线性规划技术求解回归支持向量机。山最优化理论，血=£*-匕犹，据此考虑把原始目标函数的Z4英罔|、用/,模/-KI

14、=EN+KI）替换。贝叽模可以改写为：卜冷卜£?+盯），用卜畀代替r-1原口标函数中的0|；将血代入原约束条件；增加约束6Z.,<z/>0,z=?可得：/力（4一/）（兀吗）+5-牙<£+«r-lIX一工（匕一力）（兀?勺）一b"+釜/-eUy>no,2i2?J针对实际问题的特殊性，有时可以选择其他形式的更适宜的惩罚函数。惩罚带为任意形式的支持向量回归机叫通过定义推广的不敏感损失函数：y-/(a)wg(x),y-/(A)>乡*(x);c(x,=<(0,y-fM长(x)>y-f(x)>wj(x);-sg(x)

15、,其中"X),J(X):/TR+，始最优化问题转化为：min<s.t.惩罚带为任意形式的支持向量回归机包含了针对惩罚函数改进SVR结构的所有模型。此外，还有模糊支持向量回归机(FSVR)El、拉格朗日支持向量机(LSVR)H5等。3.3.3SVM参数优化方法研究支持向量机的性能取决于超参数C、£、核函数类型及核参数。核函数类型的选择与所应用的领域有关，核函数特性的不同决定建立的模型也具有不同的特性，对于静态软测量建模，一般采用rbf核函数，因为其跟踪性能较好且没有记忆性，符合静态建模的特点。核参数反映了训练数据的范用或分布，它对模型的预测效果影响较大；调整因子C是模型

16、复杂度和推广能力的折中，它决定了对损失大于g的样本的惩罚程度，当Cts时，模型优化口标退化为经验风险最小化，C过小，使经验风险所占比重太少，模型结构复朵度下降，但训练误差可能超出接受范围；£不灵敏函数是SVR的贞要特征，它决定了支持向量的数L1,保证了解的稀疏性，是模型推广性能的象征，但是太平滑的估计乂会降低模型的耦度。口前没有一个理论的方法来设计SVR的参数，现有的软件都是基于建模者的经验在建模之前设定。常用的设定SVR参数的方法主要有以下儿种：1) 交义检验法交义检验法是用的最多的一种参数选择方法，其基本思想是将样本集分为训练集、检验集和测试集，选择若干组模型参数，用训练集推与模

17、型系数，选择其中使检验集误差测度最好的参数用于测试集。根据样本集的长度，可以设定交叉检验的次数2）经验选择法经验选择就是根据建模者的经验在建模之前选择参数。Vladimir等提出了一种根据训练集数据特性选择模型参数的方法P0）,其中C=miix（y+3<r|,|y-3cr）式中分别表示训练数据集中y的均值和标准偏差；<7为噪声的标准偏差，”为样本数。上述经验公式是基于噪声水平已知的假设，并没有理论上的证明。3）网格优化选择法网格优化算法是一种大范圉点集搜索方法。搜索范圉的确定仍需建模者设定该方法简单易行，但是训练时间较长，一般用来确定参数范围，再用其他方法进行渐近搜索。4）统计学习

18、理论的VC维学习方法P1,81采用统计学习理论的方法导出模型推广错误的界，并用VC维来表示，用统计学习理论选择的核和调整因子C可以使VC维的上界最小，从而可以确定模型的参数。但这种方法需要在非线性空间计算超球半径。5）Bayesian学习方法JamesTin-YauKwok基于权值空间的观点给出了SVM的贝叶斯解释刃。说明了SVM可以解释为MacKay证据体系的笫一层推理，还说明了证据体系下的第二层、第三层推理也可以应用到SVM:第一个层次的推导考虑w的概率分布（在一个潜在的无限维空间），确定正则项和损失函数的可能性；第二层推理是调整因子C的推导；笫三个层次的推理是获得核参数。2.2支持向量回归机当构造的两类样本IT,ZT线性不可分时，通过对硬间隔的软化和引入罚参数，同样可以考虑在高维空间构造超曲面来达到回归的日的。对于给泄的训练样本集T,选择合适的梢度参数B0,罚参数C>0以及合适的核函数Kox.f）“构适为电解优化问题如3yl）心：一%）（"-巴冰环，）+£X3；-aJ-汇乂3；-%）*的*»J«If>l*1s.tj0<a.a.<?z=L?Jj得到最优解&1）=（召/E,叵.说丁，选择/E的正分量亏