(完整版)支持向量回归机

1、3.3支持向量回归机SVM本身是针对经典的二分类问题提出的，支持向量回归机(SupportVectorRegression,SVR)是支持向量在函数回归领域的应用。SVR与SVM分类有以下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。3.3.1SVR基本模型对于线性情况，支持向量机函数拟合首先考虑用线性回归函数f(x)-x+b拟合(x,y),i=1,2,.,n，ii需要确定w和b。XGRn为输入量，yGR为输出量，即ii''/-nV十

2、：图3-3aSVR结构图图3-3be不灵敏度函数惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1。表3-1常用的损失函数和相应的密度函数损失函数名称损失函数表达式盹.)I噪声密度P(LJIe-不敏感為exp轧)拉普拉斯I)咼斯多项式丄(g)2,if|g|<O；2aiiV|g|-斗，otherwise;Vexp(-),ifg<aexp(?-|g|),otherwise、21丄lg.Ipp12厂（1/p严一即町V-0|g|p,ifg|

3、<apap-171i1lg1-0_1,otherwise1pVrgpexp(-i),ifg|<apap-1|i1p一1exp(a-lg1),otherwisep1鲁棒损失分段多项式标准支持向量机采用£-不灵敏度函数，即假设所有训练数据在精度£下用线性函数拟合如图（3-3a）所示,一Y-/（x）<£+iii<F（x）一y<w+g*i-1,2,.,n（3.11）iiig,g*>0ii式中，g,g*是松弛因子，当划分有误差时，g，g*都大于0,误差不存在取0。iii这时，该问题转化为求优化目标函数最小化问题：3.12)R(°

4、，g，g*)二2z+cyi+gi*)i=1式（3.12）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误差；常数C>0表示对超出误差s的样本的惩罚程度。求解式（3.11）和式（3.12）可看出，这是一个凸二次优化问题，所以引入Lagrange函数：L=1w-w+C工(g+g*)一工ag+8-y+/(x)3.13)2iiiiiii=1i=1一工a*g*+8-y+/(X.)-工(g.Y.+g*丫*)iiiiiiiii=1i=1式中，a，a*>0，Y，Y*>0，为Lagrange乘数，i=1,2,.,n。求函数l对，iiib，g，g*的最小化，对a，a*，y，y*的最大

5、化，代入Lagrange函数得到对iiiiii偶形式，最大化函数：W(a,a*)=艺(a_a*)(a_a*)(x-x)3.14)2iijjiji=1,j=1+工(a_a*)y工(a+a*)8iiiiii=1i=1其约束条件为：£(a_a*)=0ii(3.15)i=10<a,a*<Cii求解式(3.14)、(3.15)式其实也是一个求解二次规划问题，由Kuhn-Tucker定理，在鞍点处有：a8+g_y+f(x)=0a*8+g*_y+f(x)=0iiiiiiii3.16)g丫=0g*-y*=0iiii得出a-a*=0，表明a,iiia*不能同时为零，还可以得出：i3.17)

6、|f(x)_y|可能大于8,与ii(C_a)g=0ii(C_a*)g*=0ii从式(3.17)可得出，当a=C，或a*=C时,ii其对应的x称为边界支持向量(BoundarySupportVector,BSV)，对应图3-3ai中虚线带以外的点；当a*g(0,C)时，|f(x)y|=8，即g=0，g*=0，与其iiiii对应的x称为标准支持向量(NormalSupportVector，NSV)，对应图3-3a中落i在8管道上的数据点；当a=0，a=0时，与其对应的x为非支持向量，对应图iii3-3a中8管道内的点，它们对w没有贡献。因此8越大，支持向量数越少。对于标准支持向量，如果0<a

7、<C(a*=0)，此时g=0，由式(3.16)可以求出参数iiib：b=y_(a_a*)x-x_8ijjji=y_£(a_a*)x-x_8ijjjixjgSV同样，对于满足0<a*<C(a=0)的标准支持向量，有iib=y_£(a_a*)x-x_8ijjjixjgSV一般对所有标准支持向量分别计算b的值，然后求平均值，即y(aa*)K(x,x)_£0<a<Ci3.18)ijjjiyxjeSV乙(aa*)K(x,x)8jjji0<a*<CixeSVj因此根据样本点(x,y)求得的线性拟合函数为ii3.19)f(x)=x+b=

8、y(aa*)x-x+biiii=1非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间(Hilbert空间)中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。首先将输入量x通过映射：RnTH映射到高维特征空间H中用函数/(x)=®(x)+b拟合数据(x，y.)，i=,n。则二次规划目标函数(3.14)式变为：W(a,a*)=1工(aa*)(aa*)(x)(x)2iijjiji=1,j=13.20)+工(aa*)y工(a+a*)8iiiiii=1i=1式(3.20)中涉及到高维特征空间点积运算(x.)(xj)，而且函数是未知的,高维的。

9、支持向量机理论只考虑高维特征空间的点积运算K(x.'xj)=°(x.)(xj)，而不直接使用函数。称K(x.'xj)为核函数，核函数的选取应使其为高维特征空间的一个点积，核函数的类型有多种，常用的核函数有：多项式核：k(x,x')=(:x,x'；：+d)p,peN,d>0;咼斯核：k(x,x')=exp(-x一x'2b22-);RBF核：k(x,x')=exp(xx'2b2)；B样条核：k(x,x')=B?n(|xx，|)；sin(N+)(x-x')Fourier核：k(x,x')=2；si

10、n(x-x')2因此式（3.20）变成W(a,a*)=-工(a-a*)(a-a*)K(xx)2iijjii=,j=+工(a-a*)y-工(a+a*)8iiiiii=i=3.21)可求的非线性拟合函数的表示式为：f(x)(x)+b=£(a-a*)K(x,x)+biiii=13.22)3.3.2结构改进的支持向量回归机上节所述的SVR基本模型其优化目标为:1min-w,b,gs.t.2lHF+C£(勺+亍)i=1y-w(x)-bWw+giiiw(x)+b-y<&+g*iiig>0ig*>0,i=1,2,.,li3.23)SVR结构改进算法一般在

11、优化目标中增加函数项，变量或系数等方法使公式变形，产生出各种有某一方面优势或者一定应用范围的算法。Suykens提出了最小二乘支持向量机（LS-SVM）105与标准SVM相比其优化指标采用了平方项，从而将不等式约束转变成等式约束，将二次规划问题转化成了线性方程组的求解，其优化目标为：Min®,b,g<s.2阿+2汽g2i=y=®©(x)+b+giiii=,2,L,l3.24)LS-SVM与标准SVM相比减少了一个调整参数，减少了l个优化变量，从而简化了计算复杂性。然而LS-SVM没有保留解的稀疏性。改进的最小二乘支持向量机有：递推最小二乘支持向量机106、加

12、权最小二乘支持向量机107、多分辨率LS-SVM108及正则化最小二乘方法109等。Scholkoph等提出的v-SVM方法110,引入反映超出s管道之外样本数据点(即边界支持向量数量)和支持向量数的新参数v，从而简化SVM的参数调节。其优化目标为：1丈(g2+g*2)liii=1min,b,gs.t.1 厂一助®+Cvs+2 _y(x)-bWs+giii3.25)(x)+b-y<s+g*iiig>0ig*>0ii=1,2,L,llv表示边界支持向量机的上限和支持向量机的下限。与标准支持向量机相比优化求解过程不需要设定s值。标准SVM方法中，引入惩罚系数C实行对超出

13、s-带数据点的惩罚。在实际问题中，某些重要样本数据点要求小的训练误差，有些样本数据点对误差的要求不是很高。因此，在优化问题描述时，对每个样本点应采用不同的惩罚系数C，或对于每个样本数据点应采用不同的s-不敏感函数，使回归建模更加准确，这一类结构变化的支持向量机通常称为加权支持向量机(WSVM)111，加权支持向量机可以通过对惩罚系数c加权实现，也可以通过对s加权实现。通过对参数C加权实现时，其优化目标为：min1加|2+c£s(g+g*)(*b2日：，'<s.te©(x)+b-y<s+g(3.26a)iiiy-®Q(x)-b<s+g*ii

14、ig(*)>0,i=1,2,L,li通过对s加权实现时，其优化目标为:minIW|2+C£(g+g*)w,b点,g*2i=ii3.26b)<s.ty-w©(x)-b<e+gi iiiw©(x)+b-y<s+g*iiiig>0,g*>0i=1,2,KliiFriess等提出了一种针对分类问题的SVM变形算法-BSVM算法112。与标准SVM相比，BSVM的优化目标多一项，而约束条件少一项等式约束，变为边界约束条件下的二次规划问题，适合迭代求解。同时可以应用矩阵分解技术，每次只需更新Lagrange乘子的一个分量，从而不需要将所有样

15、本载入内存，提高了收敛速度。BSVM算法应用于回归分析，其优化目标为：Mins.t.1WTw+2b2+C£(g+g*)2iii=1y-w©(x)-b<s+giii(x)+b-y<s+g*iiig>0ig*>0i3.27)i=1,2,L,l标准SVM回归算法都是把问题转化为求解凸二次规划。Kecman和Hadzicii3提出用L范数替代L范数，从而通过改造用线性规划（LP）代替凸二次规划,12以便于利用非常成熟的线性规划技术求解回归支持向量机。由最优化理论，w=£(a*-a)x，据此考虑把原始目标函数的l模|iii21i=1a(*)i=1卜(

16、*)卜£(a|+|ai=1）替换。则/模可以改写为:1a(*)代替原目标函数中的IW|2;将®代入原约束条件；增加约束a,a*>0,i=1,2,Ll，可得:min1工(a+a*)+工(g+g*)a(*),g(*),b1j_111j_11s.t工(a-a*)(x-x)+b-y<e+g<iiiJii(3.28)i_1y-工(a-a*)(x-x)-b<e+g*i iiiJii_1a(*),g(*)>0,i_1,2,L,1ii针对实际问题的特殊性，有时可以选择其他形式的更适宜的惩罚函数。惩罚带为任意形式的支持向量回归机114，通过定义推广的e-不敏感损

17、失函数：y-f(x)匹(x),y-f(x)>sg(x)；c(x,y,f(x)_<0,匹(x)>y-f(x)>匹*(x);|y-f(x)|匹*(x),y-f(x)<-匹*(x);其中g(x),g*(x):咒tR，采用推广的e-不敏感损失函数构造v-SVR问题，将原+始最优化问题转化为：mina(*),g(*),b<s.t1工(a+a*)+Cvg+1iiii_1i_1x+b-y<eg(x)+giiiiiy-®x-b<e*g*(x)+g*i iiiie(*),g(*)>0,i_1,2,L,1iiXg*+1工(g+g*)iii_11i_1

18、i3.29)惩罚带为任意形式的支持向量回归机包含了针对惩罚函数改进SVR结构的所有模型。此外，还有模糊支持向量回归机(FSVR)59、拉格朗日支持向量机(LSVR)115等。3.3.3SVM参数优化方法研究支持向量机的性能取决于超参数C、e、核函数类型及核参数。核函数类型的选择与所应用的领域有关，核函数特性的不同决定建立的模型也具有不同的特性，对于静态软测量建模，一般采用rbf核函数，因为其跟踪性能较好且没有记忆性，符合静态建模的特点。核参数反映了训练数据的范围或分布，它对模型的预测效果影响较大；调整因子C是模型复杂度和推广能力的折中，它决定了对损失大于e的样本的惩罚程度，当Ct时，模型优化目

19、标退化为经验风险最小化，C过小，使经验风险所占比重太少，模型结构复杂度下降，但训练误差可能超出接受范围；£不灵敏函数是SVR的重要特征，它决定了支持向量的数目，保证了解的稀疏性，是模型推广性能的象征，但是太平滑的估计又会降低模型的精度。目前没有一个理论的方法来设计SVR的参数，现有的软件都是基于建模者的经验在建模之前设定。常用的设定SVR参数的方法主要有以下几种：1）交叉检验法交叉检验法是用的最多的一种参数选择方法，其基本思想是将样本集分为训练集、检验集和测试集，选择若干组模型参数，用训练集推导模型系数，选择其中使检验集误差测度最好的参数用于测试集。根据样本集的长度，可以设定交叉检验

20、的次数。2）经验选择法经验选择就是根据建模者的经验在建模之前选择参数。Vladimir等提出了一种根据训练集数据特性选择模型参数的方法116，其中C二max(y+3g,y-3g)式中y,b分别表示训练数据集中y的均值和标准偏差;yb为噪声的标准偏差，n为样本数。上述经验公式是基于噪声水平已知的假设，并没有理论上的证明。3）网格优化选择法网格优化算法是一种大范围点集搜索方法。搜索范围的确定仍需建模者设定。该方法简单易行，但是训练时间较长，一般用来确定参数范围，再用其他方法进行渐近搜索。4）统计学习理论的VC维学习方法117、118采用统计学习理论的方法导出模型推广错误的界，并用VC维来表示，用统计学习理论选择的核和调整因子C可以使VC维的上界最小，从而可以确定模型的参数。但这种方法需要在非线性空间计算超球半径。5）