支持向量机核函数的选择

支持向量机核函数的选择

0总结为了解决提出前的问题，提出了基于核函数优化方法的普遍性差的问题，并通过增加二次因素系数来提出资源优化方法。1精度的选择—支持向量机推广性原则支持向量机的核心思想在于将函数拟合中的复杂性和推广性进行综合,通过严格的一致性条件来保证经验风险最小化函数与期望风险最小化函数的逼近,提出了推广性的界,即经验风险和实际风险之间应满足如下关系:其中,R(ω)为实际风险,Remp(ω)为训练样本的经验风险,Φ(nh)为置信范围,又称为VC信任,n/h与Φ成反比,n为训练样本数,h表示vc维。即,分类器的复杂性由式(1)可看出,要使经验风险逼近实际风险,既要使Remp(ω)尽可能小,也要使Φ(nh)置信范围量小。该范围中含的2个参数:n和h,在样本数n一定的情况下,vc维h越高,表示分类器的复杂程度越高,则置信范围相应增大,导致实际风险与经验风险间的差别越大;而在h一定的情况下,样本数n越多,导致置信范围减小,经验风险最小化的最优解就逼近实际的最优解。故设计分类器时不但使经验风险小,还要使vc维尽量小,应选用复杂度小的分类器。即结构化风险最小原则(StructuralRiskMinimization,简称SRM),应选择最小经验风险与置信范围之和最小的子集。2最优分类面的确定支持向量机通过求解最优分类面的过程,体现结构化风险最小原则的思想,如图1。设训练样本集为:x{i,yi},i=1,...,nxi为d维向量,yi∈{-,1+}1,分类面H:H为把两类无错误地分开分类线。H1、H2分别为过各类样本中离分类线最近的点且平行于分类线的直线。如图1,H1和H2间的距离称为两类的分类空隙或分类间隔margin:margin=2/‖w‖。最优分类线要求能将两类无错误地分开,使其分类空隙最大。以保证经验风险最小(为0),分类空隙最大,使推广性的界中的置信范围最小,从而使真实风险最小。推广到高维空间,最优分类线就成为最优分类面。求解过程转化为求解1个带约束的二次规划QP问题,即求式(3)的极小值:即求对偶函数LD的极大值也是求(L,w0ω,)a的极小值。考察式(3),实际上,求解只需要利用训练样本的点积<xi⋅xj>即可,又知,分类器的权向量w也是通过点积来体现,即:故只需计算点积即可,在解决非线性判别分类问题中避免由非线性映射造成的维数问题。3支持向量机设计核函数的研究在解决非线性分类问题中,将原特征空间用映射的方式xi→fx(i)映射到新的特征空间,则相应的对偶函数变成:分解面方程为:原空间为d维,设新空间为m维,m>d,从式(6)知,权向量的维数也是m维,是在映射后空间中的支持向量的线性求和:其中,ai≠0,而分类器的设计只关心权向量与样本间的点积,不需求出权向量。可确定某种函数(泛函),该函数是xi与x样本数据某种映射的内积,满足一定条件(Mercer条件)就可用于设计支持向量机,而不必对应具体的f(xi)。该函数即为核函数。映射后的高维空间,不计算内积,只是求和运算,与样本的个数有关。对偶函数转变为:分解面方程则为:其中,k(xi,xj)为核函数,反映特征映射后数据的内积。3.1基于类面或广义分类面分开的支持向量机选择不同的核函数,形成不同的支持向量机。在最优的分类器及其推广能力方面,Vapnik等人提出的结论是:若一组训练样本能被一个最优分类面或广义最优分类面分开,则对于测试样本分类错误率的期望上界是:训练样本中平均的支持向量占总训练样本数的比例:从式(6)可见,支持向量机的推广性也与变换空间的维数无关,只要能适当的选择核函数,构造一个支持向量数相对较少的最优或广义分类面,即可得到较好的推广性。该数据集中的数据点是随机生成的高斯分布数据,因此,分别进行了5次、10次、30次分类实验,平均值采取四舍五入取整,结果对比如表1。3.2改进的多项式核函数径向基核函数没有高斯核函数那样好的分类效果,其主要差别在于高斯核函数的指数是径向基核函数指数的1/2,增大了二次规划函数中二次项系数的绝对值。假设将要采纳的某个核函数与1个大于1的系数λ相乘,以多项式核函数为例,乘上1个大于1的系数λ,如式(12):可增大式(5)中二次规划函数的二次项系数的绝对值,减小最优值α,并减少支持向量个数,最终达到提高分类精度的目的。为证明该结论,同样分别采取5次、10次、30次实验,对比结果表2。实验显示,通过增大二次规划函数的二次项系数的绝对值来提高分类精度的推断是正确合理的,改进后的多项式核函数减少支持向量的个数,提高分类精度和推广性。同其他的分类方法相比,在分类效果上有着较好的普适性。4基于支持向量数的分类算法仿真实验证明,该方法解决了目前普遍存在的核函数优化方法普适性差的问题,具有可行性和良好的分类效果。引入对偶函数:目前主要采用3种形式的核函数:(1)多项式核函数:qii+⋅=]1)xx[()x,x(K;(2)高斯核函数:K(x,xi)=exp[-(|x-xi|)/22σ];(3)S形核函数:K(x,xi)=tanh[b(x·xi)+c]。由式(11)知,在训练样本总数一定的情况下可采取减少支持向量数的原则来减小分类错误率的产生。要减少支持向量的数量,取决于核函数的选择,以多项式核函数和高斯核函数为例,采用一组标准的高斯分布数据集进行仿真实验。该数据集由2种具有相同的变量但意义不同的高斯分布数据点集构成,