人工智能之支持向量机课件

支持向量机

SupportVectorMachines支持向量机

SupportVectorMachin内容提要统计学习方法概述统计学习问题学习过程的泛化能力支持向量机SVM寻优算法应用内容提要统计学习方法概述支持向量机SVM是一种基于统计学习理论的机器学习方法，它是由Boser,Guyon,Vapnik在COLT-92上首次提出，从此迅速发展起来VapnikVN.1995.TheNatureofStatisticalLearningTheory.Springer-Verlag,NewYorkVapnikVN.1998.StatisticalLearningTheory.Wiley-IntersciencePublication,JohnWiley&Sons,Inc目前已经在许多智能信息获取与处理领域都取得了成功的应用。

支持向量机SVM是一种基于统计学习理论的机器学习方法，它是由支持向量机SVMSVMsarelearningsystemsthatuseahyperplaneoflinearfunctionsinahighdimensionalfeaturespace—Kernelfunctiontrainedwithalearningalgorithmfromoptimizationtheory—LagrangeImplementsalearningbiasderivedfromstatisticallearningtheory—GeneralisationSVMisaclassifierderivedfromstatisticallearningtheorybyVapnikandChervonenkis支持向量机SVMSVMsarelearningsys25

线性分类器ayestf

xf(x,w,b)=sign(w.x

-b)denotes+1denotes-1Howwouldyouclassifythisdata?25线性分类器ayestfxf(x,w,26线性分类器f

xayestdenotes+1denotes-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?26线性分类器fxayestdenotes27线性分类器f

xayestdenotes+1denotes-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?27线性分类器fxayestdenotes28线性分类器f

xayestdenotes+1denotes-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?28线性分类器fxayestdenotes29线性分类器f

xayestdenotes+1denotes-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?哪一个分界面是最优的？？29线性分类器fxayestdenotes210分类超平面Trainingset:(xi,yi),i=1,2,…N;yi{+1,-1}Hyperplane:wx+b=0Thisisfullydeterminedby(w,b)w1x+b1=0w2x+b2=0w3x+b3=0210分类超平面Trainingset:(xi,yi)211最大间隔一个超平面，如果它能将训练样本没有错误地分开，并且两类训练样本中离超平面最近的样本与超平面之间的距离是最大的，则把这个超平面称作最优分类超平面（optimalseparatinghyperplane），两类样本中离分类面最近的样本到分类面的距离称为分类间隔，最优超平面也可以称作最大间隔超平面。211最大间隔一个超平面，如果它能将训练样本没有错误地分开，212最大间隔原则Note1:decisionfunctions(w,b)and

(cw,cb)arethesameNote2:butmarginsasmeasuredbytheoutputsofthefunctionxwx+barenotthesameifwetake(cw,cb).Definition:geometricmargin:themargingivenbythecanonicaldecisionfunction,whichiswhenc=1/||w||Strategy: 1)weneedtomaximisethegeometricmargin!(cfresultfromlearningtheory) 2)subjecttotheconstraintthattrainingexamplesareclassifiedcorrectlywwx+b=0wx+b>0wx+b<0212最大间隔原则Note1:decisionfunct213支持向量Thetrainingpointsthatarenearesttotheseparatingfunctionarecalledsupportvectors.Whatistheoutputofourdecisionfunctionforthesepoints?213支持向量Thetrainingpointstha214分类问题的数学表示已知：训练集包含个样本点：

说明：是输入指标向量，或称输入，或称模式，其分量称为特征，或属性，或输入指标；是输出指标，或输出.问题：对一个新的模式，推断它所对应的输出是1还是-1.实质：找到一个把上的点分成两部分的规则.

2维空间上的分类问题)n维空间上的分类问题.214分类问题的数学表示2维空间上的分类问题)215根据给定的训练集其中，，寻找上的一个实值函数，用决策函数

判断任一模式对应的值.sgn()为符号函数，取自变量的符号。

可见，分类学习机——构造决策函数的方法(算法)，两类分类问题多类分类问题线性分类学习机非线性分类学习机

分类学习方法215分类学习方法216SVM分类问题大致有三种：线性可分问题、近似线性可分问题、线性不可分问题。分类学习方法Chap8SVMZhongzhiShi216SVM分类问题大致有三种：线性可分问题、近似线性可分问217考虑上的线性可分的分类问题.这里有许多直线能将两类点正确分开.如何选取和？简单问题：设法方向已选定，如何选取？解答：选定平行直线极端直线和取和的中间线为分划直线如何选取？对应一个，有极端直线，称和之间的距离为“间隔”.显然应选使“间隔”最大的。

最大间隔法的直观导出217考虑上的线性可分的分类问题.最大间隔法的直观218数学语言描述调整，使得令，则两式可以等价写为与此相应的分划直线表达式:给定适当的法方向后，这两条极端直线可表示为Chap8SVMZhongzhiShi218数学语言描述调整，使得令，则219如何计算分划间隔？考虑2维空间中极端直线之间的间隔情况求出两条极端直线的距离：Chap8SVMZhongzhiShi219如何计算分划间隔？求出两条极端直线的距离：Chap8220Margin=

H1平面：

H2平面：

…..(2)

…..(1)

Chap8SVMZhongzhiShi220Margin=H1平面：H2平面：…..(2)221分划直线表达式为“间隔”为极大化“间隔”的思想导致求解下列对变量和的最优化问题说明：只要我们求得该问题的最优解，从而构造分划超平面，求出决策函数。上述方法对一般上的分类问题也适用.原始问题Chap8SVMZhongzhiShi221分划直线表达式为222求解原始问题为求解原始问题，根据最优化理论，我们转化为对偶问题来求解对偶问题为原始问题中与每个约束条件对应的Lagrange乘子。这是一个不等式约束条件下的二次函数寻优问题，存在唯一解222求解原始问题为求解原始问题，根据最优化理论，我们转化为223线性可分问题计算，选择的一个正分量,并据此计算事实上，的每一个分量都与一个训练点相对应。而分划超平面仅仅依赖于不为零的训练点，而与对应于为零的那些训练点无关。称不为零的这些训练点的输入为支持向量(SV)构造分划超平面,决策函数根据最优解223线性可分问题计算224近似线性可分问题不要求所有训练点都满足约束条件，为此对第个训练点引入松弛变量(SlackVariable),把约束条件放松到。体现了训练集被错分的情况，可采用作为一种度量来描述错划程度。两个目标：1.间隔尽可能大2.错划程度尽可能小显然，当充分大时，样本点总可以满足以上约束条件。然而事实上应避免太大，所以需在目标函数对进行惩罚（即“软化”约束条件）Chap8SVMZhongzhiShi224近似线性可分问题不要求所有训练点都满足约束条件225因此，引入一个惩罚参数，新的目标函数变为:体现了经验风险，而则体现了表达能力。所以惩罚参数实质上是对经验风险和表达能力匹配一个裁决。当时，近似线性可分SVC的原始问题退化为线性可分SVC的原始问题。近似线性可分问题Chap8SVMZhongzhiShi225因此，引入一个惩罚参数，新的目标函数226(广义)线性支持向量分类机算法设已知训练集，其中2.选择适当的惩罚参数，构造并求解最优化问题3.计算，选择的一个分量，并据此计算出4.构造分划超平面,决策函数求得226(广义)线性支持向量分类机算法设已知训练集227非线性分类例子:227非线性分类例子:228Non-linearClassificationWhatcanwedoiftheboundaryisnonlinear?Idea:transformthedatavectorstoaspacewheretheseparatorislinearChap8SVMZhongzhiShi228Non-linearClassificationWh229Non-linearClassificationThetransformationmanytimesismadetoaninfinitedimensionalspace,usuallyafunctionspace.Example:xcos(uTx)Chap8SVMZhongzhiShi229Non-linearClassificationTh230Non-linearSVMsTransformx

(x)Thelinearalgorithmdependsonlyonxxi,hencetransformedalgorithmdependsonlyon(x)(xi)UsekernelfunctionK(xi,xj)suchthatK(xi,xj)=(x)(xi)

230Non-linearSVMsTransformx231设训练集，其中假定可以用平面上的二次曲线来分划：现考虑把2维空间映射到6维空间的变换上式可将2维空间上二次曲线映射为6维空间上的一个超平面：非线性分类231设训练集232可见，只要利用变换，把所在的2维空间的两类输入点映射到所在的6维空间，然后在这个6维空间中，使用线性学习机求出分划超平面：最后得出原空间中的二次曲线：怎样求6维空间中的分划超平面？(线性支持向量分类机)非线性分类232可见，只要利用变换，把所在的2维空间的两类输233需要求解的最优化问题其中非线性分类233需要求解的最优化问题其中非线性分类234在求得最优化问题的解后，得到分划超平面其中最后得到决策函数或线性分划－>非线性分划

代价：2维空间内积－>6维空间内积非线性分类234在求得最优化问题的解235为此，引进函数有比较(2)和(3)，可以发现这是一个重要的等式，提示6维空间中的内积可以通过计算中2维空间中的内积得到。非线性分类235为此，引进函数有比较(2)和(3)，可以发现这是一个重236实现非线性分类的思想给定训练集后，决策函数仅依赖于而不需要再考虑非线性变换如果想用其它的非线性分划办法，则可以考虑选择其它形式的函数，一旦选定了函数，就可以求解最优化问题得，而决策函数236实现非线性分类的思想给定训练集后，决策函数仅依赖于得237决策函数其中实现非线性分类的思想237决策函数其中实现非线性分类的思想238多项式内核径向基函数内核RBFSigmoind内核目前研究最多的核函数主要有三类：得到q阶多项式分类器每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定包含一个隐层的多层感知器，隐层节点数是由算法自动确定核函数的选择Chap8SVMZhongzhiShi238多项式内核目前研究最多的核函数主要有三类：得到q阶多SVM算法实现软件LIBSVM：台湾大学林智仁教授等开发，有各种版本，应用很广泛LS-SVMLAB：Matlab界面，分类、回归都可OSU_SVM：用于分类，可以实现多分类SVMtoolbox:Matlab界面，代码简单，适合初学者了解原理，但算法效率较低39SVM算法实现软件LIBSVM：台湾大学林智仁教授等开发，有有关SVM的网站

.tw/~cjlin/libsvm

www.esat.kuleuven.ac.be/sista/lssvmlab/Top/Computers/Artificial_Intelligence/Support_Vector_Machines40有关SVM的网站www.kernel-machines.orSVM预测模型的建立核函数的选择在实验中选取RBF函数作为核函数的首选，原因：1.RBF函数可以将样本非线性地规划到更高维的空间中，从而实现非线形影射。Sigmoid核函数取某些特定参数时性能和RBF相同。2.RBF函数的参数只有一个。相比之下多项式核函数参数比RBF核函数多，因此其模型选择更为复杂。3.RBF函数的数值限制条件少。RBF函数使数值被限制在0和1之间，而多项式核函数的值可能会趋于不定值或零值且幂值更高；Sigmoid核函数在取某些参数值时则可能无效。41SVM预测模型的建立核函数的选择41SVM预测模型的建立（续）C和r和选取（以分类为例）

选定一组C,r的范围和,然后将它们的准确率用等高线连接起来绘出类似下图。42SVM预测模型的建立（续）C和r和选取（以分类为例）42用SVM实现煤炭需求量的预测任务：用1980-2002年的我国煤炭需求量来预测2003-2006年的煤炭需求量将历年的煤炭消费量X(t)看作时间序列，则其预测模型可以描述为其中为Φ非线形函数，p为嵌入维数，根据上式,可以得到输入样本和输出样本,这里用1999-2002年的数据作为检验样本,分别用SVM和神经网络预测，结果为:

性能比较SVMRBF神经网络预测最大误差2.992%3.259%平均相对误差1.872%1.976%43用SVM实现煤炭需求量的预测性能比较SVMRBF神经网络预测用SVM实现煤炭需求量的预测用训练好的SVM模型来预测将来2003-2006年的煤炭需求量，其需求趋势如下图：2003-2006年的预测值44用SVM实现煤炭需求量的预测用训练好的SVM模型来预测将来2有待解决的问题1.如何合选择SVM的参数：怎样合理选择支持向量的核参数，目前尚无定论。格子搜索法比较常见，有的学者已提出用遗传算法、粒子群算法等优化参数2.如何实现时间序列的动态预测：动态预测要求SVM的参数能适应序列的动态变化，即建立基于SVM自适应预测控制系统45有待解决的问题1.如何合选择SVM的参数：怎样合理选择支持向246SVMapplicationsPatternrecognitionFeatures:wordscountsDNAarrayexpressiondataanalysisFeatures:expr.levelsindiff.conditionsProteinclassificationFeatures:AAcomposition246SVMapplicationsPatternrec247HandwrittenDigitsRecognition247HandwrittenDigitsRecognit248ApplyingSVMstoFaceDetectionTheSVMface-detectionsystem1.Rescaletheinputimageseveraltimes2.Cut19x19windowpatternsoutofthescaledimage3.Preprocessthewindowusingmasking,lightcorrectionandhistogramequalization4.ClassifythepatternusingtheSVM5.Iftheclasscorrespondstoaface,drawarectanglearoundthefaceintheoutputimage.248ApplyingSVMstoFaceDetec249ApplyingSVMstoFaceDetectionExperimentalresultsonstaticimagesSetA:313high-quality,samenumberoffacesSetB:23mixedquality,totalof155faces249ApplyingSVMstoFaceDetec250ApplyingSVMstoFaceDetectionExtensiontoareal-timesystemAnexampleoftheskindetectionmoduleimplementedusingSVMsFaceDetectiononthePC-basedColorRealTimeSystem250ApplyingSVMstoFaceDetec251ReferencesVladimirVapnik.TheNatureofStatisticalLearningTheory,Springer,1995AndrewW.Moore.cmsc726:SVMs./~awm/tutorialsC.Burges.Atutorialonsupportvectormachinesforpatternrecognition.DataMiningandKnowledgeDiscovery,2(2):955-974,1998./burges98tutorial.htmlVladimirVapnik.StatisticalLearningTheory.Wiley-Interscience;1998ThorstenJoachims(joachims_01a):AStatisticalLearningModelofTextClassificationforSupportVectorMachinesBenRubinstein.StatisticalLearningTheory.

Dept.ComputerScience&SoftwareEngineering,UniversityofMelbourne;andDivisionofGenetics&Bioinformatics,Walter&ElizaHallInstitute251References支持向量机

SupportVectorMachines支持向量机

SupportVectorMachin内容提要统计学习方法概述统计学习问题学习过程的泛化能力支持向量机SVM寻优算法应用内容提要统计学习方法概述支持向量机SVM是一种基于统计学习理论的机器学习方法，它是由Boser,Guyon,Vapnik在COLT-92上首次提出，从此迅速发展起来VapnikVN.1995.TheNatureofStatisticalLearningTheory.Springer-Verlag,NewYorkVapnikVN.1998.StatisticalLearningTheory.Wiley-IntersciencePublication,JohnWiley&Sons,Inc目前已经在许多智能信息获取与处理领域都取得了成功的应用。

支持向量机SVM是一种基于统计学习理论的机器学习方法，它是由支持向量机SVMSVMsarelearningsystemsthatuseahyperplaneoflinearfunctionsinahighdimensionalfeaturespace—Kernelfunctiontrainedwithalearningalgorithmfromoptimizationtheory—LagrangeImplementsalearningbiasderivedfromstatisticallearningtheory—GeneralisationSVMisaclassifierderivedfromstatisticallearningtheorybyVapnikandChervonenkis支持向量机SVMSVMsarelearningsys256

线性分类器ayestf

xf(x,w,b)=sign(w.x

-b)denotes+1denotes-1Howwouldyouclassifythisdata?25线性分类器ayestfxf(x,w,257线性分类器f

xayestdenotes+1denotes-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?26线性分类器fxayestdenotes258线性分类器f

xayestdenotes+1denotes-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?27线性分类器fxayestdenotes259线性分类器f

xayestdenotes+1denotes-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?28线性分类器fxayestdenotes260线性分类器f

xayestdenotes+1denotes-1f(x,w,b)=sign(w.x

-b)Howwouldyouclassifythisdata?哪一个分界面是最优的？？29线性分类器fxayestdenotes261分类超平面Trainingset:(xi,yi),i=1,2,…N;yi{+1,-1}Hyperplane:wx+b=0Thisisfullydeterminedby(w,b)w1x+b1=0w2x+b2=0w3x+b3=0210分类超平面Trainingset:(xi,yi)262最大间隔一个超平面，如果它能将训练样本没有错误地分开，并且两类训练样本中离超平面最近的样本与超平面之间的距离是最大的，则把这个超平面称作最优分类超平面（optimalseparatinghyperplane），两类样本中离分类面最近的样本到分类面的距离称为分类间隔，最优超平面也可以称作最大间隔超平面。211最大间隔一个超平面，如果它能将训练样本没有错误地分开，263最大间隔原则Note1:decisionfunctions(w,b)and

(cw,cb)arethesameNote2:butmarginsasmeasuredbytheoutputsofthefunctionxwx+barenotthesameifwetake(cw,cb).Definition:geometricmargin:themargingivenbythecanonicaldecisionfunction,whichiswhenc=1/||w||Strategy: 1)weneedtomaximisethegeometricmargin!(cfresultfromlearningtheory) 2)subjecttotheconstraintthattrainingexamplesareclassifiedcorrectlywwx+b=0wx+b>0wx+b<0212最大间隔原则Note1:decisionfunct264支持向量Thetrainingpointsthatarenearesttotheseparatingfunctionarecalledsupportvectors.Whatistheoutputofourdecisionfunctionforthesepoints?213支持向量Thetrainingpointstha265分类问题的数学表示已知：训练集包含个样本点：

说明：是输入指标向量，或称输入，或称模式，其分量称为特征，或属性，或输入指标；是输出指标，或输出.问题：对一个新的模式，推断它所对应的输出是1还是-1.实质：找到一个把上的点分成两部分的规则.

2维空间上的分类问题)n维空间上的分类问题.214分类问题的数学表示2维空间上的分类问题)266根据给定的训练集其中，，寻找上的一个实值函数，用决策函数

判断任一模式对应的值.sgn()为符号函数，取自变量的符号。

可见，分类学习机——构造决策函数的方法(算法)，两类分类问题多类分类问题线性分类学习机非线性分类学习机

分类学习方法215分类学习方法267SVM分类问题大致有三种：线性可分问题、近似线性可分问题、线性不可分问题。分类学习方法Chap8SVMZhongzhiShi216SVM分类问题大致有三种：线性可分问题、近似线性可分问268考虑上的线性可分的分类问题.这里有许多直线能将两类点正确分开.如何选取和？简单问题：设法方向已选定，如何选取？解答：选定平行直线极端直线和取和的中间线为分划直线如何选取？对应一个，有极端直线，称和之间的距离为“间隔”.显然应选使“间隔”最大的。

最大间隔法的直观导出217考虑上的线性可分的分类问题.最大间隔法的直观269数学语言描述调整，使得令，则两式可以等价写为与此相应的分划直线表达式:给定适当的法方向后，这两条极端直线可表示为Chap8SVMZhongzhiShi218数学语言描述调整，使得令，则270如何计算分划间隔？考虑2维空间中极端直线之间的间隔情况求出两条极端直线的距离：Chap8SVMZhongzhiShi219如何计算分划间隔？求出两条极端直线的距离：Chap8271Margin=

H1平面：

H2平面：

…..(2)

…..(1)

Chap8SVMZhongzhiShi220Margin=H1平面：H2平面：…..(2)272分划直线表达式为“间隔”为极大化“间隔”的思想导致求解下列对变量和的最优化问题说明：只要我们求得该问题的最优解，从而构造分划超平面，求出决策函数。上述方法对一般上的分类问题也适用.原始问题Chap8SVMZhongzhiShi221分划直线表达式为273求解原始问题为求解原始问题，根据最优化理论，我们转化为对偶问题来求解对偶问题为原始问题中与每个约束条件对应的Lagrange乘子。这是一个不等式约束条件下的二次函数寻优问题，存在唯一解222求解原始问题为求解原始问题，根据最优化理论，我们转化为274线性可分问题计算，选择的一个正分量,并据此计算事实上，的每一个分量都与一个训练点相对应。而分划超平面仅仅依赖于不为零的训练点，而与对应于为零的那些训练点无关。称不为零的这些训练点的输入为支持向量(SV)构造分划超平面,决策函数根据最优解223线性可分问题计算275近似线性可分问题不要求所有训练点都满足约束条件，为此对第个训练点引入松弛变量(SlackVariable),把约束条件放松到。体现了训练集被错分的情况，可采用作为一种度量来描述错划程度。两个目标：1.间隔尽可能大2.错划程度尽可能小显然，当充分大时，样本点总可以满足以上约束条件。然而事实上应避免太大，所以需在目标函数对进行惩罚（即“软化”约束条件）Chap8SVMZhongzhiShi224近似线性可分问题不要求所有训练点都满足约束条件276因此，引入一个惩罚参数，新的目标函数变为:体现了经验风险，而则体现了表达能力。所以惩罚参数实质上是对经验风险和表达能力匹配一个裁决。当时，近似线性可分SVC的原始问题退化为线性可分SVC的原始问题。近似线性可分问题Chap8SVMZhongzhiShi225因此，引入一个惩罚参数，新的目标函数277(广义)线性支持向量分类机算法设已知训练集，其中2.选择适当的惩罚参数，构造并求解最优化问题3.计算，选择的一个分量，并据此计算出4.构造分划超平面,决策函数求得226(广义)线性支持向量分类机算法设已知训练集278非线性分类例子:227非线性分类例子:279Non-linearClassificationWhatcanwedoiftheboundaryisnonlinear?Idea:transformthedatavectorstoaspacewheretheseparatorislinearChap8SVMZhongzhiShi228Non-linearClassificationWh280Non-linearClassificationThetransformationmanytimesismadetoaninfinitedimensionalspace,usuallyafunctionspace.Example:xcos(uTx)Chap8SVMZhongzhiShi229Non-linearClassificationTh281Non-linearSVMsTransformx

(x)Thelinearalgorithmdependsonlyonxxi,hencetransformedalgorithmdependsonlyon(x)(xi)UsekernelfunctionK(xi,xj)suchthatK(xi,xj)=(x)(xi)

230Non-linearSVMsTransformx282设训练集，其中假定可以用平面上的二次曲线来分划：现考虑把2维空间映射到6维空间的变换上式可将2维空间上二次曲线映射为6维空间上的一个超平面：非线性分类231设训练集283可见，只要利用变换，把所在的2维空间的两类输入点映射到所在的6维空间，然后在这个6维空间中，使用线性学习机求出分划超平面：最后得出原空间中的二次曲线：怎样求6维空间中的分划超平面？(线性支持向量分类机)非线性分类232可见，只要利用变换，把所在的2维空间的两类输284需要求解的最优化问题其中非线性分类233需要求解的最优化问题其中非线性分类285在求得最优化问题的解后，得到分划超平面其中最后得到决策函数或线性分划－>非线性分划

代价：2维空间内积－>6维空间内积非线性分类234在求得最优化问题的解286为此，引进函数有比较(2)和(3)，可以发现这是一个重要的等式，提示6维空间中的内积可以通过计算中2维空间中的内积得到。非线性分类235为此，引进函数有比较(2)和(3)，可以发现这是一个重287实现非线性分类的思想给定训练集后，决策函数仅依赖于而不需要再考虑非线性变换如果想用其它的非线性分划办法，则可以考虑选择其它形式的函数，一旦选定了函数，就可以求解最优化问题得，而决策函数236实现非线性分类的思想给定训练集后，决策函数仅依赖于得288决策函数其中实现非线性分类的思想237决策函数其中实现非线性分类的思想289多项式内核径向基函数内核RBFSigmoind内核目前研究最多的核函数主要有三类：得到q阶多项式分类器每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定包含一个隐层的多层感知器，隐层节点数是由算法自动确定核函数的选择Chap8SVMZhongzhiShi238多项式内核目前研究最多的核函数主要有三类：得到q阶多SVM算法实现软件LIBSVM：台湾大学林智仁教授等开发，有各种版本，应用很广泛LS-SVMLAB：Matlab界面，分类、回归都可OSU_SVM：用于分类，可以实现多分类SVMtoolbox:Matlab界面，代码简单，适合初学者了解原理，但算法效率较低90SVM算法实现软件LIBSVM：台湾大学林智仁教授等开发，有有关SVM的网站

.tw/~cjlin/libsvm

www.esat.kuleuven.ac.be/sista/lssvmlab/Top/Computers/Artificial_Intelligence/Support_Vector_Machines91有关SVM的网站www.kernel-machines.orSVM预测模型的建立核函数的选择在实验中选取RBF函数作为核函数的首选，原因：1.RBF函数可以将样本非线性地规划到更高维的空间中，从而实现非线形影射。Sigmoid核函数取某些特定参数时性能和RBF相同。2.RBF函数的参数只有一个。相比之下多项式核函数参数比RBF核函数多，因此其模型选择更为复杂。3.RBF函数的数值限制条件少。RBF函数使数值被限制在0和1之间，而多项式核函数的值可能会趋于不定值或零值且幂值更高；Sigmoid核函数在取某些参数值时则可能无效。92SVM预测模型的建立核函数的选择41SVM预测模型的建立（续）C和r和选取（以分类为例）

选定一组C,r的范围和,然后将它们的准确率用等高线连接起来绘出类似下图。93SVM预测模型的建立（续）C和r和选取（以分类为例）42用SVM实现煤炭需求量的预测任务：用1980-2002年的我国煤炭需求量来预测2003-2006年的煤炭需求量将历年的煤炭消费量X(t)看作时间序列，则其预测模型可以描述为其中为Φ非线形函数，p为嵌入维数，根据上式,可以得到输入样本和输出样本,这里用1999-2002年的数据作为检验样本,分别用SVM和神经网络预测，结果为:

性能比较SVMRBF神经网络预测