第13章-统计学习理论与支持机简介课件

模式识别统计学习理论与支持向量机简介模式识别统计学习理论与支持向量机简介要点实例学习能力与推广能力复杂性与推广能力期望风险最小化与期望风险最小化支持向量机原理要点实例学习能力与推广能力主要内容统计学习理论的研究内容学习问题研究的四个阶段人物简介统计学习理论的理论介绍应用领域网络资源主要内容统计学习理论的研究内容统计学习理论的研究内容人的智慧：实例学习能力与推广能力基于数据的机器学习问题：是现代智能技术中的重要方面研究通过对已知数据的学习，找到数据内在的相互依赖关系，从而对未知数据的预测或对性质进行判断统计学习理论的研究内容人的智慧：统计学习理论的研究内容目前机器学习方法存在的问题现有机器学习方法（模式识别、神经网络等）共同的理论基础之一是统计学传统统计学基础是样本数目趋于无穷大时的渐近理论,现有学习方法也多是基于此假设实际问题中,样本数有限的,因此理论上优秀的学习方法实际中表现不尽人意统计学习理论的研究内容目前机器学习方法存在的问题统计学习理论的研究内容统计学习理论：把学习问题看成是一个基于经验数据进行函数估计的一般问题，研究关于学习和推广性的统计理论的基本思想。针对小样本情况研究统计学习规律的理论，核心思想是通过控制学习机器的容量实现对推广能力的控制。SVM是基于统计学习理论而发明的一种工具。统计学习理论的研究内容统计学习理论：学习问题研究的四个阶段第一个学习机器的创立（60年代）起源与20世纪30年代的Fisher理论没有考虑归纳推断问题，不属于机器学习理论1962Rosenblatt第一个学习机器模型，感知器，感知器为神经元选择适当的系数1962Novikoff关于感知器的第一个定理，学习理论的开始。学习问题研究的四个阶段第一个学习机器的创立（60年代）学习问题研究的四个阶段应用分析学派认为，使学习机器具有推广能力的唯一因素是训练集误差最小，这是不言而喻的；理论分析学派认为需要更智能化的归纳原则。学习问题研究的四个阶段应用分析学派认为，使学习机器具有推广能学习问题研究的四个阶段学习理论的创立（60~70年代）其它类型学习机器：Widrow的Madaline自适应学习机；Steinbuch的学习矩阵等。作为解决实际问题的工具来研究，没有作为学习现象的一般模型。为了解决实际问题的的各种逻辑函数程序（决策树等）、隐马尔可夫模型有没有涉及一般学习现象的研究。

学习问题研究的四个阶段学习理论的创立（60~70年代）学习问题研究的四个阶段经验风险最小化原则的理论：

1968Vapnik&Chervonenkis模式识别问题的VC熵和VC维概念；泛函空间的大数定律，得到收敛速度的非渐进界；

1971Vapnik&Chervonenkis上述理论的证明，为结构风险最小化奠定基础。

1976~1981，实函数集VC熵和VC维概念；大数定律、完全有界的函数集和无界函数集一致收敛速度的界，以及结构风险最小化原则。

学习问题研究的四个阶段经验风险最小化原则的理论：学习问题研究的四个阶段

1989Vapnik&Chervonenkis经验风 险最小化归纳原则和最大似然方法的一致 性的充分条件。90年代，能够控制推广 性能的新学习机器的合成，SVM学习问题研究的四个阶段 1989Vapnik&Che学习问题研究的四个阶段

解决不适定问题的理论：Tikhonov,Ivanov和Phillips发现解决不适定问题的正则化原则。密度估计的非参数方法：Parzen，Rosenblatt和Chentsov发现的非参数统计学。算法复杂度思想：Kolmogorov，Solomonoff和Chaitin发现的算法复杂性及其与归纳推理的关系。

学习问题研究的四个阶段 学习问题研究的四个阶段神经网络的创立（80年代）1986LeCun，Rumelhart，Hinton和Williams多层感知器的后向传播算法三个失败（自然语言翻译，通用问题求解器，大系统自动控制机）理论分析目标的简化,强调复杂理论无用，提倡简单的算法术语改变（感知器-神经网络）；与生理学家合作；构造利用大脑来推广的模型。1984可能近似正确（probablyapproximatelycorrect，PAC）模型，统计分析用于人工智能领域。学习问题研究的四个阶段神经网络的创立（80年代）学习问题研究的四个阶段回到起点（90年代）统计学习理论开始吸引更多学者结构风险最小化原则和最小描述长度原则成为一个研究热点小样本数理论开始展开。开始研究对任意数目的观测，如何得到最高的推广能力。学习问题研究的四个阶段回到起点（90年代）人物简介VladimirVapnik：1958年硕士毕业于苏联乌兹别克的UzbekStateUniversity1961~1990莫斯科控制科学研究所，计算机科学研究处的负责人AT&T实验室研究中心的技术领导；伦敦大学教授

人物简介VladimirVapnik：理论介绍:机器学习的基本问题机器学习问题表示

根据n个独立同分布观测样本:(x1,y1),(x2,y2),…,(xn,yn),

在一组函数中求一个最优的函数对依赖关系进行估计,使期望风险 最小理论介绍:机器学习的基本问题机器学习问题表示理论介绍:机器学习的基本问题经验风险最小化 学习的目标在于使期望风险最小化，传统的学习方法中采用了所谓经验风险最小化(ERM)准则,即用样本定义经验风险

作为对期望风险的估计,设计学习算法使它最小化用ERM准则代替期望风险最小化没有充分的理论论证理论介绍:机器学习的基本问题经验风险最小化理论介绍:机器学习的基本问题复杂性与推广能力过学习问题过学习现象原因：一是因为样本不充分,二是学习机器设计不合理,这两个问题是互相关联的。一个简单的例子,假设有一组实数样本{x,y},y取值在[0,1]之间,那么不论样本是依据什么模型产生的,只要用函数f(x,α)=sin(αx)去拟合它们(α是待定参数),总能够找到一个α使训练误差为零由此可看出,有限样本情况下,1)经验风险最小并不一定意味着期望风险最小;2)学习机器的复杂性不但应与所研究的系统有关,而且要和有限数目的样本相适应理论介绍:机器学习的基本问题复杂性与推广能力第13章-统计学习理论与支持机简介课件统计学习理论的核心内容统计学习理论就是研究小样本统计估计和预测的理论,主要内容包括四个方面:1)经验风险最小化准则下统计学习一致性的条件;2)在这些条件下关于统计学习方法推广性的界的结论;3)在这些界的基础上建立的小样本归纳推理准则;4)实现新的准则的实际方法(算法).其中,最有指导性的理论结果是推广性的界,与此相关的一个核心概念是VC维.统计学习理论的核心内容统计学习理论就是研究小样本统计估计和预统计学习理论的核心内容VC维直观定义:对一个指示函数集,如果存在h个样本能够被函数集中的函数按所有可能的种形式分开,则称函数集能够把h个样本打散;函数集的VC维就是它能打散的最大样本数目h例如，n维实数空间中线性分类器和线性实函数的VC维是n+1；f(x,α)=sin(αx)的VC维则为无穷大VC维反映了函数集的学习能力,VC维越大则学习机器越复杂(容量越大)尚没有通用的关于任意函数集VC维计算的理论统计学习理论的核心内容VC维统计学习理论的核心内容推广性的界经验风险和实际风险之间以至少1-η的概率满足如下关系该结论从理论上说明学习机器的实际风险是由两部分组成的:一是经验风险(训练误差),另一部分称作置信范围,它和学习机器的VC维及训练样本数有关它表明,在有限训练样本下,学习机器的VC维越高(复杂性越高)则置信范围越大,导致真实风险与经验风险之间可能的差别越大统计学习理论的核心内容推广性的界理论介绍:机器学习的基本问题结构风险最小化经验风险原则在样本有限时是不合理的,我们需要同时最小化经验风险和置信范围在传统方法中,选择学习模型和算法的过程就是调整置信范围的过程.因为缺乏理论指导,这种选择过分依赖使用者“技巧”结构风险最小化(StructuralRiskMinimization或译有序风险最小化)即SRM准则实现SRM原则可以有两种思路: 1）在每个子集中求最小经验风险,然后选择使最小经验风险和置信范围之和最小的子集;理论介绍:机器学习的基本问题结构风险最小化第13章-统计学习理论与支持机简介课件理论介绍:机器学习的基本问题 2）设计函数集的某种结构使每个子集中都能取得最小的经验风险(如使训练误差为0),然后只需选择选择适当的子集使置信范围最小理论介绍:机器学习的基本问题 2）设计函数集的某种结构使每支持向量机核心内容是在1992到1995年间提出的广义最优分类面SVM从线性可分情况下的最优分类面发展而来的基本思想可用两维情况说明：所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0),而且使分类间隔最大.使分类间隔最大实际上就是对推广能力的控制,这是SVM的核心思想之一支持向量机核心内容是在1992到1995年间提出的第13章-统计学习理论与支持机简介课件支持向量机公式表示最优超平面：假定训练数据(x1,y1)…(xl,yl),y=+1或-1可以被超平面分开。则，可以得到下面的紧凑形式表示的不等式： 使最小化的就是最优超平面支持向量机公式表示最优超平面：假定训练数据(x1,y1)…支持向量机拉格朗日函数对w和b求偏导数代入L函数，消去w和b支持向量机拉格朗日函数对w和b求偏导数代入L函数，消去w和b支持向量机最终的分类函数为： 其中：支持向量机最终的分类函数为：支持向量机支持向量机对非线性问题,可以通过非线性变换转化为某个高维空间中的线性问题在最优分类面中采用适当的内积函数K(xi,xj)取代点积，就可以实现某一非线性变换后的线性分类支持向量机支持向量机支持向量机高维空间的推广：支持向量机高维空间的推广：SVM与神经网络的类似性SVM与神经网络的类似性支持向量机核函数有三类多项式核函数，所得到q阶多项式分类器径向基函数(RBF)所得分类器采用Sigmoid函数作为内积

支持向量机核函数有三类支持向量机收敛算法标准chunking算法(投影共轭梯度PCG,二次的动态规划)分解算法SMO算法

支持向量机收敛算法应用领域模式识别方面贝尔实验室对美国邮政手写数字库进行的实验 人工识别错误率2.5%

决策树错误率16.2%

两层神经网络错误率5.9%

五层神经网络错误率为5.1%

应用领域模式识别方面应用领域

三种SVM方法(不同核函数)得到的错误率分别为4.0%、4.1%和4.2%

直接采用了16×16的字符点阵作为SVM的输入,并没有进行专门的特征提取说明:

不同的SVM方法可以得到性能相近的结果 三种SVM求出的支持向量中有80%以上是重合的应用领域 三种SVM方法(不同核函数)得到的错误率分别应用领域SVM与神经网络相结合对笔迹进行在线适应MIT用SVM进行的人脸检测实验也取得了较好的效果可以较好地学会在图像中找出可能的人脸位置人脸识别、三维物体识别用于识别的主动学习、基于支撑向量机的说话人确认系统、基于支持向量机与无监督聚类相结合的中文网页分类器、特征提取、特征选择和学习目标检测、遥感图像分析、图像分类、基于支持向量机的相关反馈图像检索算法应用领域SVM与神经网络相结合对笔迹进行在线适应应用领域非线性时间序列预测支撑向量决策树用于数据仓库、数据浓缩在函数拟合方面,主要实验尚属于原理性研究,包括函数逼近、时间序列预测及数据压缩等其它有关研究还有对SVM中优化算法实现的研究、改进的SVM方法甚至硬件实现研究等应用领域非线性时间序列预测网络资源//nips97/book.html/isabelle/Projects/SVM/applist.htmlhttp://kiew.cs.uni-dortmund.de:8001/mlnet/instances/81d91eaae1752fe0be/~jplatt/svm.htmlhttp://www.dcs.rhbnc.ac.uk/research/compint/areas/comp_learn/sv/index.shtml/projects/cbcl/res-area/theory/index-theory-learning.html网络资源http://www.kernel-machinesSupportVectors源程序Nearest

PointAlgorithm.bySathiyaKeerthi(inFORTRAN).SVM

JavaApplet.byChrisBurgesetal.BSVM.Adecompositionmethodforbound-constrainedSVMformulations.QP

SVMClassificationandRegression.FortranImplementation.ChunkingCode.byC.Saunders,M.O.Stitson,J.Weston,L.Bottou,B.Schölkopf,andA.SmolaatRoyalHolloway,AT&T,andGMDFIRST(Documentation).InteriorPoint

OptimizerforSVMPattern

Recognition.byAlexSmola.HeroSvm1.0.AhighperformanceDLLfortrainingSVMonaverylargetrainingsetefficiently.LEARNSC.SVM,NNandFLMATLABbaseduser-friendlyroutines.LIBSVM.AnSVMlibrarywithagraphicinterface.looms.aleave-one-outmodelselectionsoftwarebasedonBSVM.M-SVM.Multi-classsupportvectormachineforverylargeproblems.SupportVectors源程序SupportVectors源程序M-SVM.Multi-classsupportvectormachineforverylargeproblems.mySVM.SVMimplementationforpatternrecognitionandregression.mySVMandSVMlightforWindows.SVMimplementationforWindows,usesMicrosoftVisualC++6.0.mySVM/db.SVMimplementationtoberuninsideadatabase.Sequential

MinimalOptimization.byXianpingGe.SMOBR.SMOBRisanimplementationoftheoriginalSequentialMinimalOptimisationproposedbyPlattwritteninC++.SvmFu.byRyanRifkin.SVMLight.byThorstenJoachims.SVM/LOO.MatlabcodeforSVMincrementallearninganddecrementalunlearning(LOOvalidation).SVM/optima.SVMQProutinesinFortranforclassification/regression.SVMTorch.SupportVectorMachineforLarge-ScaleRegressionandClassificationProblems.Matlab

SVMToolbox.bySteveGunn.Matlab

SVMToolbox.MatlabimplementationinthestyleofSVMlight,cantrain1-normand2-normSVMs.OSUSVMClassifier

MatlabToolbox.AmatlabtoolboxwithaC++mexcoretofastimplementtheSVMclassifiers.SVMToolbox.ObjectOrientedMATLABSupportVectorMachineToolbox,includingC++MEXimplementationofthesequentialminimaloptimisationalgorithm.WinSVM.SVMprogramforrunningunderWindows.ItusesSMOalgorithm,soitisveryfastandeasytouse.WinSVM.SVMforwindows,easytouse.SupportVectors源程序模式识别统计学习理论与支持向量机简介模式识别统计学习理论与支持向量机简介要点实例学习能力与推广能力复杂性与推广能力期望风险最小化与期望风险最小化支持向量机原理要点实例学习能力与推广能力主要内容统计学习理论的研究内容学习问题研究的四个阶段人物简介统计学习理论的理论介绍应用领域网络资源主要内容统计学习理论的研究内容统计学习理论的研究内容人的智慧：实例学习能力与推广能力基于数据的机器学习问题：是现代智能技术中的重要方面研究通过对已知数据的学习，找到数据内在的相互依赖关系，从而对未知数据的预测或对性质进行判断统计学习理论的研究内容人的智慧：统计学习理论的研究内容目前机器学习方法存在的问题现有机器学习方法（模式识别、神经网络等）共同的理论基础之一是统计学传统统计学基础是样本数目趋于无穷大时的渐近理论,现有学习方法也多是基于此假设实际问题中,样本数有限的,因此理论上优秀的学习方法实际中表现不尽人意统计学习理论的研究内容目前机器学习方法存在的问题统计学习理论的研究内容统计学习理论：把学习问题看成是一个基于经验数据进行函数估计的一般问题，研究关于学习和推广性的统计理论的基本思想。针对小样本情况研究统计学习规律的理论，核心思想是通过控制学习机器的容量实现对推广能力的控制。SVM是基于统计学习理论而发明的一种工具。统计学习理论的研究内容统计学习理论：学习问题研究的四个阶段第一个学习机器的创立（60年代）起源与20世纪30年代的Fisher理论没有考虑归纳推断问题，不属于机器学习理论1962Rosenblatt第一个学习机器模型，感知器，感知器为神经元选择适当的系数1962Novikoff关于感知器的第一个定理，学习理论的开始。学习问题研究的四个阶段第一个学习机器的创立（60年代）学习问题研究的四个阶段应用分析学派认为，使学习机器具有推广能力的唯一因素是训练集误差最小，这是不言而喻的；理论分析学派认为需要更智能化的归纳原则。学习问题研究的四个阶段应用分析学派认为，使学习机器具有推广能学习问题研究的四个阶段学习理论的创立（60~70年代）其它类型学习机器：Widrow的Madaline自适应学习机；Steinbuch的学习矩阵等。作为解决实际问题的工具来研究，没有作为学习现象的一般模型。为了解决实际问题的的各种逻辑函数程序（决策树等）、隐马尔可夫模型有没有涉及一般学习现象的研究。

学习问题研究的四个阶段学习理论的创立（60~70年代）学习问题研究的四个阶段经验风险最小化原则的理论：

1968Vapnik&Chervonenkis模式识别问题的VC熵和VC维概念；泛函空间的大数定律，得到收敛速度的非渐进界；

1971Vapnik&Chervonenkis上述理论的证明，为结构风险最小化奠定基础。

1976~1981，实函数集VC熵和VC维概念；大数定律、完全有界的函数集和无界函数集一致收敛速度的界，以及结构风险最小化原则。

学习问题研究的四个阶段经验风险最小化原则的理论：学习问题研究的四个阶段

1989Vapnik&Chervonenkis经验风 险最小化归纳原则和最大似然方法的一致 性的充分条件。90年代，能够控制推广 性能的新学习机器的合成，SVM学习问题研究的四个阶段 1989Vapnik&Che学习问题研究的四个阶段

解决不适定问题的理论：Tikhonov,Ivanov和Phillips发现解决不适定问题的正则化原则。密度估计的非参数方法：Parzen，Rosenblatt和Chentsov发现的非参数统计学。算法复杂度思想：Kolmogorov，Solomonoff和Chaitin发现的算法复杂性及其与归纳推理的关系。

学习问题研究的四个阶段 学习问题研究的四个阶段神经网络的创立（80年代）1986LeCun，Rumelhart，Hinton和Williams多层感知器的后向传播算法三个失败（自然语言翻译，通用问题求解器，大系统自动控制机）理论分析目标的简化,强调复杂理论无用，提倡简单的算法术语改变（感知器-神经网络）；与生理学家合作；构造利用大脑来推广的模型。1984可能近似正确（probablyapproximatelycorrect，PAC）模型，统计分析用于人工智能领域。学习问题研究的四个阶段神经网络的创立（80年代）学习问题研究的四个阶段回到起点（90年代）统计学习理论开始吸引更多学者结构风险最小化原则和最小描述长度原则成为一个研究热点小样本数理论开始展开。开始研究对任意数目的观测，如何得到最高的推广能力。学习问题研究的四个阶段回到起点（90年代）人物简介VladimirVapnik：1958年硕士毕业于苏联乌兹别克的UzbekStateUniversity1961~1990莫斯科控制科学研究所，计算机科学研究处的负责人AT&T实验室研究中心的技术领导；伦敦大学教授

人物简介VladimirVapnik：理论介绍:机器学习的基本问题机器学习问题表示

根据n个独立同分布观测样本:(x1,y1),(x2,y2),…,(xn,yn),

在一组函数中求一个最优的函数对依赖关系进行估计,使期望风险 最小理论介绍:机器学习的基本问题机器学习问题表示理论介绍:机器学习的基本问题经验风险最小化 学习的目标在于使期望风险最小化，传统的学习方法中采用了所谓经验风险最小化(ERM)准则,即用样本定义经验风险

作为对期望风险的估计,设计学习算法使它最小化用ERM准则代替期望风险最小化没有充分的理论论证理论介绍:机器学习的基本问题经验风险最小化理论介绍:机器学习的基本问题复杂性与推广能力过学习问题过学习现象原因：一是因为样本不充分,二是学习机器设计不合理,这两个问题是互相关联的。一个简单的例子,假设有一组实数样本{x,y},y取值在[0,1]之间,那么不论样本是依据什么模型产生的,只要用函数f(x,α)=sin(αx)去拟合它们(α是待定参数),总能够找到一个α使训练误差为零由此可看出,有限样本情况下,1)经验风险最小并不一定意味着期望风险最小;2)学习机器的复杂性不但应与所研究的系统有关,而且要和有限数目的样本相适应理论介绍:机器学习的基本问题复杂性与推广能力第13章-统计学习理论与支持机简介课件统计学习理论的核心内容统计学习理论就是研究小样本统计估计和预测的理论,主要内容包括四个方面:1)经验风险最小化准则下统计学习一致性的条件;2)在这些条件下关于统计学习方法推广性的界的结论;3)在这些界的基础上建立的小样本归纳推理准则;4)实现新的准则的实际方法(算法).其中,最有指导性的理论结果是推广性的界,与此相关的一个核心概念是VC维.统计学习理论的核心内容统计学习理论就是研究小样本统计估计和预统计学习理论的核心内容VC维直观定义:对一个指示函数集,如果存在h个样本能够被函数集中的函数按所有可能的种形式分开,则称函数集能够把h个样本打散;函数集的VC维就是它能打散的最大样本数目h例如，n维实数空间中线性分类器和线性实函数的VC维是n+1；f(x,α)=sin(αx)的VC维则为无穷大VC维反映了函数集的学习能力,VC维越大则学习机器越复杂(容量越大)尚没有通用的关于任意函数集VC维计算的理论统计学习理论的核心内容VC维统计学习理论的核心内容推广性的界经验风险和实际风险之间以至少1-η的概率满足如下关系该结论从理论上说明学习机器的实际风险是由两部分组成的:一是经验风险(训练误差),另一部分称作置信范围,它和学习机器的VC维及训练样本数有关它表明,在有限训练样本下,学习机器的VC维越高(复杂性越高)则置信范围越大,导致真实风险与经验风险之间可能的差别越大统计学习理论的核心内容推广性的界理论介绍:机器学习的基本问题结构风险最小化经验风险原则在样本有限时是不合理的,我们需要同时最小化经验风险和置信范围在传统方法中,选择学习模型和算法的过程就是调整置信范围的过程.因为缺乏理论指导,这种选择过分依赖使用者“技巧”结构风险最小化(StructuralRiskMinimization或译有序风险最小化)即SRM准则实现SRM原则可以有两种思路: 1）在每个子集中求最小经验风险,然后选择使最小经验风险和置信范围之和最小的子集;理论介绍:机器学习的基本问题结构风险最小化第13章-统计学习理论与支持机简介课件理论介绍:机器学习的基本问题 2）设计函数集的某种结构使每个子集中都能取得最小的经验风险(如使训练误差为0),然后只需选择选择适当的子集使置信范围最小理论介绍:机器学习的基本问题 2）设计函数集的某种结构使每支持向量机核心内容是在1992到1995年间提出的广义最优分类面SVM从线性可分情况下的最优分类面发展而来的基本思想可用两维情况说明：所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0),而且使分类间隔最大.使分类间隔最大实际上就是对推广能力的控制,这是SVM的核心思想之一支持向量机核心内容是在1992到1995年间提出的第13章-统计学习理论与支持机简介课件支持向量机公式表示最优超平面：假定训练数据(x1,y1)…(xl,yl),y=+1或-1可以被超平面分开。则，可以得到下面的紧凑形式表示的不等式： 使最小化的就是最优超平面支持向量机公式表示最优超平面：假定训练数据(x1,y1)…支持向量机拉格朗日函数对w和b求偏导数代入L函数，消去w和b支持向量机拉格朗日函数对w和b求偏导数代入L函数，消去w和b支持向量机最终的分类函数为： 其中：支持向量机最终的分类函数为：支持向量机支持向量机对非线性问题,可以通过非线性变换转化为某个高维空间中的线性问题在最优分类面中采用适当的内积函数K(xi,xj)取代点积，就可以实现某一非线性变换后的线性分类支持向量机支持向量机支持向量机高维空间的推广：支持向量机高维空间的推广：SVM与神经网络的类似性SVM与神经网络的类似性支持向量机核函数有三类多项式核函数，所得到q阶多项式分类器径向基函数(RBF)所得分类器采用Sigmoid函数作为内积

支持向量机核函数有三类支持向量机收敛算法标准chunking算法(投影共轭梯度PCG,二次的动态规划)分解算法SMO算法

支持向量机收敛算法应用领域模式识别方面贝尔实验室对美国邮政手写数字库进行的实验 人工识别错误率2.5%

决策树错误率16.2%

两层神经网络错误率5.9%

五层神经网络错误率为5.1%

应用领域模式识别方面应用领域

三种SVM方法(不同核函数)得到的错误率分别为4.0%、4.1%和4.2%

直接采用了16×16的字符点阵作为SVM的输入,并没有进行专门的特征提取说明:

不同的SVM方法可以得到性能相近的结果 三种SVM求出的支持向量中有80%以上是重合的应用领域 三种SVM方法(不同核函数)得到的错误率分别应用领域SVM与神经网络相结合对笔迹进行在线适应MIT用SVM进行的人脸检测实验也取得了较好的效果可以较好地学会在图像中找出可能的人脸位置人脸识别、三维物体识别用于识别的主动学习、基于支撑向量机的说话人确认系统、基于支持向量机与无监督聚类相结合的中文网页分类器、特征提取、特征选择和学习目标检测、遥感图像分析、图像分类、基于支持向量机的相关反馈图像检索算法应用领域SVM与神经网络相结合对笔迹进行在线适应应用领域非线性时间序列预测支撑向量决策树用于数据仓库、数据浓缩在函数拟合方面,主要实验尚属于原理性研究,包括函数逼近、时间序列预测及数据压缩等其它有关研究还有对SVM中优化算法实现的研究、改进的SVM方法甚至硬件实现研究等应用领域非线性时间序列预测网络资源//nips97/book.html/isabelle/Projects/SVM/applist.htmlhttp://kiew.cs.uni-dortmund.de:8001/mlnet/instances/81d91eaae1752fe0be/~jplatt/svm.htmlhttp://www.dcs.rhbnc.ac.uk/research/compint/areas/comp_learn/sv/index.shtml/projects/cbcl/res-area/theory/index-theory-learning.html网络资源http://www.kernel-machinesSupportVectors源程序Nearest

PointAlgorithm.bySathiyaKeerthi(inFORTRAN).SVM

JavaApplet.byChrisBurgesetal.BSVM.Adecompositionmethodforbound-constrainedSVMformulations.QP

SVMClassificationandRegression.FortranImplementation.ChunkingCode.byC.Saunders,M.O.Stitson,J.Weston,L.Bottou,B.Schölkopf,andA.SmolaatRoyalHolloway,AT&T,andGMDFIRST(Documentation).InteriorPoint

OptimizerforSVMPattern

Recognition.byAlexSmola.HeroSvm1.0.AhighperformanceDLLfortrainingSVMonaverylargetrainingsetefficiently.LEARNSC.S