基于MATLAB的SVR回归模型的设计与实现

湖南大学毕业设计（论文）第1页第一章绪论支持向量机（SVM）是根据统计学习理论提出的一种新的学习方法。其具有理论完备、适应性强、全局优化、训练时间短、泛化性能好等诸多优点，已经成为目前国内外研究的热点。本课题研究的SVR就是支持向量机在函数回归中的应用。课题的背景基于支持向量的学习是现代智能技术中的重要方面，研究从观测数据（样本）出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测.包括模式识别、神经网络等在内，现有支持向量机器学习方法共同的重要理论基础之一是统计学.传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设.但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意.与传统统计学相比，统计学习理论（StatisticalLearningTheory或SLT）是一种专门研究小样本情况下机器学习规律的理论.V.Vapnik等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架.它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题等）；同时，在这一理论基础上发展了一种新的通用学习方法支持向量机（SupportVectorMachine或SVM），它已初步表现出很多优于已有方法的性能。通过结果风险最小化准则和核函数方法，较好地解决了模式分类器复杂性核推广性之间的矛盾，引起了模式识别领域学者的极大关注。从此迅速的发展起来，现在已经在许多领域（生物信息学，文本分类、手写体识别、人脸检测等）都取得了成功的应用，并且在研究过程中，取得了与传统方法可比或更好的结果，还丰富了自身的内容（如快速训练算法等），从而更加推动了它在其他模式点，在模式识别、回归估计、函数逼近等领域有了广泛的应用。本课题就是研究它在回归估计中的应用。国内外研究状况及成果支持向量机一经提出，就得到国内外学者的高度关注。虽然支持向量机发展时间很短，但是由于它的产生是基于统计学习理论的，因此具有坚实的理论基础。近几年涌现出的大量令人瞩目的理论研究成果，更为其应用研究奠定了坚实基础。如Anthonyetal.(1999)等人给出了关于硬邻域支持向量机学习误差的严格理论界限，Shawe-Taylor(2000)和Cristianini(2000)也给出了类似的关于软邻域支持向量机和回归情况下的误差界限；Westonetal.(1998)和Vapnik(1995，1998)等研究了支持向量机的泛化性能及其在多值分类和回归问题的扩展问题；Smola(1998)和Schoelkopf(1999)提出了支持向量机一般意义下的损失函数数学描述；脊回归是由Tikhonov提出的一种具有特殊形式的正则化网络，Girosi(1990)、Poggio(1975)等将其应用到正则化网络的学习中，Smolaetal.(1999)研究了状态空间中脊回归的应用，Girosi(1990)、Smola(1998)、Schoelkopf(1999)等讨论了正则化网络和支持向量机的关系。随着支持向量机理论上深入研究，出现了许多变种支持向量机，如Smolaetal.(1999)提出的用于分类和回归支持向量机。另外，一些学者还扩展了支持向量机概念，如Mangasarian(1997)等人的通用支持向量机(GeneralisedSVMs)。虽然SVM方法在理论上具有很突出的优势,但与其理论研究相比,应用研究尚相对比较滞后,到目前，SVM已用于数据分类、回归估计、函数逼近等领域.应用最为广泛的当属模式识别领域，在模式识别方面最突出的应用研究是贝尔实验室对美国邮政手写数字库进行的实验,这是一个可识别性较差的数据库,人工识别平均错误率是2.5%,用决策树方法识别错误率是16.2%,两层神经网络中错误率最小的是5.9%,专门针对该特定问题设计的五层神经网络错误率为5.0%(其中利用了大量先验知识),而用三种SVM方法得到的错误率分别为4.0%、4.1%和4.2%,且其中直接采用了16X16的字符点阵作为SVM的输入,并没有进行专门的特征提取。说明了SVM方法较传统方法有明显的优势,同时也得到了不同的SVM方法可以得到性能相近的结果。实验还观察到，三种SVM求出的支持向量中有80%以上是重合的，它们都只是总样本中很少的一部分，说明支持向量本身对不同方法具有一定的不敏感性（遗憾的是这些结论仅仅是有限的实验中观察到的现象，如果能得到证明，将会使SVM的理论和应用有更大的突破）。围绕这一字符识别实验，还提出了一些对SVM的改进，比如引入关于不变性的知识、识别和去除样本集中的野值、通过样本集预处理提高识别速度等，相关的应用还包括SVM与神经网络相结合对笔迹进行在线适应.除此之外,MIT用SVM进行的人脸检测实验也取得了较好的效果，可以较好地学会在图像中找出可能的人脸位置.其它有报道的实验领域还包括文本识别、人脸识别、三维物体识别、遥感图像分析等，在函数回归估计方面主要用于非线性系统识别问题、时间序列预测、机场游客吞吐量的预测问题及多维自由曲面的重建问题等。课题研究目的设计本课题的目的在于训练和提高自己综合运用所学专业知识分析、解决实际问题的能力；掌握文献检索、资料查询的基本方法以及获取新知识的能力；运用计算机软件进行系统设计和开发的基本能力。系统利用支持向量回归相关理论知识和编程技能，利用MATLAB开发平台和相关的统计学工具箱及支持向量回归算法，设计改进并实现基于MATLAB的SVR回归模型的实验系统，通过运用M文件编写回归算法、GUI组件编写主界面、编写程序和装载数据文件完成实验界面的各个功能。从而熟悉了MATLAB编程、GUI组件编写用户界面以及回归算法的程序实现，同时也了解了支持向量回归算法在实际问题预测模型中的应用。课题采用的开发工具本课题采用Matlab开发平台，用Matlab程序编写回归算法和GUI组件编写用户界面来实现支持向量回归模型的设计。湖南大学毕业设计（论文）湖南大学毕业设计（论文）第#页表4.3.2多项式核函数多项式次数惩罚系数C不敏感系数£输入向量个数支持向量个数回归性能3100.01201785%4100.01201365%3100.0012020100%5100.01201050%结论：从表中可以看出不敏感系数£的增大，支持向量个数减少，对应回归性能下降。多项式次数的选择要看数据的分布，并不是次数越高，回归性能越好。表4.3.3高斯径向基核函数径向基宽度惩罚系数C不敏感系数£输入向量个数支持向量个数回归性能0.5100.01251456%1100.01252080%0.3100.01251352%0.4100.01251144%1.2100.01252184%1.2100.005252496%结论：由图可以看出径向基宽度对性能的影响并不是简单的单调递增或是递减。径向基宽度从0.3到0.4再到0.5，其支持向量的个数先减少再增加。其不敏感系数£从0.01减小到0.005，支持向量个数增加，回归性有所提高。结束语基于支持向量机方法的回归估计以可控制的精度逼近任一非线性函数，同时具有全局最优、良好的泛化能力等优越性能，因此支持向量机的应用非常广泛。目前支持向量机主要应用在金融时间序列预测（如股票预测、期货预测等）和非线性系统参数辨识、建模与控制等一些方面。本文针对回归问题，描述了支持向量机的基本方法、理论、回归算法及当前国内外对于支持向量回归的研究内容、方向。总结了设计支持向量回归机的模型选择方面的进展。模型选择包括核函数的选择、模型正则化参数C、不敏感参数£、核参数Y等方面内容。核函数的选择是支持向量机理论研究的一个核心问题。在实际应用中,RBF核函数是目前在支持向量机中被应用得最广泛的一种核函数。对于初学者来说,RBF核无疑是优先考虑的核函数之一。当然,在实际应用中也可以采用多种核函数进行比较研究,通过模型的性能指标,选出推广性能最优的一种核函数。在固定的核函数情况下,模型参数的调整与确定又成为支持向量回归机设计的关键一环。模型参数调整方法包括经验方法和理论方法等方面。最后还对几种常见的核函数的不同参数、回归模型的参数对支持向量个数和回归性能做了比较。如何针对特定问题,选择最佳的核函数和最优的一组模型参数仍是一个难以解决的问题。模型选择的标准作为支持向量机及其应用的核心内容之一,有待进一步研究。大学本科的学习生活即将结束，在此，我要感谢所有曾经教导过我的老师和关心过我的同学，他们在我成长过程中给予了我很大的帮助。本文能够成功的完成，要特别感谢我的导师钟清流副教授。虽然仅仅相处了一个学期，但是钟老师严谨的治学态度、平易近人的学者风范，已使我受益匪浅。他无论在理论上还是在实践中，都给予了我很大的帮助，对我耐心地指导，使我得到了不少的提高，这对我以后的工作和学习都有巨大的帮助。七月，我将踏上工作岗位，即将离开培养我四年的湖大，在此我再次真心地感谢曾经传授给我知识，更给我人生哲理的敬爱的老师们，还有一起生活，一起学习的同学。谢谢你们让我拥有了一段充实的、精彩的大学生活。最后还要感谢我的父母，是他们一直在背后支持着我。参考文献飞思科技产品研发中心MATLAB6.5应用接口编程电子工业出版社朱明等机器学习与数据挖掘:方法和应用电子工业出版社闪四清陈茵程雁等数据挖掘—概念、模型、方法和算法清华大学出版社郑南宁计算机视觉与模式识别国防工业出版社SergiosTheodoridis,KonstantinosKoutroumbas模式识别〔英文版•第2版〕机械工业出版社J.P.MarquessdeSa模式识别—原理、方法及应用清华大学出版社李人厚张平安等译精通Matlab综合辅导与指南西安交通大学苏金明，王永利；MATLAB7.0实用指南；北京：电子工业出版社，2003.7⑼MargareH.Dunhan；数据挖掘教程；郭崇慧，田风占，靳晓明等译；北京：清华大学出版社；2005.5史忠植；知识发现；北京；清华大学出版社；2002.1李雄飞，李军；数据挖掘与知识发现；高等教育出版社；2003.11邓乃扬，田英杰著；数据挖掘中的新方法；北京；科学出版社；2004.6邵惠鹤•支持向量机理论及应用【J】.自动化博览，二十周年纪念文集：90—95.谭东宁，谭东汉•小样本机器学习理论：统计学习理论【J】•南京理工大学.JohnCplatt.SequentialMinimalOptimization:AFastAlgorithmfortraimingSupportVectormachines,TechnicalReportMSR-TR-98-14,April,211998.孙即祥•现代模式识别【M