（控制理论与控制工程专业论文）支持向量机模型参数的研究.pdf

摘要 摘要 支持向量机以其深厚的理论基础和良好的实际应用性能而成为机器学习研 究中的新热点，它可以通过自身的模型参数而控制其学习能力和泛化能力。但 由于缺乏模型参数与支持向量机性能之间定量的显式关系表达式，因此模型参 数选择是支持向量机应用中的一个困难而重要的问题。 本文首先简明、系统地介绍了支持向量机的机理、基本概念、模型描述等 有关基本知识和研究现状；然后以金融市场为背景，对标准支持向量回归机模 型参数的选择进行了较深入、细致地研究，主要做了以下几个方面工作： 1 进行了大量仿真实验，在此基础上对标准支持向量回归机模型参数如何 影响其学习泛化性能进行了比较系统的研究与分析； 2 通过引入中间变量，对模型参数对其性能的影响进行了逻辑定性分析与 解释，并得出模型参数选择的基本原则； 3 根据所得出的模型参数选择基本原则，设计了基于遗传算法的模型参数 估计算法；此算法最大的优点是能够根据实际需要，在保证一定的趋势预测准 确率条件下，获得较好的预测精度，即具有较小的预测误差： 4 根据对所引入的中间变量的分析，设计了基于最小二乘模型参数调整算 法，此算法可以改变标准支持向量回归机学习能力和泛化能力之间的不对称程 度，从而获得较好的泛化能力； 5 在基于最小二乘模型参数调整算法的基础之上，设计了动态调整在线预 测算法。 关键词：结构风险最小化；支持向量机；模型参数；学习泛化能力；遗传算法 a b s t r a c t s u p p o r tv e c t o rm a c h i n ew i t hi t sd e e pt h e o r i e sf - o u n d a t i o na n dg o o do fp h y s i c a l l y a p p l i e d 如n c t i o nh a sb e c o m et h ef o c u so fm a c h i n e1 e a mr e s e a r c h 。l tc a nc o n t r o li t s a b i l i t yf o r1 e a ma 1 1 de x p a n s i o nt h m u g ht h em o d e lp a r a m e t e ro f i t s e l f 。b u t ，b e c a u s eo f 1 a c k i n g t h eo b v i o u sr e l a t i o n e x p r e s s i o n b e t w e e nt h em o d e l p a r a m e t e r a n d p e r f o n n a n c eo fs u p p o r tv e c t o rm a c h i n e ，t 1 1 em o d e lp a r a m e t e rc h o i c ei sa d i 衔c u l tb u t i m p o r t a n tp r o b l e mi n 印p l i c a t i o nf o rs u p p o nv e c t o rm a c h i n e 。 i nt h i st e x t ， f i i 丐t l y ， h a v es y s t e m a t i c a l l yi n t r o d u c e dt h er e l e v a n tb a s i ck n o w l e d g e a b o u tm e c b a 而s m ，b a s i cc o n c 印t ，a n dm o d e ld e s c p j o no f s u p p o nv e c t o rm a c b j 力e ； a n dt h e n ，t a k i n gf i n a j l c i a lm a r k e ta sb a c k f o u n d ，m o r ed e e p l ya n dp a n j c u l a r l y r e s e a r c ht l l em o d e lp a r a m e t e rc h o i c eo fs t a i l d a r d s u p p o nv e c t o rr e g r e s s i o n m a c h i n e ，a j l dd om ef 0 1 l o w i n gf e wa s p e c tw o r k s ： 1 o nt h ee x p “m e n t a t i o nf 0 1 1 1 1 d a t j o n ， s y s t e m a t i c a l l yr e s e a r c ha 1 1 da 1 1 a l y s eh o w t h e m o d e lp a r 锄e t e ro fs t a j l d a r ds u p p o r tv e c t o rr e g r e s s i o nm a c h i n ea f f e c t si t s1 e a n l a 1 1 de x p a n s i o np e r f b 姗a i l c e ； 2 p a s s i n gi n t r o d u c i n gm i d d l ev a r i a b l e s ，1 0 9 i c a n ya n dq u a l i t a t i v e l ya j l a l y s ea n d e x p l a i nt h em o d e lp a r 锄e t e ra st oi t si n n u e n c eo nt h ep e 、o m a l l c e ， a j l dg e tt h eb a s i c p r i n c j p 】ea b o u tt h em o d e 】p 猢e t e rc h o j c e ； 3 a c c o r d i n gt ot h em o d e lp a r a m e t e rc h o i c ep r i n c i p l e ，w h i c hh a sb e e f lg a i n e d ， d e s i g l le s t i m a t i n ga l g o r i t h m ，w h i c hi sa b o u ts t a n d a r ds u p p o nv e c t o rr e 孕e s s i o n m a c h i n ea j l db a s e do ng a ；t h i se s t i m a t i n ga l g o r i t h mh a st h eb i g g e s ta d v a j l t a g e ， w h i c hi st h a ti tc a na c q u i r eb e t t e rf o r e c a s ta c c u r a c yc o n t r o la b i l i t yl h l d e r 廿l ec o n d i t i o n t h a tt h ec e n a i n 仃i m df o r e c a s ta c c u r a c yi sp m m i s e d ， n a m e l yh a ss m a l l e rf o r e c a s t e r r o r ： 4 a c c o r d i n gt o t h ea n a l y s i so ft h em i d d l ev a r i a b l e s ， d e s i g na d j u s t e dm o d e l p a r 锄e t e ra l g o r i m mb a s e do nl s ， a n dt l l i sa l g o t 1 1 n 1c a nc b a n g et h ed i s s y m m e t r y d e g r e eb e “v e e n1 e a r na b i l j t ya n de x p a n s j o na b i 】i t y f o rs t a n d a r ds u p p o r tv e c t o r r e 擘e s s i o nm a c h i n e ，s og a i nb e t t e re x p a n s i o na b j l i t y 。 a b s i r a c t 5 o nt h ea d j u s l e dm o d e lp a r a m e i e ra l g o t h mb a s e do nl s ， d e s i g nd y n a m j c a l l y a d j u s t a b l ea n do n - 1 i n ef b r e c a s ta l g o n t 。 k e y w o r d ：s t r u c r u r e 刚s km i n i m u m ：s u p p o nv e c t o rm a c h i n e ：m o d e lp a r a m e t e r l e a ma n de x p a n s i o np 。r f o 肿a l 】c e ：g a 南开大学学位论文版权使用授权书 本人完全了瓣鬻开大学关予收集、缀存、使用举位论文的规定， 爨意如下各项内容：按照学校要求提交学位圣人文懿露捌本程电子版 本；学校有权保存学位论文酶印刷本和电子版，并采溺影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或赣郝分的阅览暇务；学校有权按有关媲定囱国家鸯 关部门或者辊构送交论文的复印件鞠电子敝；在不以赢潮为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文佟者签名：羔t 秀穴 气舻年岁胃“日 经据器教炳霹意，本学位论文属予保密，在年鼹密蜃透阕 本授较书。 指导教师签名：学像论文僚者签名： 解密时闻：年胃目 各密缀的最长保密年限及书写格式规定如下： 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名芳l 纯秋 御5 年岁月沥日 第一章引言 第一章引言 第一节统计学习理论与支持向量机 基于数据的机器学习是继专家系统之后人工智能应用的又一重要研究领 域，也是现代智能计算技术的一个重要分支，主要研究如何从一些观测数据( 样 本) 挖掘出目前尚不能通过原理分析得到的规律，利用这些规律去分析客观对 象，对未来数据或无法观测的数据进行预测。现有的机器学习方法的共同理论 基础之一就是统计学。传统的统计学是在样本数足够多的这一前提下进行研究 的，所提出的各种方法都只有在样本数目趋于无穷大时才能有理论上的保证。 但是在实际问题中，样本数往往是有限的，这时很多方法都难以取得理想的效 果。另外，在传统的统计学研究中，将经验风险最小化作为解决问题的基本思 想，即经验风险最小化原则( e m p 埘c a lr i s km i n i m i z a t i o n 简称e r m ) 。但是这样 一来存在两个方面的问题，一方面，经验风险r 一只有在大数定理的保证下才 能与期望风险r 在概率上保持一致；另一方面，即使我们得到在样本数目无穷 大时趋近r 的r 。，也不能保证在有限样本情况下仍然得到好的效果。因而 在实际应用中，研究在小样本数据量下的统计学习规律是一个非常有实用价值 的问题。 以v n v a 口n i l ( 为代表的学习过程理论分析学派早在2 0 世纪6 0 年代就开始 研究有限样本情况下的机器学习问题。由于涉及艰涩的数学理论和方法论上的 重大革新，9 0 年代以前并没有提出能够将其理论付诸实现的方法，加之当时正 处在其他学习方法飞速发展的时期，因此这些研究并没有得到充分的重视。9 0 年代初期，有限样本的机器学习理论逐渐成熟起来，形成了一个较为完善的理 论体系统计学习理论( s t a t i s t i c a ll e 帅i n 21 1 1 e o r y ，简称s u ) 。小样本统计 学习理论基于结构风险最小化原则( s t n l c t i l r a lr i s km i n i m i z a t i o n ，简称s r m ) ， 在寻求经验风险小最小化的同时，寻求置信范围的最小化，因而具有良好的学 习推广能力。而同时神经网络( a n n ) 等较新的机器学习方法的研究遇到了一 些困难，如神经元网络结构的确定、过学习和欠学习、局部极小点等问题都是 很难解决的问题。在这种情况下，试图从更本质上研究机器学习问题的统计学 习理论逐步得到重视【2 】【3 】【4 】。 第一章引言 1 9 9 2 年至1 9 9 5 年，在统计学习理论的基础上发展出了一种新的模式识别方 法支持向量机( s u p p o n v e c t o r m a c h i n e ，简称s v m ) ，其是统计学习理论中 最年轻的部分，在解决小样本、非线性及高维模式识别问题中表现出许多特有 的优势，并且在其它很多领域得到了成功的应用，如人脸检测、手写体数字识 别、文本自动分类、非线性回归建模、数据压缩及时间序列预测等，因而支持 向量机己成为继神经网络后机器学习中新的研究热点。 目前，支持向量机研究现状如下： 1 支持向量机模型本身的研究 对于分类问题中二分类问题，已有相应的标准支持向量分类机模型加以解 决，即c 支持向量分类机，另外在此基础之上加以改进所得到的v 支持向量分 类机：对于多分类问题，由于s v m 方法是从二分类问题推导出来的，因而在解 决多分类问题时会遇到困难，将s v m 方法延伸到多分类问题目前还处于初步研 究阶段6 1 。 对于回归问题的解决，标准支持向量回归机模型是e 支持向量回归机f 简称 es v r ) ，在此模型基础上改进的有v 支持向量回归机，l ss v r ( 最小二乘支持 向量回归机) ，ws v r ( 加权支持向量回归机) 以及基于线性规划的支持向量回归 机等【7 o 2 支持向量机模型训练算法的研究 支持向量机模型的求解实质上可以归为一个二次规划的求解问题，对于二 次规划求解算法，当数据规模不大时可采用对偶算法、内点算法 7 】【8 】【9 】等，但是 当训练集的规模很大时，这些算法便面临着维数灾难，或者由于内存的限制， 而导致无法训练，因而常规的二次规划问题算法就无法处理这种情况。为此， 为了减少s v m 学习方法的计算复杂性，利用s v m 优化问题本身所具有的特性， 近年来，研究人员提出了几种改进的针对大规模训练集的支持向量机训练算法， 主要有3 大类心1 ：以s m o 算法为代表的分解算法，以e g 算法为代表的 多变量更新算法，以i d a 为代表的序列方法；另外，还有许多学者改变了标准 s v m 的优化目标，把二次型优化问题转化为线性优化问题。 3 支持向量机模型参数选择的研究 参数选择问题是随着机器学习算法的研究而同时出现的。支持向量机算法 也不例外，支持向量机的性能依赖于求解二次规划中的核参数和惩罚因子，特 别地，对于e 支持向量回归机，参数e 对其性能也有着重要的影响。 第一章引言 由于支持向量机是建立在可以理论描述的结构风险最，j 、化基础之上的，因 此更加促使人们去寻找能够指导支持向量机参数选择的理论方法。然而，在目 前来讲，还没有简单、快速、准确有效的方法，能够很好地估计支持向量机的 推广能力，更不用说表达为支持向量机参数的显示表达式，且随参数的变化能 够连续、可微了。这就使得支持向量机的参数选择仍是一个研究难题。 现有的支持向量机选择方法主要是近似支持向量机的推广能力估计方法， 将估计结果表示为参数的显示表达式，且能够满足诸如梯度法之类的最优化方 法的要求来选择参数f 1 4 】，其中交叉验证方法为主流的参数选择方法【1 5 】【7 】o 其它的一些方法我们将在第二章进行简要介绍。 第二节本文研究内容及结构安排 众所周知，在金融市场中，回归预测具有非常重要的实际应用价值，并且 由于金融市场是一个典型的复杂自适应系统，如何根据金融市场实际数据环境 建立可调的回归预测模型则显得很重要。已有的研究结果表明4 1 【7 】，支持向量 回归机模型具有良好的学习与推广性能，并且其参数能有效地控制经验风险和 置信风险，因而支持向量回归机模型非常适合应用于金融市场回归预测分析中。 支持向量回归机模型参数对其学习与推广性能有着重要的影响，可以认为 模型参数控制着预测结果的质量，因而，在金融市场回归预测分析中，如何根 据金融市场实际数据环境确定模型参数则具有重要的理论与实际应用价值，本 文尝试根据金融市场实际数据环境来进行标准支持向量回归机【7 】模型参数选择 这一方面的研究。 本文主要的工作如下： 1 在进行了大量实验基础上，对标准支持向量回归机模型参数如何影响其 学习泛化性能进行了比较系统的研究与分析； 2 通过引入中间变量，对模型参数对其性能的影响进行了逻辑定性分析与 解释，并得出模型参数选择的基本原则： 3 根据所得出的模型参数选择基本原则，设计了基于遗传算法的标准支持 向量回归机模型参数求解算法； 4 根据对所引入的中间变量的分析，设计了利用最小二乘来调整中间变量 而改变标准支持向量回归机学习能力和泛化能力之间的不对称程度的算法； 第一章引言 5 在4 的基础之上，我们设计了动态调整在线预测算法。 本文结构安排如下： 第一章引言 简明介绍了支持向量机的机理、基本概念和研究现状；阐述了本文的结构 和主要工作。 第二章支持向量机与遗传算法简介 主要介绍了统计学习理论中的结构风险最小化原则，以及基于此原则设计 的新的机器学习方法支持向量分类机和回归机；另外，对遗传算法进行了简单 介绍。 第三章基于金融市场数据的es v r 模型参数实验分析 在实验基础之上，比较系统地分析了e - s v r 模型参数对其性能的影响，并 通过引入中间变量，得出了es v r 模型参数选择的基本原则。 第四章基于金融市场数据的es v r 模型参数求解 在第三章的基础之上，设计了两种es v r 模型参数求解算法，并通过实验 验证了这两种算法具有一定的有效性。 第五章结论与展望 ：1 j - ，m 7 * 一 l 一一l 1 f 1 王x 坦1 jj1 日j 耍h _ 思 卣，升佰出r 阪丌削异弦纵进一歹以进州地力利诅 得进一步研究的方向。 第二章支持向量机与遗传算法简介 第二章支持向量机与遗传算法简介 在统计学习理论的基础上发展出了一种新的模式识别方法支持向量机 ( s u p p o n v e c t o rm a c h i n e ，简称s v m ) ，其在解决小样本、非线性及高维模式识 别问题中表现出许多特有的优势，并在很多领域得到了成功的应用，如人脸检 测、手写体数字识别、文本自动分类、非线性回归建模、数据压缩及时间序列 预测等。 本章首先介绍统计学习理论中的结构风险最小化原则，然后介绍基于此原 则而设计的支持向量分类机和回归机模型，接着介绍对支持向量机性能有着重 要影响的已有的模型参数确定方法，最后简单介绍一下遗传算法。 第一节结构风险最小化原则 根据文献 3 】，在机器学习中，l m 是学习机，能在一组函数集f ( x ，a ) ，a a ( 其中a 是参数集合) 中选择出能够使输出y 最好地逼近训练响应y 的函数f ( x ， ao ) 。训练之后的学习机器必须对任意输入x 给出输出y ，使期望风险r ( o ) 最 小： r ( 口) = l l ( y ，f ( x ，口) ) d f ( x ，y )( 2 1 ) 其中，f ( x ，o ) ，a 人称为学习函数集或预测函数集，o 为函数的广义参数。 l ( y ，f ( x ，a ) ) 为在给定输入x 下训练器输出y 与学习器给出的f ( x ，a ) 之间损失的 期望，f ( x ，y ) 为未知的联合概率分布函数。 更一般的定义如下： 定义2 1 设有定义在空间z 上的概率测度f ( z ) ，考虑函数的集合q ( z ，o ) ， o 人，学习的目标是最小化风险泛函 r ( 口) = i q ( z ，口) ) d f ( z ) ， qe 人 ( 2 2 ) 其中概率测度f ( z ) 未知，但给定了独立分布样本 z l ，z 2 ，人，2 l ( 2 3 ) z 代表了数据对( x ，y ) ，q ( z ，a ) 就是不同的损失函数。 第二章支持向量机与遗传算法简介 由于式( 2 2 ) 中的f ( z ) 是未知的，从而在传统机器学习中，用经验风险r 。( o ) 最小化来代替期望风险r ( o ) 最小化，从而求得学习机器的参数。的方法，这就 是所谓的经验风险最小化( e r m ) 原则。其中： r 。，( a ) ：窆q ( z 。，口) l 卢】 ( 2 4 ) 事实上，用e r m 准则代替期望风险最小化并没有经过充分的理论论证，只 是直观上合理的想当然做法。没有理论保证在样本无穷大条件下得到的学习机 器在样本有限的情况下仍能有好的效果。另一方面概率论中的大数定律只是说 明( 在一定条件下) 当样本趋于无穷多时，r 锄p ( n ) 将在概率意义上趋近于r ( a ) ， 并不保证。( a ) 和r ( a ) 在同一点上取得最小值。另外在实际研究当中，某些 情况下，当训练误差过小反而会导致推广能力的下降，这就是所谓的过学习问 题。例如，在神经网络中，如果对于有限的训练样本来说网络的学习能力过强， 足以记住每一个训练样本，此时经验风险很快就可以收敛到很小甚至零，但我 们却根本无法保证它对未来新的样本能够得到好的预测。这就是有限样本情况 下学习精度和推广性之间的矛盾。 由于e r m 准则带有经验性质和缺乏理论指导，因而统计学习理论通过引入 结构风险最小化( s t r u c t u r a lr i s km i n i m i z a t i o n ，简称s r m ) 原则【4 1 来取代e r m 准 则。以下就介绍s r m 原则的来龙去脉。 根据文献【7 】，有以下结论： 设h 为函数集s 的v c 维，n 是训练集所含的样本个数，当 n h ( 2 5 ) m 啐邶+ l n 昙去 亿s ， 成立时，则对任意的概率分布p ( x ，y ) 和任意的6 ( o ，1 ，函数集s 中的任意 函数f 都可使得下列不等式至少以1 6 的概率成立 脚) o 是事先给定的。图2 6 画出了e 不敏感损失函数的图像。 第二章支持向量机与遗传算法简介 t h ， j 。 、一， 图26e 不敏感损失函数 e 不敏感损失函数的含义是，当x 点的观察值y 与预测值f ( x ) 的差的绝对值 不超过e 时，则认为在x 点预测值f ( x ) 是无损失的，即使观察值y 与预测值f ( x ) 可能并不完全相等。如图2 7 f ( x ) 为单变量线性函数 f ( x ) = 洄x ) + b( 2 2 8 ) y o 图2 7 e 一带 当样本点位于两条细线之间的带子里时，则认为在该点没有损失，我们称 这两条细线构成的带子为e 带，当样本点位于e 带之内时，没有损失，仅当样 第二章支持向量机与遗传算法简介 本点位于e 带之外时，才有损失出现。如图27 中的样本点“x ”，其坐标为f x + y + ) ，则点“x ”的损失为= y + 一i ( x + ) 一。 2 3 3 标准支持向量回归机简介 e 支持向量回归机就是使用e 不敏感损失函数的支持向量回归机。和e 支 持向量回归机相对应的原始最优化问题为： 示向 。踺扣1 2 + c 萋( 茧啮+ ) s t ( 珊妒( x ，) ) + b y s 占+ 孝。，i = 1 ，2 ，。一，1 ( 2 2 9 ) y 。一( 国妒( x 。) ) 一b 十苣，i = l ，2 ，一，】 舌”o ，i - 1 ，2 ，l 其中缈r 。，b r ，妒是将输入空间映射到高维特征空间的一个映射，p ) 表 量有号和无+ 号两种情况的简单记号，例如舌+ o 意味着孝o 和点o f ”= ( 卣，高+ ，乞，乞，专，卣) 7 。下面推导出问题( 2 2 9 ) 的对偶问题。 问题( 2 2 9 ) 的拉格朗日函数为 l ( ，b ，a ) = 寺l l 国0 2 + c ( 专+ 考) 一口。 占+ 毒，十y i 一( 国妒( x 。) ) 一b f 。1- 1 。 ( 2 3 0 ) ft ”， 一a ，+ 十专一，。+ ( 妒( x ) ) + b 卜( ，i 专十y 专) 忙j 卢1 其中口= ( 口l ，口1 + ，a 2 ，口2 ，一，a l ，口l ) 7 o ，y + = ( y l ，n ，y 2 ，2 + ，y 1 ，y l ) 1 o 为拉格朗日乘子。由于在鞍点处的、b 和f 的梯度为零，因此 象= 棚一妻( 西飞) = o j 由毒耳q 融) ( 2 3j ) 等= 和q ( 2 3 2 ) 第二章支持向量机与遗传算法简介 刍_ c _ 训一_ _ o ，i = l ，2 ，l ( 2 3 3 ) 把式( 2 3 1 ) 一( 2 3 3 ) 代入到( 2 3 0 ) 中，并对它关于。求最大，就得到问题( 2 2 9 ) 的对偶问题 艘：。吉善善( “一q ) ( 盯，+ 。吒) k ( x ，) + 5 善( 西+ 口。) 一蕃y t ( 酊呸) 1 l l s t ( 口。+ 一a 。) = o( 2 3 4 ) 0 口+ ) c ，j = 1 ，2 ， 其中k ( x ，x j ) 是核函数 常数c 。 ，l 对偶问题的解依赖于核函数k ( x ，x j ) ( i ，j = 1 ，2 ，1 ) 和 算法2 + 1e 支持向量回归机( es v r l 1 给定训练集t = ( x i ，y i ) ，i = l ，2 ，1 ) ，其中x i r n ，y i r ，i _ 1 ，2 ，l 2 选取适的正数e 和c ，以及核函数r b f 参数o2 ； 3 构造并求解最优化问题( 2 3 4 ) ，得到最优解 云p = ( 云。，云。，五：，五：，五。，云+ ) 1 ： 4 构造回归估计函数 ；( x ) = ( 石i 一云i ) k ( x ，x ) + 6 l = i ( 2 3 5 ) 其中，b 按下列式子计算：选择位于区间( 0 ，c ) 中的口j 或口x ，若选到的是 五。，则 6 = y ，( 云+ 瓦i ) k ( x 若选到的是口j ，则 6 = y 。( 五+ 一夏) k ( x 。，x 。) 一 j = l ( 2 3 6 ) ( 2 _ 3 7 ) 第二章支持向量机与遗传算法简介 第四节支持向量机模型参数选择 构造出一个具有良好性能的支持向量机，模型选择是关键。这里所谓的模 型选择，其实就是如何针对所给的训练样本，确定一个比较合适的核函数。模 型选择包括两部分工作：一是核函数类型的选择，二是确定核函数类型后相关 参数的选择，包括容量c 的选择、损失函数的选择以及与核有关的参数的选择。 目前，核函数类型基本还是凭经验选定。选定核函数后，再进行相关参数的确 定。在这一小节中，所讨论的核函数是以r b f 为代表的核函数参数确定问题。 本小节首先主要介绍了目前标准支持向量分类机中核函数参数调整的主流 方法一交叉验证法( c r o s s v a l i d a t i o n ) 【1 5 1 ；然后简单介绍了标准支持向量回归机 es t 中参数c 、e 和o2 的确定方法。 2 4 1 模型参数选择的主流方法 对于标准支持向量分类机( cs v r ) 而言，其模型参数的确定可以通过一些转 化【7 1 最终把问题转变为关于核函数参数这样一个参数确定的问题，下面就简要介 绍一下关于核函数参数确定方法一交叉验证法。 模型选择的基本过程是：首先确定一个有效评估支持向量机期望( 真实) 风险的指标，然后找到该评估指标与核函数之间的关系，最后通过解参数优化 问题得到一个在所给评估指标下的最佳核函数。 目前用于模型选择的风险估计指标的理论基础是有关泛化误差估计的定理 叽 1 e 曙。2 e ( l ( x i ，y 1 ，一，x 。，y 。) ( 2 3 1 b ) 一1 其中 e n 是采用n 一1 个样本来训练分类器所得到的错误率的期望值。l ( x l ，y l 一，x 。，y 。) 是针对n 个训练样本，每次选择其中的n 1 个进行分类器的训练，然后 用该分类器判断剩下的一个样本，将这一过程重复n 次后，总的错误个数。这 种估计方法被称为“留一法”( l e a v e o n e - o u t ，l 0 0 ) 。 根据这个定理对s v m 进行性能估计是不大可行的。因为用留一法进行估计 就必须根据样本构造出n 个支持向量机。当训练样本特别多时，计算量会特别 大。因此在实际问题中，人们往往采用k 一遍交叉验证( k f 0 1 dc m s s v a h d a t i o n ) 的方法对l o o 过程进行近似估计。所谓k 一遍交叉验证，是将训练样本划分 第二章支持向量机与遗传算法简介 成k 个互不相交的子集( k f o l d ) ：s l s 2 ，s k 。每个子集的元素个数大致相等。 训练和测试进行k 次。在第一次中，s ，用作测试集，其余的子集都用于训练分 类器。即：第一次迭代的分类法在子集s 2 ，s k 上训练，而用s 。做测试：第二 次，分类器在子集s l ，s 3 ，s k 上训练，而在s 2 上测试；如此下去。错误率估计 就是k 次错误分类数的总和除以初始训练样本的总数。可见留一法也可以看作 是k 一遍交叉验证的极端情形：k = n 。 虽然k 一遍交叉验证法相比较留一法，计算量已经减少了不少，而且目前一 些支持向量机软件如l i b s 也确实是利用该方法进行参数的确定，但是人们对 这种方法还是不满意，所以要进一步寻找错误率估计的更有效方法。从目前已 经取得一些结果的解决思路来看，基本上都是通过其他手段估计l ( xj ，y 1 ，一，x 。，y n ) 的一个尽可能小的上界。 假设伊( ) 是个阶梯函数，fo 为利用所有训练样本得到的判别函数，f 为去 掉第i 个样本后得到的判别函数，则： 三 l ( x 1 ，y l ，一，x 。，y 。) = 妒( 一y i f l ( x 。) ) ：_ 1( 2 3 9 ) n 、 7 = 伊( 一y j f o ( x i ) + 多；( f o ( x 。) 一f 1 ( x ；) ) ) 其中 泓，= 亿： 设u j 为y 。( f o ( x i ) 一f 1 ( x ，) ) 的一个上界，对于样本线性可分而言，我们又 有y i f o ( x i ) 1 ，从而l ( x 】，y 】，_ 一，x 。，y n ) 的上界估计为： l ( x ，y ，x 。，y 。) 蔓妒( u i 一1 ) ( 2 4 0 ) l ；l 表达式( 2 4 0 ) 可以表示目前多数的风险估计，分别有以下几种情况： 1 对所有的非支持向量，有y i ( f o ( x 。) 一f ( x ，) ) = o 。( 非支持向量不影响超平 面的求解) 因此不难有l ( x 】，y 1 ，x ，y n ) n s v ( n s v 为支持向量的个数) 。于是 t = n s v n 即成为s v m 的一个风险指标，换言之，较少的支持向量个数，可能 会有较小的错误率。 2 j a a l 【l 【o l a 和h a u s s l e r 证明了如下的不等式( 当s v m 无阈值时) ： 第二章支持向量机与遗传算法简介 y ，( f o ( x 。) 一f 1 ( x ) ) 口。o k ( x ，x ) = u 由此得到的误差估计为： t = 三窆妒( 口? k ( x ) 一1 ) _ ：l 这里的口? 为利用所有训练样本求解得到的支持向量机的解( 下同) 。 3 w a l l b a 得到的是下面的估计式： t = a ? k ( x ，x 。) ( 2 4 】) ( 2 4 2 ) ( 2 4 3 ) 只要注意到当x o 时，妒( x 一1 ) x ，即知此估计为j a a l d ( o l a h a u s s l e r 估计的上界。 4 o p p e r 和w i n t h e r 证明了：如果支持向量集在移除某个样本后并没有改变， 则： 蹦f o ( 蛐- f i 呱) ) _ 羔 ( 2 4 4 ) 这里的k 由为支持向量间的内积构成的矩阵的逆。因此他们给出的误差 估计为： 卜 喜妒c 志一， 眨4 s ， 在支持向量分类机中，模型参数确定方法除了上述交叉验证方法以外，还 有基于支持向量的张成法( s p a no f s u p p o n v e c t o r m a c h i n e s ) 和基于矩阵相似度 量的参数确定法等其它一些方法【1 8 】 1 9 】【2 0 】【2 1 】。 2 4 2 标准支持向量回归机模型参数的选择 实验证明，标准支持向量回归机优良的推广能力能否得到真正的实现，与 参数c 、e 和o2 的适当的选择有着密切的联系，但是其模型参数确定方法与支 持向量分类机相比起来并不成熟，目前总结起来主要有如下几种： 1 依据先验知识或者使用者的技巧选择c 、e 和o2 ； 第二章支持向量机与遗传算法简介 2 s m o l ae ta la n d k w o k 认为与噪声的方差成比例关系。在实践当中，这 种方法的主要缺点在于没有能够反映训练样本的多少。从直觉上讲，在同样的 噪声水平下，小样本的e 般都比大样本小；另外，有的研究表明参数e 与损失 函数的选取有关，因而可以根据特定的噪声密度加以调整使之最优。 3 将样本的目标值范围作为c 的值。由于一般核函数采用的是r b f 函数， 根据输出值的计算公式可以看出，这种方法有其合理性，但是这种方法没有考 虑到孤立点可能带来的影响； 4 使用交叉确认的方法进行参数选择，其原理与分类机相同，最终通过最 优化方法加以确定参数口”，虽然这种方法比较可信，但是其复杂度较高： 还有其它一些参数选择方法，可参见文献 2 8 】 2 9 】 3 0 】，这些方法一般是基 于现代智能计算理论而提出来的，这里就不一一介绍了。 第五节遗传算法简介 由于在后面的参数研究中用到了遗传算法，因而在本小节当中对其进行简 单介绍。 25 1 概述 1 9 7 5 年h o l l a n d 出版了他的著名专著，自然系统和人工系统的适应性，该 书系统地阐述了遗传算法的基本理论和方法并提出了对遗传算法的理论研究 和发展极为重要的模式理论( s c h 锄a t at h e o r y ) ，该理论首次确认了结构重组遗传 操作对于获得隐并行性的重要性。同年d e j o n g 完成了他的重要论文遗传自适 应系统的行为分析。他在该论文中所做的研究工作可看作是遗传算法发展过程 中的一个里程碑，这是因为他把h o l l a i l d 的模式理论与他的计算使用结合起来。 尽管d e j o n g 和h o l l a l l d 一样主要侧重于函数优化的应用研究，但他将选择、交 叉和变异操作进一步完善和系统化，同时又提出诸如代沟( g e n e r a t i o ng a p ) 等新 的遗传操作技术，可以认为d e j o n g 的研究工作为遗传算法及其应用打下了坚实 的基础，他所得出的许多结论迄今仍具有普遍的指导意义。g o l 曲e r g 对遗传算 法从理论上、方法上和应用上作了系统的总结。 遗传算法受到研究人员广泛重视是由于它采用随机搜索方法，其主要特点 是： 第二章支持向量机与遗传算法简介 1 遗传算法不是直接作用在参变量集上，而是利用参变量集的某种编码； 2 遗传算法不是从单个点，而是从一个群体开始搜索； 3 遗传算法直接对结构对象进行操作，不存在求导和函数连续性的限定； 4 遗传算法具有内在的隐并行性和较好的全局寻优能力； 5 遗传算法采用概率转移规则，不需要确定性的规则。 由以上特点可以看出，遗传算法几乎不需要所求问题的任何信息而仅需要 目标函数的信息，不受搜索空间是否连续或可微的限制就可找到最优解，具有 强的适应能力和便于并行计算，因此，遗传算法广泛地应用于自动控制、计算 科学、模式识别、工程设计、智能故障诊断、管理科学和社会科学领域，适用 于解决复杂的非线性和多维空间寻优问题。 2 5 2 基本遗传算法 2 5 2 1 基本遗传算法的构成要素 构成基本遗传算法的要素主要有：染色体编码、个体适应度评价、遗传算 子以及遗传参数设置等等。 1 染色体编码方法 在对一个问题采用遗传算法进行求解之前，必须对问题的解空间进行编码， 以便能够由遗传算法操作。常见的编码方法是二进制编码，使用固定长度的二 进制符号串来表示群体中的个体。求解结束后再通过解码变换成实变量。在编 码和解码的过程中，参变量的精度不可避免会受到影响。因此，有人提出了基 于实数编码的遗传算法，其基本原理与二进制编码相同，只是实数编码的染色 体是由各个实参变量构成的向量，初始群体中的各个个休的基因可用均匀分布 的随机数来构成。 2 适应度函数 在遗传算法中，遗传操作主要通过适应度函数( f i t n e s s 矗m c t i o n ) 的导向来实现 的。它是用来评估一个染色体相对于整个群体的优劣的相对值的大小。 3 遗传算子 基本遗传算法通常使用下述三种遗传算子： 选择算子：按照某种策略从父代中挑选个体进入中间代； 交叉算子：随机地从中间群体中取得两个个体，并按照某种交叉策略使两 个个体互相交换部分染色体码串，从而形成两个新的个体； 第二章支持向量机与遗传算法简介 变异算子：通常按照一定的概率，改变染色体中的某些基因的值。 4 遗传算法的运行参数 有以下四个运行参数需要提前设定：群体大小( n ) ，即群体中所含个体数量； 终止迭代代数( t ) ；交叉概率( p 。) ：变异概率( p m ) 。这四个参数对遗传算法的求解 结果和求解效率都有很大的影响。因此，要合理设定这些参数，才能获得较好 的效果。 2 5 2 2 基本遗传算法的一般框架 运用基本遗传算法进行问题求解的一般过程如下： 1 编码：g a 在进行搜索之前先将解空间的可行解数据表示成遗传空间的 基因型串结构数据，这些串结构数据的不同组合便构成了不同的可行解； 2 初始群体的生成：随机产生n 个初始串结构数据，一个串结构数据称为 一个个体，n 个个体构成了个群体。g a 以这n 个串结构数据作为初始点开始 迭代； 3 适应性值评估检测：适应性函数表明个体或解的优劣性，不同的问题， 适应性函数的定义方式也不同； 4 选择：选择的目的是为了从当前群体中选出优良的个体，使它们有机会 作为父代为下一代繁殖子孙。遗传算法通过选择过程体现这一思想，进行选择 的原则是适应性强的个体为下一代贡献一个或多个后代的概率大。选择实现了 达尔文的适者生存原则： 5 交叉：交叉操作是遗传算法中最主要的遗传操作，通过交叉操作可以得 到新一代个体，新个体组合( 继承) 了其父辈个体的特性，交叉体现了信息交换的 思想： 6 变异：变异首先在群体中随机选择一个个体，对所选中的个体以定的 概率随机地改变串结构数据中某个串位的值，同生物界一样，g a 中变异发生的 概率很低，通常取值在o 0 0 l o 1 之间。变异为新个体的产生提供了机会。 2 5 2 3 基本遗传算法的计算步骤 基本遗传算法的工作过程和具体步骤如下： 1 初始化染色体群体； 2 评价群体中每个染色体，得到每个染色体的适应值； 第二章支持向量机与遗传算法简介 4 6 否则， 根据适应值选择父母( 染色体) ： 对父母染色体实旋遗传操作产生后代( 新染色体) ； 对新染色体评价，并按照某种规则替换父母染色体，形成新一代群体； 如果满足终止条件，则停止计算，并返回最好的染色体( 问题的解) ； 再从3 开始继续。 第六节本章小结 支持向量机以其深厚的理论基础和良好的推广能力而成为机器学习研究的 热点，本章主要介绍了支持向量分类机和标准支持向量回归机模型以及已有的 主要的模型参数选择方法，最后则简单介绍了遗传算法相关知识，以便为后面 章节所用。 第三章基于金融市场数据的e s v r 模型参数实验分析 第三章基于金融市场数据的e _ s v r 模型参数实验分析 支持向量机模型参数对其学习能力和泛化能力有很大的影响，到目前为止， 已有的确定模型参数的方法如前面第二章所述。在已有的方法中，仅依据训练 集进行参数的调整与确定，而忽略了测试集，或者说忽略了测试集与训练集之 间的差异，测试集仅仅用于对所选参数的检验。然而在实际中，测试集中蕴含 大量有用的信息，这些信息并不为训练集所完全包含，因而，我们需要把训练 集和测试集结合起来进行模型参数的分析、调整与确定，基于此种基本的思想， 在本章和下一章当中，以标准支持向量回归机es v r 的模型参数为研究对象， 进行了比较系统的研究与分析。首先，在本章当中，我们对标准支持向量回归 机es v r 的模型参数进行了比较系统的实验研究与分析，在此基础之上提出了 模型参数选择的基本原则：然后，- 在下一章中，我们基于所得出的模型参数选 择的基本原则，提出了分别基于遗传算法和最小二乘的es v r 的模型参数确定