(应用数学专业论文)基于支持向量机的金融时间序列预测.pdf_第1页
(应用数学专业论文)基于支持向量机的金融时间序列预测.pdf_第2页
(应用数学专业论文)基于支持向量机的金融时间序列预测.pdf_第3页
(应用数学专业论文)基于支持向量机的金融时间序列预测.pdf_第4页
(应用数学专业论文)基于支持向量机的金融时间序列预测.pdf_第5页
已阅读5页,还剩30页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

摘要 内容摘要:金融时间序列的特点:( 1 ) 产生过程的随机性、复杂性;( 2 ) 多数含有噪声; ( 3 ) 数据间具有较强的非线性。近年来,人们将神经网络、混沌理论、遗传算法以及 系统理论和当代应用数学研究的最新进展等诸多理论与方法应用于金融时间序列预测 已成为金融工程研究领域的一大热点。虽然用于金融时间序列的预测方法很多,但由于 神经网络作为一种通用函数逼近器可以以任意精度近似任意的非线性函数和动态系 统,是高度非线性对象建模的有力工具。因此目前在该领域研究中仍以神经网络方法为 主。尽管神经网络技术取得了很大进步,但仍有一些不易解决的难题:如难以确定神经 网络的隐层节点数、存在过学习现象、训练过程中存在局部极小问题等。因此,v a p n i k 等人根据统计学习理论提出的一种机器学习方法一支持向量机( s u p p o r tv e c t o rm a c h i n e s , s v m ) ,它是建立在v c 维和结构风险最小化原则基础上的,利用核函数把非线性可分 数据映射到高维特征空间,使其在高维特征空间中线性可分。同时,利用核函数计算 内积可避免“维数灾难 。由于支持向量机具有较好的泛化性和学习性能,该技术已成 为机器学习的研究热点,并在很多领域得到成功应用,如模式识别、图像分类等方面。 到目前,支持向量机方法主要应用于解决分类和回归问题,但很少应用于时间序列预测。 因此,本文将支持向量机方法应用于金融时间序列的预测,使其应用得到更好的推广。 本文绪论介绍了支持向量机的研究现状和研究价值。第二章介绍时间序列预测的异 方差模型,成为第五章预测金融时间序列的理论基础。第三章介绍了统计学习的一般理 论,包括机器学习、优化问题以及对偶问题。第四章详细介绍了支持向量机算法的基本 理论,简单介绍了支持向量分类算法,包括线性可分、线性不可分以及一类分类算法, 并详细介绍了支持向量的回归算法。本章为论文的重要理论部分,通过本章的理论学 习,编写运行程序,再应用到实际预测中,会有很好的效果。第五章是理论的应用部分, 通过建立适当的模型,选择合理的参数,将处理过的金融数据按照实验步骤,进行实验, 最终得出具有应用价值的预测数据。本文的实验主要针对上海综合指数的周收盘价,采 用时间序列预测模型和支持向量机算法进行预测。在实验过程中,描述实验数据的来源, 介绍对实验数据的处理,给出实验的步骤,并表明预测结果。最后将基于s v r 的预测 结果和基于a r c h 模型、g a r c h 模型的预测结果相比较,得出结论:支持向量回归的 预测方法最优。所以在最后一章总结了支持向量机方法的优点,更多的则是展示她广阔 的发展前景并提出多元研究方向。 关键词:金融时间序列;条件异方差;统计学习理论;a r c h 模型;支持向量机; b s tr a c t c o n t e n t :mc h a r a c t e r i s t i c so ff i n a n c i a lt i m es e r i e s :( 1 ) t h es e l e c t i o np r o c e s si sr a n d o m , c o m p l e x ;( 2 ) c o n t a i nm o s to ft h en o i s e ;( 3 ) b e t w e e nt h ed a t aw i t hs t r o n gn o n l i n e a r i nr e c e n t y e a r s , n e u r a ln e t w o r k s ,c h a o st h e o r y , g e n e t i ca l g o r i t h m , a sw e l la ss y s t e m st h e o r ya n d c o n t e m p o r a r ya p p l i c a t i o no ft h el a t e s td e v e l o p m e n t si nm a t h e m a t i c sa n dm a n yo t h e rt h e o r i e s a n dm e t h o d su s e di nf i n a n c i a lt i m es e r i e sf o r e c a s t i n go ff i n a n c i a le n g i n e e r i n gh a sb e c o m ea h o ta r e ao f a l t h o u g hf o rf i n a n c i a lt i m es e r i e sf o r e c a s t i n gm e t h o d s ,a saf e s u l to fn e u r a l n e t w o r kf u n c t i o na sau n i v e r s a la p p r o x i m a t o ro fa r b i t r a r yp r e c i s i o nc a nb ea n yn o n l i n e a r f u n c t i o na p p r o x i m a t i o na n dd y n a m i cs y s t e m ,i sah i g h l yn o n - l i n e a rap o w e r f u lt o o lf o ro b j e c t m o d e l i n g t h e r e f o r e ,t h ec u r r e n tr e s e a r c hi nt h i sa r e ai ss t i l lt h em a i nn e u r a ln e t w o r k a l t h o u g ht h en e u r a ln e t w o r kt e c h n o l o g ym a d eg r e a tp r o g r e s s ,b u tt h e r ea r es t i l ls o m ed i f f i c u l t p r o b l e m st os o l v e :i fi ti sd i f f i c u l tt od e t e r m i n et h eh i d d e nl a y e rn e u r a ln e t w o r kn o d e s ,t h e e ) 【i s t e n c eo ft h ep h e n o m e n o nh a v eb e e nl e a r n i n ga n d t r a i n i n gp r o c e s so f t h ee x i s t e n c eo fl o c a l m i n i m ap r o b l e m s t h e r e f o r e , v a p n i ka n do t h e r sb a s e do ns t a t i s t i c a ll e a r n i n gt h e o r yp r o p o s e d b yam a c h i n el e a r n i n gm e t h o d s u p p o r tv e c t o rm a c h i n e i ti sb u i l to nt h ev cd i m e n s i o na n d s l n k 舡a lr i s km i n i m i z a t i o nb a s e do nt h ep r i n c i p l e sa n du s eo fn u c l e a rn o n - l i n e a rf u n c t i o no f t h ed a t ac a nb em a p p e dt oh i g hd i m e n s i o n a lf e a t u r es p a c et oh i g hd i m e n s i o n a lf e a t u r es p a c e l i n e a r l ys e p a r a b l e a tt h es a n l et i m e , t h eu s eo fn u c l e a rf u n c t i o ni nt h ep l o tc o u l dh a v eb e e n a v o i d e d ”d i s a s t e rd i m e n s i o n a sar e s u l to fs u p p o r tv e c t o rm a c h i n eh a sg o o dg e n e r a l i z a t i o n a n dl e a r n i n gp e r f o r m a n c e ,t h et e c h n o l o g yh a sb e c o m eah o tt o p i co fm a c h i n el e a r n i n ga n d 鲫c 翳si nm a n ya p p l i c a t i o na r e a s ,s u c ha sp a t t e r nr e c o g n i t i o n , i m a g ec l a s s i f i c a t i o na n ds oo n u pt on o w , s u p p o r tv e c t o rm a c h i n ei sm a i n l yu s e dt os o l v ec l a s s i f i c a t i o na n dr e g r e s s i o n p r o b l e m s ,b u tr a r e l ya p p l i e dt ot i m es e r i e sp r e d i c t i o n t h e r e f o r e , t h i sa r t i c l e 、) i ,i ms u p p o r t v e c t o rm a c h i n em e t h o dh a sb e e na p p l i e dt of o r e c a s tf i n a n c i a lt i m es e r i e st op r o m o t eab e t t e r a p p l i c a t i o n i n t r o d u c t i o no ft h i sp a p e ri n t r o d u c e st h ev a l u eo fr e s e a r c ha n ds t u d yo ft h es u p p o r t v t 戈 t o rm a c h i n e s c h a p t e ri ip r e s e n t st h et i m es e r i e sf o r e c a s t i n gm o d e lh e t e r o s c e d a s t i c i t y , b e c o m i n gt h ef i f t hc h a p t e ro ff i n a n c i a lt i m es e r i e sp r e d i c t i o nb a s e do nt h et h e o r y c h a p t e rh i d e s c r i b e st h eg e n e r a lt h e o r yo fs t a t i s t i c a ll e a r n i n g , i n c l u d i n gm a c h i n el e a r n i n g , o p t i m i z a t i o n p r o b l e m sa sw e l la st h ed u a lp r o b l e m c h a p t e ri vd e t a i l st h es u p p o r tv e c t o rm a c h i n e a l g o r i t h m sb a s i ct h e o r y , ab r i e fi n t r o d u c t i o nt os u p p o r tv e c t o rc l a s s i f i c a t i o na l g o r i t h m s , i n c l u d i n gn o n - l i n e a r l ys e p a r a b l es u b l i n e a ra sw e l la st h ec l a s s i f i c a t i o na l g o r i t h mf o rac l a s s a n dd e t a i l so ns u p p o r tv e c t o rr e g r e s s i o na l g o r i t h m t 1 1 i sc h a p t e ra sp a r to fa ni m p o r t a n t t h e o r e t i c a lp a p e r , t h r o u g ht h e o r e t i c a ls t u d yo ft h i sc h a p t e r , t h ep r e p a r a t i o no fr u n n i n gt h e p r o g r a m , a n d t h e na p p l i e dt ot h ea c t u a lf o r e c a s t ,t h e r ew i l lb eg o o dr e s u l t s 1 h ef i f t hc h a p t e ri s t h ea p p l i c a t i o no ft h et h e o r yp a r to ft h em o d e lt h r o u g ht h ee s t a b l i s h m e n to fa p p r o p r i a t e , r e a s o n a b l ec h o i c eo fp a r a m e t e r s ,w i l lb et r e a t e di na c c o r d a n c ew i t ht h ee x p e r i m e n t a ls t e p st o f i n a n c i a ld a t a , c o n d u c te x p e r i m e n t si no r d e rt ow o r ko u tw i t ht h ea p p l i c a t i o no ft h ev a l u eo f t h ef o r e c a s td a t a i nt h i sp a p e r , t h em a i ne x p e r i m e n t a ls h a n g h a ic o m p o s i t ei n d e xf o rt h ew e e k o ft h ed o s i n gp r i c e ,a n dt i m es e r i e sf o r e c a s t i n gm o d e l sa n ds u p p o r tv e c t o rm a c h i n ea l g o r i t h m t op r e d i c t i nt h ee x p e r i m e n t a lp r o c e s s ,t h ed e s c r i p t i o no ft h es u b i c 锚o fe x p e r i m e n t a ld a t ao n t h et r e a t m e n to fe x p e r i m e n t a ld a t a , g i v e nt h ee x p e r i m e n t a ls t e p s ,a n ds h o wt h a tt h ep r e d i c t e d r e s u l t s f i n a l l y , t h ef o r e c a s tw i l lb eb a s e do nt h er e s u l t so fs ta n d t h eu s eo fa r c hm o d e l s , g a r c hm o d e lc o m p a r e dt ot h ep r e d i c t e dr e s u l t s ,c o m et ot h ec o n c l u s i o n :s u p p o r tv e c t o r r e g r e s s i o nm e t h o do fo p t i m a lp r e d i c t i o n t h e r e f o r e ,t h el a s tc h a p t e rs u m m a r i z et h a tt h e s u p p o r tv e c t o rm a c h i n em e t h o dh a st h ea d v a n t a g et h a tm o r e i st od i s p l a yh e rp r o s p e c t sf o rt h e d e v e l o p m e n to fab r o a dr e s e a r c h k e yw o r d s :f i n a n c i a lt i m es e r i e s ;c o n d i t i o n a lh e t e r o s k e d a s t i c i t y ;s t a t i s t i c a ll e a r n i n gt h e o r y ; a r c hm o d d ;s u p p o r tv e c t o rm a c h i n e 基于支持向量机的金融时间序列预测 学位论文独创性声明 本人承诺:所呈交的学位论文是本人在导师指导下所取得的研究成果论文中除特 别加以标注和致谢的地方外,不包含其他人和其他机构已经撰写或发表过的研究成果, 其他同志的研究成果对本人的启示和所提供的帮助,均已在论文中做出了明确的声明 并表示谢意 学位论文作者签名: 欲 桷吼z 吖c ;。 学位论文版权使用授权书 本学位论文作者完全了解辽宁师范大学有关保留、使用学位论文的规定,及学校有 权保留并向国家有关部门或机构送交复印件和磁盘,允许论文被查阅和借阅本人授 权辽宁师范大学,可以将学位论文的全部或部分内容编入有关数据库进行检索,可以 采用影印、缩印或其他复制手段保存、汇编学位论文保密的论文在解密后使用本授 权书 学位论文作者签名:狠桶 3 2 指导教师签名:二;们葛伪 日期:彻7 r ;p 基于支持向量机的金融时间序列预测 1 绪论 1 1 课题提出的现状 时间序列是数据存在的特殊形式,序列的过去值会影响到将来值。这种影响的大小 及影响的方式,可由时间序列当中的趋势、周期、及非平稳等行为来刻画。金融时间序 列作为一种特殊的时间序列,通常具有如下三大特剧l j :( 1 ) 产生过程的随机性、复杂性; ( 2 ) 多数含有噪声:( 3 ) 数据间具有较强的非线性。近年来,人们将神经网络、混沌理论、 遗传算法以及系统理论和当代应用数学研究的最新进展等诸多理论与方法应用于金融时 间序列预测【2 卅已成为金融工程研究领域的一大热点。虽然用于金融时间序列的预测方 法很多,但由于神经网络作为一种通用函数逼近器可以以任意精度近似任意非线性函数 和动态系统是高度非线性对象建模的有力工具。因此,目前在该领域研究中仍以神经网 络方法为主,尽管神经网络技术取得很大进步,但仍有一些不易解决的难题,如:难以 确定神经网络的隐层节点数、存在过学习现象、训练过程中存在局部极小问题等。 为了解决这些问题,2 0 世纪9 0 年代中期,i 扫v a p n i k ( 7 】等人提出的一种新的机器学习 算法一支持向量机( s 垤) 近年来受到了国际学术界的广泛重视,并且己经广泛用于解 决分类和回归问题。它以统计学习理论( i ,e a 加j n gs t a t i s t i c a lt h e o r y , s l t ) 为基础,使得 支持向量机有很强的理论基础和泛化能力。该方法在很多情况下可以克服“维数灾难 等传统困难,现已成为机器学习的热点,并在很多领域得到成功应用,如模式识别【8 】、图 像分类i g 、预测【1 0 】等方面,具有良好的应用价值和发展前景。 统计学习理论【l l 】是建立在结构风险最小化原则基础上的,它是专门针对小样本情况 下的机器学习问题而建立的一套理论体系。其核心思想是对于一个给定的具有有限数量 训练样本的学习任务,如何在准确性和机器容量上进行折衷,以得到最佳的推广性能。 此理论为机器学习问题建立了一个良好的理论框架,较好地解决了小样本、非线性和局 部极小点等实际问题。 支持向量机方法是建立在v c 维( v cd i m 肌s i o n ) 和结构风险最小化原则【1 2 1 ( s t r u c t u r a l m s km i n i m i z a t i o n ,s r m ) 基础上的,改变了传统的神经网络中经验风险最小化原则,因 此具有很好的泛化能力。设计支持向量机的目的是为了处理模式识别分类问题,即首先 在训练集中寻找支持向量,然后在其上构造决策函数,使其具有良好的分类性能。支持 向量机在处理非线性问题时,首先将非线性问题转化为高维空间中的线性问题,然后用 一个核函数来代替高维空间中的内积运算,从而巧妙地解决了复杂计算问题,并且有效 地克服了维数灾难及局部极小。 支持向量机虽然已经广泛应用于解决分类和回归问题,但很少应用于时间序列预测。 因此,本文将支持向量机方法应用于金融时间序列的预测,使其应用得到更好的推广。 基于支持向量机的金融时间序列预测 1 2 课题的研究内容及组织结构 1 2 1 研究内容 本文阐述了时间序列预测模型的理论和支持向量回归算法的基本理论,并结合我 国上海综合指数的金融数据,讨论了利用支持向量回归( s u p p o r tv e c t o rr e g r e s s i o n , s v r ) 方法建立金融时间序列的预测步骤,同时也列举了a r ( 1 ) 模型、a r c h ( 1 ,1 ) 模型和 g a r c h ( 1 ,1 ) 模型对其进行预测的结果。最后比较利用支持向量机方法,a r ( 1 ) 模型、 a r c h ( 1 ,1 ) 模型和g a r c h ( 1 ,1 ) 模型对金融时间序列的预测能力。结论显示,s v r 方法的 预测精度最高,效果最好,a r c h ( 1 ,1 ) 模型和g a r c h ( 1 ,1 ) 模型的预测能力次之。 1 2 2 组织结构 本文共分六章,具体组织结构如下: 第一章是绪论,介绍了课题研究的背景及意义,以及本论文的主要内容和组织结构。 第二章介绍时间序列预测的主要方法和知识,是第五章预测金融时间序列的理论基础。 第三章介绍统计学习的基本理论。第四章详细介绍了支持向量机算法的基本理论。第五 章主要针对上海综合指数的周收盘价,采用条件异方差预测模型和支持向量机算法进行 预测。在实验过程中,描述实验数据的来源,介绍对实验数据的处理,给出实验步骤, 并预测结果。最后对比基于s v r 的预测结果和a r c h 模型、g a r c h 模型的预测能力相 比较,得出结论。第六章是对全文的总结与对支持向量机领域的展望。 2 条件异方差模型 2 1 条件异方差模型的定义 2 1 1a r c h 模型的定义及其统计特性 a r c h 模型的全称是自回归条件异方差( a u t o 弦s s i v ec o n d i t i o n a lh e t e r o s k e d a s t i c i t y , a r c h ) 模型。 该模型是由e n g l e 于1 9 8 2 年提出的,最初被成功用于英国通货膨胀指数的波动性 研究中,随后用于金融时间序列的预测中。 定义2 1 根据e n g l e 提出的定义,a r c h 模型表述如下:一。表示时亥l jt - 1 及时亥l j t - 1 以前的所有信息集合,对于序列缸 ,如果: q l 一l = 曩仇 ( 2 1 ) 曩2 = + 矗 ( 2 2 ) f = l r l , i i d n ( o ,1 ) ( 2 3 ) 则 口f ) 序列是一个a r c h ( r ) 序列,式( 2 1 ) 式( 2 3 ) 称为a r c h ( o 模型。其中 2 基于支持向量机的金融时间序列预测 的i i d n ( o ,1 ) 表示独立同标准正态分布。易知a t 的条件期望和条件方差分别为 e ( a ti 一1 ) = 0 v a r ( a ti 一1 ) = 鬼2 a t 的条件分布为a t i 一。i i d n ( o ,砰) 。一般要求 o ,呻 o ) ,以保证条件方 差为正。可以看出,序列 a t ) 的条件方差是一个随时间变化的量( 即条件异方差) ,这 个随时间变化的条件方差是序列 a t ) 的过去有限项平方的线性组合( 即自回归) ,因此, 该模型称为自回归条件异方差模型。 为了进一步认识a r c h 序列,下面讨论其统计特性。 a r c h ( r ) 序列的无条件期望: e ( a t ) = e ( e ( q1 一l ”= e ( e ( 鬼仇1 一。) ) = e ( 鬼e ( 仇) ) = 0 通过计算可得: - e ( a , 2 ) = 粤 1 一y _ i l l a r c h ( r ) 序列的协方差: e ( a t a t t ) = e ( e ( a t a t i1 一l ”= e ( 口r t e ( 口i1 一1 ) ) = 0 可见,a r c h ( r ) 序列和它的过去无关。当哆 o ,j o ) ,以保证条件方差为正。当厂= s = 1 时,式 ( 2 5 ) 为: 砰= + 。+ 届磕 ( 2 7 ) 也就是最简单常用的g a r c h ( 1 ,1 ) 模型。 2 2 条件异方差模型的建立 2 2 1a r c h 效应的检验 检验方法为拉格朗日乘子法( 肼检验) :对时间序列a t 的平方序列矿建立,阶自 回归模型: a = a o + 吐i + + 晖口乙+ q ( 2 8 ) b i i d n ( o ,z ) ( 2 9 ) 在序列中不存在,阶a r c h 效应的零假设下,检验的统计量为拉格朗日乘子肼: l m n r 2 一z 2 ( ,) 其中,为序列长度,r 2 为式( 2 8 ) 的可决系数。在给定的显著性水平口下,如 果计算出的统计量肼 丘,( ,) ( 或者p 值小于口) ,则拒绝原假设,认为时间序列存在 ,阶a r c h 效应,否则不能拒绝原假设。 2 2 2g a r c h 模型的定阶和参数估计 如果上彳检验表明序列a t 存在较高阶的a r c h 效应,则意味着时间序列a t 存在g a r c h 效应, 可以考虑拟合g a r c h 模型,比如g a r c h ( 1 ,1 ) 、g a r c h ( i ,2 ) 、g a r c h ( 2 ,1 ) 等。这时,可以用 a i c 准则来进行定阶。a i c 准则是由日本统计学家a k a i k c 提出的模型定阶准则,最佳的模型阶数使 得a i c 值达到最小, a c = - 2 l o g l + 2 m 其中:l o g l 为模型的对数似然函数值,m 为独立参数个数。 对g a r c h 模型的参数估计常采用最大似然方法进行估计,对于预测序列a t ,从 ( 2 4 ) 和( 2 5 ) 可得: 仍( q ,岛) 2 而a 丽t 它是待估计参数a i ( i = 1 ,) 和f l i ( i = l ,j ) 的函数,为了方便,下面简记为仇。前 面已假定仇相互独立且服从标准正态分布,其概率密度函数为: 砒) = 去声 基于支持向量机的金融时间序列预测 那么,q = 瑰仍的条件概率密度函数为: g ( 口f ) = 去p 一净 如果我们得到一系列观察值a 。,a 2 ) - - - ) a t ,则条件对数似然函数为: b g 三= 喜 一丢 1 0 9 ( 2 刀 ) + l o g ( 嘭,+ 吾 通过最大化该对数似然函数可以得到g a r c h 模型的参数估计。 2 2 3g a r c h 模型的适应性检验和预测 估计出g a r c h 模型的参数后,需要对模型进行适应性检验,利用估计出的g a r c h 模型可以得到估计的条件方差序列留,进而得到残差序列仇= 口f 鬼。 l j u n g - b o x q 统计量可用来检验残差平方序列彳是否存在自相关现象: 鼬) = ( + 2 喀磐彳( m - r - 8 ) ( 2 1 0 ) 另外,也可以检验残差序列仇的正态性。基于偏度和峰度,b e t a 和j a r q u e ( 1 9 8 2 ) 提 出了检验正态性的统计量,对于残差序列 仇,t = 1 ,2 ,i v ,统计量为: r ( 仇) = 警如( 仇) 2 + 丢砌( 协y ( 2 1 1 ) 其中,s k ( r l , ) 与砌( 砩) 分别为序列r , 的偏度和峰度,在仇的正态性假定下,该统计 量渐近于z 2 ( 2 ) 分布。 下面继续讨论g a r c h ( 1 ,1 ) 模型的预测,对时间序列 a t ,t = 1 ,2 ,t ,g a r c h 模 型的条件方差方程为: 砰= a o + q 吐l + 层砝l ( 2 1 2 ) 在时刻t 利用模型进行超前预测,有: 露+ 。= e ( i l ;+ 。i ) = e ( ( + q 口;+ 屈碍) i 少r ) = + 口。口;+ 届霹 ( 2 1 3 ) 同理: 廊+ := e ( ( + q t 2 2 + + a 碍+ 。) i ) = a o + 戽+ 。+ 届群+ 。= a o + ( 呸+ 屈) 霹+ 。 不断迭代,可得超前s 步预测为: 璧竹= c + 届,1 ( 露+ ,一南 + 坠一一 ( 2 1 4 ) 1 一( 呸+ 届) 可以看出:当口。+ 屈 依赖关系进行估计,使预测期 望风险: 尺( 川= l ( y ,厂瓴w ) ) d f ( x ,y ) ( 3 1 ) 最小,其中矿似w ) ) 称作预测函数集,w 为函数的广义参数,扩( x ,w ) ) 可以表示任何函 数集,三o ,厂“w ) ) 为由于用亿叻) 对y 进行预测而造成的损失,不同类型的学习问 题有不同形式的损失函数。 因此,机器学习问题也可以表示为,从一组独立同分布的观测样本出发,通过最小 化风险泛函尺( 们,确定学习机器的广义参数1 4 的过程。 3 3 学习过程一致性的条件 学习过程的一致性是统计学 - - 3 理论的基础,也是与传统渐近统计学的基本联系所 在。只有满足学 - 3 过程一致性条件,才能保证在学 - 3 样本无穷大时,经验风险最小化原 则下得到的最优结果趋近于使期望风险最小的最优结果。经验风险定义为: 。= 三喜地抓蕾,w ) ) ( 3 2 ) 6 基于支持向量机的金融时间序列预测 设使经验风险( 3 2 ) 式最小化的风险值为j r 唧( w o ) ,记尺( w o ) 为在三( y ,厂似w ) ) 下 ( 3 2 ) 式所取得的真实风险值( 期望风险值) 。当下面的两个序列依概率收敛于同一个 极限,即: r ( w 0 ) 与i n f 只( w ) , ( w o ) 与i n f 尺( w ) ( 刀专0 0 ) 则称这个经验风险最小化过程是一致的,经验风险和期望风险的关系如图3 1 所示。 图3 1 期望风险和经验风险的关系 下一定理给出了经验风险最小化成立的充要条件: 定理3 1 ( 学习理论的关键性定理) 对于有界的损失函数,经验风险最小化学习一 致的充分必要条件是经验风险在如下意义上一致地收敛于真实风险: l i m p s u p ( ( r ( w ) 一月( 们) g 】= 0 ,v 占 0 ( 3 3 ) n _ ,田 w ( 其中,p 表示概率) ,定理将学习一致性的问题转化成( 3 3 ) 式中的一致性收敛 问题同时依赖于预测函数集和样本的概率分布,与( 3 3 ) 式中的单边一致性收敛相对应 的有双边一致性收敛,即: l i m ,p t s u p ( r ( w ) 一如p ( 们i g 】_ o ,v s 0 ( 3 4 ) ” w 学习过程中,经验风险和期望风险都是预测函数的泛函。因此,可以通过求使经验 风险最小化的函数来逼近能使期望风险最小化的函数。但是学习理论的关键性定理给出 了经验风险最小化原则成立的充分必要条件,并没有给出什么样的学习方法能够满足这 些条件。因此,统计学习理论定义了一系列的指标来衡量函数集的学习性能,最重要的 一个指标是v c 维( v a p n i k - - c h e r v o n e n k i sd i m e n s i o n ) 。 3 3 1v c 维 v c 维作为统计学习理论中的一个核心概念,是对函数集学习性能的最好描述。v c 维反映了函数集的学习能力,v c 维越大则学习机越复杂。设有一个指示函数集f ( x ,刀) 和 一组n 个训练样本的样本集z 。= 协= ( t ,咒) ,i = 1 ,力) ,考虑函数集的分散性,看函数 集中的函数能对这组样本实现多少种不同的分类,记这个数目为n ( z 。) 。 7 基于支持向量机的金融时间序列预测 定义3 1 ( 随机熵) 定义指示函数集对某个样本集能实现的不同分类组合数目的对 数为函数集在这个样本集上的随机熵,记作日( 乙) = l n 瓴) 。 定义3 2 ( 生长函数) 函数集的生长函数定义为它是在所有可能的样本集上的最大 随机熵,即g ( 乙) = m a x l n 瓴) 。 定理3 2 函数集学习过程一致收敛的充分必要条件是对任意形式的样本分布,都 有: l i l n 亟尘:o( 3 5 ) n - - - h 0 以 且这时学习过程的收敛速度一定是快的。 定理3 3 任何生长函数,它或者满足等式: g ( 刀) = 刀i n 2 ( 3 6 ) 或者受限不等式: 。 i g ( 靠) j i lh 1 ( 兰+ 1 ) ,万 j i i ( 3 7 ) 仃 使得当n = h ,有g ( 刀) h l n 2 ,g 0 + 1 ) ( h + i ) i n 2 生长函数的这种性质,如图3 2 所示。 d 图3 2 生长函数的性质 因此,函数的v c 维可以定义为对于一个指示函数集,若其生长函数是线性的,则 其v c 维是无穷大;若其生长函数是以参数为h 的对数函数为上界,则其v c 维有限且 等于h 。 3 3 2 推广性的界 统计学习理论系统地研究了对于各种类型的函数集,经验风险和实际风险之间的关 系,即推广性的界【1 3 】。关于两类分类问题的结论是:对指示函数集中的所有函数( 包括 经验风险最小的函数) ,经验风险( w ) 和实际风险r ( w ) 之间以至少1 一,7 【1 4 】的概率满 足如下关系: r ( 叻( 叻+ _ h ( 1 n ( 2 n h ) + 1 ) - i n ( r 4 ) 1 ( 3 8 ) 或简写成: 基于支持向量机的金融时间序列预测 r ( w ) 足m ,( w ) + ( 刀) ( 3 9 ) 其中:h 是函数集的v c 维,n 是样本数,r 是满足0 r 1 的参数,( j i i 刀) 称作置 信范围( c o n f i d e n c ei n t e r v a l ) ,置信范围不但受置信水平l r 的影响,而且是函数集的 v c 维和训练样本数目的函数,并随着它们比值的增加而单调减小。( 因为这个界限反映 了根据经验风险最小化原则得到的推广能力,所以称它为推广性的界。) 它表明在有限 样本训练下,学习机v c 维越高,则置信范围越大,导致真实风险与经验风险之间可能 的差别越大,这就是出现过学习现象的原因。 3 3 3 结构风险最小化原则 我们已经发现,经验风险最小化原则在样本数目有限时是不合理的,因为我们需要 同时最小化经验风险和置信区间。经验风险依赖于f 的选择,而置信区间则是函数族 f = u “w ) ,w q ) 的v c 维h 的增函数。简单的说,当集合f 比较大时,可以选择适 当的f ,使得如。( 叻比较小,而此时f 的v c 维比较大,也会使置信区间比较大。反 之,当缩小集合f 时,f 的v c 维会降低,而如。( w ) 有可能增大,所以两者有互相矛 盾的倾向。为了解决这一问题,v a p n i k 等人提出了结构风险最小化原则。结构风险最小 化原理如图3 3 如示。 围 函数子集:墨c 岛c 墨v c 维:啊j j l 2 j j l 3 图3 3结构风险最小化原则 其基本思想是先把函数集f = “w ) ,w eq ) 分配为一系列嵌套的函数子集结构: sc 最c 足c c s 。每个函数子集的置信范围按从小到大的顺序排列,在v c 维上 也满足这种对应的大小关系: 啊 ,i - - l g9 z ,满足 w 五+ 6 1 对亍= + l w 五+ 6 1 对于m = - 1 ( 4 1 ) 即: 咒 ( w x i ) + b 】1 ,i = 1 , 此时分类间隔等于2 | | 叫l ,使间隔最大,等价于使1 1w l l 2 最小,满足表达式( 4 1 ) 且 使得0 叫1 2 最小的分类面为最优分类面,q 和皿上的训练样本点称为支持向量。 在类别为+ l 和1 的样本点之间产生最大分类间隔,这时对应于如下最优化问题: m i n ( w ) = 曾互1m 1 2 = 毋三( w w ) ( 4 2 ) 其约束条件为: 咒 ( w 薯) + 6 】1 ,i = 1 , ( 4 3 ) 式( 4 2 ) 和( 4 3 ) 是描述分离数据样本的支持向量机准则的常用方式,其本质是一个 求解二次优化问题,我们采用优化方法,为此,必须找l a g r a n g c 函数 l ( w , b ,口) = ( w w ) 一( 咒 ( w 而) + 6 】一1 ) ( 4 4 ) 的鞍点。式中呸o 为l a g r a n g e 乘子,函数( 4 4 ) 式中的最小值必须满足条件: _ o l ( w , b , a ) :w 一l 咒而:0 o w 。t 。f f i 。l 。 。o l ( 五w , b 一, c t ) :i 咒呸:0 8 b乞引l 由此得到: :y y ,珥五(45w 5 ) 2 乙y i q f x t k 4 ) 哆咒= o ( 4 6 ) 将式( 4 5 ) 代入式( 4 4 ) 并考虑式( 4 6 ) ,得到 , q ( o t ) = 哆乃乃( 五,t ) f 。j = l 1 3 ( 4 7 ) 基于支持向量机的

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论