（模式识别与智能系统专业论文）加权平滑支持向量机及外汇数据的实证分析.pdf

摘要 作为国际金融重要的组成部分，汇率一直是人们研究与讨论的热点问题。自 2 0 0 5 年7 月2 l 号起，我国开始实行以供求为基础、参考货币进行调节、有管理 的浮动汇率制度。在新的浮动汇率体制下，人民币汇率频繁而大幅度的波动，给 我国经济带来很多不利的影响，汇率风险增加，投机加强，也加大了经济金融市 场的不稳定性。如能及时、准确地预测未来一定时间内人民币汇率的变动将具有 很重要的意义。 本文首先讨论了汇率预测方法的进展，支持向量机用于预测的综述以及其所 存在的问题，接着介绍了支持向量机的原理、平滑支持向量机以及局部加权回归 原理。之后，讨论了支持向量机在实际应用中所存在的对不同训练样本点具有相 同误差惩罚问题，通过借鉴局部加权回归算法来改进支持向量机参数c ，并且在 求解优化问题时，将原约束问题转化为无约束的凸二次规划问题，进而得到新模 型的方案：加权平滑支持向量回归模型( w - s s v r ) ，并且作了相应的对比试验验 证算法的性能。在分析经典汇率决定理论的基础上，结合人民币的具体情况，选 择了中美两国的l o 个宏观经济指标作为影响汇率的因素，构建了基于这l o 个结 构变量的加权平滑支持向量回归汇率预测模型，利用1 9 9 9 年1 月到2 0 0 8 年3 月 的数据，进行汇率预测的实证研究，实证结果表明，加权平滑支持向量回归模型 的预测精度比一般的支持向量回归模型的预测精度要高，m a p e 只有0 2 9 8 ， 拟合效果很好，表明该模型对汇率的预测是可行的。最后，尝试调整结构变量， 从预测结果的评价指标看，对结构变量的调整与优化的效果很好，进一步提高了 预测的精度。 关键词：汇率预测；支持向量机同归；平滑技术；加权因子 a b s t r a c t a sa ni m p o r t a n tp a r to fi n t e r n a t i o n a lf i n a n c e ，e x c h a n g er a t ei sa l w a y st h eh o t t o p i cf o rd i s c u s s i o na n dr e s e a r c h s i n c ej u l y7o f2 0 0 5 ，c h i n ah a si m p l e m e n t e dan e w e x c h a n g er a t es y s t e mt h a ta d j u s t st h ee x c h a n g er a t eo nb a s i so ft h es u p p l ya n d d e m a n do ft h em a r k e ta sw e l la sar e f e r e n c eo fc u r r e n c i e s i ti sas u p e r v i s o r yf l o a t i n g s y s t e m t h en e ws y s t e ml e a d st oa ni n c r e a s eo ff r e q u e n c ya n du n s t a b l ef l u c t u a t i o no f e x c h a n g er a t e ，w h i c hh a sn e g a t i v ei n f l u e n c e so no u rf i n a n c i a ls y s t e m t h e s el e a dt o a ni n c r e a s eo ft h ee x c h a n g er a t er i s ka n dt h ei n s t a b i l i t yo ff i n a n c i a lm a r k e t ，a n d p r i c k i n gu ps p e c u l a t i o n t h e r e f o r e ，i ti si n d i s p e n s a b l et oe s t a b l i s hap r o m p ta n d a c c u r a t ee x c h a n g er a t ef o r e c a s tm o d e lt o c a p t u r et h ef l u c t u a t i o no fr m b u s d e x c h a n g er a t ei nc e r t a i nf u t u r ep e r i o d f i r s t l y , t h i sp a p e rd i s c u s s e st h ed e v e l o p m e n to fe x c h a n g er a t ef o r e c a s t i n g m e t h o d s ，t h ea p p l i c a t i o no fs u p p o r tv e c t o rm a c h i n e ( s v m ) i nf o r e c a s ta n di t s l i m i t a t i o n s t h e nt h i sp a p e rd e s c r i b e st h et h e o r yo fs v m ，s m o o t h i n gs v m a l g o r i t h m a n di n t r o d u c e st h et h e o r yo fl o c a l l yw e i g h t e dr e g r e s s i o n ( l w r ) n e x t ，b ya n a l y z i n g t h el i m i t a t i o nt h a ts v mh a st h es a m ep e n a l t yc o n s t a n t ( c ) f o rd i f f e r e n tt r a i n i n gp o i n t s i nt h ea c t u a la p p l i c a t i o n ，w ed os o m ei m p r o v e m e n ti nt h em o d e l m e a n w h i l e ，t h e o r i g i n a lo p t i m i z a t i o np r o b l e mw i t hc o n s t r a i n si st r a n s f o r m e dt oa nu n c o n s t r a i n e d c o n v e xq u a d r a t i cp r o g r a m m i n gp r o b l e m s t h e r e f o r e ，an e ws o l u t i o ni so b t a i n e d ， w h i c hi sc a l l e dw e i g h t e d s m o o t h i n gs u p p o r tv e c t o rm a c h i n e ( w - s s v r ) a n di t s e f f i c i e n c i e sa r ep r o v e db yt w os i m u l a t i o n s o nb a s i so ft h ea n a l y z e dc l a s s i ct h e o r i e s o ff o r e i g ne x c h a n g er a t ea n dt h ec h a r a c t e r so fr m b ，i nt h ef o u r t hp a r to ft h et h e s i s ，10 m a c r oe c o n o m i ci n d e x e so fc h i n aa n du s aa r ep r e s e n t e da st h ef a c t o r so fi n f l u e n c i n g r m b u s de x c h a n g er a t e t h e naw - s s v re x c h a n g er a t ef o r e c a s tm o d e li s e s t a b l i s h e db a s e do nt h e s e10s t r u c t u r e dv a r i a b l e s t oa p p l yt h em o d e l ，d a t af r o mj a n 19 9 9t om a r 2 0 0 8a r eq u o t e dt om a k ee m p i r i c a lr e s e a r c ho ne x c h a n g er a t e t h er e s u l t i n d i c a t e st h a tt h ef o r e c a s tp r e c i s i o no fw - s s v ri sb e t t e rt h a nt h a to fs t a n d a r ds v r t h em a p eo fi ti so n l y0 2 9 8 ，s h o w i n gt h ef o r e c a s tv a l u e sf i tt h ea c t u a lo n e sv e r y w e l la n dt h i ss o l u t i o ni sf e a s i b l e l a s t ，t h i st h e s i st r i e st oo p t i m i z et h es t r u c t u r e d v a r i a b l e s t h ee v a l u a t i n gi n d i c a t o r ss h o wt h a tt h ee f f e c to fo p t i m i z a t i o ni sg o o d i tn o t o n l ys o l v e st h ep r o b l e m s ，b u ta l s oi m p r o v et h ef o r e c a s tp r e c i s i o nf u r t h e r k e yw o r d s ：e x c h a n g er a t ef o r e c a s t ；s u p p o r tv e c t o rm a c h i n er e g r e s s i o n ； s m o o t h i n gm e t h o d ；w e i g h t e df a c t o r 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成 果。本人在论文写作中参考的其他个人或集体的研究成果，均在 文中以明确方式标明。本人依法享有和承担由此论文产生的权利 和责任。 声明人( 签名) ：替传。宇、 p 铝年j ，月落日 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦 门大学有权保留并向国家主管部门或其指定机构送交论文的纸 质版和电子版，有权将学位论文用于非赢利目的的少量复制并允 许论文进入学校图书馆被查阅，有权将学位论文的内容编入有关 数据库进行检索，有权将学位论文的标题和摘要汇编出版。保密 的学位论文在解密后适用本规定。 本学位论文属于 1 、保密() ，在年解密后适用本授权书。 2 、不保密( ) ( 请在以上相应括号内打“”) 作者签名： 导师签名： 芬传序、 强3 式 日期：刎年j 月泷日 日期：缈孑年朔髫日 第。章绪论 1 1 汇率预测的意义 第一章绪论 自1 9 7 3 年布雷顿森林货币体系崩溃以来，越来越多的国家放弃固定汇率而 走向了浮动汇率。从2 0 0 5 年7 月2 l 号起，我国也开始实行以供求为基础、参考 一篮子货币进行调节、有管理的浮动汇率制度。在浮动汇率制下，汇率主要由外 汇市场的供求关系来决定，这必然导致汇率波动的频繁性及不稳定性的出现。汇 率的剧烈波动会使得汇率风险增加，投机加强等，这加大了国内经济金融市场的 不稳定性，也增加了涉外经济决策的难度，不仅给我国的经济金融市场、进出口 贸易等带来影响，而且对迅速发展的跨国公司、跨国银行业有很大冲击。因此， 在这种情况下，对于我国政府、国际金融机构、跨国公司以及其他所有涉外经济 实体来说，准确地预测未来一定时期人民币汇率变动方向及程度就显得尤为重要 和迫切。 1 2 汇率预测的方法 汇率的预测方法主要有两大类，基础变量预测法和技术预测法。基础变量预 测法是在各经济变量之间的相关性基础上进行汇率预测。它要求假设一系列因果 关系和预测者能利用数学模型概括这一系列的因果关系。比如卡塞尔的购买力平 价理论、卢卡斯的一般均衡模型就是属于这种类型。由于建立了汇率和基本的 宏观经济变量之间的数量关系，在预测汇率的长期变动趋势上，基础变量预测法 是可行的，但在判断汇率变化的具体时间及预测短期汇率变化方面，其效果不是 很理想。实际上，经济系统的复杂性、时变性和模糊性等特点，使得传统的经济 计量模型中所赖以生存的方法论收到日益强烈的冲击。技术预测法主要是根据汇 率的历史数据，建立时间序列预测模型，通常使用线性自回归模型。近年来，由 于新的计量工具不断地被应用，时间序列分析在汇率的预测中占据了非常重要的 地位。随机游走模型和指数平滑模型、回归模型和移动平均模型都属于这一类模 国王国乡对外贸易与汇价决策新论【m 】北京：中国金融出版社，1 9 9 3 ：1 5 7 1 6 8 1 加权平滑支持向蜀机及其在外汇数据的实证分析 型。但由于汇率的波动性和一些外生变量的作用，上述时间序列预测模型往往精 度彳i 高。为此，许多学者开始寻找新的汇率预测方法。其中，比较著名的有 a r c h 。、g a r c h 皿模型。g a r c h 方法在金融领域的应用越来越广泛，最主要应 用于证券市场和汇率预测方面。 近年来，智能算法逐渐用于预测领域。其中人工神经网络的应用最多。神经 网络本质是非线性动态系统，具有较强的自学习、联想、识别等功能，属于人工 智能和系统工程科学的边缘交叉科学。预测领域中应用最为广泛的是前向网络模 型，也就是b p 网络，它的输入与输出关系可以看作是一个高度非线性映射，它 的信息处理能力来自简单的非线性函数的多次复合。相比上面两种预测方法，虽 然神经网络预测方法有很多不可比拟的优点，但神经i 埘络本身也存在难以克服的 缺陷，由于其采用经验风险最小化准则，因而存在过学习情况，训练过程中也存 在局部最小化，而且还有难以确定其控制参数以及网络结构等问题，大大限制了 其进一步的应用。支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 是上世纪9 0 年 代中期v a p n i k 等人提出的一种依据统计学习理论和结构风险最小化原理的学 习机，其是神经网络的延伸。s v m 经过这几年的研究和发展，已经开始逐步应 用于一些领域，比如在模式识别和函数回归中得到成功运用，而且也开始运用于 预测金融时间序列蚴。 1 3 支持向量机算法在预测领域的国内外研究现状 支持向量机是一类新型机器学习方法，由于其出色的学习性能，该技术己经 成为机器学习界的研究热点，并在众多领域如模式识别、数据挖掘、回归估计和 ”e n g l e r e a u t o r e g r e s s i v ec o n d i t i o n a lh e t e r o s k e d a s t i c i t yw i t he s t i m a t e so fv a r i a n c eo fu k i n f l a t i o n l j l e c o n o m e t r i c a ，1 9 8 2 ( 5 0 ) ：9 8 7 - 1 0 0 8 ob o l l e r s t e v t i m g e n e r a l i z e da u t o r e g r e s s i v ec o n d i t i o n a lh e t e r o s k e d a s t i c i t y j 1 j o u r n a lo fe c o n o m e t r i c s 1 9 8 6 ( 3 1 ) ：3 0 7 - 3 2 7 ”王国乡对外贸易 j 汇价决策新论【m 】北京：中国金融i 版社，1 9 9 3 ：1 5 7 1 6 8 k y o u n g - j a ek i m f i n a n c i a lt i m es e r i e sf o r e c a s t i n gu s i n gs u p p o r tv e c t o rm a c h i n e sn e u r o c o m p u t i n g j 2 0 0 3 ， ( 5 5 ) ：3 0 7 3 1 9 f r a n c i se h ，t r a y , l i j u a nc a o a p p l i c a t i o no fs u p p o r tv e c t o rm a c h i n e si nf i n a n c i a ln e u r o c o m p u t i n g j 2 0 0 3 。 ( 5 5 ) ：3 0 7 31 9 ”d i n g z h o uc a n s u l i np a n g y u a n h u a ib a i f o r e c a s t i n ge x c h a n g er a t eu s i n gs u p p o r tv e c t o rm a c h i n e s l c t h e p r o c e e d i n g so ft h e4 t hi e e ei n t e r n a t i o n a lc o n f e f e n c eo nm a c h i n el e a r n i n ga n dc y b e r n e t i c s ( i c m l c 2 0 0 5 ) ， g u a n g z h o u c h i n a 2 0 0 5 p 3 4 4 8 p 3 4 5 2 。庞索琳信用评价与股市予爽测模型研究及应用：统计学、神经网络与支持向量机方法 m i 北京：科学出 版社，2 0 0 5 2 菊。章绪论 金融经济等领域得到很好的应用 。 f r a n c i s 利用s v m 和神经网络来预测包括英镑等5 种货币对美元的汇率，结 果表明从各个方面看来，s v m 都比神经网络更有效，预测精度更准确。k y o u n g j a e k i m h 把支持向量机模型用于金融领域，并以金融市场为例对股票价格指数进行 了预测，预测结果与几层b p 神经算法和反向传播算法的预测值进行了比较分析， 结果表明支持向量机模型有着明显的优势。 支持向量机模型的研究虽然在国内起步较晚，但由于其良好的推广能力和应 用效果，己被很多学者所青睐。庞素琳教授在其专著包里就利用支持向量机分类 模型来对国内上市公司财务危机进行预警，取得特别高的准确率，林杰新h 在其 硕士学位论文里面也应用s v m 对上市公司的财务状况进行分析，其分析结果表 明，s v m 的准确率很高，是一种比较好的分类器。国内有关支持向量机应用方 面的文献还有很多，如：关丽苹，吴冲1 1 建立了一种基于支持向量机算法的外债 风险指标预测模型，运用预测模型，对偿债率、负债率等4 项指标进行预测，并 与自回归运动平均模型和前馈b p 神经网络三种方法得到的预测结果进行了对 比，结果表明支持向量机算法的预测效果是令人满意的，明显好于其他两种方法。 李元诚，方廷健，于尔铿1 2 提出了一种基于支持向量机( s v m ) 理论的电力系统 短期负荷预测方法。为了提高负荷预测精度，文中在训练数据集中采用了负荷数 据和温度数据。通过和多层b p 神经网络进行比较的试验，结果证明了其在短期 g u i n a n dp s m a r c o u xj t o nt h e ( u + k ) o r b i t so fc e r t a i nw e i g h t e ds h i f t s j j o u r n a lo fi n t e g r a le q u a t i o n sa n d o p e r a t o rt h e o r y , 19 9 3 ( 17 ) ：516 - 5 4 3 9 l u c h u ny u ，y a np i n g f a n ，z h a n gc h a n g s h u i 。z h o uj i e f a c er e c o g n i t i o nu s i n gs u p p o r tv e c t o rm a c h i n e j i n ： p r o o f i c a n n 9 8 ，b e i j i n g , 1 9 9 8 ：6 5 2 - 6 5 5 ”j iy q ，j i a n gc l ，w a n gz y t h e ( u + k ) o r b i to fe s s e n t i a l l yn o r m a lo p e r a t o r sa n dc o m p a c tp e r t u r b a t i o no f s t r o n g l yi r r e d u c i b l eo p e r a t o r s j c h i n aa n no fm a t h ，2 0 0 0 ，( 2 ) ：2 3 7 - 2 4 8 。c o l l o b e r tr s v m t o r c h s u p p o r tv e c t o rm a c h i n e sf o rl a r g e - s c a l er e g r e s s i o np r o b l e m s j j o u r n a lo fm a c h i n e l e a r n i n gr e s e a m h ，2 0 0 1 ，( i ) ：1 4 3 - 1 6 0 o 马云潜、张学工支持向量机函数拟合在分形插值中的应用 j 清华大学学报( 自然科学版) ，2 0 0 0 ，( 3 ) ： 7 6 7 8 。杜树新、吴铁军用于l 口1 归估计的支持向量机方法 j 系统仿真学报，2 0 0 3 ，( 1 3 ) ：1 5 8 0 一1 5 8 5 。f r a n c i se h 。t r a y , l i j u a nc a o a p p l i c a t i o no fs u p p o r tv e c t o rm a c h i n e si nf i n a n c i a ln e u r o e o m p u t i n g j 2 0 0 3 ， ( 5 5 ) ：3 0 7 - 3 1 9 k y o u n g - j a ek i m f i n a n c i a lt i m es e r i e sf o r e c a s t i n gu s i n gs u p p o r tv e c t o rm a c h i n e sn e u m e o m p u t i n g j 2 0 0 3 ， ( 5 5 ) ：3 0 7 - 31 9 回庞素琳信用评价与股市预测模型研究及应用：统计学、神经网络与支持向量机方法【m 】北京：科学出 版社，2 0 0 5 ”林杰新、罗伟其基于数据模式识别整合框架的s o f m s v m 模型及其应用i m i 暨南大学，硕士学位论 文，2 0 0 5 关历萍、吴冲基于支持向量机方法的外债风险预警研究i m 】哈尔滨工业大学，硕士学位论文，2 0 0 4 1 2 李兀诚、方廷健、于尔铿短期负荷预测的支持向量机方法研究 j 中国电机工程学报，2 0 0 3 ，( 2 3 ) ： 加权平滑支持向毓机及其在外汇数据的实证分析 负荷预测中的有效性。刘广利等m 运用不确定性支持向量机方法对我国的粮食增 长问题及粮食安全问题进行了实证研究，取得了较好的效果，实现了专家意见的 综合。周诚，裘正定嚏针对财务失败预测问题，利用支持向量机和决策树分类算 法，建立了财务失败预测模型，实验结果表明，他们的模型比l o g i s t i c 、神经网 络等模型有更高的预测精度。 1 4 支持向量机算法存在的不足以及本文结构 1 4 1 研究不足之处 与传统的神经网络相比，支持向量机具有出色的性能，它运用结构风险最小 化原则，能在经验风险与模型复杂度之间作适当的折衷，从而获得更好的推广能 力。对于标准的支持向量机回归模型，模型对于每个训练数据点误差的惩罚是一 样的，即惩罚参数为一个恒定的常数；且模型为约束的最优化问题，求解方法的 选择将影响整个算法的时间效率。但在实际应用中，实际样本数据点之间的重要 性并不是等同；往往是有些数据点对于该预测点比较重要，而有些点重要性比较 低些，如电力负荷预测、股市预测、期货预测等动态变化比较剧烈的时间序列预 测问题，近期数据的重要性远远高于早期数据的重要性。训练时对样本误差惩罚 的一视同仁将会影响算法推广能力和预测精度。求解原约束最优化问题的常用的 方法有：一种为分解策略，即将原问题分解为一系列规模较小的子问题，通过循 环解决子问题进而得到原问题的解。根据分解策略、分解后子问题的大小以及子 问题的求解策略的不同，现有的分解策略算法可以分为三种块算法、分解算 法以及序贯最小优化算法。b o s e r 等人提出了块算法( c h u n k i n ga l g o r i t h m ) ， o s u n a 等人提出分解算法，成为解决上述问题的一类有效方法。在分解算法的基 础上，p l a 仳勺提出了序贯最小优化算法( s e q u e n t i a lm i n i m a lo p t i m i z a t i o n ，s m o ) 。 ”刘广利、张爱丽、邓乃扬不确定件支持向量机分类预警算法 j 中国管理科学，2 0 0 3 ，l l ( 4 ) ：5 8 9 1 周铖、裘正定支持向鲑机和决策树算法在财务火败预测i i 的应j | j 研究i m i 北京交通大学，硕士学位论 文，2 0 0 4 9b e b o s e r i m g u y o n v v a p n i k a t r a i n i n ga l g o r i t h mf o ro p t i m a lm a r g i nc l a s s i f i e r s c i nd h a u s s l e r , e d i t o r ， p r o c e e d i n g so f t h e5 t ha n n u a la c mw o r k s h o po nc o m p u t a t i o n a ll e a r n i n gt h e o r y , a c mp r e s s , 1 9 9 2 e o s u n a r f r e u n d e g i r o s i a ni m p r o v e dt r a i n i n ga l g o r i t h mf o rs u p p o r tv e c t o rm a c h i n e s l j l i nj p r i n c i p e ， l g 讣e n m o r g a n ，e w i s o n ，e d i t o r & n e u r a ln e t w o r k sf o rs i g n a lp r o c e s s i n g v l l - p r o c e e d i n g so f t h e1 9 9 7i e e e w o r k s h o p 2 7 6 - 2 8 5 ”j p l a a f a s tt r a i n i n go fs u p p o r tv e c t o rm a c h i n e su s i n gs e q u e n t i a lm i n i m a lo p t i m i z a t i o n j i nb s c h l k o p f , 4 第。章绪论 另一种策略是把上述问题转化为一个或一系列无约束最优化问题，如y u h - j y e l e e t 等人提出s s v m 的概念，通过惩罚因子和平滑函数的引入，使带约束的凸 二次规划求解变为无约束问题，可以使用一般的n e w t o n 法进行求解。和第一种 策略相比，该方法在降低计算复杂性上有较强的优势，适合大规模数据的数理。 1 4 2 研究框架与内容 针对以上支持向量机回归的两个问题，本文提出了相应的解决策略，主要工 作为：借鉴局部加权回归算法，使模型中不同训练样本点有刁 同的误差惩罚得到 加权支持向量机，且与平滑最优化求解方法相结合，得到加权平滑支持向量机模 型：它充分利用了不同训练样本点对于预测结果的作用，并且也利用了s s v m 在求解优化问题的效率，建立了一个比较实用的w - s s v r 汇率预测模型，对人民 币美元的汇率进行预测与实证研究。 本文第一章讨论了汇率预测的研究意义、研究方法、支持向量机用于预测的 综述以及其所存在的问题和解决方法并说明了本文的研究内容。 第二章主要是简单介绍了支持向量机的原理、平滑支持向量机以及局部加权 回归算法。 第三章则首先讨论了支持向量机所存在的对不同训练样本点具有相同误差 惩罚问题，通过借鉴局部加权回归算法来改进支持向量机参数c ，且在求解优化 问题时，将原约束问题转化为无约束的凸二次规划问题，进而得到新模型的方案： 加权平滑支持向量回归模型( w - s s v r ) ，并且作了相应的对比试验验证算法的性 能。 第四章则是把w - s s v r 模型应用到人民币美元的预测上，利用w - s s v r 模 型对汇率做实证分析。 第五章是对全文的总结和展望。 c j b u r g e s ，a j s m o l a , e d i t o r a d v a n c e si nk e m e lm e t h o d s s u p p o r tv e c t o rl e a r n i n g m i t p r e s s 19 9 9 西y u h - j y el e e ，w e n - f e n gh s i e h as m o o t hs u p p o r tv e c t o rm a c h i n ef o ri n s e n s i t i v er e g r e s s i o n j i e e e t r a n s a c t i o n so nk n o w l e d g ea n dd a t ae n g i n e e r i n g v 0 1 17 ，n o 5 ，m a y2 0 0 5 加权平滑支持向付机及外汇数据的实证分析 第二章支持向量机与局部加权回归 2 1 支持向量机 支持向量机是从线性可分情况下的最优分类超平面发展而来的，基本的思想 可用以下图2 1 的两维的情况说明，图中，黑圆圈与白圆圈代表两类样本，h 为 分类超平面，h l 与h 2 从分别为过各类中离分类超平面最近的样本且平行于分 类超平面的平面，它们之间的距离叫做分类间隔( m a r g i n ) 。所谓最优分类面就是 要求分类面_ i 但能将两类正确分开( i ) l l 练错误率为0 ) ，而且使分类间隔最大。距 离最优分类超平面最近的向量称为支持向量，图中为过h 1 与h 2 的黑圆圈和白 圆圈。 图2 - 1 ：最优分类面示意图 设样本为维向量 ( 五，y 1 ) ，( 西，乃) r ” + 1 ，- 1 ( 2 - 1 ) 超平面h 可以表示为 w x + b = 0 ( 2 - 2 ) 显然，式( 2 - 2 ) 中的w 和b 乘以系数后仍满足方程。不失一般性，样本五满足 下列不等式 w o 薯+ 6 - 1 若 只= - 1 可将上述不等式的规范形式合并为如下式： 6 第_ 章支持向带机与局部加权回班i y l ( w x i + 6 ) ii = 1 ，2 ，( 2 - 3 ) 点x 到超平面h 的距离为： m ，6 ，垆昔 ( 2 _ 4 ) 则构造最优分类超甲面的问题可以转换为，在条件( 2 - 4 ) 下，求： d ( w ) = i iw l i 最小值的问题。事实上，支持量机到超平面的距离为而1 而，于是支持向量 之间的间隔为赢。 2 1 1 核函数 核函数是支持向量机的一个重要概念，正是由于引入了核函数，才解决了由 于模式升维而引起的“维数灾难”问题，使得在没有增加复杂度的情况下，能在 高维特征空间使智能学习成为可能。 假设给定输入空间的样本集( y l ，五) ，( 只，) ，x r ”，y r 存在一个映射 必，使得： r ”一h ：x i 专矽( t ) 在输入空间中存在一个函数k ( ) ，满足k ( ，x j ) = 矽( 一) 矽( ) ，则函数就称为核 函数，应用核函数, - q p a 避免直接计算 。其实由统计学习理论可知， 只要任意函数满足m e r c e r 条件，就可以作为核函数，也就可以对应变换空间中 的内积。 从本质上说，核函数决定了特征空间的结构，所以它的选择显得比较重要。 目前常见的核函数有以下三种： ( 1 ) 多项式内积函数： k ( x ，x ) = 【( x x ) + 1 r ( 2 ) 径向基函数( 高斯函数) ： 七( x ，x ) ：e - i i x - x i i 2 伽2 ( 3 ) s i g m o i d 内积函数： k ( x ，x ) = t a n h ( v ( x x ) + c ) 本文对汇率的预测属于时间序列预测，与支持向量回归和函数逼近非常相 似，从以往学者的研究经验来看，高斯函数在回归和函数逼近等此类问题中的应 7 加权半滑支持向苗机及外汇数据的实证分析 用的较多，而且效果也比较理想，因此本文所采用的核函数是高斯函数。 2 1 2 支持向量机回归 支持向量机最初是运用于分类问题的，但随着研究的不断深入，支持向量机 算法己经开始运用于回归和预测领域，本文的对汇率做预测中，主要是基于支持 向量回归( s v r ) 方法进行的。目前支持向量回归已经发展了很多种，如v s v r 、 一s v r 等。 常见的支持向量机回归算法，如，一s v r 、占一s v r 等。 1 线性支持向量机回归 设样本集为 ( m ，五) ，( y l ，) ，x 尺”，y r 回归函数用下列线性方程表示： f ( x ) = w 。x + b( 2 - 5 ) 运用- q 敏感损失函数： 铷，= 川篙刊- y ! p 6 ， 也就是当y 与预测值f ( x ) 之间的误差不超过事先给定的整数时，则认为函 数对这点的拟合是没误差的，如图所示，当样本点位于两条虚线之间的带子里， 我们就认为该点没有损失，称两条虚线构成的带子为占带。 图2 2 ：占一s v r 第_ 章支持向龄机与局部加权回旷 按失往 f刁。 ，一f x ) 图2 3 - 一s v r 损失函数 于是图2 2 中的( x ，y ) 上的损失所对应图2 3 中的f 值，即 f = y - f ( x ，少) 一s( 2 - 7 ) 因此回归函数通过求以下方程的最小值得出： ( w ，f 9 ( ) = 1 21 1w1 1 2 + c l 矢+ f f l 厂， 7 、 i = li = 1 i y j 一 一b s + 幺( 2 8 ) s j + b - y i s + f + ， 【色，乒0 这里c 是惩罚因子，缶，f ，为松弛变量。为了求解以上问题，支持向量机一 般是采用对偶理论，把它转化为二次规划问题来解决。 引入拉格朗日方程： ( 嵋缶，f + ，) ：1 1w i i ：+ c 圭( 缶一f ，) 一圭口，p + 缶一以一 一6 ) 一 ， 一8 1 ， 信1 ( 2 - 9 ) ll 、 口+ ，p + 缶+ 只一 一6 ) 一( 协缶切，f ，) 上式中a i ，口，r ，都是拉格朗日乘子，上式对参数w ，b ，缶，f ，的偏导都应该 等于零，即： 芸一喜c “h = 。 a量b 2 圭, ：l c q 一口，= 。 。2 一。， 嚣一c 一例 。 芳一c - 口，爿。- o 9 加权半滑支持向胡机及外汇数杯的实证分析 代入拉格朗日方程，得到对偶优化问题： i1 ， m i n i v ( a , a * ) 怯( q d ，) ( 巳一彳，) ( x 7 ，一) 一( q 一口，耽+ ( q 一口，) 占 ( 2 1 1 ) i ，= i ，= lj = l，= i 约束条件： 0 a l c ，i = 1 ， 0 a + 。c ，i = 1 ， ， ( q 一口，) = o 口1 根据k a r u s h k u h n t u c k e r ( k k k ) 条件 1 2 ，在最优解处，有 ( 2 - 1 2 ) 由此可以得出，位于刁i 灵敏区内的样本点所对应的a l , a + 都等于零，外部的 点对应有口f = c 或者口，= c ，而在边界上，r l , ，矿，均为零。因而口，a ，( o ，c ) ，于 是有： b=：yt一-+6f,，aib w a 。，：墨二c ， c 2 一t 3 ， 【= 一 + f ，( o ，) 、。 可由上式计算b 的值。与a i 0 和a 0 对应得样本x ，即在刁 一 w o ， 贝l j p ( x ，口) = s ( y ，口) = x + 吉l 。g ( x + e - a x ) 。p 函数可用图2 5 i 彦t n ： 图2 - 5 p - 函数p ( x ，口) = x + 专l o g ( 1 + e - 口x ) x - 5 ，5 】，口= 5 口 、 7 。 第_ 章支持向吊机与局部加权回班l p 函数的性质( p ，口) ，当口 o 有如下性质： 1 籽髓磋瓤捆如o 瑚揿撇聃，月p b ) 2 南， 以州) 2 鬲； 2 v xe r ，p ( x ，晓) 为严格凸和严格递增； 3 p ( x ，a ) ( x ) + ； 伞h l i m 。p ( j f ，口) 一( x ) + = 0 对任意a o ； 5 1 ) m p ( x ，口) = ( x ) 。 2 2 2 构造平滑支持向量回归模型( s s v r ) 对于线性s s 职的原始问题为： m i 胪n ：。l 2w t w + c 善( + n j j 丁彳w + 6 一j ，：+ f ，。 f ，f 。 2 1 6 l - a w - b + ) ，占+ u ( 2 1 8 ) 该问题的目标函数( 2 - 1 7 ) 中包含有( 矢+ ) 2 ，据此，并注意到约束条件 ( 2 1 8 ) ，可知问题中( 参+ 量) 的解应满足 筐k 。k l 九三言裂2 y + if 掣叫 ( 2 - 1 9 ) = ( 1 4 w + 6 一l s ) + 、7 ：c h e r k a s s k yw m u l l e rf l e a r n i n gf r o md a t ai m w i l e y ：n e wy 0 r k ，19 9 8 v a p n i kv t h en a t u r eo fs t a t i s t i c a ll e a r n i n gt h t - e - o j 哆- i m - - - 1 jn e w york：springer-vbrla舀19959 c r i s l i a n n j n jn s h a w e - t a y l o rj a ni n t r o d u c t i o n t o 。s t u - - p - j p o r t v e c t o rm a 。c h i n 。e s ( m 】c 。a m b r i d g eu n i v e r s i t yp ress：c a m b r i d g e ，u k 2 0 0 i 。 f k + s 一 0 为光滑参数。并根据文献国可以证明当 口jo o 时p ( x ，口) 收敛于 ) + 。这样无约束最优化问题就近似于原最优化问题。则 新的规划问题，即不敏感平滑支持向量机回归模型( 一s s v r ) ，如下所示： m 川i n i z ( w r w + b 2 ) + 导喜( 14 w + b - y ，巳)