（控制理论与控制工程专业论文）灰色支持向量机在小样本预测中的应用研究.pdf

摘要 灰色系统理论的研究对象足“部分信息已知，部分信息未知”的“小样本”、 “贫”信息彳i 确定系统，它通过对“部分”已知信息的生成、开发了解、认识现 实世界，实现对系统运行行为演化规律的正确把握和描述。灰色动念建模是灰色 系统理论的核心，也是灰色系统理论与世界相结合的桥梁。 支持向量机是建立在统计学习理论的v c 维理论和结构风险最小化原则基础 上的新型机器学习方法它根据有限样本信息在模型的复杂度和期望风险之间寻 求最佳折衷，能够获得更好的泛化性能。与传统的神经网络等学习方法相比，支持 向量机具有泛化能力强、维数不敏感、收敛到全局最优等优点，很好地决了前者 容易出现的过学习、局部极值、维数灾难等棘手问题。 论文主要研究工作包括以下3 个方面： 1 针对狄色关联因子分析和支持向最机的分类机理，提出了一种混合算法。 用灰色关联分析方法作为属性预处理器，依据属性关联度改变每个属性的权重， 然后基于支持向量机进行回归建模和预测，并通过实例证明该模型的有效性。 2 阐述预测技术中灰色预测模型g m ( 1 ，1 ) ，通过分析其建模机制找出影响模 型精度的各种因素( 背景值、初值、光滑度) ，并针对各种影响因素分别提出背 景值预测模型( b g m 模型) 、初值预测模型( i g m 模型) 、光滑度预测模型( s g m 模型) ， 最后分别通过实例证明其有效性。 3 将背景值预测模型( b g m 模型) 、初值预测模型( i g m 模型) 、光滑度预测模 型( s g m 模型) 的预测数据作为输入因子，实际数据作为输出因子，然后基于支持 向量机进行回归建模和预测，并通过实例证明该模型的有效性。 关键词：灰色系统理论；支持向量机；预测 a b s t r a c t g r e ys y s t e mt h e o r y ( g s t ) s t u d i e so nt h ei n d e t e r m i n a t es y s t e mw it h “a f e ws a m p l e s a n d ”p o o r ”i n f o r m a t i o n w h i c hi s i nt h es i t u a t i o no f “p a r t o fin f o r m a tio nk n o w n ，p a r to fin f o r m a tio nu n k n o w n ”b yg e n e r a tin ga n d d e v e l o p i n gt h e “p a r to fi n f o r m a t i o nk n o w n ”，g s tc a nh e l pu su n d e r s t a n d a n dr e c o g n i z et h er e a lw o r l d ，a n dh e l pu sr i g h t l ym a s t e ra n dd e s c r i b et h e o p e r a t i o n a lb e h a v i o ra n de v o l u t i o n a ll a wo ft h ei n v e s t i g a t e dy s t e m g r e y d y n a m i cm o d e l i n gt e c h n i q u ei st h ec o r eo fg s t ，a n d i sa l s ot h eb r i d g e b e t w e e nt h eg s ta n dp r a c t i c e s u p p o r tv e c t o rm a c h i n e s ( s v m ) i san o v e la n dp o w e r f u lm a c h i n el e a r n i n g a p p r o a c hd e v e l o p e di nt h ef r a m e w o r ko fs t a t i s t i c a ll e a r n i n gt h e o r y ，w h i c h b a s e so nt h ev ct h e o r ya n dt h ep r i n c i p l eo f s t r u c t u r a l r i s k m i n i m iz a t i o n i ta l w a y sp e r f o r m sw e l li nm a n yp r c t i c a la p p l i c a t i o n sw i t h h i g hg e n e r a l i z a t i o n b e c a u s eo fi t sb e t t e rt r a d i t i o n a ll e a r n i n g a p p r o a c h e s ，s u c ha sn e a r a ln e t w o r k ，s v mh o ld st h ea d v a n t a g e so fg o o d g e n e r a l i z a t i o n ，b e i n gi n s e n s i t i v et oh i g hd i m e n s i o nd a t aa n dc o n v e r g e n c e t og l o b a lo p t i m u m ，s oi ts o l v e st h ei n t r a c t a b l ep r o b l e m so ft h ef o r m e r ，s u c h a so v e r 一1 e a r n i n g ，l o c a lm i n i m a ，d i m e n s i o nc u r e s ee t c t h em a i nw o r k so ft h i sp a p e ri n c l u d et h e f o ll o w i n gt h r e ep a r t s ： 1 aa d m i x t u r ea l g o r i t h mi sp r e s e n t e db a s eo ng r e yr e l a t i o n a la n a l y s i s a n ds u p p o r tv e c t o rm a c h i n e s p r e t r e a m e n tm o d u l ew h i c hg r e yr e l a t i o n a l a n a l y s i sa t t r i b u t i o nr e d u c t i o na l g o r i t h mc o u r s ee n d o wd i f f e r e n tw e i g h t t oe a c hi n f l u e n c i n gf a t o r s ，a tl a s tt h ep r e d i c t i v ep e r f o r m a n c ei sc h e c k e d 2 i n t r o d u c i n gg r e yp r e d i c t i o n m o d e lg m ( 1 ，1 ) ，a n da n a l y z i n gt h e m e c h n i s i l lo fg m ( 1 ，1 ) t oi d e n t i f yt h ei m p a c to fm o d e la c c u r a c yo fav a r i e t y o ff a c t o r s ( b a c k g r o u n dv a l u e ， i n i t i a lv a l u e ，s m o o t h n e s s ) ，t h e nt h r e e p r e d i c t i o nm o d e l sa r ep r e s e n t e db a s e do ne a c hi m p a c tf a c t o r s ，t h a ti s ， b a c k g r o u n dv a l u ep r e d i c t i o nm o d e l ( b g mm o d e l ) ：，i n i t i a lv a l u ep r e d i c t i o n m o d e l ( i g mm o d e l ) a n ds m o o t h n e s sp r e d i c t i o nm o d e l ( s g mm o d e l ) 3 t r e a t i n gt h ep r e d i c t i o nd a t ao fb g mm o d e l ，i g mm o d e l ，s g mm o d e l a si n p u tf a c t o r s ，t h ea c t u a ld a t aa so u t p u tf a c t o r ，a tl a s tt h ep r e d i c t i v e p e r f o r m a n c eisc h e c k e d k e yw o r d s ：g r e ys y s t e mt h e o r y ：s u p p o r tv e c t o rm a c h i n e s ：p r e d i c t i o n 厦门大学学位论文原创性声明 本人呈交的学位论文是本人在导师指导下，独立完成的研究成 果。本人在论文写作中参考其他个人或集体已经发表的研究成果，均 在文中以适当方式明确标明，并符合法律规范和厦门大学研究生学 术活动规范( 试行) 。 另外，该学位论文为() 课题( 组) 的研究成果，获得() 课题( 组) 经费或实验室的 资助，在() 实验室完成。( 请在以上括号内填写课 题或课题组负责人或实验室名称，未有此项声明内容的，可以不作特 别声明。) 声明人( 签名) ：椒 川年易月参日 厦门大学学位论文著作权使用声明 本人同意厦门大学根据中华人民共和国学位条例暂行实施办 法等规定保留和使用此学位论文，并向主管部门或其指定机构送交 学位论文( 包括纸质版和电子版) ，允许学位论文进入厦门大学图书 馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国 博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和 摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。 本学位论文属于： () 1 经厦门大学保密委员会审查核定的保密学位论文， 于年月目解密，解密后适用上述授权。 () 2 不保密，适用上述授权。 ( 请在以上相应括号内打“ 或填上相应内容。保密学位论文 应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密 委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认 为公开学位论文，均适用上述授权。) 声明人( 签孙槲曼 川年1 6 月上日 灰色支持向量机在小样本预测中的应用研究 第一章绪论 1 1 引言 基于数据的机器学习是现代人工智能技术中的一个重要研究内容和方向，其 主要研究是从观测数据( 样本) 出发寻找规律，并利用这些规律对未来数据或无 法观测的数据进行预测。基于数据的机器学习可大致分为- 种，它们分别为模式 分类、函数回归与预测以及概率密度估计【1 - 3 1 。 v v a p n i k 等人【1 埘从六、七十年代开始致力于统计学习理论的研究。同时， 在统计学习理论基础上发展了一种新的通用学习方法一支持向量机( s u p p o r t v e c t o rm a c h i n e ， s v m ) ，它在解决小样本、非线性以及高维模式识别问题中表 现出许多特有的优势。s v m 克服了神经网络分类和传统统计分类法的很多缺点， 具有较高的泛化能力。与传统的分类算法相比，s v m 在运算速度、结果精度等方 而都有着明显的优越性。 灰色系统是八十年代发展起来的一门新学科，灰色系统着重外延明确，内 涵不明确的对象【】。灰色系统建模方法是着重系统行为数据间、内在关系间挖掘 量化的方法，是内涵外延的方法，是外延内涵均取得方法。灰色系统建模实际上 是一种以数找数的方法，从系统的一个或几个离散数列中找出系统的变化关系， 建立系统的连续变化模型。 灰色支持向量机是将灰色系统与支持向量机有机结合、取长补短，来提高系 统的并行计算能力和系统的可用信息的利用率，提高系统建模的效率与模型的精 度。 1 2 支持向量机的研究现状 2 0 世纪六、七十年代，v a p n i k 开始致力于统计学学习理论研究。1 9 8 1 年， 他与c h e r v o n e n k i s 联合提出了s v m 的重要基础一- - v c 维。1 9 8 2 年，v a p n i k 进 一步提出了具有划时代意义的结构风险最小化( s t r u c t u a lr i s km i n i m i z a t i o n s r m ) 原则，它被称为s v m 算法的基石。1 9 9 3 年，c o r t e s 和v a p n i k 在( t h es o f t m a r g i nc l a s s i f i e r 书中，进- 一步探讨了非线性情况下的最优边界分类问题 【4 1 。1 9 9 7 年，v a p n i k ，g o k o w i c h 和s m o l a 发表的( s u p p o r tv e c t o rm e t h o df o r f u n c t i o na p p r o x i m a t i o n ，r e g r e s s i o ne s t i m a t i o n ，a n ds i g n a lp r o c e s s i n g 第一章绪论 书中，详细介绍了基于支持向量机方法的回归估计方法和信号处理【5 】。 近几年涌现出大量的理论研究成果，使支持向量机理论不断得到完善和发 展，更为其应用研究奠定了坚实的基础。丰要的研究成果分为以下几个方面。 1 、支持向量预选取和简化。脱测样本中占极少数的支持向量决定了s v m 的 解，因此，如果能够依据样本的集合分布信息或者密度信息直接估计出支持向量 的近似集合，并在该近似集上进行训练，就能够显著加快s v m 的学习速度，因此， 把此类方法称为“支持向量预选取方法”。目前已经提出了的方法包括：类中心 距离比方法嘲，g u a r d 向量方法 7 1 ，模糊预选取方法等咚, 9 1 。 2 、泛化性能分析。泛化性能又称为推j 能力，是指经训练后的学习机器能 利用已得到的规律，对测试样本作出正确的预测和判断。s v m 的泛化性能一般不 能准确计算，只能对其上界作出估计，它的泛化性能的上界基于v c 维。研究表 明由于上界过于宽松，没有实际意义。为此，一些学者提卅改进方法。比如t a y l o r 等人给出了软边界的上别10 1 ，z h o u 定量研究了核空间的容量问题i l 】。 3 、核函数的研究。支持向量机的泛化能力与核函数密切相关，如何对核函 数进行改进既是重点又是难点。a m a r i 提出了利用实验数据修正改进已有核函数， 使其泛化能力加强【1 2 】。 4 、s v m 的改进。为了扩展支持向量机的应用范围或者克服它在某些方面的 局限，出现大量的改进算法。v a p n i k 提出了可调罚参数的c - s v m 系列。l i n 等 提出了f s v m ( f u z z ys v m ) 事先给每个样本指定一个隶属度因子，用于度量样本在 参与构建分类面时的贡献【1 3 】。 5 、处理多分类。由于支持向量机是针对两分类问题提出，而现实应用中有 许多是多分类问题。因此，如何有效地将其扩展到多类问题是当前研究的一个热 点。第一种方法是“一对一( 1 一a g a i n s t 1 ) ”【1 4 】：第二种方法是“一对多 ( 卜a g a i n s t - r e s t ) ，【1 5 】。 以上简单介绍了有关支持向量机及其相关的一些研究。 1 3 灰色理论的研究现状 1 9 8 2 年，华中科技大学邓聚龙教授提出了灰色系统的概念，引起国内外学 者的关注和重视。灰色系统理论丰要研究内容包括：灰色关联分析、灰色聚类评 估、灰色系统模型、灰色系统预测等 1 6 - 1 9 1 。 l 、灰色关联分析。灰色关联分析的基本思想足根据序列曲线几何形状的相 灰色支持向量机在小样本预测中的应用研究 似程度来判断其联系是否紧密。曲线越接近，相应时间序列之间关联度就越大， 反之越小。灰色关联分析为系统识别、预测、决策、控制提供信息和依据。 2 、灰色聚类评估。灰色聚类是根据灰色关联矩阵或灰数的白化权函数将一 些观测指标或观测对象划分成若干个可定义类别的方法。按聚类对象划分，灰色 聚类可分为灰色关联聚类和灰色白化权函数聚类。 3 、灰色系统模型。灰色理论认为一切灰色序列都能通过某种生成弱化其随 机性而呈现本来的规律，也就是通过灰色数据序列建市系统反应模型，并通过该 模型来预测系统可能的变化状态。 4 、灰色系统预测。灰色预测就是通过原始数据的处理和灰色模型的建立， 发现、掌握系统发展规律，对系统的未来状态作出科学的定量预测。 灰色理论自提出以来，已经被广泛的应用丁许多实际生产及生活领域，对国 民经济和科学研究都产生了较大影响。 1 4 本文的主要工作 l 、比较详细介绍支持向量回归机以及灰色系统坪论，并且讨论其研究方向。 2 、详细分析灰色关联分析的特点，利用灰色关联度修f 影响凶素的权重， 改变影响凶素的影响作用，将新的影响凶素作为支持向量机的输入，实际数据序 列作为支持向量机的输出，洲练得到最优支持向量回归模型，然后运用于中国粮 食产量的预测。 3 、详细分析影响灰色g m ( 1 ，1 ) 模型预测精度的影响因素：数据序列的光滑度、 模型初值的选取以及背景值的改进，并且从这二个影响因素分别提出了改进方法 以提高预测精度，最后将其运用于实例进行验证。 4 、针对灰色预测对波动较强的序列只能预测大致变化趋势的缺陷，结合灰 色理论中的s g m 模型、b g m 模型、i g m 模型和支持向量机的特点，提出了灰色支持 向量机预测模型，将一维数据序列通过三个灰色模型得到三组值作为支持向量机 的输入，原始数据序列作为支持向量机的输出，训练得到最佳支持向量回归模型， 最后将其运用于实例进行验证。 1 5 本章小结 本章介绍了论文的背景和意义，以及国内外灰色系统以及支持向量机的研究 现状，最后介绍了所作的主要工作。 第二章支持向量回归机的基本理论 第二章支持向量回归机的基本理论 2 1 统计学习理论 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据( 样本) 出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。包括模式 识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学 【】。与传统统计学相比，统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y ，s l t ) 是 一种专门研究小样本情况下机器学习规律的理论p 】。统计学习理论是建立在一套 较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架【2 0 1 。 并将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题( 比如神经 网络结构选择问题、局部极小点问题等) ：同时，在这一理论基础上发展了一种 新的通用学习方法支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) ，并已初 步表现m 很多优于已有方法的性能。一些学者认为， s l t 和s v m 止在成为继神 经网络研究之后新的研究热点，并将有力地推动机器学习理论和技术的发展。 统计学习理论就是研究小样本统计估计和预测的理沦，其核心内容包括： 1 、基于经验风险最小化准则的统计学习一致性条件： 2 、在这些条件下关于统计学习方法推广性的界的结论： 3 、在这些界的基础上建立的小样本归纳推坪准则； 4 、实现这些新的准则的实际方法( 算法) 。 其中，最有指导性的理论结果是推广界，与此相关的一个核心概念是v c 维 ( v a p n i k - c h e r v o n e n k i sd i m e n s i o n ) 。 v c 维的直观定义是：对一个指示函数集，如果存在h 个样本能够被函数集中 的函数按所有可能的2 h 种形式分开，则称函数集能够把h 个样本打散。函数集 的v c 维就是它能够打散的最大样本数目h 。若对任意数目的样本都有函数能将它 们打散，则函数集的v c 维足无穷人。有界实函数的v c 维可以通过用一定的闽值将 它转化成指示函数来定义。v c 维反映了函数集的学习能力，v c 维越大，学习机器 就越复杂。目前尚没有通过关于任意函数集v c 维计算的理论，只知道一些特殊函 数集的v c 维。比如在n 维实数空间中线性分类器和线性实函数的v c 维是n + l ，而函 数 f ( x ，a ) = s i n ( a x ) ( 2 1 ) 4 灰色支持向量机在小样本预测中的应用研究 的v c 维为无穷大。对于两类问题，经验风险和实际风险之间至少l 一叩的概率满足 如下关系： 酬 0 为l a g r a n g e 系数，其中的问题是对w 和b 求l a g r a n g e i 雨数的极小值。 把式( 2 8 ) 分别对w 和b 求偏微分并令它们等于0 ，就可以把原问题转化为如 下这种较简单的对偶问题：在约束条件 口，y i = o ，口，o 江1 州2 一，刀 ( 2 9 ) 之下对口，求解下列函数的最大值： 石- v - “，0 为最优解，则 q ( 订) = 口，一 a i a j 彬，x i 7 x( 2 1 0 ) i = lf - i ，= l w o = a 。i y i x i ( 2 1 1 ) i = 1 即最优分类面的权系数向量是训练样本向量的线性组合。这是一个不等式约束下 的二次函数极值问题，存在唯，解。根据k u h n t u c k e r 条件，这个优化问题的解 须满足 a ， y i ( w 7 x i ) + 6 】一1 ) = o ，i = 1 , 2 ，刀 ( 2 1 2 ) 冈此，对多数样本a ? 将为0 ，取值不为0 的口? 对应于使式( 2 5 ) 等号成立的样 本即支持向量，它们通常只是全体样本中的很少一部分。求解上述问题后得到的 最优分类函数是 如) ：5 劬 ( 心训+ b o ) = s g n f ，主口? j ，x + 6 0 ( 2 1 3 ) i = 1 其中s i g n ( ) 为符号函数。由于非支持向量对应的a ? 均为0 ，因此式( 2 1 3 ) 中的求 和实际上只对支持向晕进行。而b 。是分类的偏移，可以由任意一个支持向最用式 ( 2 5 ) 求得( 因为支持向量满足其中的等式) ，或通过两类中的任意一对支持向量 第二章支持向量回归机的基本理论 取中值求得。 2 2 2 高维空间中的最优分类面 对非线性问题，可以通过非线性变换转化为某个高维空问中的线性问题，在 变换空问求最优分类面f 2 卅。这种变换可能比较复杂，凶此这种思路在一般情况 下不易实现。但是j 辛意到，在上面的对偶问题中，不论是寻优函数( 2 1 0 ) 还是分 类函数( 2 1 3 ) 都只涉及训练样本之间的内积运算x ，这样，在高维空间实际 上只需进行内移 运算，而这种内彩 运算是可以用原空问中的函数实现的，甚至没 有必要知道变换的形式。根据泛函的有关理论，只要一种核函数k ( x ，x 1 ) 满足 m e r c e r 条件，它就对应某一变换空间中的内积。 定理( m e r c e r 条件) ：对于任意的对称函数k ( x ，x 。) ，它是某个特征空问的内 积运算的允分必要条件是，对于任意的妒( 工) 不。t _ 嘣：o r i e z ( x ) d x 0 ( 2 1 4 ) 因此，在最优分类商中采用适当的核函数k ( x ，x ，) 就可以实现某一非线性变 换后的线性分类，而计算复杂度却没有增加，此时目标函数( 2 1 0 ) 变为 n1 行n q ( 口) 2 舌口f 一妄i = l i = l 口f 口 y i y j k ( x i ，x ) 2 1 5 ) 而相应的分类函数也变为 s i g n j ，k ( x ，x i ) + b o1 (216)u ) = l 订j ， ，) + n ( ) = l u j 这就是支持向量机。 概括地说，支持向量机就是首先通过用核函数定义的非线性变换将输入空间 变换到一个高维审间，在这个卒间中求( 广义) 最优分类面。s v m 分类函数形式上 类似于一个神经网络，输出足中间节点的线性组合，每个中间节点对应一个支持 向量，如图2 2 所示。其中输入向量x = ( x 1 ，x 2 ，工) ，支持向量数为s 。 由于最终的辨别函数中实际只包含与支持向量的内积的求和，因此识别时的 计算复杂度取决于支持向量的个数。 灰色支持向量机在小样本预测中的应用研究 k x lx 3x n 图2 2 支持向量机示意图 2 2 3 核函数 核函数是核技巧的基础，而核技巧是支持向量机的重要组成部分 2 2 。在支 持向量机训练过程中，算法复杂度只是南样本数来决定的，特别是样本中支持向 量的数目。然而在支持向量的训练过程中，特别足线性不可分情况，样本内积的 计算将会变得北常复杂。通过引入核函数将非线性可分的数据样本存高维空间转 化为线性可分，巧妙避开了高维空间数学运算量庞大的问题，使得支持向量机可 以在有限样本下，有效处理高维问题，解决了传统机器学习方法的“维灾难”， 这是支持向量机又一个优越于传统机器学习方法的特点。 核函数的定义为o 设x 是彤中的一个子集，称定义在x x 上的函数k ( x ，x ) 是核，如果存在着从x n 某一个h il b e r t 空间f 的映射， 矽：x _ ， x 一( 石) 使得k ( x ，x ) = 矽( x ) 矽( x ) ，其中”表示f 中的内积。 口前常用的核函数主要有如下- - 币t ： 1 、线性核函数：k ( x ，y ) = x y 。 2 、多项式核函数：k ( x ，y ) = 【( j y ) + c rc ，d 为参数。 3 、溅啪阳d 一学 ，嘞数。 9 第二章支持向量回归机的基本理论 2 3 支持向量回归机的几种算法 学习机的泛化性能不但与训练过程的经验风险有关，而且与学习机的实际复 杂性有关，s r m 是在综合考虑经验风险和学习机复杂性的基础上提出来的一种新 的归纳原则。支持向量机是实现该原则的一种通用学习算法，它被很好的应用于 分类问题的研究，并成功的推广到回归领域。下面介绍两种常见的s v r ，分别为 占一s v m 以及l s s v m 。 2 3 1 s 一支持向量机方法 v a p n i k 在定义了占不敏感损失函数的基础上提出了支持向量回归机 占一s v r 。给定 ，个独立 同分布的数据样本 ( 一，y i ) ，( 一，y i ) ，( 工。，y 。) ) ，工f r ”( f - 1 ，2 ，f ) ，占- s v r 算法在定义了不敏感 损失函数的基础上，寻找一个最优的函数f ( x ) = ( w x ) + b ，其中w ，x r ”，b r ， 使得预测的期望风险埘门最小： 只 = 妻0 1 2 + c 只三咿【厂】 ( 2 1 7 ) 其中1 1 4 2 称为结构风险，代表模型的复杂度；月品l 厂】= z l y ，一f ( x 纠占称为经 验风险，代表回归模型的误差；c 为松弛惩罚因子，用于在结构风险和经验风险 之间进行平衡。最小化式( 2 1 7 ) 等价于下面的二次规划问题： r a 。，菇i n = 抑2 + c 7 1 善( 夤+ 等) ( 2 1 8 ) i y ，一( ( w x 工，) + b ) s + 茧 s t w x x i ) + 6 一y 占+ 缶 【孝，孝? o ，i = 1 , 2 ， 其t i 鲁，占为为松弛变量，y ，- ( ( w xx i ) + 6 ) = 占和y i 一( ( w x i ) + 6 ) = 一占之间的区 域称为回归间隔。 引入l a g r a n g e 系数以，a - 最后将二次规划问题转换为如卜的对偶问题： m a x w = e ( a ，一口m ，- - 占( 口，+ 口? ) 一去( 口，一日溆盘厂口：) x ( x ，x j ) ( 2 1 9 ) ， i = li = 1 j j = l 求解上面的二次规划，得到最优的l a g r a n g e 系数a i , 口；以及闽值b ，a i , 口? 0 所 对应的样本称为支持向量( s u p p o r tv e c t o r ，s v ) 。 1 0 灰色支持向量机在小样本预测中的应用研究 对于非线性问题，用核函数来代替内积计算。核函数的引入使得操作。口j 。以直 接在输入空问进行而不必在潜在的高维特征空间进行，这种方式可以避免维数灾 难。在非线性的情况下，引入变换：r “一h ，将样本从输入空间尺”映射到一 个高维特征卒间，然后在h 中求取最优的函数使得定义的风险函数最小，根 据m e r c e r 条件存在映射和核函数k ( ，) ，使得k ( x ，x ，) = m c x i ) m ( x ，) ，引入 核函数后回归决策函数为 ， ( j ) = ( 口，一口：) k ( t ，x ) + 6 。 ( 2 2 0 ) ，= l 2 3 2 最小二乘支持向量机方法 在非线性的情况下，设给定样本数据为( 一，y 。) ，( j c i ，y i ) ，( x m ，y 。) 其中工，r 为输入变量，y ，r 为输出变量，r y ，= f ( x ，) i = 1 , 2 ，m ，厂( x ) 为待估计的未 知函数。作非线性映射缈：r 寸h ，其中驴称为特征映射，h 为特征空间，则 被估计函数f ( x ) 有如下形式： y = f ( x ) = w 7p ( j ) + b ( 2 2 1 ) 其中w 为空间h 中的权向量，b r 为偏置。于是l s s v m 法估计非线性函数 为如下特征空间中的最优问题： 凛讹班圭w t w + 圭y 静 汜2 2 ， s t y f = w r 伊( _ ) + 6 + e i 其中，p ，r ，i = 1 , 2 ，m 为误差变量。注意到，( w ，p ) 是由正则化项去w 7 w 和s s e 项圭7 善p f 2 组成，其中7 为一实数常量，它决定了二者的相对重要性，为了避免 过学习，常将，设为较小的值。 一般地，由于w 可能为无限维的，丁是商接计算规划( 2 ，2 2 ) 是及其困难的， 因此将这一规划问题转化到其对偶空间中，定义l a g r a n g e 函数 l ( w , b ，p ；口) = j ( w , e ) - 口， 矽7 妒( 工f ) + 6 + e ，- y ，】 ( 2 2 3 ) ，= l 其中口i r 为l a g r a n g e 乘子，于是最优解的条件如下： 第二章支持向量回归机的基本理论 筹= 。jw = 毫哪( j ，) 丽c 3 l = 。j 毫”。 汜2 4 ， ：c 3 l ：ojw ：口，：弦，f ：l ，m d e ： _ o l ：ojy i ：w7 妒g ，) + 6 + p ，f ：1 ，竹 d a 这些条件除了a ，= y e i 之外，与标准的s v m 最优条件很相似。其中口，= ；r e ，使得 l s s v m 不再具有s 所具有的稀疏性。利用( 2 2 4 ) 消去w 与e i ，得式( 2 2 3 ) h 0 ( 蚓l m ) r l 川y j 汜2 5 ， 吣+ 外j - 拍 其中向量1 。= ( 1 ，l ，1 ) 7 ，口= ( 口l ，订2 ，口。) 7 ，y = ( y l ，y 2 ，y 。) 7 ，f 2 为一矩阵， 其定义为：q = ( q 口) 。，其中q 盯= 缈( x ，) 7 伊( x ) 。 注意到( 2 2 5 ) 为一线性方程组，通过求( 2 2 5 ) 就可求得a 与b 的值，于 是获得被估计n 数f ( x ) 的表达式，即( 2 2 1 ) 式变为 y = ( x ) = 口，k ( x ，x ，) + 6 ( 2 2 6 ) j = i 其中k ( x ，少) 为核函数，其定义为k ( x ，y ) = 伊( x ) 7 驴( y ) ，一般地，核函数k ( x ，y ) 应 满足f 向的m e r c e r 条件。 定理( m e r c e r 条件) ：要保证三2 下的核函数k ( x ，y ) 能以j 下系数a 女 0 展开成 k ( x ，y ) 2k = l a k q g k ( x 砍( y ) 2 2 7 ( 即k ( x ，y ) 描述了在某个特征空间中的一个内积) 的充分必要条什是，对使得 k z ( x ) d x 0 都成立。 其中核函数k ( x ，y ) 的主要表达形式有： 1 、一般的多项式函数：k ( x ，j ，) = 【( j f y + 1 ) 】d 。 2 、径向基函数：k ( x ，y ) = e x p - z l l x - y l 。 1 2 灰色支持向量机在小样本预测中的应用研究 3 、多层感知器函数：g ( x ，y ) = t a n h ( x y 一目) 。 4 、b 样条函数：k ( x ，j ，) = b 2 i ( x y ) 。 5 、三角多项式函数：k ( 少) = 墅等杀帮。 2 4 本章小结 本章首先介绍了统计学习理论的一些知识，然后在此基础上导出了支持向量 机理论，在给出线性口j 分支持向量机的形式后，引入核映射的思想。最后介绍了 两种比较常用的支持向量回归机。 第三章灰色系统理论 第三章灰色系统理论 3 1 灰色系统的产生 在对系统的研究中，由于内外扰动的存在和认识水平的局限，人们所得到的 信息往往带有某种不确定性。灰色系统理论，是在一般系统理论的基础上产生的， 它足系统科学思想发展的必然产物，是社会经济深入发展对科学刺激和需要的产 物。人们在认识社会，认识自然的过程中，就产生了系统的思想。系统是客观 世界普遍存在的一种物质运动形式，它和运动性一样，是物质存在的一种根本属 性。因此，当认识与研究自然和社会时，要从系统的角度出发，从宏观上对其进 行深入地剖析和整体把握。在实际中，首先要对事物进行系统性的认识，进而对 已有的系统进行有效的控制以及设计一些最优系统来为人类服务。对系统进行控 制就要通过系统内部和外部的信息和信息流来加以实施，通过对信息的摔制进而 达到对系统木身的控制。但是无论是现代控制理论，还是经典控制理论，它们的 一个基本共同点，都是要依赖于正确而精确的数学模型。否则，一切都很难取得 满意的结果。在现实生活中，有许多情况不大日j 能水得精确的数学模型，如工业 系统、生物系统、经济系统、社会系统等等。若得不出精确的数学模型，现代控 制理论的方法和手段就无法施行。因而，现代控制理论对一些研究对象也鞭长莫 及。当人们对这些问题进行潜心研究时，金德于1 9 6 5 年首创模糊经理论，第一 次用精确的数学方式来分析和研究模糊量，取得新的突破。凶而，模糊集合论迅 速应用于控制领域，收到了良好的效粜。模糊控制能够对一些无法构造数学模型 的系统进行控制，但模糊控制也表现出固有的弱点，即信息利用率不高，控制粗 糙，精度较低等等。假若在要求高精度控制的情况卜，这种控制难以胜任，并且 它也未能对被控对象的运动规律作深刻的阐明。因而，模糊控制有它的局限性。 它适应的控制对象是一些特有的模糊系统。囚此，经典控制理论、现代控制理论 和模糊控制理论都有一个基本的共同点，那就是它们所研究的对象系统必须是白 色系统( 信息完全确知的系统) 。事实上，无论是自然系统还是社会系统，宏观系 统还是微观系统，无生命的系统还是有生命的系统，对认识的主体来讲，总是信 息不完全的，很难说明一个系统的内部参数是完全的。毫无疑问，内部参数不完 全的系统具有极为普遍的意义。就像模糊理论的诞生一样，灰色系统理论也应运 而生【7 1 。 1 4 灰色支持向量机在小样本预测中的应用研究 3 2 灰色关联分析 3 2 1 灰色关联分析 灰色关联是灰色系统的基本概念。灰色关联足事务之间的不确定关联，或 系统因子之间，因之对主行为之间的刁i 确定关联。灰色关联分析( g r e y r e l a t i o n a la n a l y s i s 。g r a ) 目的是定量地表征系统各因素的关联程度，从而 揭示系统主要特性。灰色关联分析的基本思想是根据序列曲线的几何形状的相 似程度来判断其联系是否紧密