毕业设计（论文）-测井时间序列的支持向量机回归预测.doc

成都理工大学毕业设计（论文） i 测井时间序列的支持向量机回归预测 摘 要 统计学习理论是针对小样本情况下的机器学习理论，其核心思想是通过控 制学习机器的复杂度实现对学习机器推广能力的控制。支持向量机能够尽量提 高学习机的推广能力，即使由有限数据集得到的判别函数对独立的测试集仍能 够得到较小的误差。因此，本文把支持向量机用于测井时间序列的回归预测。 首先，介绍了时间序列和支持向量机的基础理论。其次，详细介绍了支持向量 机的回归原理和算法。最后，本文根据石油地质勘探的实际问题，将支持向量 机运用测井曲线预测储层参数孔隙度。结果表明，该方法预测精度高，方 法稳定有效。支持向量机较好的解决了小样本测井勘探的实际问题。 关键词：支持向量机；时间序列；回归预测 成都理工大学毕业设计（论文） ii logging time series support vector machine regression abstract: statistical theory is a case of machine learning theory which is based on small sample. its core idea is the machine by controlling the complexity of learning to achieve the promotion of the ability of learning machine control. support vector machine to maximize the generalization ability of learning machine, even if a limited data set obtained from the discriminant function on the independent test set will be smaller still error. therefore, the support vector machine is usd to logging time series regression. first of all, this article introduces the theory of the time-series and the basis of support vector machine. second, it introduces detailed information on the return of support vector machine theory and algorithm.finally, this article in accordance with the actual geological exploration of oil will be the use of support vector machine prediction of reservoir parameters logging - porosity.the results show that high prediction accuracy of the method, a stable and efficient method. support vector machine to resolve better the small sample of the practical problems logging exploration. keywords：support vector machines；time series； regression 成都理工大学毕业设计（论文） iii 目 录 第 1 章 前 言1 1.1 选题意义1 1.2 研究现状1 1.3 论文内容2 第 2 章 测井时间序列3 2.1 时间序列概述3 2.2 时间序列的预测方法4 2.2.1 时间序列线性预测方法.4 2.2.2 时间序列的非线性预测方法.5 2.2.3 自回归移动平均(arma)模型6 2.2.4 季节型模型.10 第 3 章 支持向量机的原理和方法11 3.1 svm 的基本思想.11 3.1.1 最优分类面.11 3.1.2 广义的最优分类面.13 3.2 支持向量回归14 3.2.1 svm 回归原理.14 3.2.2 线性支持向量回归.14 3.2.3 非线性支持向量回归.15 3.2.4 支持向量回归.16 3.2.5 v-支持向量回归18 3.2.6 时间序列分析.19 3.3 支持向量算法20 3.3.1 支持向量机的训练算法.20 3.3.2 c-svm 算法及其变形算法.21 成都理工大学毕业设计（论文） iv 第 4 章 测井时间序列的支持向量机回归预测25 4.1 引言25 4.2 应用实例26 结 论42 致 谢43 参考文献44 成都理工大学毕业设计（论文） 1 第 1 章 前 言 1.1 选题意义 本课题的主要目的是研究支持向量机预测储层岩性参数问题。在估计孔 隙度的过程中，测井的数目往往是固定且有限的， 支持向量机在解决小样 本问题中表现出许多特有的优势 svm 方法的几个主要优点有： 1.是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅 是样本数趋于无穷大时的最优值； 2.算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局 最优点，解决了在神经网络方法中无法避免的局部极值问题； 3.算法将实际问题通过非线性变换转换到高维空间，在高维空间中构造线性 逼近函数来实现原空间中的非线性逼近函数，特殊性质能保证学习机有较好 的推广能力，同时，它巧妙地解决了维数问题，使其算法复杂度与维数无关 。 对于小样本的分类问题 ,svm 具有调节参数较少、运算速度快等优点。 通过地震或测井等信息进行油气预测是一种典型的非线性分类器设计问题,它 具有已知样本数较少、属性空间维数高、没有明确的对应关系模型等特点。 因此，选择支持向量机对其进行预测。 1.2 研究现状 近十几年来的测井技术，特别是 20 世纪 90 年代后，取得了重大进展 。按照传统的观点，测井技术在油气勘探与开发中，仅仅对油气层做些储层 储集性能和含油气性能 (孔隙度、渗透率、含油气饱和度和油水的可动性 ) 定量或半定量的评价工作，这已远远跟不上油气工业迅猛发展的需要。而当 今测井工作中评价油气藏的理论、方法技术有了长足的发展，解决地质问题 的领域也在逐步扩大。 90 年代，统计学习理论 (statistical learning theor y，slt)是一种处理小样本的统计理论，为研究有限样本情况下的统计模式 识别和更广泛的机器学习问题建立了一个较好的理论框架，同时发展了一种 新的方法支持向量机(support vector machine,简称 svm)，能较好地 成都理工大学毕业设计（论文） 2 解决小样本学习问题。由于神经网络等较新兴的机器学习方法的研究遇到一 些重要的困难，比如如何确定网络结构的问题、过学习与欠学习问题、局部 极小点问题等，使得 svm 迅速发展和完善，在解决小样本、非线性及高维 模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他 机器学习问题中。 支持向量机(svm)是数据挖掘中的一个新方法，能非常 成功地处理回归问题 (时间序列分析 )和模式识别 (分类问题、判别分析 )等 诸多问题，并可推广于预测和综合评价等领域。 1.3 论文内容 具体来说， 测井时间序列的支持向量机的回归预测的研究内容包括以下四章： 第一章：前言。阐述支持向量机在测井属性参数预测地质属性数据中的应 用研究课题提出的目的和意义，在综合查阅各类相关文献和分析专利检索及手 工检索结果的基础上评述国内外研究概况和存在的问题，确定本文研究内容的 意义和研究方法的可行性。 第二章：测井时间序列。主要讲述了时间序列的意义以及时间序列的预测 方法，测井数据可以把它看成为时间序列。 第三章：支持向量机的原理和方法。本章介绍了支持向量机的基本原理， 支持向量分类，以及支持向量回归。 第四章：测井时间序列的支持向量机回归预测。本章是研究的重点，主要 依据测井属性参数用支持向量机预测储层属性孔隙度，并得到预测结果。 成都理工大学毕业设计（论文） 3 第 2 章 测井时间序列 2.1 时间序列概述 时间序列预测研究始于 20 世纪 80 年代初期。时间序列预测方法从广义上 可 以分为定性预测和定量预测。定性预测是由预测者利用以往的经验，凭借直觉 做出的预感和猜测，具有较大的主观性。定量预测是指运用数学或统计方法建 立数学模型，对历史统计数据进行分析，从而对未来的发展做出预测，预测结 果的准确性与数学模型的选择密切相关。长期以来，国内外学者对时间序列预 测的理论和方法已做了大量研究，提出了各种各样的预测建模方法，这些方法 大致可分为两大类，一类是以时间序列法为代表的传统方法，另一类是以人工 神经网络法为代表的新型人工智能方法。传统方法中主要有时间序列法、多元 线性回归法及傅立叶展开法等，传统方法比较成熟，算法简单，速度快。然而， 传统方法都是线性模型方法，因此在遇到本质非线性问题时就显得无能为力。 支持向量机在处理非线性问题时，首先将非线性问题转化为高维空间中的线性 问题，然后用一个核函数来代替高维空间中的内积运算，从而巧妙地解决了复 杂计算问题，并且有效地克服了维数灾难及局部极小问题。 时间序列是指按时间顺序排列的一组数据。从统计意义上讲，所谓时间序 列就是将某一个指标在不同时间上的不同数值，按照时间的先后顺序排列而成 的数列。这种数列由于受到各种偶然因素的影响，往往表现出某种随机性，彼 此之间存在着统计上的依赖关系。从数学意义上讲，如果我们对某一个变量或 一组变量进行观察测量，在一系列时刻)(tx 得到的离散有序数集合)(, 2121nn ttttttt为自变量，且 称为离散数字时间序列，即随机过程的一次样本实现。设 ni xtxtxtxt, 21 是一个随机过程，是在时刻 i 对过程的观测值，则):(tttx), 2 , 1(ixti)(tx 称为一次样本实现，也就是一个时间序列。从系统意义上讲，时), 2 , 1(ixti 间序列就是某一系统在不同时间（地点，条件等）的响应。这时间序列具有如 成都理工大学毕业设计（论文） 4 下的特点：首先，系序列中的数据或数据点的位置依赖于时间，即数据的取值 依赖于时间的变化，但不一定是时间 t 的严格函数。其次，每一时刻上的取值 或数据点的位置具有一定的随机性，不可能完全准确地用历史预测值。再次， 前后时刻（不一定是相邻时刻）的数值或数据点的位置有一定的相关性，这种 相关性就是系统的动态规律。最后，从整体上看，时间序列往往呈现某种趋势 性或出现周期性变化的现象。 2.2 时间序列的预测方法 2.2.1 时间序列线性预测方法 一般来说，时间序列受趋势变化因素、季节变化因素、循环变化因素与不 规则因素等四种因素的影响。70 年代，由于 boxjenkins 模型的提出，使得时 间序列方法得以迅速发展，并很快成为预测领域的主要方法之一。主要方法有： 1.移动平均法 移动平均是预测技术中的一种古老方法。它对一组给定的历史数据，计算 其 平均值，并将这一平均值作为下一时期的预测值。移动平均分为移动算术平均 与移动几何平均，以及移动加权平均。这种方法非常简单但其预测精度是比较 低的。 2.分解方法 分解方法也是一种历史悠久的方法，它的基本思想是将预测数据分解为季 节因子、趋势因子、循环因子和误差或随机因子。这种方法单独使用效果并不 好，但是它作为识别数据特性的一种方法，仍然有其深刻的影响力。目前的一 些调整方法可视为是在其思想上的延伸。 3.季节系数法 周期性演变的活动是常见的事情。随着季节变化而发生的周期性的需求变 化就是例子，如水果、蔬菜、四季服装、啤酒、冷饮的销售量、火车乘客、旅 游观光的人数等。反映在时间序列资料上，统计数据呈现明显的有规律的季节 变动。季节系数法就是根据这一规律进行预测的方法。在实际预测时，要用季 成都理工大学毕业设计（论文） 5 节系数修正没有考虑季节影响的预测值。 4.boxjenkins 方法 由于 box 和 jenkins 的开拓性工作，自回归移动平均(arima)模型仍是时 间 序列分析的中心课题，box 和 jenkins 的著作time series analysis：forecasting and control ，曾一度成为时间序列分析的主要方法。box-jenkins 方法在统计学 上是完善的，有牢固的理论基础，有一套完整的程式化的建模方法。但同时这 种方法是复杂的，对数据的性质也有一定的要求。另外它还要求研究者有较高 的专业知识，对问题有深刻的认识。关于 box-jenkins 方法的预测精度，对于不 同的运用环境有着不同的结论。但是这些方法大都侧重于理论研究，追求理论 上的完善，以至于许多方法很不实用，真正能够用于解决实际问题的很少。例 如用于时间序列分析的大多数方法 box-jenkins 方法，均假设各变量之间是一种 线性关系，这种局限性使其在实际应用中很难准确地进行分析和预测。因为在 实际的经济系统或工程系统中，总是或多或少地含有非线性因素，当非线性因 素影响较小，或在某一范围内影响较小时，可以采用线性模型来描述或逼近。 但当这种描述或逼近得不到满意的结果时，就应该应用非线性时序模型，或其 它适宜的非线性方法。同时，结构的复杂给应用上带来了很多困难，在预测效 果上也未有一致性的进展。因此，近年来学者们更加注意解决在实际中存在的 具体问题。 2.2.2 时间序列的非线性预测方法 在过去的半个多世纪里，时间序列分析、预测得到了迅速的发展。特别是 对线性时间序列分析的研究，己经取得了系统和丰富的成果。但是对于非线性 时间序列分析的研究，仅在近二十多年里才逐渐被重视起来。目前，非线性时 间序列已成为时间序列分析及预测理论发展的一个重要研究方向。非线性模型 范围极广，形式多样，应用起来难度较大。目前应用较广，成果较多的有双线 性模型(bilinear)，条件异方差模型(arch)，和门限自回归模型(tra)等。这 些是传统的非线性时间序列预测方法，均属于模型驱动的方法，即首先研究系 统的演化行为，设定预测模型，估计、检验模型参数，最后找出最佳模型。 纵观国内外在这一方向上的研究，前期工作大多局限于对几类典型非线性 成都理工大学毕业设计（论文） 6 时间序列模型的参数辨识算法和建模方法等进行研究，一些代表性的工作如： nicholls 和 quinn(1982)对随机系数自回归模型的讨论，granger,anderson(1978)， 以及 subba raogabr(1984)对双线性模型的分析，haggan,qzaki(1981)关于指数 自回归模型的讨论，此外还有 tong(1983)关于门限自回归模型的研究， priestley(1980)的状态依赖模型等。 2.2.3 自回归移动平均(arma)模型 在建立一个实际时间序列模型时，可能既有自回归部分，又有移动平均部 分，如： 1111 . nnpnpnnqn q xxx 或者写成算子形式： ( )( ) pnqn b xb 简记此模型为，括号中的第一个数据是自回归阶数，第二个),(qparmap 数据是移动平均的阶数，故称之为阶的自回归移动平均模型。实际应用q),(qp 中、的值很少超过 3。对模型，我们总假定和pq),(qparma)(b p （作为变量为的多项式）无公共因子，分别满足平稳性条件和可逆性)(b q b 条件。如果满足平稳性条件，称是平稳的；如果满足)(b p ),(qparma)(b q 可逆性条件，称是可逆的。对平稳的模型，可表示),(qparma),(qparma n x 为过去各期误差的线性组合；对可逆的模型，可, 21nnn ),(qparma n 表示为过去各期数据的线性组合。 12 ,. nnn xxx 由于自回归模型不存在其它自变量，不受模型变量“相互独立”假定条件 的约束。因此，用 ar 模型及其原理可以构成多种模型以消除或改进普通回归预 测中由于自变量选择、多重共线性、序列相关等原因所造成的困难。此外，在 ar 模型中，各种因素对预测目标的影响是通过它们在时间过程中的综合体现被 考虑的，是将序列历史观察值作为诸因素影响与作用的结果用于建立其本身的 历史序列线性回归模型的，因此，用普通最小二乘法就可以对模型进行估计和 求解。这一点,ar 模型比其它类型的时间序列模型都优越，应用得也最广泛。 成都理工大学毕业设计（论文） 7 仅适用于描述平稳的时间序列，而实际应用中遇到的时间序列往往是非平 稳的，尤其是在经济管理中碰到的时间序列。尽管从实际应用的角度看，用适 当的自回归模型去近似一个稳定或不稳定的时间序列，在理论和方法上都是可 行的，但我们常用差分化的方法将非平稳的序列化成平稳序列来求解。 在时刻 t 用对的取值进行预测，而是, 21ttt xxx)0( kx kt )0( kx kt 一个未知的随机变量，由于之间具有相关性，的概率分布是有条 t x)0( kx kt 件的（即在已给定的条件下） 。的期望也是有条件的，一个, 21ttt xxx kt x 直观的想法就是用的条件期望作为的预测值，即： kt x kt x ),|()( 21 tttktt xxxxekx 为了利用条件期望计算预测值，需要先了解有关时间序列和随机扰动 的条件期望所具有的性质： 1）常量的条件期望是其本身。 对 arma 序列而言，现在时刻与过去时刻的观测值及扰动的条件期望是 其本身，即： ptttp xxxxxe ),|( 21 )(tp ptttp axxxae ),|( 21 )(tp 2)未来扰动的条件期望为零，即： 0),|( 21 tttkt xxxae)(tp 3)未来取值的条件期望为未来取值的预测值，即： )0( ),|( 21 kxxxxxe kttttkt arma（n,m）模型预测的一般结果： 由 arma 模型: 成都理工大学毕业设计（论文） 8 mtmtttntnttt aaaaxxxx 22112211 , 可将表示为： kt x mktmktktktnktnktktkt aaaaxxxx 22112211 (2.1) 利用条件期望的性质对（2.1）求条件期望，当时有： ,maxnmk mktmtkknktn kktktttttktt aaax xxkxkxxxxxekx 12 12121 ) 1 ( )2( ) 1( ),|()( (2.2) 当 km 时，上式中的滑动平滑部分全部消失，有： (2.3)( )2( ) 1( )( 21 nkxkxkxkx tnttt 式（2.3）的通解为（即预测函数形式）为： (2.4)()()()( 111100 kfbkfbkfbkx n t n tt t 这里,其中 的形式由模型特征方程：nmk)(,),(),( 110 kfkfkf n 0 1 1 1 nn nn 的根决定。当预测原点 t 给定时，系数都是常数，并由模型的 t n tt bbb 110 , 滑动平均部分确定，随着预测原点的变化，这些系数也将改变，以使预测值适 应于序列已观测部分的特性。综上所述，对于 arma(n,m)模型，自回归部分决 定了预测函数的形式，而平滑部分则用于确定预测函数中的系数。 有些时间序列常呈现出一种特殊的非平稳性，称之为齐次非平稳性：只要 进行一次或多次差分就可以将其化为平稳序列。差分的次数称为齐次化的阶。 这样的时间序列可用求和自回归移动平均模型来描述。 定义差分 成都理工大学毕业设计（论文） 9 1nnn xxx 引入差分算子。阶差分可定义为，如二阶差分b1n nn b)1 ( = 222 (1)(12) nnn xbxbbx 12 2 nnn xxx 或者 2 112 ()2 nnnnnnn xxxxxxx 阶求和自回归移动平均模型为),(qdp （2.5）( )( ) d pnqn bxb 亦即是序列。其中为求和阶数，、分别为序列 d n x),(qparmadpq d nn yx 的自回归和移动平均的阶数。式（2.5）所示的求和自回归移动平均模型用记 号表示。),(qdparima 对这类非平稳的序列，我们假定从 1 开始才有定义，并且假定的前n n x n x 个随机变量是均值为零，方差有限且与不相关，因而也与d 12 ,., d xxx d n x 不相关。序列可用它的初值及平稳序列 n n x 12 ,., d xxx 表达。事实上，由于差分的逆运算是求和，所以|,1,2,. d nnn yyxn 1 11 1 01 dn d n diinj nidddj ij xcxcy ， 1 11 1 01 dn k n kiin kj d ikdkj ij cxcy dkn （2.6） 其中。我们不去推导上述公式，仅仅讨论两种最简单的情况。)!( !/(!ktktc t k i)，此时1d 112211 . nnnnn xxxxxxxx 1 11 1 n j j xy 成都理工大学毕业设计（论文） 10 ， 1 n k kkj j xy 1 kn 从而式（2.6）成立。 ii)，此时由上式知2d 1 11 11 nn k njkj k jj xxxxx 同理有，代入整理知 1 2 1 j k j kki i k xxx ， 1 1 ()()(1) n k nkkkkj j xxnkxxnkjy 2 kn 对于序列，它可以通过阶差分化成平稳的序列。),(qdparimad),(qparma 2.2.4 季节型模型 在许多的实际问题中，时间序列会显示出 周期变化的规律，这种周期性是 由于季节变化或其他物理因素所致，我们称这类序列为季节性序列。季节性时 间序列的重要特征表现为周期性。对于含有季节性周期的时间序列，也可用季 节差分的方法将之化成平稳序列。例如，对月度波动，可以用月度差分 对作运算 12 12 1b n x 1212nnn xxx 对季度波动，可以用季度差分 4 44 (1) nnnn xbxxx 消除数据中的季节性影响。鲍克斯詹金斯季节模型为 （2.7） 12 ( )( ) d pnqn bxb 若取，则上述模型可展开为1qdp 12 11 (1)(1)(1)(1) nn bbbxb 有时随机干扰项也是与季节相关的。这时，可以用模型 n 1212 ( )( ) d pnqn bxb 来描述。例如 成都理工大学毕业设计（论文） 11 1212 11 (1)(1)(1)(1)(1) nn bbbxbb 就描述了一个既有线性发展趋向、又含月度周期变动的随机型时间序列模 型。如能预测到的长期趋势时，就是零均值了。 n x)(nf( ) n xf n 成都理工大学毕业设计（论文） 12 第 3 章 支持向量机的原理和方法 3.1 svm 的基本思想 svm 是从线性可分的情况下的最优分类面发展而来的，其基本思想可用 图 3-1 所示的二维情况说明。 图 3-1 最优分类面的示意图 图 3-1 中，实心点和空心点代表两类数据样本，h 为分类线，h1 ,h2分别为 各类中离分类线最近的数据样本且平行于分类线的直线，他们之间的距离叫做 分类间隔（margin） 。所谓最优分类线，就是要求分类线不但能将两类正确分开， 使训练错误率为 0，而且还要使分类间隔最大。前者保证经验风险最小；使分 类间隔最大实际上就是使推广性界中的置信范围最小，从而使真实风险最小。 推广到高维空间，最优分类线就成了最优分类面。 3.1.1 最优分类面 设有两类线性可分的样本集合：,线性 1, 1,n, 1),( i n iii yrxiyx 判别函数的一般形式为 ，对应的分类面方程如下： bxxf)( 将判别函数进行归一化，使两类所有样本都满足， 0bx 1)(xf 此时离分类面最近的样本，要求分类面对所有样本都能正确分类，即满 1)(xf 足： 成都理工大学毕业设计（论文） 13 nibxy ii , 1, 01)( （3.1） 此时分类间隔等于，间隔最大等价于最小。 ，满足式（3.1）且使 /2 2 最小的分类面就是图 3-1 中的最优分类线 h ,h1 ,h2 上的数据样本叫做支 2 2 1 持向量（support vector,sv） ，因为他们支撑了最优分类面。 因此，最优分类面问题可以表示成如下的约束优化问题，即在式（3.1）的 约束下，求如下函数的最小值： s.t. nibxy ii , 1, 01)( (3.2) 2 2 1 )( 为此，定义如下的 lagrange 函数： （3.3）1)( 2 1 ),( 1 2 bxyaabl ii n i i 式中，为lagrange 乘子。为求 lagrange 函数式（3.3）的最小值，0 i a 分别对求偏微分并令他们等于 0，于是有： i ab, 0 1)(0 00 0 1 1 bxya a l ya b l xya l iii i n i ii n i iii 根据上式和（2.2）的约束条件，可以将上述最优分类面的求解问题转化 为如下的凸二次规划寻优的对偶问题： n i n j jijiji n i i xxyyaaa 111 )( 2 1 max s.t. (3.4)niai, 1, 0 0 1 n i iiy a 成都理工大学毕业设计（论文） 14 式中为对应的 lagrange 乘子，这是一个二次函数寻优的问题，存在唯 一解。若为最优解，则有： ii n i i xya 1 * 式中不为零的样本，即为支持向量。因此，最优分类面的权系数向量是 支持向量的线性组合。 是分类阈值，可由约束条件 求解，解上述问题后 * b0 1)(bxya iii 得到的最优分类面函数为： )(sgn)()( 1 * n i iii bxxyabxsngxf 3.1.2 广义的最优分类面 上面的方法在保证训练样本全部被正确分类（即经验风险为零）的前提下， 通过最大化分类间隔来获得最好的推广性能。当最优分类面不能把两类点完全 分开时，如果希望在经验风险和推广性能之间求得某种均衡，则可以通过引入 松弛因子，允许错分样本的存在，此时的分类面 满足：0bx （3.5）nibxy ii , 1,1)( 当时，样本点正确分类；当时，样本点被错分。为此，10 i i x1 i i x 在最小化目标中加入惩罚项，引入以下目标函数： 2 2 1 n i i c 1 （3.6） n i i c 1 2 2 1 ),( 式中，c 是一个正常数，称为惩罚因子。与线性可分情况类似。上式可通 过如下的二次规划来实现： n i n j jijiji n i i xxyyaaa 111 )( 2 1 max s.t.nicai, 1,0 (3.7) n i iiy a 1 0 成都理工大学毕业设计（论文） 15 对非线性分类问题，若在原始空间中的简单最优分类面不能得到满意的分 类结果，则可以通过非线性变换转化为某个高维空间的线性问题。在变换空间 求最优分类面。变换可能比较复杂，在一般情况下不易实现，svm 通过核函数 变换巧妙地解决了这个问题。 3.2 支持向量回归 3.2.1 svm 回归原理 svm 回归问题与分类问题有一些相似，给定的数据样本集合为： ，其中，),(),( kkii yxyx., 2 , 1,kiryrx i n i 回归问题就是寻找上的一个函数，以便用来推断任一输入 n r)(xf)(xfy x 所 y 对应的 y 值。 支持向量的方法应用到回归问题中，保留了最大间隔算法的所有的主要特 征，非线性函数可以通过核特征空间的线性学习器得到。svm 回归算法要最小 化一个凸函数并且他的解是稀疏的。还需要定义一个损失函数，即 不敏感损失 函数，该函数可以忽略真实值某个上下范围内的误差。 3.2.2 线性支持向量回归 设数据样本为 n 维向量，某区域的 k 个数据样本及其值的表示为: rryxyx n kk ),(),( 11 线性函数设为: bxxf)( 优化问题即最小化： k i cr 1 )( 2 1 ),( 约束条件为： ki kiyxf kiyxf iii ii , 1, 0, , 1,)( , 1,)( 成都理工大学毕业设计（论文） 16 其中使函数更为平坦，从而提高了泛化能力，为减小误 2 1 k i c 1 )( 差，常数 c 对两者做出折中。为一正常数。与的差别小于时不计入)( i xf i y 误差，大于时计为。这也是一个凸二次优化问题，引入拉格朗|)(| ii yxf 日函数： k i iiiiiii k i i iii k i i k i xfy xfycbl 11 11 )()( )()( 2 1 ),( 其中，., 1; 0,; 0, * ki iiii 函数 l 应对最小化，对最大化。函数 l 的极值应满足 * , ii b * , iiii 条件： 0, 0, 0, 0 * ii ll b ll 从而得到： k i iii k i ii x 1 * 1 * )( 0)( (3.8)kic ii , 1, 0 (3.9) kic ii , 1, 0 * 由以上各式可以得到优化问题的对偶形式，最大化函数： k i iii k i iijijj k ji ii yxxw 1 * 1 * 1, * )()()( )( 2 1 ),( 其约束为: k i iii x 1 *) ( kic ii , 1,0 * 成都理工大学毕业设计（论文） 17 3.2.3 非线性支持向量回归 非线性回归与线性回归分类相似。首先，使用一非线性映射把数据映射到 一个高维空间，再在高维空间进行线性回归。其关键问题是核函数 k(x,y)的使 用。这里，优化问题的最大化函数为： k i iii k i iijijj k ji ii yxxw 1 * 1 * 1, * )()()( )( 2 1 ),( 约束条件为： k i iii x 1 * )()( kic ii , 1,0 * 函数可直接表示成为： () k i jiii bxxkxf 1 * ),()()( 按照 kuhn tucker 定理有： （3.10）kixfy iiii , 1, 0)( （3.11）kixfy iiii , 1, 0)( * （3.12）ki iiii , 1, 0, 0 * 由（3.10） （3.11）可得,即任何一组和都不会同时为非 0.0 * ii i * i 由(3.8) (3.9) 及(3.12)可得： kic kic ii ii , 1, 0)( , 1, 0)( * 由此可见，对应于或的与的误差可能大于，对应于c i c i * )( i xf i y 或的与的误差必然等于，即或，因), 0(c i ), 0( * c i )( i xf i y0 i 0 * i 此有： ), 0(, 0)(cxfy iii ), 0(, 0)( * cxfy iii 成都理工大学毕业设计（论文） 18 由以上两式可以求得 b 3.2.4 支持向量回归 根据某种概率分布生成的样本：),)(,(ryrxyxp n )(),( ,),( 11 rxyxyx kk 支持向量回归（svr）问题就是希望找到适当的实值函数 来拟合这些训练点，使得：bxxf i )()( ),(),(yxdpfyxcfr 最小，其中 c 为损失函数。 观测值与函数预测值之间的误差，我们用不敏感函数：y)( i xf | ),(| , 0max| ),(| xxfyxxfy iiii 来度量，即当 x 点的观测值与预测值之间的误差不超过事先给定的y)(xf 小正数时，认为该函数对这些样本点的拟合是无差错的。 由于未知，不能直接最小化。因此考虑最小化：),(yxp fr k i ii xfy k ce 1 | )(| 1 )( 2 1 )( （3.13） 其中表示函数的复杂性，后一项表示训练集上的平均损失，常数 c)( 则体现了函数类的复杂性和训练集上的平均损失之间的折中关系。 最小化（3.2.4-1）等价于最优化问题： k i ii ii k c b 1 * * )( 1 )( 2 1 ., min 0, )( ;)(.(. * * ii iii iii bxy ybxts （3.14） 上述问题的对偶形式为： 成都理工大学毕业设计（论文） 19 ),()( )( 2 1 )()(max * 11 * 1 * jijj k i k j ii k i iiii xxkyy k i iiii kikcots 1 * , 1,/, 0)(. . （3.15） 其中，为核函数。)()(),( jiji xxxxk 问题（3.15）的解为,从而：),( * .),()()()( * bxxkbxxf ji sv 其中的计算公式为：b )/, 0(,),()( * kcxxkyb iji j i )/, 0(,),()( * kcxxkyb iji j i 普通最小二乘和岭回归都是的一种特殊情况，从这个意义上讲svr 是前者的一个推广。svr 是基于结构风险最小化，而不是传统意思上的svr 经验风险最小化，可以保证良好的预测能力。 3.2.5 v-支持向量回归 在中，需要实现确定损失函数中的参数 。本节引能自动计算的svr 。考虑下面的最优化问题：svr ) )( 1 ()( 2 1 , min 1 * * k i ii ii k c b . 0 , 0, ,)( )(.(. * * ii iii iii bxy ybxts 其中， 是一个非负的常数。上述问题的对偶问题为： ),()( )( 2 1 )()( , max * 11 * 1 * *jijj k i k j iiii k i ii ii xxkyy kcts ii k i ii /,0 , 0)(. . * 1 * 成都理工大学毕业设计（论文） 20 kic k i ii , 1,)( 1 * 其中，和 c 为常数。估计式为： bxxkxf ji sv ii ),()()( * (3.16) 具有以下性质:svr 如果问题(3.16)得到的不为零，则,其中 p 为错误样本的个/,/kqkp 数，q 为支持向量的个数。 如果的解为,而事先取为和相同的svr),(bsvrsvr c 值，那么得到的解为。svr),(b 3.2.6 时间序列分析 基于的时间序列预测问题的数学描述如下：设svr n xxx, 21 为时间序列数据以及周期为 k 的输入： ),( 1ntt xxx 定义预测函数： bxxxfxrrf t k t tkttt k )(),(,: 1 1 1 支持向量机时间序列预测模型的最优化问题为： n kt kttt xxfxce 1 1 | ),(|)( 2 1 )(min 其中函数: | ),(| , 0max| ),(| 11 ktttkttt xxfxxxfx （3.17） 为不敏感损失函数。 （3.17）的对偶形式为： 成都理工大学毕业设计（论文） 21 n ki iiii n i n ki n kj jijjiiii picts xxky 1 * 111 * , 1, 0)(,0 . . ),()( 2 1 )(max 其中，为核函数，可以释为输入样本的相似度。),( ji xxk ji xx , 上述问题是凸二次规划，有唯一的全局最优解。如果采用线性核函数，基 于 svr 的时间序列预测问题的决策函数就是： bxxxfx k t tttkttt 1 1 ),( 即统计学上的 k 阶自回归模型（ark） 3.3 支持向量算法 3.3.1 支持向量机的训练算法 支持向量机的最终求解问题归结为一个有约束的二次型规划 （qp，quadratic programming）问题。可以利用标准二次型优化技术来求解这个优化问题， 如牛顿法、共轭梯度法、内点法等。但是，这些方法只适合小样本情况，当样 本数目较大时，算法复杂度会急剧增加，而且占用极大的系统内存。为降低计 算资源、提高算法效率，已经提出许多针对大规模样本集的训练算法： （1）分块算法（chunking） （cortes and vapnik，1995） 1995 年，cortes 和 vapnik 给出了一种求解支持向量机二次规划（qp）问 题的分块算法。其依据是支持向量机的最终求解结果只与支持向量有关，与非 支持向量无关。其实现过程是将初始 qp 问题分解为一系列小规模的 qp 子问题， 不断的求解 qp 子问题，保留解中的支持向量，并加入到新的 qp 子问题中。每 个 qp 子问题都采用上次求解的结果作为初始值。直到所有的 qp 子问题求解完 毕。这种方法可以大大减小算法占用的系统内存。然而，当样本集中的支持向 量数目很大时，其算法复杂度仍然很大 （2）子集选择算法 (subset selection algorithms ) (osuna,1997;joachims,1998)为加快支持向量机的训练速度，osuna（1997）提 成都理工大学毕业设计（论文） 22 出了子集选择算法。该方法首先将数据集分块，从分块数据中提取支持向量， 并加以保留，然后补充新的样本，反复运算，直至所有的样本都满足 kkt（karush-kuhn-tucker,for short:kkt） （vapnik，1995）收敛条件。1998 年， joachims 指出，采用启发式迭代策略会提高算法的收敛速度，并提出一种称为 svmlight 的支持向量机分解学习算法。该算法实际上是子集选择算法的推广。 （3）序列最小优化算法（smo，sequential minimal optimization） （platt，1998）1998 年，platt 提出了更为有效的支持向量机训练算法， 即序列最小优化算法。其基本思想是把一个大数据量的 qp 分解为一系列最小 的 qp 子优化问题。该算法是分解算法的一个极端特例。其实现过程为，每次 针对两个样本的二次规划问题，直接采用解析方法求其最优解，以提高 qp 问 题的求解速度。platt 设计了一个两层嵌套循环过程实现其算法。在外环中采用 启发式方法寻找违背 kkt