毕业论文范文——基于SVM的变形监测预报研究

I 学号 密级_ 武汉大学本科毕业论文武汉大学本科毕业论文 基于基于 SVMSVM 的变形监测的变形监测 预报研究预报研究 院（系）名 称：测绘学院 专 业 名 称 ：测绘工程 学 生 姓 名 ： 指 导 教 师 ： 年 月 II 摘摘 要要 变形模型的分析研究以及变形预测是变形监测的重要内容，对于工程建筑 物的安全施工以及运营有着重要意义。变形分析常用的方法有回归分析法、时 间序列法、灰色理论方法、人工神经网络模型法以及变形的组合分析方法。而 支持向量机（Support Vector Machine，SVM）具有优良的非线性特性，已广泛 的应用于统计分类以及回归分析中，目前也逐渐应用到测绘数据处理中。 支持向量机是在统计学习理论的 VC 维理论和结构风险最小化原则的基础上 提出的一种新的机器学习方法，它追求的是有限样本情况下的最优解而不仅仅 是样本数趋于无穷大时的最优解，比起经验风险最小化为基础的神经网络学习 算法具有更强的理论依据和泛化性能。 本文结合了代表性的具体工程实例，从实际应用的角度进行计算分析，得 到相应的变形分析模型并进行了变形的预测，而且与传统的变形分析方法进行 比较验证，总结出各种模型的优缺点和适用范围。结果表面，支持向量机回归 模型计算精度较高。 关键词：关键词：变形监测；统计学习理论；支持向量机；变形分析模型 III ABSTRACT The analytical investigation of deformation model and deformation forecasting are a very important part of the deformation monitoring, which is very significant to the safe construction and operation of building engineering. The common methods of deformation analysis include regression analysis method, timeseries method, grey theory method, artificial neural network method and combined analysis method of deformation. The support vector machine(SVM) has excellent non-linear characteristics, the SVM is a supervised learning method and it has been widely used in statistical classification and regression analysis, the SVM is also gradually being applied to surveying and mapping data processing. Support Vector Machine(SVM)is a new kind of machine learning algorithm proposed recently which is based on VC Dimension Theory and Structural Risk Minimization of Statistical Learning TheorySVM can obtain the optimum resultfrom the gained information which is not the optimum result only when the samples are infiniteSVM has much stronger theory foundation and better generalization than Neural Network which is based on Empirical Risk Minimization And based on the representative engineering examples, this articial does calculations and analysises in the deformation analysis above from a practical Application point of view, gets there relevant deformation analysis models and the forecasting value, with which the traditional deformation analysis methods are in comparison, and summarizes the relative merits and sphere of application of the models above in the concrete use. The results show that support vector machine for regression models with higher accuracy. Key words：Deformation Forecasting; Statistical Learning Theory; the Support Vector Machine; Deformation Analysis Mode IV V 目目 录录 第一章第一章 绪论绪论1 1.11.1 课题研究的背景和意义课题研究的背景和意义.1 1.21.2 变形分析的研究现状变形分析的研究现状.1 1.31.3 支持向量机的研究现状支持向量机的研究现状.2 1.41.4 本文研究的意义和内容本文研究的意义和内容.3 第二章第二章 变形分析与建模的基本理论与方法变形分析与建模的基本理论与方法.4 2.12.1 变形分析的基本内容变形分析的基本内容.4 2.1.12.1.1 变形的基本内容及其内涵变形的基本内容及其内涵.4 2.22.2 变形分析与建模的基本理论与方法变形分析与建模的基本理论与方法.5 2.2.12.2.1 灰色系统理论分析法灰色系统理论分析法.5 2.2.22.2.2 人工神经网络模型人工神经网络模型.9 2.2.32.2.3 回归分析法回归分析法.11 2.2.42.2.4 时间序列法时间序列法.14 2.32.3小结小结17 第三章第三章 统计学习理论与支持向量机模型统计学习理论与支持向量机模型18 3.13.1 统计学习理论统计学习理论.18 3.1.13.1.1 概述概述.18 3.1.23.1.2 经验风险最小化经验风险最小化.18 3.1.33.1.3 VCVC 维维19 3.1.43.1.4 结构风险最小化结构风险最小化.19 3.23.2 支持向量机的基本原理支持向量机的基本原理.20 3.2.13.2.1 最优分界面最优分界面.20 3.2.23.2.2 广义最优分类界面广义最优分类界面.22 3.2.33.2.3 支持向量机的构建支持向量机的构建.24 3.2.43.2.4 核函数核函数.26 3.2.53.2.5 支持向量机线性可分与线性不可分问题支持向量机线性可分与线性不可分问题.27 3.2.63.2.6 损失函数损失函数.29 VI 3.33.3 基于支持向量机的变形监测基于支持向量机的变形监测.29 3.3.13.3.1 变形监测数据处理变形监测数据处理.29 3.3.23.3.2 监测资料奇异值的检验与插补监测资料奇异值的检验与插补.30 3.3.33.3.3 支持向量机预测模型支持向量机预测模型.32 3.43.4 小结小结.35 第四章第四章 变形预测工程实例与分析变形预测工程实例与分析36 4.14.1 工程实例概况工程实例概况.36 4.24.2 灰色系统模型灰色系统模型.36 4.34.3 BPBP 神经网络模型神经网络模型38 4.44.4 支持向量机预测支持向量机预测.40 4.54.5 三种预测模型之间的比较三种预测模型之间的比较.42 4.64.6 小结小结.44 第五章第五章 总结与展望总结与展望45 5.15.1 总结总结.45 5.25.2 展望展望.46 参考文献参考文献.47 致致 谢谢48 1 第一章第一章 绪论绪论 1.11.1 课题研究的背景和意义课题研究的背景和意义 变形是在自然界中普遍存在的现象，是指变形体在各种外力的作用下，使 其形状、大小和位置在时间范围和空间范围上发生了变化。而变形监测，是利 用测量仪器和方法对变形体的变化过程进行完整的、长期性和周期性的监测1。 工程建筑物从施工开始，就会受到各方面因素的影响，然后将会发生形变， 如果形变量超过了变形体自己的承受能力，就会对人类产生严重的危害。例如 2008 年 5 月 12 日，我国四川汶川发生 8.0 级大地震，诱发了超过 15000 处山 地灾害，造成了巨大的人员伤亡和财产损失。然而，如果能够通过变形监测手 段，准确地预料出灾害的发生，及时采取有效的措施，来减少灾难带来的损失。 例如：1985 年 6 月 12 日，我国成功地预报了长江三峡新滩大滑坡，及时的让 滑坡区内的人民在灾难发生之前全部安全撤离，保证了人民的生命安全和挽回 了巨大的财产损失。 因此，变形工作的意义更加重要，通过多年的研究，专家学者们提出了各 种各样的变形监测方法，常见的有：回归分析法、时间序列分析法、灰色系统 理论、人工神经网络等。所以，我们只有学习好当前变形分析方法的基础上， 然后对理论和模型进行改进和拓展，才能够准确的反应变形规律，对工程设计 的验证、工程建筑物的运营及其自然灾害的发生有着中有着重要的意义。 支持向量机（Support Vector Machine）是近年来在统计学习理论的 VC 维 理论和结构风险最小化原则基础上发展起来的模式识别方法2。在处理非线性 关系的多影响因素决定的未知量问题时，具有泛化性能好、适应性强、理论完 备、全局优化及其训练时间短等特点，而且还能够有效的避免经典学习中维数 灾难局部极小、过学习等问题。因此，本文通过对常见的变形方法进行简单介 绍后，通过新滩滑坡数据分析，对灰色系统理论、人工神经网络与支持向量机 之间进行比较，验证几种方法的正确性及其优劣势。 1.21.2 变形分析的研究现状变形分析的研究现状 2 目前，国内外进行变形分析的方法有很多，主要灰色系统理论、人工神经 网络模型、回归分析法及其时间序列法等。 灰色系统理论是由我国的邓聚龙教授于 1979 年提出来的，它把所有的随机 过程看作是在一定范围内变化的、与时间有关的灰色过程，对灰色量不是去寻 找统计规律，而是在大样本中用数据生成的方法，把杂乱无章的原始数据整理 成有规律的数列后再进行研究。我们可以利用灰色系统理论在观测数据样本不 大条件下，建立对形变量影响因子之间的变形模型，从而去找到杂乱无章的原 始数据的内在规律。 自 20 世纪 80 年代以来，人工神经网络（Artificial Neural Networks； 简称 ANN）发展迅速，应用领域极其广泛。人工神经网络以分布的方法存储知 识，以并行的方法进行处理，从而大大的提高了信息的运算和处理的速度，它 有很好的联想、自适应、自学习等优点，能适应各种各样的动态特性，逼近复 杂多变的非线性系统，从不完善的数据和图形中作出正确的判断，因此在变形 数据处理以及分析预报方面应用很广泛。在复杂的条件下，利用神经人工神经 网络可以通过对变形量与影响因子进行训练，得到他们之间的映射关系，得到 变形体的内在规律。 回归分析法利用数理统计的原理，建立变形量与各种影响因子之间的函数 表达式，在数据样本一致性较好时，找到自变量与因变量之间的规律，从而得 到准确的数据预测结果。目前，回归分析法应用十分广泛，不仅可以进行物理 解释，而且还能够进行变形监测，是一种应用于变形观测的静态数据处理方法。 时间序列分析法与回归分析法相反，它是一种有效的动态数据处理方法， 能够把不独立不平稳的观测值进行分析，同时考虑到观测数据的时间先后性， 从观测数据之间的联系建立其数学模型，找到事物随时间的变化规律，从而描 述客观现象的动态特性，对数据变化趋势作出正确的分析和预报，作为工程建 筑物进行决策的重要依据，避免可能的安全隐患。 1.31.3 支持向量机的研究现状支持向量机的研究现状 目前 SVM 的研究在国内外正处在热潮，SVM 的研究一直被受国内外学者的关 注，其中主要是对算法本身的研究与改进及其 SVM 在不同领域解决实际问题时 3 表现出来的性能对比研究。支持向量机最初是用来解决模式识别问题，因为它 的决策规则泛化性能比较好，但是随着学者们不断的努力，引入了不敏感损失 函数，支持向量机逐步扩展到非线性回归估计问题中，被认为是人工神经网络 法的替代方法。 支持向量机模型简单，求解快速，把过去一段时间的形变量作为学习训练 样本，通过选取合适的核函数进行训练，把低维问题转换到高维空间中，避免 了维数灾难、过学习等传统方法的中问题，较好了传统方法难以解决的问题， 在非线性及其高维识别问题中表现出独特的优势。 尽管支持向量机算法的性能在很多实际应用中已经得到了验证，但同时也 暴露出了算法速度慢、算法复杂且难以实现以及运算量大等问题。 最近几年，有关 SVM 的研究主要集中表现在训练算法本身的改进和算法的 现象应用方面。SVM 的求解问题总结为一个有约束的二次型规划问题，我们经 常用标准的二次型优化技术来解决这个优化问题，为了提高算法效率，提出来 很多适用大规模样本集的训练算法，最常见的就是分块算法和固定样本集算法 等。 1.41.4 本文研究的意义和内容本文研究的意义和内容 本文的主攻方向主要是通过介绍当前变形监测的研究方法，然后选取传统 变形监测方法之中的两种与支持向量机进行实例比较，分析预测数据及其残差。 本文的主要研究内容包括以下几部分： 1回顾传统的变形监测建模方法。 。 2详细地介绍了支持向量机的基本原理，如何设置算法中的参数，如惩罚 因子，不敏感损失参数，还有核函数的选取。但是如何选取 SVM 中的参数， C 目前还没有效的算法，一般通过交叉验证算法，选取合适的参数，才能获得较 好的预测效果。 3支持向量机分析模型与灰色系统分析模型，人工神经网络模型之间通过 实例数据进行分析比较。 4 第二章第二章 变形分析与建模的基本理论与方法变形分析与建模的基本理论与方法 2.12.1 变形分析的基本内容变形分析的基本内容 2.1.12.1.1 变形的基本内容及其内涵变形的基本内容及其内涵 变形是自然界中普遍存在的现象，它是物体在各种外力的作用下其形状、 大小在时空空领域发生了变化，但是如果变形超过了物体本身所能承受的限度， 就会产生负面影响，因此，我们需要对变形体进行变形监测，通过专用的测量 仪器和测量方法对变形体进行短期或长期的监测，从监测到的数据找到变形体 的变形规律，准确地预测出变形特征，避免灾难的发生3。 工程中变形监测的内容应具有明确的针对性，既要考虑周全，又要重点突 出，才能准确找到变形的变化规律，以便保证变形体的安全。 民用与工程建筑物中主要观测内容是观测建筑物的水平位移和垂直位移。 对于建筑物本身来说，主要是倾斜观测与裂缝观测。对基础而言，主要观测内 容是建筑物的均匀沉陷和不均匀沉陷。 水工建筑工程中主要观测内容是观察勘测的是渗透、裂缝、垂直位移和水 平位移。在混凝土力坝中，通常为垂直位移、水平位移以及伸缩缝的观测，这 些内容通常称为外部变形观测。此外，还应对钢筋应力、混凝土应力、温度等 进行观测，这些内容称为内部观测。 建筑工程地面沉降观测。由于一些城市建立在冲积层之上，同时因过度开 采地下水，从而影响了土层结构特征，导致城市地面发生沉降现象。或者某些 地下采矿的城市，过度挖掘地下的煤等资源，同样可能会导致城市表面发生沉 降现象，从而导致了周围坏境和建筑物的安全遭到威胁。因此，必须长期的对 这些区域进行变形监测，了解这些区域的地表沉降规律，才能及时采取相应的 安全措施。 变形分析的内涵是从杂乱无章的变形监测数据中发现其变化规律，找到变 形体的本质，然后按照规律采取一定的手段。变形分析通常分为变形的几何分 5 析和变形的物理解释两部分，变形的物理解释的任务是确定变形体的变形和变 形原因之间的关系，解释变形的原因。变形的几何分析是对变形体的形状和大 小的变形作几何描述，其任务在于描述变形体变形的空间状态和时间状态。 2.22.2 变形分析与建模的基本理论与方法变形分析与建模的基本理论与方法 2.2.12.2.1 灰色系统理论分析法灰色系统理论分析法 灰色系统是指部分信息已知，部分信息未知的系统。它不是把观测到的数 据作为一个随机过程，而是把数据进行累加生成或者累减生成有规律的数据序 列，把灰色量白化，从而实现对变形体的变形规律作出正确的评估和监控。目 前常用的模型有 GM（1,1）和 GM（1，N） ，其中 GM（1，N）模型不适合作预测， 它通常用来建立系统的状态模型，为高阶系统提供基础。G（1,1）模型适用于 预测工作，把前 n 个观测值作为学习样本，来预测后面的状态量。 2.2.1.12.2.1.1 数据生成数据生成 将原始数据列 x 中的数据 x(k),，根据某种要求作数 x=x(k)k=1,2,n 据处理。通常数据生成的方法为累加生成和累减生成。 2.2.1.1.12.2.1.1.1 累加生成累加生成 设原始数据为 * MERGEFORMAT (2.1) (0)(0) 1,2,xxk kn 对作一次累加生成（1-AGO） (0) x * MERGEFORMAT (2.2) (1)(0) 1 ()( ) k i xKxi 即得到一次累加生成序列 * MERGEFORMAT (2.3) (1)(1)( ) 1,2,xxk kn 若对作 m 次累加生成（记作 m-AGO） (0) x 则有 6 * MERGEFORMAT (2.4) ()(1) 1 ( )( ) k mm i xkxi 2.2.1.1.22.2.1.1.2 累减生成累减生成 累减生成是累加生成的逆运算。当一次累减生成算子有 * MERGEFORMAT (2.5) (0)(0)(0) ( )( )(1);1,2,xkxkxkkn 同理当 m 次累减生成算子可以得到 * MERGEFORMAT (2.6) (0)()() ( )( )(1);1,2, mm xkxkxkkn 2.2.1.22.2.1.2 灰色理论模型灰色理论模型 2.2.1.2.12.2.1.2.1 模型模型4 4 1,1GM （1）设有 n 个非负原始观测数据序列： * MERGEFORMAT (2.7) (0)(0)(0)(0) (1),(2),( )xxxxn （2）做累加生成： * MERGEFORMAT (2.8) (1)(0) 1 ( )( ),(1,2,3, ) k j xkxj kn 则有： (1)(1)(1)(1)(1) (1),(2),(3),( )xxxxxn （3）模型建立： 的白化形式为： (1) x * MERGEFORMAT (2.9) (1) (1) dx x dt 由原始数据序列近似代替微分方程中的有： (0)( ) xk (1) dx dt * MERGEFORMAT (2.10) (1) (1)( ) dx xk dt 将取为均值，生成序列： (1) x (1)( ) zk * MERGEFORMAT (2.11) (1)(1)(1) 1 ( )( )(1) ,(2,3, ) 2 zkxkxkkn 将上式整合可得： * MERGEFORMAT (2.12) (0)(1) ( )( )xkzk 7 （4）模型的求解：对应的 n 个时间序列，可组成方程组： * MERGEFORMAT (2.13)YB 式中，； (0)(0)(0) (2),(3),( ) T Yxxxn ， * MERGEFORMAT (2.14) (1) (1) (1) (2)1 (3)1 ( )1 z z B zn 参数列, T a 对上式用最小二乘法求解： * MERGEFORMAT (2.15) 1 () TT B BB Y 解微分方程式得到： * MERGEFORMAT (2.16) (1) (0) (1)(1) k xkxe 原始数据的拟合值为： * MERGEFORMAT (2.17) (0)(1)(1) ( )( )( -1)xkxkxk （5）模型的精度检验：原始数据及方差分别为： (0) x 2 1 s * MERGEFORMAT (2.18) (0) (0) ( ) 1 1 n k k xx n * MERGEFORMAT (2.19) ( ) 2 (0) 2(0) 1 1 1 1 k n k sxx n 则有 k 时刻残差为： * MERGEFORMAT (2.20) (0) (0)(0) ( ) ( )( ) k kk xx 同时有残差均值为： * MERGEFORMAT (2.21) (0) ( ) 1 1 n k k n 残差方差为： * MERGEFORMAT (2.22) 2 (0) 2(0) 2( ) 1 1 1 n k k s n 8 方差比为： * MERGEFORMAT (2.23) 2 1 s C s 小误差概率为： * MERGEFORMAT (2.24)P (0) (0) ( )1 0.6745 k PPs 表 2.1 GM（1,1）模型经验检查表 模型精度等级 PC 一级（好）0.95P0.35C 二级（合格）0.800.95P0.350.5C 三级（勉强）0.700.80P0.50.65C 四级（不合格）0.70P 0.65C 2.2.1.2.22.2.1.2.2 模型模型(1,)GMN 对于个变量，如果每个变量都有个相互对应的数据，则可形 n12 , n x xx m 成个数列为： n * MERGEFORMAT (2.25) (0)( 1,2, ) i xin 即： (0)(0)(0)(0) (1),(2),( ) iiii xxxxm(1,2, )in 对累加生成，形成个生成数列。有 (0) i x n (1) i x * MERGEFORMAT (2.26) (1)(1) 0 ( )(0)( )( ) j iii i xjxtxj (1,2, )in 则 (1)(1)(1)(1) (1),(2),( ) iiii xxxxm(1,2, )in 对个数列可建立微分方差，即： n * MERGEFORMAT (2.27) (1) (1)(1)(1)(1) 1 112231nn dx axb xb xbx dt 式中的参数可表示为 * MERGEFORMAT (2.28) 121 , T n a b bb 按照最小二乘估计参数，则有 9 * MERGEFORMAT (2.29) 1 () TT n B BB y 式中， (0) (0) (0) (0) (2) (3) (4) ( ) n x x yx xk (1)(1)(1)(1) 2 (1)(1)(1)(1) 2 (1)(1)(1)(1) 2 1 (1)(2)(2)(2) 2 1 (2)(3)(3)(3) 2 1 (1)( )( )( ) 2 n n n xxxx xxxx B xnxnxnxn 可得模型为(1, )GMn * MERGEFORMAT (2.30) (1) (1)(1)(1) 1 (0)11 22 11 (1)(1)(1) nn j iiii ii xjxb xjeb xj * MERGEFORMAT (2.31) (0)(0) (1)(0) ii xx(0,1,2, )jn 则有： ，即为第期的 (0)(1)(1) 111(1)(1)( )xjxjxj (0,1,2, )jn1j 预 测值 (0) (1)xj 2.2.22.2.2 人工神经网络模型人工神经网络模型 2.2.2.12.2.2.1 人工神经网络的特点人工神经网络的特点 近几十年期间，人工神经网络（Artificial Neural Networks）迅速发展， 应用范围非常广阔，其主要特点表现在以下几个方面5： 以分布方式储存知识，知识是分布在整个系统之中，而不是存储某些单元 里的。 神经网络以并行的方式进行处理，其计算功能分布在多个处理单元中，极 大地提高了数据的运算和处理速度。 神经网络具有很强的联想储存功能和容错能力，能够通过反馈网络实现联 10 想，从不完善数据中找到最优解，做出正确的判断，从而逼近任意复杂的非线 性系统。 具有自学习功能。神经网络通过输入的信息来自学习样本，然后慢慢学会 识别类似的信息，在人类提供预测方面具有重要意义。 2.2.2.22.2.2.2 BPBP 网络模型原理网络模型原理 BP 神经网络由输入层、隐含层和输出层构成。它利用误差反向传播的算法 进行反馈，是目前应用最广泛的网络模型。BP 算法属于算法，它是通过调节 网络的权值和阈值使输出层的误差平方和达到最小，其意味着输出值尽量逼近 期望值6。 下图为一个隐含层的 BP 网络，令输入层，隐含层和输出层各有 r，n，m 个 节点。设输入样本，其相应的网络的实测值为， 12 (,) i pp pp 12 ( , , ) j Tt tt 网络学习是用第一次实际输出与实测值之间的误差，然后通 12 ( ,) k Oo oo T 过梯度去修改权值与阈值，使输出层的误差平方和达到最小，从而让输出在理 论上逼近真实值。 图 2.1 三层神经网络结构图 BP 神经网络算法由信息的正向传播和误差的反向传播组成。在正向传播过 程中，信息从输入层输入，学习计算经由隐含层，最终传向输出层。 计算隐含层第 i 个神经元的输出： * MERGEFORMAT (2.32) 1 (1 ) r ijji j yifpb 1,2,in 11 计算输出层第 k 个神经元的输出： * MERGEFORMAT (2.33) 1 (2 ) m kkiik k ofyb 1,2,km 则对于样本，其输出误差为。如果输出误差大于设定的 2 1 () ) 2 m kk k Eot 值，则转向反向传播，权值和阈值按照规则来设定，即每次权值调整的增量 应与梯度成正比，即 ij : ij E * MERGEFORMAT (2.34) ij ij E : 式中，为学习速率。 输出层中第 i 个输入到第 k 个输出的权值调节量为： * MERGEFORMAT (2.35) 2 k kikki kikki oEE tof y o : 令，则。 2 () kikk tof kikii y: 而隐含层中第 j 个输入到第 i 个输出的权值调节量为： * MERGEFORMAT (2.36) 21 1 m ki ijkkkij k ijkiij oyEE toff p oy : 令，则。 1 1 n ijkiki k f jijj ip: 阈值调节量等同于权值，它是输入值恒为-1 的权。因此，只要每个训练样 本都满足目标输出，可以进行下一个训练样本，知道所有的样本训练结束，即 BP 神经网络学习完成。 2.2.32.2.3 回归分析法回归分析法 回归分析法又称相关分析法，它是用来处理变量与变量之关系的数学方法， 可容纳很多因子，处理大量的观测数据，从而对未知量作出预测7。 回归分析通常包括一元回归模型和多元回归模型。线性回归模型是自变量 与因变量之间为线性函数关系；当自变量与因变量为非线性关系时，则可通过 变量变化的方法转换为线性回归问题。即一元回归模型是多元回归模型的特例， 因此以下只介绍多元线性回归模型。 12 2.2.3.12.2.3.1 多元线性回归分析多元线性回归分析 多元线性回归模型为 * MERGEFORMAT (2.37) 101 122iimxii yxxm 式中分别取时，取得第 次样本观测值， 12 , n x xx 12 , iimi xxxyi i y 是未知回归参数，则为相应随机误差，。 01 , m i 2 (0,) i N: 2.2.3.22.2.3.2 模型参数的估计模型参数的估计 由上式得到误差方程为 * MERGEFORMAT (2.38) 02 12 iix iximxii vmy 其矩阵形式为 * MERGEFORMAT (2.39)VAY 式中 * MERGEFORMAT (2.40) 12 T n Vvvv * MERGEFORMAT (2.41) 11211 12222 12 1 1 1 m m nnmn xxx xxx A xxx * MERGEFORMAT (2.42) 01 T n * MERGEFORMAT (2.43) 01 T n Yyyy 在条件下，得到法方程为min T V V * MERGEFORMAT (2.44)0 TT A AA Y 模型参数的最小二乘解为 * MERGEFORMAT (2.45) 1 () TT A AA Y 由此可得到多元回归方程为 * MERGEFORMAT (2.46) 01212mxiii yxxm 2.2.3.32.2.3.3 参数的中心化解参数的中心化解 为了有利于计算分析，将自变量值域的空间原点移动到其 n 次取值的中心 13 点位置。有 ， * MERGEFORMAT (2.47) 1 1 (1,2,) n k ki i xxkm n 12 T kmxxxx 1 1 n i i yy n 则由上式可得到 * MERGEFORMAT (2.48) 12 012 T m sm yxyxxx 则得到中心化法方法 * MERGEFORMAT (2.49)0 TT ssss A AA y 其中 ， * MERGEFORMAT (2.50) 12 11211 12 12222 12 12 m m m m s m nnmn xxxxxx xxxxxx A xxxxxx 1 2 s n yy yy y yy 由最小二乘原理求得的估值为 * MERGEFORMAT (2.51) 1 () TT ssss A AA y 2.2.3.42.2.3.4 回归方程显著性检验回归方程显著性检验 在实际问题中，我们不能知道自变量与因变量之间是否存在线性关系。起 初，线性回归方程只是一种假设，但是这种假设并不是没有根据的，因此在线 性回归方程求解参数之后，必须对回归方程进行显著性检验，才能给出方程是 否正确的结论。假如因变量 y 与自变量之间不是线性关系，其数学模型则为零 向量，得到原假设： * MERGEFORMAT (2.52) 012 :0,0 m H 即可把原假设作为约束条件，求统计量为 * MERGEFORMAT (2.53) ,1 1 R Qm FF m nm Qnm : 式中，（回归平方和） ，（残差平法 2 1 () n Ri i Qyy 2 1 () T n ii i Qyy 和） 当原假设成立时，统计量 F 应服从分布，选择显著水平后， ( ,1)F m nm 14 即可检验原假设： * MERGEFORMAT (2.54) 1,10n m p FFH 对回归方程的有效性进行检验。若上式成立，则在显著水平下，线性关 系是显著的，回归方程也是显著的；反之，则没有显著的线性关系，回归方程 不显著。 2.2.3.52.2.3.5 回归系统显著性检验回归系统显著性检验 但是回归方程显著，也不能意味着每个自变量都对因变量 y 显著，则需 k x 要进行回归参数显著性检验，原假设有： * MERGEFORMAT (2.55) 0: 0(1,2,) k Hkm 则可构成统计量 * MERGEFORMAT (2.56)(1) k k k Tt nm q : 式中，为的第个对角元素。1Qnm k q 1 () T ss A A k 若显著性水平为，若则拒绝，回归参数检验是显著 1 2 (1) k Ttnm 0 H 的，反之则不显著。 经过回归参数显著性检验后，若检验通过，则拒绝原假设，必然拒绝回 0k H 归效果显著性检验的原假设，因此回归效果也必然显著。 0 H 2.2.42.2.4 时间序列法时间序列法 时间序列分析法一种动态数据处理方法8，它所研究的对象是一串随时间 变化却有关联的动态数据，尽管这些数据是错综复杂的，但是我们对动态数据 进行分析处理，找出反应事物随时间的变化规律，达到认识事物、掌握事物的 目的。时间序列通常有两个特点：一是前后时刻的数据具有相关性；二是数据 具有时间先后性。以下详细介绍 AR、MA 以及 ARMA 三种模型。 2.2.4.12.2.4.1 时间序列模型时间序列模型9 9 时间序列的原理为：设有正态、平稳、零均值的时间序列，假如的 t x t x 取值与其前步的取值有关，同时还与前步的各个干扰 n12 , ttt m xxx m 有关，由多元线性回归思想可列出 ARMA 模型： 12 , ttt m aaa ,1,2,n m 15 * MERGEFORMAT (2.57) 11221122tttnt nttmt mt xxxx 2 (0,)N : 式中，为滑动平均参数；为自回归参数； (1,2,) j jm1,2, i in 为白噪声序列。上式叫做自回归滑动平均模型，记为 ARMA（n，m）模型。 t 当时，模型变为： 0 j * MERGEFORMAT (2.58) 1122tttnt nt xxxx 上式称为阶自回归模型，记为 AR（n） 。 n 当时，模型变为： 0 t * MERGEFORMAT (2.59) 1122ttttmt m x 上式称为阶滑动平均模型，记为 MA（m） 。 m 2.2.4.22.2.4.2 时间序列模型的统计特性时间序列模型的统计特性 2.2.4.2.12.2.4.2.1 自相关函数自相关函数 自相关函数是描述随机信号在两个不同时刻之间的相关程度。对 ( )X t 12 tt、 于一个正态、平稳、零均值的随机过程，有自协方差函数为： t x * MERGEFORMAT (2.60)() ktt k RE x x (1,2,)k 当时，得到的方差函数： 0k t x 2 x * MERGEFORMAT (2.61) 22 0 () xt RE x 自相关函数定义为： * MERGEFORMAT (2.62) 0kK RR 2.2.4.2.22.2.4.2.2 偏相关函数偏相关函数 偏相关函数是衡量时间序列模型概率特性的重要指标。它的原理是：已知 为平稳时间序列，选择一定的个系数，使表示为的线 t x k12 , kkkk t x 1t x 性组合。 * MERGEFORMAT (2.63) 1 k tkit i i xx 当这种表示的误差方差 16 * MERGEFORMAT (2.64) 2 1 () k tkit i i JE xx 为极小时，则定义最后一个系数为偏相关系数。 kk 2.2.4.32.2.4.3 模型的识别与定阶模型的识别与定阶 根据模型 d 的自相关函数和偏相关函数性质，可以直接给出稳定时间序列 模型类型的判别依据10，如下表所示： 表 2.2 模型识别 根据上图中自相关函数与偏相关函数估值的拖尾性和截尾性，可有以判断： （1） 当时，则有，即偏相关函数在步截尾，可初步判断为kn0 kk n AR（n）模型，其阶数为 n。 （2） 当时，则有，即自相关函数步截尾，可初步判断为 km 0 k m MA（m） ，其阶数为 m。 （3） 当得到的和都不是截尾的，而是拖尾的，则为 ARMA 模型，此 k kk 时可用 AR 模型代替。 2.2.4.52.2.4.5 模型中参数的估计和模型检验模型中参数的估计和模型检验 在经过模型识别到确定模型阶数的前提下，可以利用时间序列的自相关系 数对模型参数进行初步估计。 （1） n 阶自回归模型的参数估计 n 阶自回归模型 AR（n）的公式为： * MERGEFORMAT (2.65) 1122tttnt nt xxxx （2） m 阶滑动平均模型的参数估计 m 阶滑动平均模型 MA（m）的公式为： * MERGEFORMAT (2.66) 1122ttttmt m x 类别 模型 AR（n） MA（m） ARMA（n，m） 模型方程 ( ) tt B x( ) tt xB( )( ) tt B xB 自相关函数 拖尾 q 阶截尾 拖尾 偏相关函数 截尾 拖尾 拖尾 17 （3） ARMA（n，m）模型的参数估计 若为 ARMA（n，m）模型，其模型的阶数（n，m） ，可以通过 AIC 准则作为模 型的定阶准则。Akaike 于 1973 年提出 AIC 准则，其具体形式为： * MERGEFORMAT (2.67) 2 2(1)min e AICInnm 式中，为样本的容量，由 n 和 m 通过参数估计得到，若时， 2 e ,nn mm 上式达到最小值，则认为序列是 ARMA。 ( ,)n m 2.2.4.62.2.4.6 时间序列的预报时间序列的预报 对于 AR（n）序列有 步预报模型 l * MERGEFORMAT (2.68) 11 ( )(1)(1) kkk lllknkn x lx lxxx 其中系数是已估计得到的确定值。则当时有 12 , n 1,2,3l * MERGEFORMAT (2.69) 1211 122 123 (1) (2)(1) (3)(2)(1) k kknk n kk knk n kkk nk n xxxx xxxx xxxx 2.32.3 小结小结 本章简要介绍了变形分析的基本思想,同时也介绍了变形分析的基本内容有 变形的物理解释和变形的几何分析两大部分，概述了变形分析的基本数学模型， 简单的介绍了人工神经元模型、灰色系统分析模型、多元回归分析模型、时间 序列分析模型，其中重点介绍了神经网络模型和灰色系统模型，为第四章工程 预测提供了理论基础。 18 第三章第三章 统计学习理论与支持向量机模型统计学习理论与支持向量机模型 支持向量机(Support Vector Machine)是基于 VC 维理论和结构风险最小化 原则上发展起来的模式识别方法11。在处理非线性关系问题时，能够避免传统 方法中过学习、局部极小和维数灾难的问题，具有理论完备、适应性强、全局 优化、训练时间短、泛化性能好等优点。目前，在非线性和高维识别问题中表 现出良好的发展前景。 3.13.1 统计学习理论统计学习理论12 12 3.1.13.1.1 概述概述 统计学习理论是针对小样本统计问题建立了起来的新的理论体系，它不仅 需要考虑渐进性能的要求，而且还需要在有限的条件下寻求最优结果。 VVapnik 等人从上世纪 60 年代开始致力于此方面研究，到 90 年代中期，随 着其理论的不断发展和成熟，统计学习理论开始受到越来越广泛的重视。 统计学习理论能够把传统的模式识别、函数逼近、概率密度估计和神经网 络等统一到一个框架中研究，并且能够解决有限样本时不能有效解决的理论问 题。同时，在这一理论基础上发展了一种新的通用学习方法支持向量机。 SVM 有以下几种特点：结构简单；性能优良，尤其是泛化能力好；学习 速度快；适合处理高维数据，计算复杂性与输入模式的维数没有直接关系，避 免了维数灾难；有关的优化问题有唯一的极小点；适合处理高维数据，计 算复杂性与输入模式