自回归滑动平均模型课件

1、大连理工大学机械学院大连理工大学机械学院第二章第二章 自回归滑动平均模型自回归滑动平均模型 线性回归模型线性回归模型一元线性回归模型一元线性回归模型例：封闭容器内气压例：封闭容器内气压 和温度的测量：和温度的测量： 大连理工大学机械学院大连理工大学机械学院采用一条直线描述采用一条直线描述 的关系：的关系： 截距截距 斜率斜率但实际存在误差：但实际存在误差： 残差残差 目的是寻求目的是寻求求求 ，使最佳，使最佳 ttxy1001NNNxyxyxy102210211101tttxy10ttxy 01大连理工大学机械学院大连理工大学机械学院 寻优常用最小二乘法进行估计（寻优常用最小二乘法进行估计（L

2、SE） 目标使误差的平方和最小目标使误差的平方和最小 设设: 则则 NtNttttxyS112102)(00sNtttxy1100)(201sNttttxxy1100)(xy10大连理工大学机械学院大连理工大学机械学院 其中其中 NtyNy11NtxNx1120,1211)()(xxyNtNttCxxyyxx0,xyC2xxy10大连理工大学机械学院大连理工大学机械学院 于是得该时间序列的线性回归方程：于是得该时间序列的线性回归方程： 即：即： 其中其中 ， ， 为为 的均值，若使坐标平移至均值的均值，若使坐标平移至均值位置，则为：位置，则为： （注：今后不作说明，则皆为去均值的时序）（注：今

3、后不作说明，则皆为去均值的时序）tttttxxyxy1110tttxxyy)(1tttxy1yxtytx大连理工大学机械学院大连理工大学机械学院 其中其中 残差的方差：残差的方差： 20,1211xxyNtNttRxyx残差数残差平方和21121NtttxyN大连理工大学机械学院大连理工大学机械学院模型适用性模型适用性 检查：检查：若建立的模型正确的，则残差为白噪声，满足：若建立的模型正确的，则残差为白噪声，满足：（1）均值为）均值为0 （2）协方差为：）协方差为： 表示为：表示为： 0tEkkttkEr20001kkk), 0(2NIDt大连理工大学机械学院大连理工大学机械学院例：根据例：根

4、据data建回归模型：建回归模型： 解：解： 645675236554321ttyxt2 . 45236551X6 . 56456751Y59. 021tttxyx大连理工大学机械学院大连理工大学机械学院 所以模型为所以模型为 所以所以tttxy59. 0282. 059. 05122ttxy)282. 0 , 0( NIDt大连理工大学机械学院大连理工大学机械学院多元回归模型多元回归模型多元线性回归，例如压力和温度，浓度等几多元线性回归，例如压力和温度，浓度等几个因素有关，则：个因素有关，则： t 取不同值有取不同值有Ntxxxyttntttn, 3 , 2 , 12121NNnnNNNnn

5、nnxxxyxxxyxxxy2211222222112111221111大连理工大学机械学院大连理工大学机械学院多元回归模型多元回归模型NnNnNNnnNxxxxxxxxxyyy212121222211121121大连理工大学机械学院大连理工大学机械学院 寻求最优寻求最优 ，采用最小二乘法：，采用最小二乘法： 由于由于 是白噪声，无法求出真值，只能得到其估计值，是白噪声，无法求出真值，只能得到其估计值，对于一元回归：对于一元回归： 对于多元回归，其估计值为：对于多元回归，其估计值为： XY YXXXTT1ttxy1ntntttxxxy2121 t大连理工大学机械学院大连理工大学机械学院 若若

6、为正态分布，则为正态分布，则 也为正态分布，真值也为正态分布，真值95%的概率在的概率在范围：范围： 结论：结论： 回归分析是建立在因果关系的两列（一元回归）或回归分析是建立在因果关系的两列（一元回归）或 多列（多元回归）随机过程的相关的基础上，只有观测多列（多元回归）随机过程的相关的基础上，只有观测到所有的序列才能进行回归模型。其残差为白噪声。回到所有的序列才能进行回归模型。其残差为白噪声。回归可用来预报。归可用来预报。96. 1 tytty大连理工大学机械学院大连理工大学机械学院AR(1)模型模型在在 实测的情况下，只能观测到系统的一组时间序列实测的情况下，只能观测到系统的一组时间序列对这

7、样的对这样的Data作回归分析只能对时间作回归分析只能对时间 t 回归回归tttx10大连理工大学机械学院大连理工大学机械学院这要求这要求 中多元彼此无关，但实际上序列中多元彼此无关，但实际上序列 中存在这相关关系中存在这相关关系如开口量如开口量 较大，则较大，则 也较大也较大 较小，则较小，则 也较小。也较小。因此要寻求一种模型来描述一个序列各元素之间的相关性。因此要寻求一种模型来描述一个序列各元素之间的相关性。,121ttxxxx1txtxtx1txtx大连理工大学机械学院大连理工大学机械学院AR(1)模型模型 与与 相关相关 在一元线性回归中，两组观测数据：在一元线性回归中，两组观测数据

8、：存在关系：存在关系：这反映：这反映：在同一在同一t时刻，两个随机变量之间的相关性与时间无关，时刻，两个随机变量之间的相关性与时间无关，是静态的是静态的在在t t时刻时刻 回归到回归到NtNtxxxxxyyyyy,321321tttxy ttyEx tx1txty大连理工大学机械学院大连理工大学机械学院现若一个时间序列现若一个时间序列以以 ， 组成数据对：组成数据对：也存在相关关系：也存在相关关系： Ntxt, 3 , 2 , 1,tx1tx11321432,NtNtxxxxxxxxxxtttxx1), 0(2NIDt大连理工大学机械学院大连理工大学机械学院则则此式反映同一随机变量在不同时刻的

9、相关性。此式反映同一随机变量在不同时刻的相关性。 这种相关性与时间有关这种相关性与时间有关（tt-1）,因此是一种动态模型因此是一种动态模型 此种回归是此种回归是 回归到回归到 本身，称为自回归，因此表本身，称为自回归，因此表示为：示为： 特性：特性： 是一阶线性自回归，是一阶线性自回归， 与与 之间存在线性关系之间存在线性关系 为白噪声（为白噪声（0 0均值，自协方差均值，自协方差= =方差）方差） 模型以差分方程形式描述模型以差分方程形式描述tx), 0(,211NIDaaxxtttttx1txtatx大连理工大学机械学院大连理工大学机械学院2.参数估计参数估计仍可沿用最小二乘法进行参数估

10、计：仍可沿用最小二乘法进行参数估计：1111112112112tttttttttaxxaxxaxxaxxNttNtttxxx22211大连理工大学机械学院大连理工大学机械学院 残差残差对于平稳序列，应满足：对于平稳序列，应满足： 对式对式 的讨论：的讨论： 因为因为 是一个一阶自相关的平稳时间序列是一个一阶自相关的平稳时间序列 是一个彼此独立的白噪声是一个彼此独立的白噪声 所以所以 AR(1)模型可以看作把一相关序列化为独立序列模型可以看作把一相关序列化为独立序列的装置，或称的装置，或称“白噪声白噪声”装置，引入装置，引入B算子：算子：11tttxxaNtttaxxN22112111111tt

11、txxa大连理工大学机械学院大连理工大学机械学院 有有 当当 时，展开时，展开ttaBx11122111111BBB11大连理工大学机械学院大连理工大学机械学院 （算子定义）（算子定义）即即 可化为可化为 的线性组合的线性组合于是：于是： 的均值：的均值： 所以所以010122111jjtjjtjjttaaBaBBxtatx 0101jjtjjjtjtaEaExE tx 0txE大连理工大学机械学院大连理工大学机械学院 的方差：的方差： tx 2120212021011ajjajjtjjtjjtaVaraVarxVar大连理工大学机械学院大连理工大学机械学院3.模型适用检查模型适用检查 模型建

12、立之后，要进行适用性检查，最根本模型建立之后，要进行适用性检查，最根本的是检查的是检查 是否为白噪声是否为白噪声 对对 检查两方面：检查两方面：（1） 是否与是否与 无关无关 即计算即计算 的自相关函数：的自相关函数：若若 很小，则合格，很小，则合格， 不用算了。不用算了。 000102kkaaEraEakkakttktt,21ttaaNttNtttaaaa22211 ,ta ta1 ,a2,a3 ,ata大连理工大学机械学院大连理工大学机械学院（2） 是否与是否与 无关无关若若 很小时，则认为无关。很小时，则认为无关。,32ttxxNttNttNtttxaxaxat3223232,22,tx

13、ata大连理工大学机械学院大连理工大学机械学院 例：例：4 . 35 . 225 . 27 . 15 . 10 . 12 . 1:4 . 23 . 38 . 33 . 85 . 73 . 78 . 60 . 7:87654321xxtt减大连理工大学机械学院大连理工大学机械学院 所以建模为：所以建模为： 计算残差：计算残差：748. 05 . 112 . 15 . 17 . 115 . 12 . 112228228211tttxxxtttaxx1748. 08 , 3 , 2748. 01txxattt大连理工大学机械学院大连理工大学机械学院得：得：方差：方差： （较大）（较大）适用性检查：适

14、用性检查： 531. 1005. 1869. 3229. 1579. 0752. 0103. 0:87654321tat22210.1030.7522.9467a091. 0752. 0103. 0752. 0,28328311tttttaaaaa14. 0,83228328322ttttttxaxaxa大连理工大学机械学院大连理工大学机械学院预报分析预报分析9890.7480.784 ( 3.4)2.54 2.54 5.8 3.2695% 3.26 1.962.9463.26 3.374 xxx 还原：的置信区间：预报误差较大可能需要更高阶模型大连理工大学机械学院大连理工大学机械学院AR(1

15、)的物理意义的物理意义随机过程随机过程 分为两部分：分为两部分：确定性部分确定性部分 随机部分随机部分由控制论：一阶线性系统，当输入为由控制论：一阶线性系统，当输入为 时，其差分方程：时，其差分方程：当当 为白噪声时：为白噪声时： 即为即为AR(1)模型模型即即AR(1)模型描述了一个以模型描述了一个以 为输入，为输入， 为输出的系统：为输出的系统：tttaxx11tttfxx1111txtftxtatftttaxx11tatx大连理工大学机械学院大连理工大学机械学院 B为后移算子为后移算子随机游动随机游动 当当 则则 即即11tttaxx1ttaxB1ttax 大连理工大学机械学院大连理工大

16、学机械学院 一次预报：一次预报： ，表明系统有很强的惯性，表明系统有很强的惯性. 由：由： 此时此时 这说明这说明 是一个独立的随机变量之和，即序是一个独立的随机变量之和，即序列列 中的各值是由前一个值再加上一个任意中的各值是由前一个值再加上一个任意的随机值，故称之为随机游动模型。的随机值，故称之为随机游动模型。11ttxx01fjtjtax0jjttaxtx tx大连理工大学机械学院大连理工大学机械学院作业作业 采用多元模型对所给数据进行预测分析采用多元模型对所给数据进行预测分析 对所给数据采用一列数据建立对所给数据采用一列数据建立AR(1)模型，模型，并检验并检验大连理工大学机械学院大连理

17、工大学机械学院 具有如下结构的模型称为 阶自回归模型，简记为 特别当 时，称为中心化 模型0112220( )0( ),()0,()0,tttpt ptptttsstxxxxEVarEstE xst ，p)(pAR00)(pAR白噪声白噪声(对中心化对中心化AR)AR模型模型的定义的定义大连理工大学机械学院大连理工大学机械学院自回归系数多项式 引进延迟算子，中心化 模型又可以简记为 自回归系数多项式)(pARttxB)(ppBBBB2211)(大连理工大学机械学院大连理工大学机械学院ARMA模型 AR模型（Auto Regression Model） MA模型（Moving Average M

18、odel） ARMA模型（Auto Regression Moving Average model）大连理工大学机械学院大连理工大学机械学院ARMA(2,1)模型模型由太阳黑子序列（由太阳黑子序列（1749174919241924）建立）建立AR(1)AR(1)模型：模型：检查检查值较大，值较大， 不是白噪声不是白噪声。 与与 ， 也相关：也相关： 代入原代入原AR(1)：08.409,8 . 02111atttaxx38.0,53.0,21ttttxaaatata1ta2txttttaaxa1122大连理工大学机械学院大连理工大学机械学院 即：即： 自回归部分自回归部分 滑动平均部分滑动平均

19、部分 此称之为此称之为ARMA（2，1） 自回归为二阶，滑动平均为一阶自回归为二阶，滑动平均为一阶tttttaaxxx112211tttttttaBxBBaaxxx122111221111大连理工大学机械学院大连理工大学机械学院AR(2)模型模型若若 ，则，则AR(2)建模比建模比ARMA(2,1)容易：容易： 即：即：NNNNaxxxNtaxxxtaxxxt221142231431221343NNNNaaaxxxxxxxxx43212123124301ttttaxxx2211AXY大连理工大学机械学院大连理工大学机械学院最小二乘法解：最小二乘法解：例：太阳黑子：例：太阳黑子： ，比一阶时小多

20、了，比一阶时小多了YXXXTT1ttttaxxx2165. 034. 186.2362a大连理工大学机械学院大连理工大学机械学院平稳序列时序图1(1)0.8tttxx12(3)0.5ttttxxx大连理工大学机械学院大连理工大学机械学院非平稳序列时序图1(2)1.1tttxx ttttxxx115 . 0)4(大连理工大学机械学院大连理工大学机械学院ARMA(1,1)，MA(1)对对ARMA(2,1)， 若若 则则 ARMA(1,1) 若若 则则 MA(1) 02ttttaaxx1111021tttaax11大连理工大学机械学院大连理工大学机械学院ARMA(2,1)ARMA(2,1)适用性检查

21、适用性检查： 是否为白噪声是否为白噪声： 方法同前方法同前： ，过拟合检验过拟合检验再建立多阶模型再建立多阶模型ARMA(3,2)若若 ， 都接近都接近0，且其置信区间包含，且其置信区间包含0，则认为，则认为ARMA(2,1)是适用的是适用的。ta2,ttaa3,ttxatttttttaaaxxxx221133221132大连理工大学机械学院大连理工大学机械学院检查残差的平方和检查残差的平方和S是否显著减小是否显著减小 对于对于ARMA(2,1) 方差方差 若若S(2,1)比比S(1)显著减小，显著减小，ARMA(2,1)适用适用 若若S(3,2)比比S(2,1)无显著减小，无显著减小，ARM

22、A(2,1)适用适用NtttttNttaxxxaS32112211321 , 221 , 22NSa大连理工大学机械学院大连理工大学机械学院 ARMA(n,m)模型模型 对于系统分析，对于系统分析，AR的阶数总比的阶数总比MA的阶数高。的阶数高。 取取ARMA(n,n-1)： 即：即：tntntntnttaaaxxx111111tnntnnaBBxBB111111大连理工大学机械学院大连理工大学机械学院例题例题1： 已知已知AR(1)模型，模型， ， 的的95%置信区置信区间为（间为（15.5，9.5），求模型的），求模型的 ，解：解：1tx12a25txttxx11atx96. 15 . 9 , 5 .1515 . 996. 15 .1596. 111atatxx34. 2,53. 1, 5 . 021aa大连理工大学机械学院大连理工大学机械学院例题例题2有一时间序列：有一时间序列：建立建立AR(2)，一步预报，一步预报解：解： 原序列减均值原序列减均值?9x4 . 2 , 3 . 3 , 8 . 3 , 3 . 8 , 5 . 7