《时间序列分析-基于Python》 课件全套 王燕 第1-7章 时间序列分析方法发展概述-多元时间序列分析

时间序列分析方法发展概述01时间序列分析方法最早的起源时间序列分析是最早出现的统计分析方法。7000年前，古埃及人已定居在尼罗河两岸。他们的生命财产安全与尼罗河是否泛滥密切相关。古埃及人从长期的观察中发现，尼罗河的泛滥是有规律的。为了研究尼罗河泛滥的规律，古埃及人发明了元旦和天的概念。他们把天狼星和太阳同时升起的那一天称为元旦。天黑到天明算一天。把每天尼罗河水涨落潮的规律记在竹竿上。这个竹竿上的数据就是历史上最早的时间序列。通过对这个时间序列长期的观察，他们发现每年6月中旬尼罗河开始涨潮，涨潮期大概60天，落潮期大概60天。洪水过后，土地肥沃，随意播种就会有丰厚的收成。由于掌握了尼罗河泛滥的规律，使得古埃及的农业迅速发展，解放出大批的劳动力去从事非农业生产，从而创建了埃及灿烂的史前文明1月1日6月17日10月12月尼罗河泛滥期描述性时间序列分析象埃及人一样，沿着时间的发展，记录下随机变量的数据，通过直观的数据比较或绘图观察，寻找序列中蕴含的发展规律，这种分析方法被称为描述性时间序列分析。描述性时间序列分析是时间序列分析方法的萌芽。这是人类在认知自然、改造自然的过程中发展出来的实用方法。几乎所有的文明，都独立的、熟练的掌握了这一方法。对于很多自然现象，只要人们观察的时间足够长，就能运用描述性时序分析发现蕴含在时间里的自然规律。根据自然规律，做恰当的政策安排，就能有利于社会的发展和进步。根据自然呈现的规律，还可以帮助人们思考为什么自然会呈现出这种规律，有利于人们发现自然规律之间的因果关系。农作物产量与价格序列研究利用自然规律制定利民政策案例：《史记-货殖列传》中记载，公元前500年左右，范蠡认为我国农作物生成存在“六岁穰，六岁旱，十二岁一大饥”的自然规律，提出了我国最早稳定粮价的方法：“平粜法”。根据波动频率，寻找自然规律之间的因果关系欧洲人在1500年左右，也发现了农作物生产与价格序列具有12年左右的周期。他们关心的是为什么有这个周期，赫歇尔根据施瓦贝发现的太阳黑子序列规律，揭示了太阳黑子数量影响降雨量，降雨量影响农作物产量的规律。时间序列分析方法发展概述现代时间序列分析方法萌芽期19世纪末-20世纪初，是现代时间序列分析方法萌芽期。我们课本上学的主要方法，都是从这个时期开始产生的。这个时期产生了两种不同的时序分析方向一个方向是由外向内的分析视角产生的方法是与确定性因素分解相关的方法一个方向是由内向外的分析视角产生的方法是时域分析方法确定性因素分解方法因素分解方法（TimeSeriesDecomposition）由英国统计学家W.M.Persons于1919年在他的论文“商业环境的指标（IndicesofBusinessConditions）”一文中首次使用。因素分解方法认为所有的序列波动都可以归纳为受到如下四大类因素的综合影响：长期趋势（Trend）。序列呈现出明显的长期递增或递减的变化趋势。循环波动（Circle）。序列呈现出从低到高再由高到低的反复循环波动。循环周期可长可短，不一定是固定的。季节性变化（Season）。序列呈现出和季节变化相关的稳定周期波动。随机波动(Immediate)。除了长期趋势、循环波动和季节性变化之外，其他不能用确定性因素解释的序列波动，都属于随机波动。统计学家在进行确定性时间序列分析时，假定序列会受到这四个因素中的全部或部分的影响，导致序列呈现出不同的波动特征。换言之，任何一个时间序列都可以用这四个因素的某个函数进行拟合常用模型加法模型：乘法模型：确定性因素分解方法的发展指数平滑预测方法简单指数平滑（平稳序列预测）Holt两参数指数平滑（趋势序列预测）HoltWinters三参数指数平滑（周期序列预测）X11季节调整模型它是第二次世界大战之后，美国人口普查局委托统计学家进行的基于计算机自动进行的时间序列因素分解方法。1954年，X0版本面世，随后十多年陆续推出新的改进版本。1965年，推出可以处理任意趋势且没有时间滞后的成熟版本X11。X12-ARIMA模型1975年，加拿大统计局将ARIMA模型引入X11模型。借助ARIMA模型可以对序列进行向后预测扩充数据，以保证拟合数据的完整性，弥补了中心移动平均方法的缺陷。1998年，美国人口普查局开发了X12-ARIMA模型。它的改进是将一些特殊因素作为干预变量引入研究。这些干预变量包括：特殊节假日、固定季节因素、工作日因素、交易日因素、闰年因素，以及研究人员自行定义的任意自变量。X13-ARIMA-Seats模型2006年美国人口普查局再次推出更新版本X13-ARIMA-Seats，它是在X12-ARIMA的基础上，增加了seats季节调整方法。2017年

Facebook基于时间序列分解方法结合机器学习算法，开发了时间序列预测模型Prophet频域分析方法确定性因素分解方法还有一个引申的发展方向是随机性因素分解方法，我们也称为频域分析方法。频域分析方法也称为频谱分析或谱分析方法。它假定任何一种无趋势的时间序列都可以分解为若干不同频率的周期波动，借助傅里叶变换，用正弦、余弦之后来逼近某个函数。20世纪60年代，Burg在分析地震信号时提出最大熵谱估计理论（FFT算法）。该理论克服了传统谱分析所固有的分辨率不高和频率漏泄等缺点，使谱分析方法进入一个新阶段，称为现代谱分析阶段。谱分析方法具有很高的数学门槛，且需要的数据量与计算量都非常大，且计算结果不易进行直观解释。这使得谱分析方法的使用主要局限在某些特殊领域，比如：地震研究领域、电子信号领域、医学研究领域、海洋学、天文学、军事领域等等。随着电子信息技术的发展，我们获取的数据频率越来越高，数据量越来越大。传统的时域分析方法受到挑战，谱分析方法在高频数据场合越来越受到重视和使用。时域分析方法的萌芽时域分析方法主要是从序列自相关的角度揭示时间序列的发展规律。目前时域分析方法广泛应用于自然科学和社会科学的各个领域，成为现代时间序列分析的主流方法。时域分析方法的萌芽

GeorgeUdnyYule"OnaMethodofInvestigatingPeriodicitiesinDisturbedSeries,withSpecialReferencetoWolfer'sSunspotNumbers"(1927)

提出了AR模型SirGilbertThomasWalker"Onperiodicity".QuarterlyJournaloftheRoyalMeteorologicalSociety.51(216):337–346.(1925)使用了MA模型时域分析方法的理论基础Wold分解定理HermanWold,瑞典人。1938年在博士论文AstudyintheAnalysisofStationarytimeSeries中提出了Wold分解定理Wold分解定理证明任何平稳序列都可以分解为确定性序列和随机序列之和Wold是现代时间序列分析理论的灵魂，是构造ARMA模型拟合平稳序列的理论基础。Cramer分解定理HaraldCramer,瑞典人，斯德哥尔摩大学教授，Wold的指导教师，著名的统计学家和保险精算学家。Cramer分解定理（1962年）是Wold分解定理的理论推广，它是非平稳序列的分解理论，是构造ARIMA模型的理论基础。时域分析方法的核心G.E.P.Box和G.M.Jenkins1970年，他们出版了《TimeSeriesAnalysisForecastingandControl》一书。在这本书中，他们将前人的知识进行了系统的梳理和分析，构造了ARIMA模型，并系统地阐述了ARIMA模型的识别、估计、检验及预测的原理及方法。这些知识现在被称为经典时间序列分析方法，是时域分析方法的核心内容。为了记念Box和Jenkins对时间序列发展的特殊贡献，现在人们也常把ARIMA模型称为Box-Jenkins模型。ARIMA模型的实质单变量、同方差场合的线性模型时域分析方法的完善阶段--异方差场合1982年，Engle根据1958年2季度至1977年2季度的数据，研究英国因工资上涨导致通货膨胀问题时，发现在方差齐性的假定下，很容易预测出1977年3季度物价指数的置信区间。但是Engle以经济学家的经验，认为这个置信区间偏小，与实际情况可能不符。因为物价指数最近4年的方差是过去20年方差的10倍。根据经济变量通常具有集群效应的特征，1977年3季度延续大幅波动的可能性更大。为刻划通货膨胀率序列的波动性，Engle构造了ARCH（Autoregressiveconditionalhetero-scedasticity)模型。与无条件方差比，条件异方差模型能更准确地拟合出序列即期波动的特征。之后，有很多人对ARCH模型进行了拓展和衍生。比较重要的拓展模型是Bollerslov在1986年提出的GARCH模型。GARCH的衍生模型数不胜数，常用的有：EGARCHIGARCHGARCH-MTGARCHRobertF.Engle2003年诺贝尔经济学奖时域分析方法的完善阶段--多元时序场合（单一回归模型）1930-1970年代多元时序回归模型早就在计量经济学领域广泛使用。1968年，计量经济学家Granger发现多元非平稳序列构建回归模型，容易出现伪回归现象。而且在1974年进行了非平稳序列伪回归的随机模拟试验。模拟检验非常有说服力地证明在非平稳的场合，回归方程的显著性检验犯第一类错误的概率远远大于0.05，伪回归显著成立。这导致多元非平稳序列的回归分析不可以随便做。1970年，Box&Jenkins提出ARIMAX模型，用于多元平稳序列建立回归模型。1975年，Box&Tiao，首次使用干预模型分析经济政策（定性数据）对空气污染控制所带来的影响。发展出了专门评估特殊事件对序列产生的影响大小的分析方法，这种方法统称为干预分析。1987年，Granger提出了协整的概念，解决了多变量回归无法判断是否存在伪回归的问题。为多变量回归彻底松绑。

Granger因此获得2003年诺贝尔经济学奖。Granger还有一个重要贡献：多元时序的Granger因果检验。Granger2003年诺贝尔经济学奖时域分析方法的完善阶段--多元时序场合（多元方程组模型）

SYSLINE模型（联立线性方程组模型）是1940年代兴起的，是以公认的经济学说为基础，根据对现实经济中实际数据所作的经验性估算，建立宏观经济体制的数学模型，并用其分析经济波动和经济政策，预测经济趋势，为政策提供者提供政策决策参考的模型。在sysline模型领域贡献最大的是L.R.Klein。KleinI模型

：Klein以美国1920-1941年的年度宏观经济数据为样本，建立旨在分析美国在两次世界大战之间的经济发展的小型宏观经济模型。该模型非常简单只有3个行为方程，但是它在宏观计量经济学发展史上占有重要地位。以后的宏观计量经济学模型大都是在此基础上扩充、改进和发展起来的。以至于萨缪尔森认为“美国的许多模型，剥到最后，发现都有一个小的Klein模型”。Kleinǁ模型：二战以后，由于美国经济环境的改变以及美国政府对宏观经济的逐步干预，KleinI模型不再适合美国宏观经济现状。所以Klein以1953-1984年美国宏观经济数据为样本，基于凯恩斯经济学理论，建立了Kleinǁ模型。在六十年代后期，Klein建立了宾夕法尼亚大学沃顿商学院计量经济学预测模型，该模型在分析商业条件方面取得了很好的声誉，用于预测包括国家产品，出口，投资和消费在内的波动，研究税收变化对其影响。Klein因为他卓越的贡献获得1980年诺奖Klein1980年诺贝尔经济学奖时域分析方法的完善阶段--多元时序场合（VAR模型）1980年，Sims研究货币政策及其影响时，提出向量自回归模型（VAR模型）。这种模型采用多方程联立的形式，但它不以严格的经济理论为依据。在模型的每一个方程中，内生变量对模型的全部内生变量的滞后项进行回归，从而估计全部内生变量的动态关系。VAR结构简洁明了，预测精度高。还可以进行协整关系分析，脉冲响应分析和方差分解研究。2011年，Sims因VAR模型获诺贝尔经济学奖。Sims2011年诺贝尔经济学奖时域分析方法的完善阶段--非线性场合Granger和Andersen在1978年提出了双线性模型HowellTong于1978年提出了门限自回归模型Priestley于1980年提出了状态相依模型Hamilton于1989年提出了马尔可夫转移模型Lewis和Stevens于1991年提出了多元适应回归样条方法Carlin等人于1992年提出了非线性状态空间建模的方法Chen和Tsay于1993年提出了非线性可加自回归模型现在基于机器学习,有更多的非线性方法被创造出来。非线性是一个异常广阔的研究空间,在非线性的模型构造、参数估计、模型检验等各方面都有大量的研究工作需要完成。汤家豪（HowellTong）教材与软件教材时间序列分析——基于Python，王燕编著，中国人民大学出版社。软件Python语言是由荷兰数学和计算机科学研究学会的Rossum于1990年开发的一个语法简洁，功能强大，代码编写效率高，可移植性、可扩展性强的开源软件。Python语言的这些优点，使得它成为数据分析领域的重要工具。时间序列分析是数据分析常用的方法之一，为了便于数据分析人员在同一个软件平台进行数据分析，本教材使用Python语言作为案例演示工具。THANKS01时间序列的预处理02本章内容平稳序列的定义0102平稳性检验纯随机性检验0403概率分布概率分布的意义随机变量族的统计特性完全由它们的联合分布函数或联合密度函数决定时间序列概率分布族的定义实际应用的局限性

在实际应用中,要得到序列的联合概率分布几乎是不可能的,而且联合概率分布通常涉及非常复杂的数学运算,这些原因导致我们很少直接使用联合概率分布进行时间序列分析特征统计量均值方差自协方差自相关系数平稳时间序列的定义严平稳严平稳是一种条件比较苛刻的平稳性定义，它认为只有当序列所有的统计性质都不会随着时间的推移而发生变化时，该序列才能被认为平稳。宽平稳宽平稳是使用序列的特征统计量来定义的一种平稳性。它认为序列的统计性质主要由它的低阶矩决定，所以只要保证序列低阶矩平稳（二阶），就能保证序列的主要性质近似稳定。平稳时间序列的统计定义严平稳满足如下条件的序列称为严平稳序列

宽平稳满足如下条件的序列称为宽平稳序列严平稳与宽平稳的关系一般关系严平稳条件比宽平稳条件苛刻，通常情况下，严平稳（低阶矩存在）能推出宽平稳成立，而宽平稳序列不能反推严平稳成立特例不存在低阶矩的严平稳序列不满足宽平稳条件，例如服从柯西分布的严平稳序列就不是宽平稳序列当序列服从多元正态分布时，宽平稳可以推出严平稳平稳时间序列的统计性质常数均值自协方差函数和自相关函数只依赖于时间的平移长度而与时间的起止点无关延迟自协方差函数延迟自相关系数自相关系数的性质规范性对称性非负定性

非唯一性

一个平稳时间序列一定唯一决定了它的自相关函数，但一个自相关函数未必唯一对应着一个平稳时间序列。时间序列数据结构的特殊性传统统计分析的数据结构：有限个变量，每个变量有多个观察值时间序列数据结构：可列多个随机变量，而每个变量只有一个样本观察平稳性的重大意义在平稳序列场合，序列的均值等于常数，这意味着原本含有可列多个随机变量的均值序列变成了只含有一个变量的常数序列。原本每个随机变量的均值（方差，自相关系数）只能依靠唯一的一个样本观察值去估计，现在由于平稳性，每一个统计量都将拥有大量的样本观察值。这极大地减少了随机变量的个数，并增加了待估变量的样本容量。极大地简化了时序分析的难度，同时也提高了对特征统计量的估计精度严平稳与宽平稳的关系一般关系严平稳条件比宽平稳条件苛刻，通常情况下，严平稳（低阶矩存在）能推出宽平稳成立，而宽平稳序列不能反推严平稳成立特例不存在低阶矩的严平稳序列不满足宽平稳条件，例如服从柯西分布的严平稳序列就不是宽平稳序列当序列服从多元正态分布时，宽平稳可以推出严平稳本章内容平稳序列的定义0102平稳性检验纯随机性检验03序列的平稳性检验检验方法方法一：图检验（本章介绍）时序图检验自相关图检验

方法二：构造检验统计量进行假设检验（第四章介绍）单位根检验平稳性的时序图检验时序图检验原理：平稳时间序列具有常数均值和方差。这意味着平稳序列的时序图应该显示出该序列始终在一个常数值附近波动，而且波动的范围有界的特点。时序图检验技巧如果序列的时序图显示出该序列有明显的趋势性或周期性，那该序列通常就不是平稳序列。根据这个性质，很多非平稳序列，通过查看它的时序图就可以直接识别出来。例2-1趋势序列非平稳绘制1978-2012年我国第三产业占国内生产总值的比例序列的时序图，根据时序图判断该序列的平稳性。该序列时序图清晰显示：序列有明显的递增趋势特征，所以是非平稳序列。周期序列的平稳性具有周期特征的序列平稳性识别是困难的。理论上，如果周期波动的振幅和频率不随时间的变化而变化，通常序列是稳定的。

比如通信领域常用的随机相位信号函数是平稳序列其中：A为振幅，

为频率，

为起始相位。A和

为任意常数，

。如果

，振幅和频率会随着时间变化而变化，那么该序列就是非平稳序列。周期效应的平稳性演示周期序列的平稳性识别无论是图识别方法还是将来要学习的单位根检验方法都无法准确识别出具有周期特征的序列的平稳性。通常具有周期特征的序列，在实务处理上，不严格区分它到底是平稳序列还是非平稳序列，都类似于非平稳序列一样处理——通过差分的方法提取周期特征，然后对差分后的序列建模。所以实务中，如果序列具有显著的周期特征可以视为非平稳序列处理。例2-2绘制1970—1976年加拿大Coppermine地区月度降雨量序列的时序图，根据时序图判断该序列平稳性该序列时序图清晰显示：序列有明显的周期特征，可以视为非平稳序列。例2-3绘制1915-2004年澳大利亚自杀率序列（每10万人自杀人口数）的时序图，根据时序图判断该序列的平稳性。该序列时序图显示：从1915年开始澳大利亚每年的自杀率长期围绕在10万分之3附近波动，而且波动范围长期在10万分之2至10万分之4之间，这呈现出平稳序列的特征。但是看序列的最后20年的波动，自杀率又是一路递减，这是有趋势吗？如果是趋势，这就是非平稳特征。这时，通过时序图判断序列的平稳性有点困难。这时，可以借助序列自相关图的性质进一步辅助识别。自相关图检验自相关图检验自相关图是一个平面二维坐标悬垂线图，横坐标表示延迟时期数，纵坐标表示自相关系数，悬垂线的长度表示自相关系数的大小.自相关图检验技巧在下一章，我们会证明平稳序列通常具有短期相关性.这就是我们利用自相关图进行平稳性判别的标准.该性质用自相关系数来描述就是随着延迟阶数k的增加，平稳序列的自相关系数会很快地衰减向零;而非平稳序列的自相关系数衰减向零的速度通常比较慢。例2.1续绘制1978-2012年我国第三产业占国内生产总值的比例序列的自相关图该序列自相关图呈现出明显的三角对称性，这是有趋势的非平稳序列常见的自相关图特征.根据该序列自相关图我们可以认为该序列非平稳，且可能具有长期趋势这和该序列时序图呈现的单调递增性是一致的.例2.2续绘制1970—1976年加拿大Coppermine地区月度降雨量序列的自相关图该序列自相关图呈现明显的三角函数波动规律.这是具有周期性变化的非平稳序列的一种典型的自相关图特征，而且这种周期性几乎不衰减根据自相关图的长期相关性和余弦变化特征，我们可以认为该序列非平稳且具有稳定的周期变化规律.这和该序列时序图呈现的季节性特征是一致的.例2.3续绘制1915-2004年澳大利亚自杀率序列（每10万人自杀人口数）的自相关图该序列自相关图呈现出明显的倒三角特征,这是具有单调趋势的非平稳序列的典型特征.根据自相关图特征,我们可以认为该序列非平稳,且具有长期趋势.本章内容平稳序列的定义0102平稳性检验纯随机性检验0403纯随机序列纯随机序列的定义：如果序列满足如下两条性质，我们称该序列为纯随机序列,也称为白噪声(WhiteNoise)序列,简记为。容易证明,白噪声序列一定是平稳序列,而且是最简单的平稳序列。例2-4随机产生1000个服从标准正态分布的白噪声序列观察值,并绘制时序图。纯随机序列的性质

纯随机性

各序列值之间没有任何相关关系，即为“没有记忆”的序列

方差齐性根据马尔可夫定理，只有方差齐性假定成立时，用最小二乘法得到的未知参数估计值才是准确的、有效的纯随机性检验原理纯随机性检验原理：Barlett定理纯随机性检验也称为白噪声检验,是专门用来检验序列是否为纯随机序列的一种方法如果一个序列是纯随机序列,那么它的序列值之间应该没有任何相关关系,即满足这是一种理论上才会出现的理想状况。实际上,由于观察值序列的有限性,纯随机序列的样本自相关系数不会绝对为零。例2-4续（1）绘制例2-7标准正态白噪声序列的样本自相关图。该序列样本自相关图显示：这个纯随机序列没有一个样本自相关系数严格等于零。但这些自相关系数确实都非常小,都在零值附近以一个很小的幅度随机波动。这就提醒我们应该考虑样本自相关系数的分布性质,从统计意义上判断序列的纯随机性质。纯随机性检验原理纯随机性检验原理：Barlett定理Barlett定理如果一个时间序列是纯随机的，得到一个观察期数为的观察值序列，那么该序列的延迟非零期的样本自相关系数将近似服从均值为零，方差为序列观察期数倒数的正态分布根据Barlett定理,我们可以构造检验统计量来检验序列的纯随机性检验统计量假设条件原假设：延迟期数小于或等于m期的序列值之间相互独立备择假设：延迟期数小于或等于m期的序列值之间有相关性

检验统计量Q统计量LB统计量纯随机性检验的判别原则拒绝原假设当检验统计量大于分位点，或该统计量的P值小于时，则可以以的置信水平拒绝原假设，认为该序列为非白噪声序列。接受原假设当检验统计量小于分位点，或该统计量的P值大于时，则认为在的置信水平下无法拒绝原假设，即可以认为该序列为白噪声序列。

例2-4续(2)计算例2-4中白噪声序列延迟1~12阶的LB统计量的值,并判断该序列的随机性。延迟1-12阶的LB统计量的P值都大于显著性水平（0.05）所以可以判断该序列为纯随机序列检验结果解读由于LB检验统计量的P值显著大于显著性水平α,所以该序列不能拒绝纯随机的原假设。换言之,我们判断该序列为白噪声序列，认为该序列的波动没有任何统计规律可循。还需要解释的一点是,为什么在本例中只检验了前12期延迟的Q统计量就直接判断该序列是白噪声序列呢?为什么不进行全部999期延迟检验呢?一方面是因为,平稳序列通常具有短期相关性,如果序列值之间存在显著的相关关系,通常只存在于延迟时期比较短的序列值之间。所以,如果一个平稳序列短期延迟的序列值之间都不存在显著的相关关系,通常长期延迟之间就更不会存在显著的相关关系了。另一方面是因为,假如一个平稳序列显示出显著的短期相关性,那么该序列就一定不是白噪声序列,我们就可以对序列值之间存在的相关性进行分析。假如此时考虑的延迟时期数太长,反而可能淹没了该序列的短期相关性。因为平稳序列只要延迟时期足够长,自相关系数都会收敛于零。例2-5对1900—1998年全球7级以上地震发生次数序列进行平稳性和纯随机性检验。时序图显示该序列没有明显的趋势和周期.自相关图显示，除了延迟1一4阶的自相关系数在两倍标准差之外，其他自相关系数均在两倍标准差之内.我们可以认为该序列具有短期相关性.因此，我们可以判断该序列为平稳序列.例2-5对1900—1998年全球7级以上地震发生次数序列进行纯随机性检验。通过图检验和纯随机性检验，我们可以认为全球每年发生7.0+级地震次数序列是平稳非白噪声序列LB检验结果显示，延迟1~10阶的LB统计量的P值都小于显著性水平0.05所以我们可以显著拒绝序列为纯随机序列的原假设，认为该序列为非白噪声序列。THANKS02平稳时间序列分析03Wold分解定理0102AR模型MA模型03本章内容ARMA模型04Wold分解定理Wold分解定理的产生背景1938年,H.Wold在他的博士论文“AStudyintheAnalysisofStationaryTimeSeries”中提出了著名的平稳序列分解定理。这个定理是平稳时间序列分析的理论基石。Wold分解定理的内容对于任意一个离散平稳时间序列,它都可以分解为两个不相关的平稳序列之和,其中一个为确定性的(deterministic),另一个为随机性的(stochastic),不妨记作式中：为确定性平稳序列，为随机性平稳序列Wold分解定理中确定性序列的性质确定性序列的真实生成机制可以是任意方式。换言之的真实波动可以是时间的任意函数（前提是保证序列的平稳性）。Wold证明不管的生成机制是怎样的，它都可以等价表达为历史序列值的线性函数所以，Wold分解定理中确定性序列的性质是：序列的当期波动可以由其历史序列值解读的部分。Wold分解定理中随机性序列的性质Wold分解定理中，随机序列代表了不能由序列的历史信息解读的随机波动部分Wold证明这部分信息可以等价表达为式中：称为新息过程（innovationprocess），是每个时期加入的新的随机信息。它们相互独立，不可预测，通常假定，。且有所以，Wold分解定理中随机性序列的性质是：序列的当期波动不可以由其历史序列值解读的部分。波动序列的方差对任意平稳序列而言，令关于q期历史序列值做线性回归式中为回归残差序列，不妨记该序列的方差为。随着的增大单调非增，且。的大小可以衡量历史信息对现时值的预测精度。越小，说明基于q期历史信息对未来的预测精度越高；越大，则说明序列随机性很大，q期历史信息对未来的预测精度很差。如果，说明序列的历史信息几乎可以完全预测未来的波动，这时称为确定性序列。如果说明序列的历史信息对预测未来波动完全没有作用，这时称为纯随机序列。绝大多数序列是介于确定性序列和纯随机序列中间，即，这时称为随机序列。Wold分解定理0102AR模型MA模型03本章内容ARMA模型04AR模型的定义具有如下结构的模型称为p阶自回归模型，简记为特别当时，称为中心化模型令，称是的中心化序列自回归系数多项式引进延迟算子，中心化模型又可以简记为

称下式为p阶自回归系数多项式延迟算子延迟算子类似于一个时间指针，当前序列值乘以一个延迟算子，就相当于把当前序列值的时间向过去拨了一个时刻记B为延迟算子，有

所以模型的简写形式如下导出延迟算子的性质

，其中

例3-1考察如下四个模型的平稳性例3-1时序图平稳特征非平稳特征AR模型平稳性判别

判别原因要拟合一个平稳序列的发展,用来拟合的模型显然也应该是平稳的。AR模型是常用的平稳序列的拟合模型之一,但并非所有的AR模型都是平稳的。

判别方法特征根判别法平稳域判别法特征根判别线性差分方程：称具有如下形式的方程为序列的p阶线性差分方程式中，；为实数；为t的某个已知函数。特别地，当时，如下差分方程称为p阶齐次线性差分方程根据Wold分解定理，任意一个平稳序列，都可以视为一个线性差分方程齐次线性差分方程的通解判别原因要拟合一个平稳序列的发展,用来拟合的模型显然也应该是平稳的。AR模型是常用的平稳序列的拟合模型之一,但并非所有的AR模型都是平稳的。

判别方法特征根判别法平稳域判别法自回归方程的解任一个中心化模型都可以视为一个非齐次线性差分方程，它的通解求法如下（1）求齐次线性差分方程的一个通解（2）求非齐次线性差分方程的一个特解（3）求非齐次线性差分方程的通解

齐次线性差分方程的通解齐次线性差分方程的求解要借助它的特征方程和特征根。p阶齐次线性差分方程的特征方程为特征方程的非零根称为特征根。p阶齐次线性差分方程有p个特征根，不妨记作根据差分方程理论，p阶齐次线性差分方程的通解为（假设由d个相同实根，m个共轭虚根）非齐次线性差分方程的解非齐次线性差分方程的解等于齐次线性差分方程的通解，再加上一个特解所谓特解就是使非齐次线性差分方程成立的任一值，即例3-2验证一阶齐次线性差分方程的通解为，为任意实数。【例3-2解】该差分方程的特征方程为：特征根为：容易验证是该差分方程的解：例3-2续求一阶线性差分方程的解。【例3-2续解】在例3-2中，我们求出该差分方程的通解为：特解可以用任意方式求出，本例尝试求出该差分方程的一个常数特解则所以该差分方程的解为：例3-2验证二阶齐次线性差分方程的通解为，为任意实数。【例3-2】该差分方程的特征方程为：特征根为：容易验证是该差分方程的解：例3-2续求二阶线性差分方程的解。【例3-2续解】在例3-2中，我们求出该差分方程的通解为：可以求出该差分方程的一个常数特解为：所以该差分方程的解为：平稳序列的解根据Wold分解定理，任意平稳序列都可以等价表达为p阶线性差分方程它的特征方程为它的p个非零特征根为，假设为该序列的任意特解，则该平稳序列的解为其中：为任意实数。平稳序列特征根的性质平稳序列必须满足始终在均值附近波动，不能随着时间的递推而发散，即为了保证上式对于任意实数都成立，就必须要求每个特征根的幂函数都不能发散，即

进而推导出平稳序列必须满足每个特征根的绝对值都小于1这意味着，如果我们能把一个平稳序列所有的特征根都求出来并且都标注在坐标轴上，那么该序列所有的特征根都应该在半径为1的单位圆内。如果序列有特征根在单位圆上或圆外，那么这个序列就是非平稳的。所以这个判断序列是否平稳的性质也称为平稳序列的单位根属性。特征根判别p阶自回归序列平稳，要求p个非零特征根都在单位圆内，即在引入延迟算子之后,我们还可以推导出跟特征根判别等价的性质:p阶自回归序列平稳的条件是自回归系数多项式的p个根都在单位圆外平稳域判别对于一个模型而言，如果没有平稳性的要求，实际上也就意味着对参数向量没有任何限制，它们可以取遍维欧氏空间的任意一点如果加上了平稳性限制，参数向量就只能取维欧氏空间的一个子集，使得特征根都在单位圆内的系数集合对于低阶自回归模型用平稳域的方法判别模型的平稳性通常更为简便

AR(1)模型平稳条件方程结构特征根平稳域AR(2)模型的平稳条件方程结构特征根平稳域AR(2)的平稳域例3-1续分别用特征根判别法和平稳域判别法检验例3-1中四个AR模型的平稳性例3.1平稳性判别模型特征根判别平稳域判别结论(1)平稳(2)非平稳(3)平稳

(4)非平稳平稳AR模型的统计性质——均值

如果AR(p)模型满足平稳性条件，则有根据平稳序列均值为常数，且为白噪声序列，有推导出平稳AR模型的统计性质——方差要得到平稳AR(p)模型的方差,需要借助Green函数的帮助Green函数的定义假设为任意p阶的平稳AR模型,那么一定存在一个常数序列使得可以等价表达为纯随机序列的线性组合,即

这个常数序列就称为Green函数

基于Green函数，可以求出AR(p)模型的方差为Green函数的递推公式原理方法：待定系数法例3-3求平稳AR(1)模型的Green函数的递推公式,并基于Green函数求解AR(1)模型的方差。平稳AR(1)模型的Green函数递推公式为平稳AR(1)模型的方差为平稳AR模型的统计性质——协方差函数在平稳AR(p)模型两边同乘，再求期望根据得协方差函数的递推公式例3-4求平稳AR(1)模型的协方差递推公式因为平稳AR(1)模型的方差为所以协方差函数的递推公式为例3-5求平稳AR(2)模型的协方差AR(2)模型协方差函数递推公式特别地，当k=1时，例3-5平稳AR(2)模型的方差求解（方法一：基于Green函数递推）AR(2)模型的Green函数为记

，

，则上面Green函数等号两边求平方，累加得且例3-5平稳AR(2)模型的方差求解（方法一）把

代入

，得整理得

所以平稳AR(2)模型的方差为例3-5平稳AR(2)模型的方差求解（方法二：基于方程组求解）基于AR(2)模型的协方差递推方程，可以得到如下联立方程用方程组表示即为例3-5平稳AR(2)模型的方差求解（方法二）解方程得平稳AR(2)模型的方差为例3-5所以平稳AR(2)模型的协方差函数递推公式为平稳AR模型的统计性质——自相关系数自相关系数的定义平稳AR(P)模型的自相关系数递推公式常用AR模型自相关系数递推公式AR(1)模型AR(2)模型AR模型自相关系数的性质AR模型的自相关系数的表达式实际上是一个齐次差分方程，它的通解形式为根据自相关系数的通解形式，可以判断AR模型的自相关系数具有如下特征呈指数衰减拖尾性例3-6考察如下AR模型的自相关图例3-6自相关图例3-6图示解释从上图中可以看到,这四个平稳AR模型,不论它们是AR(1)模型还是AR(2)模型,不论它们的特征根是实根还是复根,是正根还是负根,它们的自相关系数都呈现出拖尾性和呈指数衰减到零值附近的性质。但由于特征根不同,它们的自相关系数衰减的方式也不一样有的是按负指数单调衰减(如模型(1))有的是正负相间地衰减(如模型(2))有的呈现出类似于周期性的余弦衰减,即具有“伪周期”特征(如模型(3))有的是不规则衰减（如模型(4)）偏自相关系数偏自相关系数的定义对于平稳序列，所谓滞后k偏自相关系数就是指在给定中间k-1个随机变量的条件下，或者说，在剔除了中间k-1个随机变量的干扰之后，对影响的相关度量。用数学语言描述就是偏自相关系数的计算基于Yule-Walker方程组计算偏自相关系数在方程等号两边同时乘以，等号两边求期望再除以方差，得取前k个方程构成的方程组即Yule-Walker方程组解Yule-Walker方程组可以得到参数的解，最后一个参数的解即为延迟K偏自相关系数AR(1)模型偏自相关系数的计算AR(1)模型Jule-Walker方程偏自相关系数的解AR(2)模型偏自相关系数的计算Yule-Walker方程求解基于矩阵结构计算偏自相关系数证明AR(p)模型偏自相关系数p阶截尾所谓p阶截尾,是指。要证明这一点,实际上只要能证明当时,即可。例3-6续求如下AR模型的偏自相关系数，并考察它们的偏自相关图特征例3-6续求AR模型的偏自相关系数例3-6续考察AR序列的偏自相关图Wold分解定理0102AR模型MA模型03本章内容ARMA模型04MA模型的定义具有如下结构的模型称为阶自回归模型，简记为特别当时，称为中心化模型引进延迟算子，中心化模型又可以简记为其中称为q阶移动平均系数多项式MA模型的统计性质常数均值常数方差自协方差函数与自相关系数q阶截尾常用MA模型的自相关系数MA(1)模型MA(2)模型例3-7绘制下列MA模型的样本自相关图,直观考察MA模型自相关系数截尾的特性。例3-7MA模型的自相关图

MA(1)模型自相关图特征解读考察上面两个MA(1)模型的自相关图，排除样本随机性的影响,样本自相关图清晰显示出MA(1)模型自相关系数一阶截尾考察上面两个MA(1)模型的自相关图，可以发现这两个不同的MA模型具有完全相同的自相关图。容易验证它们的理论自相关系数也正好相等MA(2)模型自相关图特征解读考察上面两个MA(2)模型的自相关图，排除样本随机性的影响,样本自相关图清晰显示出MA(2)模型自相关系数二阶截尾考察上面两个MA(2)模型的自相关图，可以发现这两个不同的MA模型具有完全相同的自相关图。容易验证它们的理论自相关系数也正好相等MA模型的可逆性例3-7演示了不同的MA模型，可能具有完全相同的自相关系数的现象。产生这种现象的原因就是我们在第二章中提到的：自相关系数有可能不唯一。这种自相关系数的不唯一性，会给我们将来的工作增加麻烦。因为，将来我们都是通过样本自相关系数显示出来的特征选择合适的模型拟合序列的发展，如果自相关系数和模型之间不是一一对应关系，就将导致拟合模型和随机序列之间不会是一一对应关系。为了保证一个给定的自相关函数能够对应唯一的模型，我们就要给模型增加约束条件。这个约束条件称为模型的可逆性条件。可逆MA模型定义：若一个MA模型能够表示成为收敛的AR模型形式，那么该MA模型称为可逆MA模型可逆概念的重要性：一个自相关系数列唯一对应一个可逆MA模型。MA模型的可逆性可逆MA(1)模型MA(q)模型的可逆条件MA模型的可逆条件MA(q)模型的可逆概念和AR(p)模型的平稳概念是对偶概念。MA(q)模型的可逆条件是该模型特征方程的q个非零特征根都在单位圆内或移动平滑系数多项式的根都在单位圆外低阶MA模型系数可逆域根据MA模型的结构，求出特征方程的特征根，根据特征根都在单位圆内的约束条件，可以求出满足可逆条件的系数取值空间，这就是MA模型的系数可逆域。MA模型的系数可逆域与AR模型的平稳域具有对偶关系MA(1)模型的系数可逆域MA(2)模型的系数可逆域逆函数的递推公式原理待定系数法递推公式例3.7续考察如下MA模型的可逆性MA1)—(2)模型1

模型2模型2的逆函数模型2的逆转形式两个MA(1)模型可逆性判断MA模型的可逆条件MA1)—(2)模型3

模型4模型3的逆函数模型3的逆转形式两个MA(2)模型可逆性判断MA模型的可逆条件MA模型偏自相关系数拖尾对于一个可逆模型，可以等价写成模型形式其中AR(p)模型偏自相关系数p阶截尾，所以可逆MA(q)模型偏自相关系数阶截尾，即具有偏自相关系数拖尾属性。一个可逆MA(q)模型一定对应着一个与它具有相同自相关系数和偏自相关系数的不可逆MA(q)模型，这个不可逆MA(q)模型也同样具有偏自相关系数拖尾特性。例3-8

求MA(1)模型偏自相关系数的表达式MA(1)模型表达式：根据偏自相关系数的定义，我们知道延迟k阶偏自相关系数是如下方程组的最后一个系数对依次求方程，可以得到MA(1)模型任意k阶偏自相关系数的通解为例3-7续绘制下列MA模型的偏自相关系数图，直观考察MA模型偏自相关系数的拖尾性例3-7续：MA模型偏自相关系数拖尾Wold分解定理0102AR模型MA模型03本章内容ARMA模型04ARMA模型的定义具有如下结构的模型称为自回归移动平均模型，简记为特别当时，称为中心化模型引进延迟算子,ARMA(p,q)模型简记为其中：平稳条件与可逆条件ARMA(p,q)模型的平稳条件P阶自回归系数多项式的根都在单位圆外即ARMA(p,q)模型的平稳性完全由其自回归部分的平稳性决定ARMA(p,q)模型的可逆条件q阶移动平均系数多项式的根都在单位圆外即ARMA(p,q)模型的可逆性完全由其移动平滑部分的可逆性决定传递形式与逆转形式传递形式逆转形式ARMA(p,q)模型的统计性质均值协方差自相关系数ARMA模型的相关性自相关系数拖尾ARMA(p,q)模型可以转化为无穷阶移动平均模型偏自相关系数拖尾ARMA(p,q)模型可以转化为无穷阶自回归模型例3.9:考察ARMA模型的相关性拟合模型ARMA(1,1)

并直观地考察该模型自相关系数和偏自相关系数的性质。

例3-8ARMA模型自相关系数和偏自相关系数拖尾性样本自相关图样本偏自相关图ARMA模型相关性特征模型自相关系数偏自相关系数AR(P)拖尾P阶截尾MA(q)q阶截尾拖尾ARMA(p,q)拖尾拖尾THANKS03平稳序列拟合与预测04建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN单位根检验单位根检验是构造统计量进行序列平稳性检验的最常用方法。它的理论基础是：如果序列是平稳的，那么该序列的所有特征根都应该在单位圆内。基于这个性质构造的序列平稳性检验方法叫作单位根检验。最早的单位根检验方法是由统计学家Dickey和Fuller提出来的，所以人们以他们名字的首字母DF命名了最早的平稳性检验方法——DF检验。随着学科的发展，后续又产生了很多种单位根检验方法，比如ADF检验，PP检验等等。DF检验的构造原理DF检验是从最简单的一种情况着手进行构造的单位根检验方法。它假设序列的确定性部分可以只由过去一期的历史数据描述，即序列可以表达为式中，为序列的随机部分，常常假设显然该序列只有一个特征根，且特征根为通过检验特征根是在单位圆内还是单位圆上（外）可以检验序列的平稳性。由于现实生活中绝大多数序列都是非平稳序列，所以单位根检验的原假设为序列非平稳，备择假设是序列平稳DF统计量统计量的渐进分布为标准正态分布

统计量的渐近分布不是我们熟知的任何参数分布，Dickey和Fuller通过随机模拟的方法，得到该统计量的经验分布DF检验的等价表达等价假设检验统计量检验结果判定当显著性水平取为时，记为DF检验的分位点，则当时，拒绝原假设，认为序列平稳。等价判别是统计量的P值小于等于显著性水平；当时，接受原假设，认为序列非平稳。等价判别是统计量的P值大于显著性水平。DF检验的三种类型类型一：无漂移项自回归结构类型二：有漂移项自回归结构类型三：带趋势回归结构例2-3续对1915-2004年澳大利亚自杀率序列（每10万人自杀人口数）进行DF检验，判断该序列的平稳性。该序列DF检验统计量等于-1.31，P值为0.62，大于显著性水平0.05，所以基于DF检验，我们不能拒绝该序列非平稳的原假设，即可以判断1915-2004年澳大利亚自杀率序列为非平稳序列。ADF检验的构造原理ADF检验产生背景DF检验只适用于最简单的、确定性部分只由上一期历史数据描述的序列平稳性检验。为了使DF检验能适用于任意期确定性信息提取，人们对DF检验进行了一定的修正，得到了增广DF检验（augmentedDickey-Fuller）,简记为ADF检验ADF检验原理假设序列的确定性部分可以由过去p期的历史数据描述，即序列可以表达为如果序列平稳，它必须满足所有非零特征根都在单位圆内。假如有一个单位根存在，不妨假设，则序列非平稳。把代入特征方程，得到这意味着，如果序列非平稳，存在特征根，那么序列回归系数之和恰好等于1。因而，对于序列的平稳性检验，可以通过检验它的回归系数之和的性质进行判断。ADF检验假设条件检验统计量检验结果判定和DF检验一样。通过蒙特卡洛方法，可以得到ADF检验统计量的临界值表。当显著性水平取为时，记为ADF检验的分位点，则当时，拒绝原假设，认为序列平稳。等价判别是统计量的P值小于等于显著性水平；当时，接受原假设，认为序列非平稳。等价判别是统计量的P值大于显著性水平。例2-5续对1900—1998年全球7.0级以上地震发生次数序列进行ADF检验，判断该序列的平稳性。该序列延迟2阶ADF检验统计量等于-3.18，P值为0.02，小于显著性水平0.05，所以基于ADF检验，我们能显著拒绝该序列非平稳的原假设，即可以判断1900—1998年全球7.0级以上地震发生次数序列为平稳序列。建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN计算样本相关系数样本自相关系数样本偏自相关系数建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN平稳序列拟合模型识别自相关系数偏自相关系数选择模型拖尾P阶截尾AR(P)q阶截尾拖尾MA(q)拖尾拖尾ARMA(p,q)模型定阶的困难因为由于样本的随机性，样本的相关系数不会呈现出理论截尾的完美情况，本应截尾的或仍会呈现出小值振荡的情况由于平稳时间序列通常都具有短期相关性，随着延迟阶数，与都会衰减至零值附近作小值波动当或在延迟若干阶之后衰减为小值波动时，什么情况下该看作为相关系数截尾，什么情况下该看作为相关系数在延迟若干阶之后正常衰减到零值附近作拖尾波动呢？这实际上没有绝对的标准,在很大程度上依靠分析人员的主观经验。但样本自相关系数和偏自相关系数的近似分布可以帮助缺乏经验的分析人员做出尽量合理的判断。样本相关系数的近似分布BarlettQuenouille模型定阶经验方法样本自相关系数和样本偏自相关系数的95％置信区间模型定阶的经验方法如果样本自相关系数（偏自相关系数）在最初的d阶明显大于两倍标准差范围，而后几乎95％的自相关系数都落在2倍标准差的范围以内，而且通常由非零自相关系数衰减为小值波动的过程非常突然。这时，通常视为自相关系数（偏自相关系数）截尾。截尾阶数为d。如果有超过5%的样本自相关系数（偏自相关系数）落入2倍标准差范围之外,或者由显著非零的自相关系数（偏自相关系数）衰减为小值波动的过程比较缓慢或者非常连续,这时,通常视为自相关系数拖尾。例4-1选择合适的模型拟合1900—1998年全球7.0级以上地震年发生次数序列。在例2-5的分析中,我们已经判断该序列是平稳非白噪声序列。现在考察该序列的自相关图和偏自相关图,给该序列的拟合模型定阶例4-1模型定阶从自相关图可以看出,自相关系数是以一种有规律的方式,按指数函数轨迹衰减的,这说明自相关系数衰减到零不是一个突然截尾的过程,而是一个连续渐变的过程,这时自相关系数拖尾的典型特征,我们可以把拖尾特征形象地描述为“坐着滑梯落水”。从偏自相关图可以看出,除了1阶偏自相关系数在2倍标准差范围之外,其他阶数的偏自相关系数都在2倍标准差范围内,这是一个偏自相关系数1阶截尾的典型特征。我们可以把这种截尾特征形象地描述为“1阶之后高台跳水”。本例中,根据自相关系数拖尾,偏自相关系数1阶截尾的属性,我们可以初步确定拟合模型为AR(1)模型。例3.10选择合适的模型拟合美国科罗拉多州某一加油站连续57天的每日盈亏序列

例4-2序列自相关图和偏自相关图对序列进行ADF检验和白噪声检验，检验结果显示该序列为平稳非白噪声序列。现在考察该序列的自相关图和偏自相关图,给该序列的拟合模型定阶例4-2模型定阶自相关图显示除了延迟1阶的自相关系数在2倍标准差范围之外，其它阶数的自相关系数都在2倍标准差范围内波动。根据这个特点可以判断该序列具有短期相关性，进一步确定序列平稳。同时，可以认为该序列自相关系数1阶截尾。偏自相关系数显示出典型非截尾的性质。综合该序列自相关系数和偏自相关系数的性质，为拟合模型定阶为MA(1)。例3.11选择合适的模型拟合1880-1985全球气表平均温度改变值差分序列

例4-3对序列进行ADF检验和白噪声检验，检验结果显示该序列为平稳非白噪声序列。现在考察该序列的自相关图和偏自相关图,给该序列的拟合模型定阶序列自相关图和偏自相关图自相关系数显示出不截尾的性质。偏自相关系数也显示出不截尾的性质。综合该序列自相关系数和偏自相关系数的性质，可以尝试使用ARMA(1,1)模型拟合该序列。例4-3模型定阶建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN参数估计待估参数个未知参数常用估计方法矩估计极大似然估计最小二乘估计矩估计原理样本自相关系数估计总体自相关系数样本一阶均值估计总体均值，样本方差估计总体方差例4-4求AR(2)模型系数的矩估计AR(2)模型的Yule-Walker方程用样本自相关系数代入Yule-Walker方程，得到AR(2)模型参数的矩估计例4-5求MA(1)模型系数的矩估计MA(1)模型的Yule-Walker方程用样本自相关系数代入Yule-Walker方程，得到MA(1)模型参数的矩估计矩估计例4-6求ARMA(1,1)模型系数的矩估计ARMA(1,1)模型的Yule-Walker方程用样本自相关系数代入Yule-Walker方程，得到ARMA(1,1)模型参数的矩估计对矩估计的评价优点估计思想简单直观不需要假设总体分布计算量小（低阶模型场合）缺点信息浪费严重，只用到了p+q个样本自相关系数信息，其他信息都被忽略估计精度差通常矩估计方法被用作极大似然估计、最小二乘估计等其它估计方法迭代计算的初始值极大似然估计原理在极大似然准则下，认为样本来自使该样本出现概率最大的总体。因此未知参数的极大似然估计就是使得似然函数（即联合密度函数）达到最大的参数值

似然方程组似然方程组实际上是由p+q+1个超越方程构成，需要使用迭代算法求出未知参数的极大似然估计值对极大似然估计的评价优点极大似然估计充分应用了每一个观察值所提供的信息，因而它的估计精度高同时还具有估计的一致性、渐近正态性和渐近有效性等许多优良的统计性质缺点需要假定总体分布最小二乘估计令残差项为残差平方和为使残差平方和达到最小的那组参数值即为最小二乘估计值最小二乘估计的特征与评价由于随机扰动不可观测，所以也不是的显性函数，未知参数的最小二乘估计值通常也得借助迭代法求出。在实际中，最常用的是条件最小二乘估计方法。它假定过去未观测到的序列值等于零，即，这个假定条件下进行的最小二乘估计称为条件最小二乘估计。最小二乘估计方法的优点原理简单，方法普适，估计精度高例4-1续使用最小二乘估计方法确定1900-1998年全球７级以上地震发生次数序列拟合模型的口径。根据参数估计结果，确定该AR(1)模型口径为例4-2续确定美国科罗拉多州某一加油站连续57天的每日盈亏序列拟合模型的口径

拟合模型：MA(1)模型口径：例4-3续确定1880-1985全球气表平均温度改变值差分序列拟合模型的口径

拟合模型：ARMA(1,1)拟合模型常数项不显著非零，删除常数项得到拟合模型的口径为：建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN模型检验对序列进行模型拟合之后，我们还要对该拟合模型进行必要的检验。检验内容模型的显著性检验确保序列中蕴含的相关信息被充分提取，拟合模型的残差序列必须是白噪声序列参数的显著性检验确保拟合模型的精简，每个保留在拟合模型中的参数必须显著非零模型的显著性检验目的检验拟合模型的有效性（对相关信息的提取是否充分）检验对象残差序列判定原则一个好的拟合模型应该能够提取观察值序列中几乎所有的样本相关信息，即残差序列应该为白噪声序列反之，如果残差序列为非白噪声序列，那就意味着残差序列中还残留着相关信息未被提取，这就说明拟合模型不够有效模型显著性检验的假设条件原假设：残差序列为白噪声序列备择假设：残差序列为非白噪声序列检验统计量例3.9续检验1900-1998年全球７级以上地震发生次数序列拟合模型的显著性残差序列的白噪声检验结果显示：由于各阶延迟下ＬＢ统计量的Ｐ值都显著大于0.05，可以认为拟合模型的残差序列属于白噪声序列，即该拟合模型显著有效。例4-1续参数显著性检验目的检验每一个未知参数是否显著非零。删除不显著参数使模型结构最精简

假设条件检验统计量例3.9续检验1900-1998年全球７级以上地震发生次数序列拟合模型的参数显著性

参数显著性检验结果例4-1续因为每个参数的Z统计量的P值都小于显著性水平（0.05），所以我们可以认为AR(1)模型的两个参数都显著非零。例3.9续对美国科罗拉多州某一加油站连续57天的每日盈亏序列拟合模型进行检验模型显著性检验

结论：模型显著成立，参数显著非零例4-2续参数显著性检验例3.9续对1880—1985年全球气表平均温度改变值差分序列拟合模型进行检验模型显著性检验结论：模型显著成立参数显著非零例4-3续参数显著性检验建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN模型优化问题提出当一个拟合模型通过了检验，说明在一定的置信水平下，该模型能有效地拟合观察值序列的波动，但这种有效模型并不是唯一的。优化的目的选择相对最优模型

例4-7等时间间隔连续读取７０个某次化学反应的过程数据，构成一时间序列。预处理显示该序列为平稳非白噪声序列。序列的样本自相关图和偏自相关图根据自相关图的特征，可能有人会认为自相关系数２阶截尾，那么可以对序列拟合MA(2)模型。根据偏自相关图的特征，可能有人会认为偏自相关系数１阶截尾，那么可以对序列拟合AR(1)模型。拟合模型拟合模型一：根据自相关系数2阶截尾，拟合MA(2)模型拟合模型二：根据自相关系数2阶截尾，拟合AR(1)模型模型检验这两个模型均显著有效这两个模型的所有参数均显著非零问题同一个序列可以构造两个甚至多个拟合模型，每个模型都显著有效，那么到底该选择哪个模型用于统计推断呢？解决办法确定适当的比较准则，构造适当的统计量，确定相对最优模型优化标准AIC准则最小信息量准则（AnInformationCriterion）指导思想似然函数值越大越好未知参数的个数越少越好

AIC统计量SBC准则AIC准则的缺陷在样本容量趋于无穷大时，由AIC准则选择的模型不收敛于真实模型，它通常比真实模型所含的未知参数个数要多SBC统计量例3.15续用AIC准则和SBC准则评判例4-7中两个拟合模型的相对优劣结果最小信息量检验显示，无论是使用AIC准则还是使用SBC准则，AR(1)模型都要优于MA(2)模型，所以本例中AR(1)模型是相对最优模型。例4-7模型AICBICMA(2)538.706547.700AR(1)537.958544.703建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN序列预测线性预测函数预测方差最小原则线性预测函数根据平稳ARMA模型的可逆性，可以用AR结构表达任意一个平稳ARMA模型其中：这意味着使用递推法，基于现有的序列观察值可以预测未来任意时刻的序列值例4-8假设序列可以用ARMA(1,1)模型拟合，请确定该序列未来２期预测值中第t期和第t-1期序列值的权重。根据拟合模型结构，求出逆函数未来两期递推公式预测方差最小原则预测误差预测方差根据预测方差最小原则，得序列分解预测误差预测值预测序列分解误差分析估计误差期望方差AR(p)序列的预测预测值预测方差95％置信区间例3.16已知某超市月销售额近似服从AR(2)模型（单位：万元/每月）今年第一季度该超市月销