时间序列分析-第一章 时间序列PPT课件

第一章时间序列 本章目录时间序列的分解平稳序列线性平稳序列和线性滤波正态时间序列和随机变量的收敛性严平稳序列及其遍历性Hilbert空间中的平稳序列平稳序列的谱函数离散谱序列及其周期性 1 1时间序列的分解 一 时间序列的定义 时间序列 按时间次序排列的随机变量序列 观测样本 随机序列各随机变量的观测样本 个有序观测值一次实现或一条轨道 时间序列的一组实际观测 时间序列分析的任务 数学建模 解释 控制或预报 二 时间序列的分解 趋势项 季节项 随机项注 1 单周期季节项 只需要且可设2 随机项 可设3 例 某城市居民季度用煤消耗量 分解方法 1 趋势项估计 1 分段趋势 年平均 2 线性回归拟合直线 3 二次曲线回归 4 滑动平均估计 2 估计趋势项后 所得数据由季节项和随机项组成 季节项估计可由该数据的每个季节平均而得 3 随机项估计即为 方法一 分段趋势法1趋势项 年平均 减去趋势项后 所得数据 2 季节项 3 随机项的估计 方法二 回归直线法 一 趋势项估计一元线性回归模型最小二乘估计为可得到 1 直线趋势项 消去趋势项后 所得数据 2 季节项估为 3 随机项估计为 方法三 二次曲线法 1 二次项估计 趋势项 数据和二次趋势项估计 2 季节项 随机项 例二 美国罢工数 51 80年 滑动平均法 1 趋势项 5项平均 2 季节项和随机项 例三 化学溶液浓度变化数据 一阶差分 三时间序列和随机过程设是实数的子集 如果对每个t属于T 都有一个随机变量与之对应 就称随机变量的集合是一个随机过程 当T是全体整数或全体非负整数时 称相应的随机过程为随机序列 把随机序列的指标集合T看成时间指标时 这个随机过程就是时间序列 当T是全体实数或全体非负实数时 相应的随机过程称为连续时随机过程 如果把T认为时间指标 连续是的随机过程就是连续的时间序列 1 2平稳序列 一 平稳序列定义如果时间序列满足 1 对任何的 2 对任何的 3 对任何的就称是平稳时间序列 简称时间序列 称实数为的自协方差函数 平稳序列中随机变量的均值为 方差为都是和t无关的常数 协方差结构的平移不变性是平稳序列的特性 所以平稳序列是二阶矩平稳序列 自协方差函数满足以下三条性质 1 对称性 对所有的K成立 2 非负定性 对任何的 n阶自协方差矩阵是非负定的矩阵 3 有界性 对所有的k成立 满足上述性质的实数列都称为非负定序列 下面证明这些性质 对称性由定义直接得到 为证明非负性 任取一个维实向量 为证明有界性 我们先介绍一个常用的不等式 引理 Schwarz不等式 对任何方差有限的随机变量X和Y 有证明不妨设 关于a的一元于是 判别式取时 有界性有Schwarz不等式得到 线性相关性 定义 自协方差矩阵退化的充分必要条件是存在非零的n维实向量使得这时我们称随机变量是线性相关的 自相关系数定义 设平稳序列是标准化的序列 的自协方差函数称为平稳序列的自相关系数 二 白噪声 最简单的平稳序列是白噪声 它在时间序列分析中有特殊的重要地位 定义 白噪声 设是一个平稳序列 如果对任意的称是一个白噪声 记做当是独立序列时 称是独立白噪声 当时 称为零均值白噪声 当称为标准白噪声 例2 3Poisson过程和Poisson白噪声 如果连续时的随机过程满足 1 且对任何的t s 0和非负整数k 2 N t 有独立增量性 对任何n 1和随机变量相互独立 则称 N t 是一个强度为 的Poisson过程 数学期望和方差分别为 Poisson白噪声 定义 满足上面三个条件称为Poisson白噪声 ave表示的样本均值 std表示样本的标准差 下面的例子是Poisson白噪声的60个样本 Poisson白噪声的60样本的产生 1 随机产生服从 0 1 上均匀的200个样本 2 给出服从参数为1的指数分布的200个独立样本 3 给出参数为1的Poisson过程一条样本轨道在i 1 61上的取值 参数为1的Poisson白噪声的60个样本I 样本II 标准正态白噪声的60个样本 A randn 1 60 plot A 三 正交平稳序列 设X和Y是方差有限的随机变量 如果E XY 0 就称X和Y是正交的 如果cov X Y 0 就称X和Y是不相关的 定义对于平稳序列和 1 如果对任何的s t Z 则称和是正交的 2 如果对任何的s t Z 则称和是不相关的 定理2 2设和分别是平稳序列和的自协方差函数 记定义 1 如果和正交 则是平稳序列 有自协方差函数 2 如果和不相关 则是平稳序列 有自协方差函数证明 1 当和正交 利用cov X Y E XY E X E Y 得到 2 由上面的推导得到 1 3线性平稳序列和线性滤波 一 有限运动平均定义 设是WN O 对于非负整数q和常数a0 a1 aq 我们称是白噪声的 有限 运动平均 简称为MA 运动平均又称滑动平均 MA的平稳性 例 概率极限定理 定理 单调收敛定理 如果非负随机变量序列单调不减 则当时 有对于任何时间序列 利用单调收敛定理得到定理 控制收敛定理 如果随机变量序列满足和时 则当时 并且 二 线性平稳序列 定义 如果实数列满足则称是绝对可和的 对于绝对可和的实数列 定义零均值白噪声的无穷滑动和如下 则是平稳序列 下面说明是平稳序列 由Schwarz不等式得到于是Xt右边的无穷级数是a s 绝对收敛的 从而是a s 收敛的 由于所以用控制收敛定理得到现对t s Z 定义 利用公式可以知道所以由控制收敛定理得到这就说明了是平稳序列 证明 当时 定理 设是WN 0 实数列平方可和 线性平稳序列由上述定义 则自协方差函数 三 时间序列的线性滤波 对序列进行滑动求和 称为对进行线性滤波 其中决定可和的称为一个保时线性滤波器 如果输入信号是平稳列则输出也是平稳列 期望协方差函数 例3 1余弦波信号的滤波 信号 St 方差 噪声方差 信噪比 注 1 4正态时间序列和随机变量的收敛性 随机向量的数学期望和方差矩阵随机向量期望随机向量 则X的协方差矩阵协方差矩阵的计算公式随机向量线性变换 如果存在m维常数列向量 m n常数矩阵B和iid的标准正态随机变量使得Y BX 则称随机变量服从m维正态分布 这时EY Var Y Y的特征函数为这是多维正态分布的等价定义 记Y N 多维正态分布的充要条件 定理4 1的充要条件是对任何 二 正条平稳序列定义 对于时间序列 如果对任何n 1和有服从多元正态分布 则称为正态时间序列特别当还是平稳序列时 又称为正态平稳序列 正态序列收敛定理 定理4 3如果正态序列 依分布收敛到随机变量 则定理4 4如果服从WN 0 实数列绝对可和 则有定义的平稳序列时零均值正态序列 自协方差函数 3 5 给出 证明 下证为正态序列 先证对任何 有其中 对任何 定义则有当时 有 由定理4 2 得到依分布收敛到 则从而由和定理4 1得到 4 9 用同样方法可以证明 对任何有其中 定理4 4成立 1 5严平稳序列及其遍历性 定义 设是时间序列 如果对任意正整数n和k 随机变量同分布 就称是严平稳序列 特征是分布平移不变性 对任何固定的k 时间序列和同分布 严平稳和宽平稳的关系 1 二阶矩有限的严平稳为宽平稳 2 宽平稳一般不是严平稳 3 正态平稳列既是宽平稳也是严平稳 4 平稳序列到宽平稳序列到弱平稳序列 5 严平稳序列到强平稳序列 遍历性 1 时间序列一般只是一条轨道 2 要用时间序列的一次实现推断的统计性质 遍历性可以保证从一条轨道可以推断整体的统计性质 如果严平稳序列是遍历的 从他的一次实现就可以推断出这个严平稳的所有有限维分布 有遍历的严平稳序列被称为严平稳遍历序列 严平稳序列定理 定理5 1如果是严平稳遍历序列 则有如下的结果 1 强大数律 如果则 2 对任何多元函数是严平稳遍历序列 下面的定理在判断线性平稳序列的遍历性时时十分有用的 定理5 2如果是独立同分布的WN 0 实数列平方可和 则线性平稳序列是严平稳序列的 1 6Hilbert空间中的平稳序列 Hilbert空间设是平稳序列 令所以是一个线性空间 在线性空间上定义内积 则有所以是内积空间 在任何内积空间中都有Schwarz不等式令距离则有 三角不等式 这样又称为距离空间 不难看出在任意的内积空间上都可以定义距离 是它自然成为距离空间 如果也是内积空间和距离空间 是的子空间 定义6 1对 1 如果 则称在中收敛到 2 如果当时 则称是中的基本列或Cauchy列 完备的内积空间 每个基本列都是极限在空间内的内积空间 又称Hilbert空间 是Hilbert空间 用表示中包含的最小闭子空间则是Hilbert空间 称为由平稳序列生成的Hilbert空间 二 内积的连续性定理 内积的连续性 在内积空间中 如果证明 1 由三角不等式得到 2 有Schwarz不等式得到例 n维Hilbert空间是线性空间 定义内积 则为内积空间 是完备的内积空间 为欧氏模 例2设是零均值的平稳列 则它的线性组合全体构成的内积空间是Hilbert空间称为有X生成的Hilbert空间 实际上 是线性空间和内积空间下面我们来证明的完备性 证明 先设是标准的白噪声WN 0 1 对任何的线性组合只要由例1知道有使得当取时于是是完备的 对一般的零均值的平稳序列 可以设协方差阵的秩是m m n有非退化矩阵B使得Y BX有协方差矩阵于是且为WN 0 1 的一段 由知道为线性组合 从而是完备的 三 复值时间序列复随机变量 如果X和Y是随机变量 称Z X iY是复随机变量 如果EX和EY都存在 称Z X iY的数学期存在 并且EZ EX iEY二阶矩有限的复随机变量 如果就称为Z的二阶矩有限随机变量 按时间次序排列的复值随机变量的序列称为复时间序列 如果复时间序列满足就称是一个复值平稳序列 称是的自协方差函数 当 称是一个复值零均值白噪声 1 7平稳序列的谱函数 1 时域和频域遍历的时间序列可以从延的时间分布进行统计分析 称为时域分析 平稳时间序列的二阶性质也可以从其频率分解来研究 称为频域分析 2 谱函数和谱密度设平稳序列有自协方差函数 1 如果有 上的单调不减右连续的函数F 使得则称F 是或的谱分布函数 简称为谱函数 2 如果有 上的非负函数f 使得则称f 是或的谱密度函数或功率谱密度 简称为谱密度或功率谱 谱函数和谱密度的关系 若有谱函数f 则变上限的积分就是的谱函数 当谱函数F 绝对连续 它的几乎处处导函数就是谱函数 特别 当F 是连续函数 除去有限点外导函数存在且连续 则是谱密度 谱函数存在唯一性定理定理7 1 Herglotz定理 平稳序列的谱函数是唯一存在的 线性平稳序列的谱密度定理7 2如果是WN 0 实数列平方可和 则线性平稳序列有谱密度 两正交序列的谱定理7 3设和是相互正交的零均值的平稳序列 C是常数 定义 1 如果和分别有谱函数则平稳序列有谱函数 2 如果和分别有谱密度 则有谱密度 例 谱密度图 线性滤波与谱 设平稳序列有谱函数和自协方差函数 H hj 是一个绝对可和的保时线性滤波器 当输入过程是时 输出过程是的协方差函数实数级数绝对收敛 定理7 4设是平稳序列 H h 是绝对可和的保时线性滤波器 和H z 分别由上面定义 1 如果有谱函数 则有谱函数 2 如果有谱函数