第四章 极大似然估计.pdf

第四章第四章 极大似然估计极大似然估计 第一节第一节 引言引言 考虑ARMA模型 112211 tttptpttqt q YcYYY 1 其中 2 0 t WN 前面我们假定知道总体参数 2 11 pq c 此时利用过程 1 进行预测 本 章 我 们 要 研 究 在 仅 能 观 测 到Y的 情 况 下 如 何 估 计 2 11 pq c 估 计 方 法 为 极 大 似 然 估 计 令 2 11 pq c 表示总体参数向量 假定我们观察到一个样本 量为T的样本 12 T y yy 计算所实现样本的联合概率密度函数 11 11 TT Y YYTT fyyy 2 这可以看作是观察到样本发生的概率 使得 概率 最大的 值就是 最优估计 这种思想就是极大似然估计的思想 极大似然估计需要设 定白噪声的分布 如果 t 是高斯白噪声 则得到的函数为高斯似然函 数 极大似然估计的步骤 1 计算似然函数 2 2 利用求极大值方法求使得函数值最大的 值 第第 2 节节 高斯高斯 1AR过程的似然函数过程的似然函数 一 计算高斯一 计算高斯 1AR过程似然函数过程似然函数 高斯 1AR过程的表达式为 1ttt YcY 3 其中 2 0 t iidN 总体参数向量为 2 c 观 察 值 1 Y的 均 值 和 方 差 分 别 为 1 1E Yc 和 2 2 1 1E Y 因为 2 0 t iidN 因此 1 Y也是高斯分布 其概 率密度函数为 11 2 1 2 11 2 2 1 1 exp 2 1 2 1 YY yc fyfy c 4 对于第二个观察值在观察到 11 Yy 条件下的分布 根据 3 212 YcY 5 此时 2 2111 Y YyNcy 其概率密度函数为 21 2 21 21 2 2 1 exp 2 2 Y Y ycy fy y 6 此时观察值 1 Y和 2 Y的联合密度函数就是 4 和 6 的乘积 211 21 21211 Y YYY Y fyyfy yfy 7 同样 321321 2 32 32132 2 2 1 exp 2 2 Y Y YY Y ycy fy yyfy y 8 3 2121 321 321321 21 Y Y YY YY Y Y fyyyfy yyfyy 9 一般情况下 111 111 2 1 2 2 1 exp 2 2 tttt ttttY YYY Y tt fy yyfy y ycy 10 则前t个观察值的联合密度为 1111 1 111 11 ttt tt Y YYttttYYtY Y fy yyfy yfyy 11 则完全样本似然函数为 111 1 1111 2 TT tt T Y YYTTYttY Y t fyyyfyfy y 12 进行对数变换 得到对数似然函数 L 1 1 11 2 ln ln tt T YttY Y t Lfyfy y 13 将 4 和 10 代入 13 得到 2 1 2 22 2 2 12 2 2 111 ln 2ln 2221 1 11 ln 2ln 222 T tt t c y L ycyTT 14 二 似然函数的矩阵表示二 似然函数的矩阵表示 观察值写成向量形式为 12 1 T Ty y yy 15 可以看作是T为高斯分布的单个实现 其均值为 1 2 T E Y E Y E Y 16 这里 1c 15 表示成向量形式为 E Y 其中 表示 16 的右边的 1T 向量 Y的方差协方差矩阵为 EYY 17 其中 2 1121 2 2122 2 12 T T TTT E YE YYE YY E YYE YE YY E YYE YYE Y 18 该矩阵元素对应于Y的自协方差 则 1AR过程的第j阶自协方差为 22 1 j ttj E YY 19 18 可写作 2V 20 其中 21 2 23 2 123 1 1 1 1 1 1 T T T TTT V 21 将样本y看作由 N 分布的一个简单抽样 样本似然值可根据多元 高斯密度公式直接写成 1 2 2 11 1 2exp 2 T Y fyyy 22 其对数似然值为 三 高斯三 高斯 1AR过程精确极大似然函数过程精确极大似然函数 理论上 对方程 14 求导并令导数为零 就可得到参数向量 而在实践当中 往往得到的 是 12 T y yy的非线性方程 此时求解 需要非线性规划求解方法 如格子搜索 最速下降法 牛顿 拉夫森 方法等数值优化方法 四 条件极大似然 四 条件极大似然 MLE 函数 函数 如果将 1 y的值看作确定性的 然后最大化以第一个值为条件的似 然值 这种方法称为条件极大似然函数 此时最大化目标为 2 12 2 2 11 ln 2ln 222 T tt t ycyTT L 23 求 23 最大时的 c 等价于最小化 2 1 2 T tt t ycy 24 此时采取 t y对其滞后值的OLS回归得到 因此 c 的条件似然估计由 下式给出 1 1 2 111 1 tt tttt Tyyc yyyy 25 其中 表示对2 3 tT 求和 23 对 2 求导并等于零 可求得扰动项的条件似然估计 2 1 24 2 1 0 22 T tt t ycyT 26 整理得到 2 12 2 1 T tt t ycy T 27 即 2 得极大似然估计量是最小二乘估计量残差的平方 条件极大似然估计的特点 1 易于计算 2 样本量T足够大 则第一个观测值的影响可以忽略 3 1 条件MLE是一致估计 第三节第三节 高斯高斯 AR p过程的似然函数过程的似然函数 一 计算似然函数一 计算似然函数 对于高斯 AR p过程 122 tttptpt YcYYY 28 其中 2 0 t iidN 总体参数向量为 2 12 p c 样本 12 p y yy中的前p个观察值合成一个 1p 向量 p y 可以 看作p维高斯变量的一个实现 向量的均值为 p 为 1p 向量 其 元素为 12 1 p c 29 令 2 p V 表示 12 p Y YY的 pp 方差协方差矩阵 2 1121 2 2122 2 2 12 011 102 120 p p ppp p p pp E YE YYE YY E YYE YE YY V E YYE YYE Y 30 前p个观察值的密度是一个 2 pp NV 变量的密度 11 11 1 2 2 211 2 1 2 2 11 2 1 2exp 2 1 2exp 2 pp YYYpp p pppppp p p pppppp fy yy VyVy VyVy 31 样本中剩下的观察值为 12 ppT yyy 以前1t 个观察值为条 件 第t个观察值为高斯的 其均值为 1122 ttptp cyyy 方差 为 2 当tp 时 其概率密度为 12112 111 2 1122 2 2 1 exp 2 2 ttttttt p tttttpY YYYY YYY tttptp fy yyfy yy ycyyy 32 全样本似然函数为 11 121 12 11 111 1 Tt ppp tttt p Y YYTT T YYYYpptttpY YYY tp fyyy fyyyfy yy 33 对数似然函数 L 为 121 11 211 2 2 11 2 2 1 211 2 ln 11 ln 2lnln 2222 ln 2ln 222 11 ln 2lnln 2222 TTt Y YYYTT pppppp T ttptp tp pppppp L fyyy pp VyVy ycyy TpTp TT VyVy 2 1122 2 1 2 T tttptp tp ycyyy 34 其中将对称矩阵 1 p V 的第i行 第j列元素记作 ij vp 1 01 p iji ij kkj ikkj i kkpj vp 对于1ijp 35 其中 0 1 例 1AR过程 解 1 p V 是一个标量 令1ijp 则 01 1222 101 01 1 kkkk kk V 所以 222 1 1V 例 2AR过程 解 2p 此时 2 211 2 211 22 2 12 11 22 1 1 1 1 1 V 因此 22 12 2221 11V 1 22222 211 122 122 22 22111222 1 1 1 1121 yVy y yy y yyyy 于是 2AR过程的精确对数似然函数为 22 22 221 22 2 22111222 2 2 1122 2 3 1 ln 2lnln11 222 1 1121 2 2 T ttt t L TT yyyy ycyy 其中 12 1c 二 条件最大似然函数二 条件最大似然函数 以前p个观察值为条件的对数似然函数为 2 11 2 2 1 ln 2ln 222 T ttptp tp L ycyy TpTp 36 求 12 p c 使得 36 最大化问题转变为最小化 2 1122 1 T tttptp tp ycyyy 37 利用最小二乘回归得到这些参数的条件最大似然估计 2 的条件极大 似然估计为最小二乘回归残差的平方 2 2 1122 1 1 T tttptp tp ycyyy Tp 38 三 非高斯时间序列的极大似然估计 拟极大似然估计 三 非高斯时间序列的极大似然估计 拟极大似然估计 1 如果过程非高斯的 使用高斯对数似然函数得到的估计 12 p c 为总体参数的一致估计 2 拟极大似然估计得到的系数的标准差不正确 四 四 AR p过程的过程的 Yule Walker 估计估计 AR p模型的自回归系数 由 AR p模型的自协方差函数 01 p 通过由拉沃克方程 1011 2102 120 p p ppp 39 确定 白噪声的方差 2 2 01 122 pp 40 从样本观测值 12 N x xx可以构造出样本自协方差函数的估计 1 1 N k kjj k j y y N 0 1 kp 41 因此根据自协方差函数的估计 可以联合求解除系数估计量 第四节第四节 高斯高斯 1MA过程的似然函数过程的似然函数 一 条件似然函数一 条件似然函数 对于高斯 1MA过程 1ttt Y 42 其中 2 0 t iid N 2 表示要估计的总体参数 如果 1t 已 知 则 2 11 ttt YN 43 其概率密度函数为 1 2 1 1 2 2 1 exp 2 2 tt tt ttY y fy 44 如果已知 0 0 则 2 10 YN 45 给定观察值 1 y 则 1 就是确定的 11 y 46 代入 44 得到 210 2 21 210 0 2 2 1 0 exp 2 2 Y Y y fy y 47 因为 1 确知 2 可由下式求出 221 y 48 通过迭代法由 12 T y yy求出 12 T 整个序列 1ttt y 49 1 2 tT 从 0 0 开始 则第t个观测值的条件密度为 1210 1 1210 0 2 1 2 2 0 1 exp 2 2 ttt tt tttY YYY t ttY fy yyy fy 50 则样本似然函数为 110 101210 1210 0 1012100 0 2 0 0 0 TT ttt TTTY YY T tttYY YYY t fyyyy fyfy yyy 51 条件对数似然函数为 110 110 0 2 2 2 1 ln 0 ln 2ln 222 TT TTYYY T t t Lfyyy TT 52 其中 利用 49 和观察值序列可以求出隐含的白噪声序列 但是条 件似然函数仍然是非线性函数 需要使用数值解法求参数 二 精确似然函数二 精确似然函数 y的观察值可以写成一个 1T 向量 12 T yy yy 均值 方差协方差 TT 矩阵 E YY 即 2 2 2 2 2 100 10 010 0001 53 其似然函数 1 2 2 1 1 2exp 2 T Y fyyy 54 对 进行三角形分解 ADA 55 其中 2 2 24 222 2124 10000 1000 1 1 0100 1 1 0001 1 n n A 56 2 24 2 246 2 24 242 212 1000 1 000 1 1 000 1 1 000 1 n n D 57 其似然函数为 11 2 2 11 1 2exp 2 T Y fyADAyAD Ay 58 由于A是下三角形矩阵 且主对角线元素为 1 则1A 且 ADAA D AD 59 定义 1 yAy 或Ayy 60 则似然函数可以记为 1 2 2 1 1 2exp 2 T Y fyDy D y 61 根据 60 系统的第一行意味着 11 yy 第t行为 2224 1 2124 1 1 t ttt t yyy 62 从 11 yy 开始 迭代 62 求得向量 y y 可以看作 t y关于常数项 和 121 t yyy 的线性投影的残差 矩阵D的第t个主对角元素给出了 线性投影的MSE 242 22 1 2124 1 1 t tt t dE y 63 因为D是对角矩阵 因此 1 T tt t Dd 64 且通过D的主对角元素求倒数 可以得到 1 D 从而 2 1 1 T t t tt y y D y d 65 将 64 和 65 代入 61 得到 1 2 2 2 11 1 2exp 2 TT T t Ytt tt tt y fyd d 66 精确对数似然函数为 2 11 11 ln ln 2ln 222 TT t Ytt tt tt yT Lfyd d 67 第五节第五节 高斯高斯 MA q过程的似然函数过程的似然函数 一 条件似然函数一 条件似然函数 对于 MA q过程 1122 ttttqt q Y 68 假设前q项的 全为零 011 0 q 69 于是 1122 ttttqt q y 70 其中1 2 tT 令 0 表示 1q 向量 011 q 则当特征方程 2 12 1 0 q q zzz 71 的z值全落在单位圆外时 条件对数似然函数为 110 110 0 2 2 2 1 ln 0 ln 2ln 222 TT TTY YY T t t Lfyyy TT 72 其中 2 12 q 二 精确似然函数二 精确似然函数 其表达式为 1 2 2 1 1 2exp 2 T Y fyyy 73 其中 12 T yy yy 且 表示 MA q过程的方差协方差 矩阵 其中 的第i行 第j列的元素为 ij 其中 k 是 MA q过程的 第k阶自协方差 2 1 122 0 1 0 kkkqq k k kq kq 74 令A是下三角形矩阵 且主对角线元素为 1 1A D是对角矩阵 则利用三角形分解方法ADA 得到精确的对数似然函数 2 11 11 ln ln 2ln 222 TT t Ytt tt tt yT Lfyd d 75 其中 y 的元素可运用递归法得到 11 22211 33322311 1212 ttttt qt tt tt t q yy yya y yya ya y yyayayay 76 21 3132 1 11 21 3 2 22 3 1 10000 1000 100 00 000 0001 qqq qq T T a aa A aaa aa a 77 tt d为矩阵D的对角线上的元素 第六节第六节 高斯高斯 ARMA p q过程的似然函数过程的似然函数 对于高斯 ARMA p q过程 112211 tttptpttqt q YcYYY 78 其中 2 0 t iidN 总体参数向量为 2 1212 pq c 自回归过程的似然函数的近似以y的初始值为条件 移动平均过 程似然函数的近似以 的初始值为条件 ARMA p q过程以y和 的初 始值为条件 假设初始值 0011 p yyy y和 0011 q 给定 则利用 实现 12 T y yy 迭代得到 11221122 ttttptpttqt q ycyyy 79 可得1 2 tT 的序列 12 T 则条件似然函数为 1100 1100 2 2 2 1 ln ln 2ln 222 TT TTY YY T t t Lfyyy TT Y Y 80 第七节 极大似然估计的统计推断第七节 极大似然估计的统计推断 一 一 极大似然估计的标准差极大