




已阅读5页,还剩11页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第四章第四章 极大似然估计极大似然估计 第一节第一节 引言引言 考虑ARMA模型 112211 tttptpttqt q YcYYY 1 其中 2 0 t WN 前面我们假定知道总体参数 2 11 pq c 此时利用过程 1 进行预测 本 章 我 们 要 研 究 在 仅 能 观 测 到Y的 情 况 下 如 何 估 计 2 11 pq c 估 计 方 法 为 极 大 似 然 估 计 令 2 11 pq c 表示总体参数向量 假定我们观察到一个样本 量为T的样本 12 T y yy 计算所实现样本的联合概率密度函数 11 11 TT Y YYTT fyyy 2 这可以看作是观察到样本发生的概率 使得 概率 最大的 值就是 最优估计 这种思想就是极大似然估计的思想 极大似然估计需要设 定白噪声的分布 如果 t 是高斯白噪声 则得到的函数为高斯似然函 数 极大似然估计的步骤 1 计算似然函数 2 2 利用求极大值方法求使得函数值最大的 值 第第 2 节节 高斯高斯 1AR过程的似然函数过程的似然函数 一 计算高斯一 计算高斯 1AR过程似然函数过程似然函数 高斯 1AR过程的表达式为 1ttt YcY 3 其中 2 0 t iidN 总体参数向量为 2 c 观 察 值 1 Y的 均 值 和 方 差 分 别 为 1 1E Yc 和 2 2 1 1E Y 因为 2 0 t iidN 因此 1 Y也是高斯分布 其概 率密度函数为 11 2 1 2 11 2 2 1 1 exp 2 1 2 1 YY yc fyfy c 4 对于第二个观察值在观察到 11 Yy 条件下的分布 根据 3 212 YcY 5 此时 2 2111 Y YyNcy 其概率密度函数为 21 2 21 21 2 2 1 exp 2 2 Y Y ycy fy y 6 此时观察值 1 Y和 2 Y的联合密度函数就是 4 和 6 的乘积 211 21 21211 Y YYY Y fyyfy yfy 7 同样 321321 2 32 32132 2 2 1 exp 2 2 Y Y YY Y ycy fy yyfy y 8 3 2121 321 321321 21 Y Y YY YY Y Y fyyyfy yyfyy 9 一般情况下 111 111 2 1 2 2 1 exp 2 2 tttt ttttY YYY Y tt fy yyfy y ycy 10 则前t个观察值的联合密度为 1111 1 111 11 ttt tt Y YYttttYYtY Y fy yyfy yfyy 11 则完全样本似然函数为 111 1 1111 2 TT tt T Y YYTTYttY Y t fyyyfyfy y 12 进行对数变换 得到对数似然函数 L 1 1 11 2 ln ln tt T YttY Y t Lfyfy y 13 将 4 和 10 代入 13 得到 2 1 2 22 2 2 12 2 2 111 ln 2ln 2221 1 11 ln 2ln 222 T tt t c y L ycyTT 14 二 似然函数的矩阵表示二 似然函数的矩阵表示 观察值写成向量形式为 12 1 T Ty y yy 15 可以看作是T为高斯分布的单个实现 其均值为 1 2 T E Y E Y E Y 16 这里 1c 15 表示成向量形式为 E Y 其中 表示 16 的右边的 1T 向量 Y的方差协方差矩阵为 EYY 17 其中 2 1121 2 2122 2 12 T T TTT E YE YYE YY E YYE YE YY E YYE YYE Y 18 该矩阵元素对应于Y的自协方差 则 1AR过程的第j阶自协方差为 22 1 j ttj E YY 19 18 可写作 2V 20 其中 21 2 23 2 123 1 1 1 1 1 1 T T T TTT V 21 将样本y看作由 N 分布的一个简单抽样 样本似然值可根据多元 高斯密度公式直接写成 1 2 2 11 1 2exp 2 T Y fyyy 22 其对数似然值为 三 高斯三 高斯 1AR过程精确极大似然函数过程精确极大似然函数 理论上 对方程 14 求导并令导数为零 就可得到参数向量 而在实践当中 往往得到的 是 12 T y yy的非线性方程 此时求解 需要非线性规划求解方法 如格子搜索 最速下降法 牛顿 拉夫森 方法等数值优化方法 四 条件极大似然 四 条件极大似然 MLE 函数 函数 如果将 1 y的值看作确定性的 然后最大化以第一个值为条件的似 然值 这种方法称为条件极大似然函数 此时最大化目标为 2 12 2 2 11 ln 2ln 222 T tt t ycyTT L 23 求 23 最大时的 c 等价于最小化 2 1 2 T tt t ycy 24 此时采取 t y对其滞后值的OLS回归得到 因此 c 的条件似然估计由 下式给出 1 1 2 111 1 tt tttt Tyyc yyyy 25 其中 表示对2 3 tT 求和 23 对 2 求导并等于零 可求得扰动项的条件似然估计 2 1 24 2 1 0 22 T tt t ycyT 26 整理得到 2 12 2 1 T tt t ycy T 27 即 2 得极大似然估计量是最小二乘估计量残差的平方 条件极大似然估计的特点 1 易于计算 2 样本量T足够大 则第一个观测值的影响可以忽略 3 1 条件MLE是一致估计 第三节第三节 高斯高斯 AR p过程的似然函数过程的似然函数 一 计算似然函数一 计算似然函数 对于高斯 AR p过程 122 tttptpt YcYYY 28 其中 2 0 t iidN 总体参数向量为 2 12 p c 样本 12 p y yy中的前p个观察值合成一个 1p 向量 p y 可以 看作p维高斯变量的一个实现 向量的均值为 p 为 1p 向量 其 元素为 12 1 p c 29 令 2 p V 表示 12 p Y YY的 pp 方差协方差矩阵 2 1121 2 2122 2 2 12 011 102 120 p p ppp p p pp E YE YYE YY E YYE YE YY V E YYE YYE Y 30 前p个观察值的密度是一个 2 pp NV 变量的密度 11 11 1 2 2 211 2 1 2 2 11 2 1 2exp 2 1 2exp 2 pp YYYpp p pppppp p p pppppp fy yy VyVy VyVy 31 样本中剩下的观察值为 12 ppT yyy 以前1t 个观察值为条 件 第t个观察值为高斯的 其均值为 1122 ttptp cyyy 方差 为 2 当tp 时 其概率密度为 12112 111 2 1122 2 2 1 exp 2 2 ttttttt p tttttpY YYYY YYY tttptp fy yyfy yy ycyyy 32 全样本似然函数为 11 121 12 11 111 1 Tt ppp tttt p Y YYTT T YYYYpptttpY YYY tp fyyy fyyyfy yy 33 对数似然函数 L 为 121 11 211 2 2 11 2 2 1 211 2 ln 11 ln 2lnln 2222 ln 2ln 222 11 ln 2lnln 2222 TTt Y YYYTT pppppp T ttptp tp pppppp L fyyy pp VyVy ycyy TpTp TT VyVy 2 1122 2 1 2 T tttptp tp ycyyy 34 其中将对称矩阵 1 p V 的第i行 第j列元素记作 ij vp 1 01 p iji ij kkj ikkj i kkpj vp 对于1ijp 35 其中 0 1 例 1AR过程 解 1 p V 是一个标量 令1ijp 则 01 1222 101 01 1 kkkk kk V 所以 222 1 1V 例 2AR过程 解 2p 此时 2 211 2 211 22 2 12 11 22 1 1 1 1 1 V 因此 22 12 2221 11V 1 22222 211 122 122 22 22111222 1 1 1 1121 yVy y yy y yyyy 于是 2AR过程的精确对数似然函数为 22 22 221 22 2 22111222 2 2 1122 2 3 1 ln 2lnln11 222 1 1121 2 2 T ttt t L TT yyyy ycyy 其中 12 1c 二 条件最大似然函数二 条件最大似然函数 以前p个观察值为条件的对数似然函数为 2 11 2 2 1 ln 2ln 222 T ttptp tp L ycyy TpTp 36 求 12 p c 使得 36 最大化问题转变为最小化 2 1122 1 T tttptp tp ycyyy 37 利用最小二乘回归得到这些参数的条件最大似然估计 2 的条件极大 似然估计为最小二乘回归残差的平方 2 2 1122 1 1 T tttptp tp ycyyy Tp 38 三 非高斯时间序列的极大似然估计 拟极大似然估计 三 非高斯时间序列的极大似然估计 拟极大似然估计 1 如果过程非高斯的 使用高斯对数似然函数得到的估计 12 p c 为总体参数的一致估计 2 拟极大似然估计得到的系数的标准差不正确 四 四 AR p过程的过程的 Yule Walker 估计估计 AR p模型的自回归系数 由 AR p模型的自协方差函数 01 p 通过由拉沃克方程 1011 2102 120 p p ppp 39 确定 白噪声的方差 2 2 01 122 pp 40 从样本观测值 12 N x xx可以构造出样本自协方差函数的估计 1 1 N k kjj k j y y N 0 1 kp 41 因此根据自协方差函数的估计 可以联合求解除系数估计量 第四节第四节 高斯高斯 1MA过程的似然函数过程的似然函数 一 条件似然函数一 条件似然函数 对于高斯 1MA过程 1ttt Y 42 其中 2 0 t iid N 2 表示要估计的总体参数 如果 1t 已 知 则 2 11 ttt YN 43 其概率密度函数为 1 2 1 1 2 2 1 exp 2 2 tt tt ttY y fy 44 如果已知 0 0 则 2 10 YN 45 给定观察值 1 y 则 1 就是确定的 11 y 46 代入 44 得到 210 2 21 210 0 2 2 1 0 exp 2 2 Y Y y fy y 47 因为 1 确知 2 可由下式求出 221 y 48 通过迭代法由 12 T y yy求出 12 T 整个序列 1ttt y 49 1 2 tT 从 0 0 开始 则第t个观测值的条件密度为 1210 1 1210 0 2 1 2 2 0 1 exp 2 2 ttt tt tttY YYY t ttY fy yyy fy 50 则样本似然函数为 110 101210 1210 0 1012100 0 2 0 0 0 TT ttt TTTY YY T tttYY YYY t fyyyy fyfy yyy 51 条件对数似然函数为 110 110 0 2 2 2 1 ln 0 ln 2ln 222 TT TTYYY T t t Lfyyy TT 52 其中 利用 49 和观察值序列可以求出隐含的白噪声序列 但是条 件似然函数仍然是非线性函数 需要使用数值解法求参数 二 精确似然函数二 精确似然函数 y的观察值可以写成一个 1T 向量 12 T yy yy 均值 方差协方差 TT 矩阵 E YY 即 2 2 2 2 2 100 10 010 0001 53 其似然函数 1 2 2 1 1 2exp 2 T Y fyyy 54 对 进行三角形分解 ADA 55 其中 2 2 24 222 2124 10000 1000 1 1 0100 1 1 0001 1 n n A 56 2 24 2 246 2 24 242 212 1000 1 000 1 1 000 1 1 000 1 n n D 57 其似然函数为 11 2 2 11 1 2exp 2 T Y fyADAyAD Ay 58 由于A是下三角形矩阵 且主对角线元素为 1 则1A 且 ADAA D AD 59 定义 1 yAy 或Ayy 60 则似然函数可以记为 1 2 2 1 1 2exp 2 T Y fyDy D y 61 根据 60 系统的第一行意味着 11 yy 第t行为 2224 1 2124 1 1 t ttt t yyy 62 从 11 yy 开始 迭代 62 求得向量 y y 可以看作 t y关于常数项 和 121 t yyy 的线性投影的残差 矩阵D的第t个主对角元素给出了 线性投影的MSE 242 22 1 2124 1 1 t tt t dE y 63 因为D是对角矩阵 因此 1 T tt t Dd 64 且通过D的主对角元素求倒数 可以得到 1 D 从而 2 1 1 T t t tt y y D y d 65 将 64 和 65 代入 61 得到 1 2 2 2 11 1 2exp 2 TT T t Ytt tt tt y fyd d 66 精确对数似然函数为 2 11 11 ln ln 2ln 222 TT t Ytt tt tt yT Lfyd d 67 第五节第五节 高斯高斯 MA q过程的似然函数过程的似然函数 一 条件似然函数一 条件似然函数 对于 MA q过程 1122 ttttqt q Y 68 假设前q项的 全为零 011 0 q 69 于是 1122 ttttqt q y 70 其中1 2 tT 令 0 表示 1q 向量 011 q 则当特征方程 2 12 1 0 q q zzz 71 的z值全落在单位圆外时 条件对数似然函数为 110 110 0 2 2 2 1 ln 0 ln 2ln 222 TT TTY YY T t t Lfyyy TT 72 其中 2 12 q 二 精确似然函数二 精确似然函数 其表达式为 1 2 2 1 1 2exp 2 T Y fyyy 73 其中 12 T yy yy 且 表示 MA q过程的方差协方差 矩阵 其中 的第i行 第j列的元素为 ij 其中 k 是 MA q过程的 第k阶自协方差 2 1 122 0 1 0 kkkqq k k kq kq 74 令A是下三角形矩阵 且主对角线元素为 1 1A D是对角矩阵 则利用三角形分解方法ADA 得到精确的对数似然函数 2 11 11 ln ln 2ln 222 TT t Ytt tt tt yT Lfyd d 75 其中 y 的元素可运用递归法得到 11 22211 33322311 1212 ttttt qt tt tt t q yy yya y yya ya y yyayayay 76 21 3132 1 11 21 3 2 22 3 1 10000 1000 100 00 000 0001 qqq qq T T a aa A aaa aa a 77 tt d为矩阵D的对角线上的元素 第六节第六节 高斯高斯 ARMA p q过程的似然函数过程的似然函数 对于高斯 ARMA p q过程 112211 tttptpttqt q YcYYY 78 其中 2 0 t iidN 总体参数向量为 2 1212 pq c 自回归过程的似然函数的近似以y的初始值为条件 移动平均过 程似然函数的近似以 的初始值为条件 ARMA p q过程以y和 的初 始值为条件 假设初始值 0011 p yyy y和 0011 q 给定 则利用 实现 12 T y yy 迭代得到 11221122 ttttptpttqt q ycyyy 79 可得1 2 tT 的序列 12 T 则条件似然函数为 1100 1100 2 2 2 1 ln ln 2ln 222 TT TTY YY T t t Lfyyy TT Y Y 80 第七节 极大似然估计的统计推断第七节 极大似然估计的统计推断 一 一 极大似然估计的标准差极大
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 病理科医师岗位面试问题及答案
- 2025届湖北省宜昌市长阳县第一高级中学化学高二下期末统考试题含解析
- 浙江省乐清外国语学院2025届高一化学第二学期期末联考试题含解析
- 2025届山东省东平县第一中学高二下化学期末统考模拟试题含解析
- 甘肃省兰州市五十一中2025届高一下化学期末综合测试试题含解析
- 上海市12校联考2025届高二下化学期末复习检测试题含解析
- 民生项目现场管理办法
- 材料当天入库管理办法
- 北京集体审批管理办法
- 体系文件稽查管理办法
- 管道非开挖修复技术课件
- 铁路营业线安全管理办法
- 酒类销售用人劳务合同
- 2025老年教育政策环境分析及教学模式创新路径研究报告
- 2025年中国伺服电缆行业市场发展前景及发展趋势与投资战略研究报告
- 【大数跨境】全球移动电源市场洞察报告
- 酒店安全奖惩规定
- 2024北京四中初一(下)开学考数学试题及答案
- 物料堆放限高管理制度
- 夫妻债务隔离约定协议书
- T/CECS 10226-2022抗裂硅质防水剂
评论
0/150
提交评论