（概率论与数理统计专业论文）动态poisson模型及其贝叶斯预测.pdf

动态p o i s s 叫模型及其贝叶斯预测 概率论与数理统计 齐静 何远江教授 摘要 贝叶斯( b a y c s ) 预测是基于贝叶斯统计原理，利用客观信息和主观信息相结合 的方法进行的预测。不同于传统的非贝叶斯方法，它能处理异常情况的发生。贝 叶斯预测的一个重要思想是建立动态模型，并把预测分布看成是条件概率分布， 预测者根据先验信息求出预测分布，然后用新的信息和贝叶斯公式不断对先验信 息进行修正更新，从而对模型进行动态的预测。由m w 船i 和j h a 刑n 所著 的b a y 骼l a nl 哦吼s t l n g 曩耐功m a 皿cm o d e i s 【1 0 l 用贝叶斯预测方法对正态分布 类的动态参数模型作了详细的预测分析和讨论，并介绍了广义线性动态模型及其 贝叶斯预测方法。 本文在广义线性动态模型的基础上对具有p 0 i s s o n 分布的观测值序列建立了 动态参数模型，并用贝叶斯预测方法对模型的动态参数在共轭先验下进行了信息 修正估计和模型的预测分析；其主要内容就是均值先验分布参数的确定与更新。 然后对两类常用的p 0 i s s 咖分布模型( 线性动态模型和对数线性动态模型) 的状 态参数给出了后验信息估计结果。本文还对多元p o i s n 分布动态模型做了一些 介绍和初步分析。本文最后对观测均值在共轭先验下的模型预测的可靠性做了 点检验分析，但此问题还需继续探讨。 关键词：贝叶斯公式，先验分布，后验分布，动态模型，贝叶斯预测 d y n a m i cp o i s s o nm o d e la n db a y e s i a nf b l - e c a s t i n g p m b a b i l i t ya n ds t a t i s t i c s q ij i n g p f o h ey u a n j i a n g i nt h i sa r t i d ew e 啪s t l ys t u d yt h ed y n a m i c - p 盯a m e t r i cm o d e l0 ft h eo b s e r v i i l g s e r j e sw h i c h 缸l hp 0 i s s o nd 碗r i b u b o n ，c a e dd y 聃嘣cp o i s s 蛐m 砌e l ( d p m ) ，a i l d u p d a t ei t sd y m m i cp a r 啪e t e r sb yu s i n gb a y e s i 柚f o r e c a s t i n gm c t h o d o b g y b a s e do n l h cd y n a m i c 群n e 腿h z e d 肺rm 砌e i p r i l 盯i l yr c f c r r h i gt o b a y e s i a nf o r e c 鹊t i n g 觚dd ) r a m i cm o d c l s ，w r i l t 锄b ym 丑【cw b s t 锄dj e 靠h a f r i s 伽( 1 9 9 7 ) i tn 扭i n l y d e s c r n sd c t e m l i l l i l i gt h cp m m e t 盯，sp r i o r ( 以i d l i ) 柚d 删i l l gl h cp 盯a i m t e r s p o s t e r i o r ( 胁l q ) b yu s i l l g t h cc o i l j u g a t c 幻瑚，u n d c rg i v c nt h ci i t j a li l l 如瑚a t i o n t 抽n 矗g i v c si t su p 幽t 堍m 蛐h so f t j l cs t a t ev e c t o r ( b h ) a b o u t 研。自m i l i 盯p o i s s o n 瑚d e l s ：u n e 缸p 0 i s n 蛳d e l 衄db g - 硒e a fp o i s n 枷d e l f i i l a n yi ti n t m d u c 柚d s t u d i c sm u m 诅r i 矗t e 。d y n 哪l cp o i s s 蚰删m e i ( 肋p m ) w i i hb a y 髂i 蛐f o r c c a s t j l l g m e t l l o d o l o g y h t h 证a n i c l e i i a l s o t e s t t h cr c | i a b 丑i t y o f t l l e 啪d e l i n g f o r c c a s t s w i l h l h e p a r a l n c t c r sc o n j u g a t ep r i o r b ys t u d y i n gt h c s i m u l a t i o no fa 肿d e l b u ti tn e e dt ob e g i v e n 脚r cs t u d y i k e yw o r d s ：b a y e s i a i l 白咖l a ， p r 衙媳t 栅t i o n ，p o s l e 哟r ，d y n a m i c 瑚d e l ， b a y e s i 柚幻r c c 勰t i n g 动态p o i s s 模型及其贝叶斯预测 引言 p o i s s o n 分布族 ，口f 似) ) 是我们所熟知一类离散型分布族，最早关于它的应用 记录之一是1 8 9 8 年的关于普鲁士士兵被战马踢死的数量的研究。它的应用颇广， 如由定购和供应的随机到达决定的需求和存储过程，商业经营中的顾客到达数， 保险公司基于风险和股份波动的物资剩余分布或者在贸易波动中的股票价格增 长分布等等，都可以用p 0 i s n 分布模型来模拟。关于p o i s s o n 回归模型应用的 文章有很多，如【9 】、【1 5 】、【1 6 l 中都有相关内容。随着应用的需求及更新理论的 不断发展，特别是在现代时间序列模型中，对动态系统的研究也越来越多。而相 比之下，有关p o j s n 模型的动态研究并不多见，特别是我国在这方面的研究更 是寥寥无几。 贝叶斯( b a y e s ) 预测是国际上一个新的研究成果，自1 9 7 6 年以来，英、美等 国相继展开对它的研究。近十多年来，贝叶斯预测的理论和应用得到了迅速发展， 并取得了批重要的研究成果，如【1 】、【5 】、【1 0 】等。贝叶斯预测的主要应用是 贝叶斯动态模型，它可以看作是应用贝叶斯统计的思想结合动态模型的结构模 型。在时间序列分析中，上述提到的文献都认为，用贝叶斯动态模型比b o x j e n k i i i s 的传统时间序列方法要优越。 过程的贝叶斯预测是英国统计学家p j h 町i s o n 教授和c es t e v e n 教授在 英国帝国化学工业公司工作的时候( 1 9 7 1 年) ，由于要预测突发事件的需要而提倡 发展起来的一种预测方法。1 9 7 6 年，他们在英国皇家统计学会上宣读了论文“贝 叶斯预测”，引起了人们的重视。此后在英美等国，对此方法的研究和应用迅速 开展起来了。1 9 8 9 年由m w e s t 和j h 踟矗o n 合著出版一本b a y e s i a nf o r e c a s t 吨 a n dd y l l 锄i cm o d c l s ( n c wy o r k ，s 邮n g e r v e r h g ) ，全面地论述了此方法的内容， 1 9 9 7 年又出版了其修订版，在原来的基础上又修正添加了时间序列的相关模型与 模型研究和应用的新领域等内容。山东大学的张孝令教授曾在英国沃力克大学向 h 明。i s 0 n 教授学习了这方面的知识，并于1 9 9 2 年编写出版了其中文版贝叶斯动 态模型及其预铡【3 2 】，填补了我国这方面的空白。动态线性模型( d l m ) 在正 态分布下，由w b s t ，h 埘i s o n 等早在二十世纪八十年代就得出了很好的更新理论 硕士学位论文 及预测结果，特别是对正态常量模型的研究结果非常理想，这正是利用了正态分 布的优良性【1 0 】。 随着理论和应用的不断发展，及实际应用中非正态，非线性模型的广泛存在， 使得统计学者们把动态模型的预测研究从正态分布转化到更一般的分布函数模 型，从正态动态线性模型转化到非正态、非线性模型的研究。m i g o n ( 1 9 8 4 ) ，w c s t ， h a r r i s o na i l dm 遮o n ( 1 9 8 5 ) 对一类“指数族”观测模型用贝叶斯预测方法进行了研 究分析。 本文就是在上述内容的基础上，用贝叶斯预测方法对在p o i s s o n 回归模型基 础上建立的动态p o j s s o n 模型做了预测分析，从理论的角度给出了预测估计值， 并对预测结果的可行性做了一点分析。论文前两章分别介绍了贝叶斯统计基础知 识和广义线性动态模型的贝叶靳预测介绍。第三章绘出了动态p o 瓠s o n 模型预测 的理论分析，推出模型在参数共轭先验下的预测值和参数的修正递推及其滤波分 析，并对共轭先验下预测的精度作了讨论分析。第四章介绍了多元p o j s n 模型 及其动态贝叶簸预测方法。第五章中对一个简单p o i s s 油模型进行数据模拟分析 及预测效果检验，为第三章中模型的预测精度作了探讨。 2 动态p 畦s 模型及其贝叶斯预测 第一章贝叶斯统计和预测知识 1 1 贝叶斯统计 贝叶斯( b a y c s ) 统计学是基于总体信息、样本信息和先验信息来进行统计推断 的，它与经典统计学的主要差别在于是否利用先验信息，并且在使用样本信息上 也有差异。贝叶斯学派重视已出现的样本观察值，而对尚未发生的样本观察值不 予考虑。贝叶斯学派很重视先验信息的收集、挖掘和加工，使它数量化，形成先 验分布加入到统计推断中来，以提高统计推断的质量。关于贝叶斯统计与经典统 计的异同可查阅文献【6 】。 贝叶斯学派的最基本观点是：任一个未知量日都可以看作是一随机变量，应 用一个概率分布描述对一的未知状况显然是合理的。贝叶斯方法是客观数据、模 型加进人的主观经验因素来处理问题的。下面是贝叶斯统计中有关的几个概念： 先验分布( 【2 5 】e 4 ) 对未知参数口根据先验信息( 主要来源于经验和历史资料) 应用一个概率分布来描述它，就称为先验分布，这里用耳徊) 表示。 贝叶斯公式( 【2 5 】只8 ) 设p o i 口) 为随机变量j 依赖于参数日的条件密度函数， 玎佃) 为一的先验概率密度函数。则目的后验分布密度为： 榔卜器 ( 1 1 1 ) 当口为离散随机变量时，先验分布可用分布列石 ) ，f 一1 ，2 ，表示。这时就是 帅。葫器z ( 1 1 2 ) 在样本给定下，疗的后验分布集中了总体、样本和先验三种信息中有关口的一切 信息，而又是排除一切与p 无关信息之后所得到的结果。故用后验分布对口进行 统计推断是更有效，也是更合理的。( 1 1 1 ) 和( 1 1 2 ) 式就称为贝叶斯公式。 共轭先验分布族共轭先验分布族是数学上最方便的先验分布族，几乎所有涉及 先验分布的统计教材都有介绍。这里仅仅对其作一些简单回顾。 硕士学位论文 定义1 1 ( 【2 5 】，e 1 4 ，定义1 1 ) 设p 是总体分布中的参数( 或参数向量) ，石p ) 是 口的先验密度函数( 或概率分布函数) 。假如由抽样信息得到的后验分布石p k ) 与 玎p ) 有相同的函数形式，则称石) 是8 的( 自然) 共轭先验分布。 应着重指出，共轭先验分布是对某一分布中的参数而言的，如正态均值，正 态方差、二项分布中的成功概率等。离开指定参数及所在分布去谈共轭先验分布 是没有意义的。关于各种常见分布参数的共轭先验分布的详细讨论在很多统计文 献中都有讲述，如【2 】、【6 】、【1 0 】、【2 5 】等。 共轭先验分布在很多场合被采用，因为它有两个优点： 1 计算方便。由于参数的后验与先验有相同的形式，因此在求后验分布时只需确 定其系数。 2 后验分布的一些参数可以得到很好的解释。它正是包含了样本信息和先验信息 的集合。 1 2 贝叶斯预测 对随机变量未来观察值作出统计推断就称为预测，譬如： 1 随机变量盖一p o i 口) ，在参数目未知的情况下如何对j 的未来观察值作出推 断。 2 设黾，x ：，工。是来自p q p ) 的过去观察值，在参数8 未知的情况下，如何对x 的未来观察值作出推断。 3 按密度函数p 驯p ) 得到样本，工：，后，如何对具有密度函数g 乜归) 的随机 变量z 的未来观察值作出推断。 因此预测问题是统计推断形式之一，在统计学中受到很多人的关注，许多实 际问题也可归结为预测问题，容许区间就是其中之一。经典统计学家已提出一些 方案，根本的困难在于参数一不能被观察到。贝叶斯统计中利用疗的先验分布玎徊) 或后验分布徊k ) 获得预测分布，很容易使上述问题得到解决。有了预测分布要 作出观测值的估计就不难了。 4 动态p 0 i 黯蚰模型及其贝叶斯预测 f 1 1 1 ) 式中的分母 m ) ；r p o p 如p 矽日 ( 1 2 1 ) 常被称为x 的边缘分布，但它还有一个更富于内涵的名称是“先验预测分布”， 这里的先验是指对过去的数据没有要求，预测是指它是可观察量的分布。有此预 测分布就可以从中提取有用的信息作出未来观察值的预测值或预测区间，譬如用 m ) 的期望值、中位数或众数作为预测值，或确定9 0 的预测区间【a b 】，使得 p 。( 4 墨盖s 6 ) ；0 9 0 其中p 。是指用预测分布函数m 0 ) 计算概率。 设样本工o 。，x ：，) 来自密度函数p o 旧) ，其联合密度函数为 p 冲) 。丌p 化i 疗) 上式当x 的观察值给定时是未知参数口的函数，称之为似然函数，i 己为工( 口i z ) 。 似然原理( 【6 】e 3 0 ) 有了观察值x 后，在做关于p 的推断或决策时，所有与实验 有关的信息均被包含在x 的似然函数之中，而且，如果两个似然函数( 作为一的 函数) 是成比例的，则它们关于日含有相同的信息。 很多统计学家从各种角度给出似然原理合理性的论据，如f i s h e “1 9 5 9 ) ， b m l n ( 1 9 6 2 ) 等，但他们都不是似然函数毫不含糊的支持者，关于这方箍的更 广泛的论述可见b c f g 盯及w ) 耽n ( 1 9 8 4 ) 的文章。贝叶斯统计正是从某方面反映了 似然原理的合理性。 贝叶斯预测是基于贝叶斯公式，利用先验信息和样本信息对参数做动态估计 从而对可观察量进行预测的方法。先验分布是描述对未知参数的主观认识，而使 用先验分布是贝叶斯统计的最大特点。这种贝叶斯预测方法，相对于b o x j e l l l 【i n s 的传统方法而言，有它自己的优点。它不必假设b o x j e n l 【i l i s 方法中所必须的平 稳性假设，如果非平稳还必须利用差分法转化为平稳序列进行研究。而实际问题 往往是非平稳时间序列，此时b o j e n k i n s 方法要求有足够的数据，但这往往是 困难的。而贝叶斯预测方法通过人的主观经验，给出先验分布，使得数据的要求 大大减少，并能得到同样精度的预测。 5 硕士学位论文 贝叶斯预测同传统预测一样需要建立模型，但贝叶斯预测需要建立动态模 型。 动态模型所谓动态模型是由两个方程确定的系统，这个系统描述： i 过程的观察值如何随机地依赖于当前的状态参数； i i 状态参数如何随时间变化，表示了系统内部的动态变化和随机扰动。 在动态模型中，贝叶斯预测的递推方法如下图所示 图1 1 模型预测精度的度量： 设y t ，y ：，y 。为预测对象的实际观察值，虫，夕：，萝为相应的预测值； e 一- ) ，t 一允为第i 个预测值的误差，在贝叶斯动态模型中可以用两种方法度量预 测的精度；均方误差( 或标准差) 和平均绝对误差，其定义为 均方误差： m s e 。善。? 疗，均方标准差：s d e - ：，e ? n ； 平均绝对误差：m a d 。艺i e t l 1 3 线性贝叶斯估计 非贝叶斯估计方法如最小二乘估计等已为大家所熟悉并且在许多问题中应 用。线性贝叶斯估计是贝叶斯统计中的一种近似估计方法。给定h 维向量口与p 维 6 动态p 0 i 鼯模型及其贝叶斯预测 向量y 以及它们的联合分布，设d 是口的任意一个基于】，的估计，其估计精度由 定义的损失函数工够，d ) 来度量，其期望损失或称后验风险为r ( d ) ；陋( 8 ，d ) i y 】， 在贝叶斯统计中我们知道，平方损失下有 l ( 口，d ) 一( 口一d ) i ( 疗一d ) 一t r a c e ( 口一d ) ( 疗一d ) ， ( 1 3 1 ) 口的最优估计为m ；五p l y ) ，且最小损失函数值等于后验方差阵的迹。 然而，当日与y 的联合分布函数未知时，就无法用上面的方法求口的最佳估 计。若只知口与y 的联合期望与方差，即 ( 籼抛，别 n s 固 其损失函数仍定义为平方损失r ) - 枷c 晒【p d ) p d ) 】。 设 d - d 口) 一 + 扔， ( 1 3 3 ) | i l 为n 1 维向量，日为n x p 维矩阵 定义在平方损失下，形如( 1 3 3 ) 的最优估计为8 的线性贝叶斯估计( u 地) ， 则有 定理1 1 ( 【1 0 】，p ，1 2 4 定理4 9 ) 在已知( 1 1 3 2 ) 及平方损失条件下，8 的唯一的 i 毋e 为 用i 口+ 彳( y 一，)( 1 3 4 ) 且其风险矩阵为 c _ e 【( 口一m ) ( 口一们) 】珥胄一一倒( 1 3 5 ) 证明：对d 一_ i l + 删，定义月( d ) 一研一d ) p d ) 】，则 詹( 矗) - e 【( 口一 一胛) ( a 一i l 一 ) i 】 一e 【( 口一4 一 酽+ 口+ 点酽一 一 ，y ) ( 臼一口一 矿+ 口+ i 矿一| i l 一 ) 】 一e 【( 一一口) 一日一，) + ( 口一i l 一 酽) 】【( 口一口) 一日一，) + ( 口一| l 一正酽) 】 矗r 一爿q 目一删t + 士如q 日+ ( 口一 一坷) ( 4 一 一点酽) i 7 颈士学位论文 又一彳) q 旧一彳) 一硒明一妒l 日刨榭倒 经代换得 r ( d ) ；r 一_ q 一+ ( h 一爿) q ( h 一一) + ( 口一j h 一王，) ( 口一_ i l 一正酽) 因此，风险函数， ) = 打c 积( d ) 为下列三项的和： ( 1 ) 打c p 僻一4 q 用) ，其值与d 无关； ( 2 ) 加( h 一一) q ( 日一爿) ，当切仅当日一爿有最小值零； ( 3 ) 打口c e ( 口一 一可) 0 一 一王矿) 。，当且仅当 + 上矿- 口时有最小值零 即疗的l e b 为m 一口+ 爿何一，) ，此时损失函数值最小为，q ) 一加c p 一4 卿。) 。 证毕 第二章广义线性动态模型介绍 m w 函和j h a 盯i s o l l ( 【l o 】) 对正态分布动态模型以及t 分布动态模型作了 详细的分析，得出了一系列结果。同时对指数族分布也做了些讨论，但这些讨论 离实际运用还有较大差距。特别是对于观测值服从某具体分布时，需要相应的 模型去处理。这章简单介绍由m w 随和j h a f r i s o n ( 【1 0 】) 定义的广义线性动态 模型，首先给出正态动态线性模型州d u 田概念。 2 1 正态动态线性模型 动态线性模型( d l ，m ) 是在贝叶斯框架下对时间序列估计和预测的线性模型。 h 鲫俪n 和s t e v e n s 在1 9 7 6 年首先提出动态线性模型这个概念。在此后的三十年， 动态线性模型取得了很大的发展，并广泛应用到商业、工业、科学还有社会经济 学等多个领域。 记l 是一时间序列，正态动态线性模型的定义如下： 定义2 1 ( 【l o 】，p 1 0 0 定义4 1 ) 正态动态线性模型( n d l ，m ) 由以下两个方程 构成： b 动态p 0 i 蛐模型及其贝叶斯预测 观测方程 状态方程 其中 yz f 砬+ v f ， v ，【0 ，l 】 只。g q 。+ q ，q 【o ，彬】 只：t 时刻的p 维状态向量； g 。：已知的p 阶更新矩阵： 只：已知的p 维回归向量； q ；t 时刻的p 维更新误差向量，具有零均值和已知方差阵彬的正态分布； p 。：t 时刻的观测误差，具有零均值和已知方差阵e 的正态分布。 该模型可以简记为 e ，g ，k ，彬) 。 记y 。，y ：只是一组观测值序列，我们称皿- ) ，) ，：只) 为f 时刻的信息集， 显然有d i 一 ) ，。，d i 一。) a 进一步，我们假设当给定q _ l k 和形后，误差序列n ) 。 和 q ) 。是相互独立的，且色与q 也相互独立。 在上述假设下，我们只需知道初始先验信息( 吼i d 0 ) 一【m 。，c 。】，其中和 c 0 为已知向景和矩阵，就可以利用贝叶斯方法直接地得出每一时刻f 的一步预测 及参数后验分布。h a r r i s o n 和w b s t ( 1 9 9 7 ) 给出了下面定理 定理2 1 ( 【1 0 】，p 1 0 3 定理4 1 ) 在定义2 1 的模型及上述假设下，对每个f 有 ( 1 ) f 一1 时刻参数的后验分布 一“q 。) 脚。，c | 。】( 2 1 1 ) 其中鸭一，和c f 一，为已知； ( 2 ) f 时刻的参数的先验分布 ( 包l d | ，) 一扣，置】( 2 1 2 ) 其中 q t g f m _ l ，r - g | c 。g i + 彬； ( 3 ) 一步预测分布 慨一t ) 一【正，吼】 ( 2 1 3 ) q 硕士学位论文 其邙t = f ：n t ，q 。一f ：r | f | + v | ( 4 ) f 时刻参数的后验分布 h ) 【卅。，g 】 其中 = 4 。+ 4 e f ，et 置一4 吼叫 爿。一只，互目i 1 ，q = 誓一，f ( 2 1 4 ) 2 2 指数族分布 ( n e l d e ra n d w e d d e 幽l m l 9 7 2 ；b a k e r a n d n e l d e r l 9 8 3 ；w e a t1 9 8 5 ) 给出了基予指 数族数据的广义线性模型类，但参数是变化的。回归响应通过模型参数与回归变 量的一个线性函数联系起来。这在时间序列中模型中更能说明问题。为此需要定 义广义线性动态模型。下面首先给出指数族分布的概念。 定义2 2 ( n o 】，p _ 5 1 7 ) 设】j = o 。1 2 ，) 为可观测时间序列，样本空间为l ，。若 z 有条件密度( 或概率分布) 函数 p ( ) ，h ，k ) 一6 0 ，k ) e x p 形。【正o 。) 仇一口瓴) 】 ，y 。y( 2 2 1 ) 其中 ( ) ，。) ，6 ( y ，k ) ，口h ) 都是已知函数，仇为分布的自然参数，v 为尺度参数。 口( ) 为三阶豆昱函数，则称x 服从指数族样本分布。 在实际应用中，使用最多的是五( y 。) - y ，即常用的指数族分布为 p ( y ，i 叩，k ) 一6 ( y 。，一) e x p 彤。【y 。仉一日国。) n ，y 。y( 2 2 2 ) 指数族分布是一类很重要的分布族，许多常用的分布都是它的特殊形式。可以验 证，正态分布、二硕分布、g a m m a 分布和p o j s s o n 分布等都是属于指数族的。 指数族分布的一个重要特性是其参数存在共轭先验分布，这是我们构造指数 族模型的主要原因。下面的定理给出了其参数共轭先验分布的构造。 定理2 2 ( 【1 0 】，p 5 1 9 ) 设y 的分布密度有( 2 2 2 ) 的指数族形式，若参数仇的先 验分布族口为 p 国，) z c 以，j 。) c x p “仇一s 一( 哺) )( 2 2 3 ) 动态蹦s s 模型及其贝叶斯预测 其中c ( ) 为已知函数，s 。为超参数。则口是仇的一个共轭先验分布族。 证明：设p ( 叩。) 为r 分布函数的自然参数的先验分布密度，由贝叶斯公式得其后 验分布密度 p 甑i ) ，) * p 铆。) p ( y ，h ) 故 p 0 。h ) * e x p 以仇一s ，4 慨) ) e x p 形4 ( y ，仇一n 国：) ) ) 。c e x p 【以+ 妒。y ，) ，7 ，一0 ，+ 伊，) 口( 叩，) 】 这里仍z k 。由先验分布的形式可得，后验分布的常数项为c n + 以_ ) ，s ，+ 竹) ， 即仇的后验分布为 p ( 仉i ) ，) 一c ( ，| + 红) ，只+ 仍) e x p ( r f + ) ，) 叩。一( s ，+ 吼) 4 ( 仇) )( 2 2 4 ) 显然p ( 仇i y 。) 口。 证毕 指数族分布的参数共轭先验的存在性为我们对模型的动态参数修正递推和 模型的预测分析带来了很大方便，下一节就给出广义线性动态模型。 2 3 广义线性动态模型 若序列z 为在给定参数仇下的具有指数族分布的随机变量，给出如下定义。 定义2 3 ( n o 】p 5 2 1 定义1 4 1 ) 在时刻f 定义如下变量： q ：具有0 均值和已知方差阵彬的p 维更新误差向量，记为。叫o ，彬】； - 互b ：状态向量参数的线性函数； g ( 叩。) ：联接函数，为已知连续且单调的实函数。 则由观测序列 r 建立的广义线性动态模型( d g l m ) 定义为： 观测方程： p h ) 回归方程： g 魄) - 一只钒， 状态方程： 见一q q 一，+ q ，叫0 彬】 1 1 硕士学位论文 其中b ，g 。，e 与定义2 1 中的相同。 在此模型中也假设或与，相互独立，且对任意的f - ，嘶，珊，也相互独立。 上述模型是对标准动态线性模型( d l m ) ( 定义2 1 ) 的推广，有关更多内容可 参看文献【l o 】第十四章。这里的线性回归值九通过自然参数的个联结函数 占锄) t 来影响可观测值的分布，嘶h ) 。占( 仇) 的不同选择可以应用到各种回归 模型中，例如二项式模型的1 0 曲t _ i c 回归，p o i s s o n 模型中的对数线性回归等。当 给定g f = j ，形。o 时，就有对任意时刻t ，且= 口，此时就是常用的静态广义线性 回归模型，它是广义线性动态模型的一种特例。在m c c u i l a g h 和n e k l e r ( 1 9 8 9 ) 对 这类模型有更详细的讨论。 用正态动态线性模型的贝叶斯预测方法，也可以给出广义线性动态模型参数 的先验信息的修正更新和预测分析。在文献【l o 】、t 3 2 1 中有详细内容，这里就从 略。 第三章一元动态p o i s s o n 模型的贝叶斯预测 应用于计数数据的分布除了二项分布外，常用的就是p o i s s o n 分布，而且在n 取较大值时，二项分布可以用p o i s n 分布来近似。p o i s s o n 分布作为二项分布的 近似，是法国数学家p o i s s o n 在1 8 3 7 年引入的。 在实际生活中，很多随机交量可以用p o i s s o n 分布来描述，如田间小区内出 现变异植株的株数，牧草种子中的杂草种子数，某段时间内放射性物质所放射的 粒子数等。p o j s s o n 模型是描述在一定空间( 长度、面积和体积) 或一定时间间隔 内点子的散布状况的理想化模型。 3 1 p o i s s o n 模型回顾与动态模型定义 在应用p o i s n 模型中常用的是选择下面两类回归模型： ( 1 ) 对数线性p o i s s o n 模型 动态p o i s s 帆模型及其贝叶斯预测 1 0 9 ( ) 掌t 7 置z 卢 ( 3 1 1 ) 若所有协变量为无条件的且其相互效应包含在z 中时。对高危事故发生频率等建 模时适合用此类模型。 ( 2 ) 线性p o i s s o n 模型 假设模型中的协变量是可加的，则可采用下列模型 肛皇z 声 ( 3 1 2 ) 上面两类模型中，口表示p o j s s o n 均值，z 表示回归协变量，而p 表示回归系数。 定义3 1 称 r ) 为服从均值为 “) 的p o i s s o n 分布的时间序列，r * 1 ，2 ，若z 的 概率分布为 p ( kty 。| p 。) - 丝等芋，y 。，1 ，2 ，( 3 1 3 ) 易知，p o i s s o n 分布也是属于指数族分布的，其自然参数仇一1 0 9 以，由定理2 2 可得均值参数“存在共轭先验分布。 推论3 1 设以为p o 缸s o n 分布x 的均值，则段有共轭先验g a 蛐a 分布 证明：令g ( 口，卢) 为地的先验分布，即 嘶小篙( “e 一，驴。 由已知得p - ) ，肚，) 一业号手兰，则由贝叶斯公式可得h 的后验分布 烈啪。器 一亟等，怎广_ 咖绁气备茅竺札 a c ( 芦f ) + 8 - 1 e 一，+ 1 h ， 上式即为g 曲m ( y 。+ a ，卢+ 1 ) 分布密度的核，因此 p ( p ，i y ，) ( 删口( y 。+ 口，卢+ 1 ) ， ( 3 。1 4 ) 硕士学位论文 即限的共轭先验分布为g a 衄a 分布。 证毕 定义3 2 避伪服从均值为协脚p o i s s o n 分布序列，而以与参数向量q 相关，称 如下形式的模型为广义线性动态p o i s s o n 模型( d g l p m ) ： 观测方程： 尸k ) ；丝产，( 1 = 。，1 ，2 ，) ( a 1 ) 回归方程： g ( 以) 一 一只q( a 2 ) 更新方程： 只一q 只一，+ q ，q 一 0 ，彬】 ( b ) 初始信息： ( 吼f d 。) b 。，q 】( c ) 这里只，q ，形，占( ) 等的定义与定义2 3 中的相同。口表示r 时刻模型的所有已知 信息在没有其他信息的情况下，d l = ，d 。) 。这里的初始信息( 8 。l d 。) 一k 。，c 。】与q 一【o ，彬】表示参数的期望和方差。 3 2 模型贝叶斯预测与参数的信息更新 用归纳法给出模型的观测值的预测估计和参数信息更新。 ( i ) 假设在f 一1 时刻得到q 一，的后验期望和方差 一胁一- ) 一【m h ，c 1 】 则我们有如下的参数信息更新： 第一步：参数的更新先验 在 时刻，由( b ) 可得统的先验矩为 盼。) 一【口i ，r 1 ， 4 ，t q 胁，。，墨一q c 一。q + 形 由上式及( a 2 ) 式可得 ( l d l 一，) 一【，吼1 l ( 3 2 1 ) ( 3 2 - 3 ) 动态p 0 i 站伽模型及其贝叶斯预测 且 五一占阮慨一。) = 丘僻玩慨一，) 一e 矗， 吼。y 仇协。) 一y ( e 铒b 一。) t 互r e 义由c 口v ( ，以协。) i c 却( e 砬，e h - ) 一e y ( 以i d 。) 一只欠，于是 ，b 的联合先 验矩为 m ) ，( 最列 z 据( a 2 ) 应有 占( g ( 以i d | - ) ，f ， y ( 占( 以q ，) t 9 ， ( 3 2 - 5 ) 由推论3 1 ，若假设在f 对刻雎有共轭先验分布( 以f d i 。，) 一g 以，s ，) ，则，5 。应满足 ( 3 2 5 ) 式。 第二步：一步向前预测 由以的先验分布可得i 的一步预测概率分布为 p 。y j d f 。) 。，p o ，h ) p ( 以慨一。m ( 段) _ 产。器妒郴m 。， o y 。! r ( r i ) ”7 。 ”h7 一；，( m 峄弩 一煞罢器 ( 3 2 6 ) ) r ，l r 以) + 1 ) m ) 协z 叩 由g a m m a 函数的性质，若，| 为正整数，有 r o ，+ ) - c y ，+ 一1 ) ! ，r 饥) 一( 一1 ) i 则 p m 。( 。1 ) ( 者) ( 去) “ 即此时蛐一步预测黼是均值为詈，方差为哗坐的负二项旒 塑主兰垡堡兰 以上面的预测分布对进行预测，鉴于r 的取值为非负整数，类似于极大似 然估计，取在预测分布中具有最大概率的点作为誓的预测值是较可信的。记p j 为 不超过茗的最大整数，称之为塑墼重墼。容易证明，对于p o i s s o n 分布尸扫f ) ， 当随机变量取j 时，其概率值达到最大。因此，这里取 z ；引 作为z 的一步预测值。 第三步：参数信息的修正 在观测到e 的实值y ，以后，由贝叶斯公式可得 p | d ) l p ( 砒d 1 1 ) i 掣磐 - - ! ! ；焉( 肛，) n + 一1 ) e “r + 1 ) * 一g ( y t + ，s f + 1 ) ( 3 2 7 ) ( 3 2 8 ) 由上所得的肌的后验分布函数可计算得到 的后验期望与方差 似慨) 一【正，吼】 ( 3 2 9 ) 即 五。一【g ( 托珥】，西- 矿【彦 鲍l d f 】 为了求得q 的后验( q 慨) 的更新期望和方差，由贝叶斯公式计算取得e 值后 ，b 的联合后验分布得 p ( 九，q i 。，) t p ( ，啡k ，。，。) 一! 黜 。里坠坦：堡：立竺堡睦：! 塑q j 生：堡：! 旦# 一 p 饥l d l 。) 熟 锵 龇 动态p o i 鹞0 n 模型及其贝叶斯预测 一p ( b h ，。) ：里；孑笛兰号! a p ( 统i ，。“) p ( f 口)p i y 1 “一1j ( 上面( # ) 式是因为给定 后，i 条件独立于q ) 。 因此，只的后验分布密度为 p ( 只b ) - p ( q 1 ，q ，- 妇( 怛矽( ) ( 3 2 1 0 ) 由于不知道上述积分号内分布函数的具体表达式，无法给出( b 慨) 的分布形式。 同样我们可以用条件期望形式给出其后验期望与方差 e 协) 。户p 以协m q p 厂p ( q h ，q 一) p ( b m m b 厂 p p 以h ，q 一，只扫( 怛) d 一，e l ，d 一) p ( l q ) d ，占【e ( q i ，d 。_ d ，】 同理可得 ( 3 2 1 1 ) y 怛) - y 【层 h ，q 一。m q 】+ 目y 限，d i 。l d f 】 同样( ，以p 。) 的具体联合分布未知，无法确切求出层 h ，皿。) 与y h ，肛一，) 的值，而由( 3 2 4 ) 式，可以用其近似估计值来代替。这里用的是第一章1 3 节的线 性贝叶斯估计，在文献【1 0 】的4 9 节中也给出它是在平方损失下的线性最优估计。 由 ， ) 的联合先验矩( 3 2 4 ) 可得 h ，q 。) 的线性贝叶斯矩估计为 童( 谚i ，d f 一，) 一q + r e ( 一正) 甄 矿 阮，d 。) - r ，一r ；e e 冠q t( 3 2 1 2 ) 用上面的估计值代入( 3 2 1 1 ) 可得只的后验期望与方差： ( q 阻) 一陋。，e 】( 3 2 1 3 ) 所，* e b ) 一昱晴 k ，皿，i q 】 t e 【口。+ r c ( 一，| ) g 。b 】 - n l + r t f t t f ：一f q 。 硕士学位论文 e = y 阻) 一y 晴 h ，b 。) 协】+ e 旷( 以h ，q ，_ 皿】 一y p ，+ 墨e ( 一) ，吼i b 】+ e 限一r e e r 口，i q 】 = r 一置e 只r 吼一( 】毋2 ) 碍0 ( i i ) 由初始信息知l 。o 时的参数矩已知为( 口。 d 。) 【m 。，c 。】，因此由归纳法可知 对f 1 ，用上述步骤可以得到只，f 。1 ，2 ，的后验更新期望和方差。 第四步：k 步向前预测 若已知在f 时刻有 慨) 一阳；，c ，】，则对f + 七 己1 ) 时刻的参数信息估计为 ( q + 。l q ) 一【q ( 七) ，r ( 七) 】 ( 3 2 1 4 ) 其中q ( 七) _ q + t q ( 七一1 ) i ( 珥q + t ) m t ，r ) g ，+ t r ( 七一1 ) 瓯t 且 a ，( 0 ) m 埘，r ( 嘞一c r 则由模型定义可得 ( 。i q ) 一【工( 七) ，吼 ) 】 正 ) 一只：。q 僻) ，吼( 七) e i r ( 七) e + 。 设卢。毒有共轭先验( 一+ 。b ) g n 仲) ，( 七) ) ，则参数r f ) ，0 ( 七) 满足 瞻 _ ；i ，。) b 卜，( 七) ，y 【g ( 以) | e 】t 吼体) 由此可得f 时刻一+ 。的预测概率分布函数为 ( 3 2 1 5 ) p + 。my m 陋) - f p ( y m h + t 印似，。f d f m ( 雎+ t ) ，器老器( 舀甜( 赤扩 叫d _ ) ，h ! r “非) ) i 辑) + 1j墨球) + 1j 、7 当似) 趣数时上述预测分布仍为负二项分布。 同理，由k 步预测分布也可以给出观测序歹0 的k 步预测值。 动态p o j 姗模型及其贝叶斯预测 3 3 模型滤波分析 在时间序列模型中，除了基于当前时刻f 的信息对将来时刻七，k ；l ，2 ，的 未来观测值进行预测推断，也常常需要对过去时刻( 例如f 一七，七苫1 ) 过程的状态 进行推断，以便对整个过程的变化状态有一个总体的了解。类似于k 步超前预测， 称 一。i d ，) 的分布为状态向量在时刻f 的k 步滤波分布。用当前的数据对状态向量 以前值进行修正推断称为滤波，与滤波有关的概念就是时间序列的平滑。使用滤 波分布( 。b ) 苫1 ) 对均值响应函数段一。进行回顾估计称为对这个时间序列的 平滑。 p o j s s o n 分布模型的参数滤波分析，这里的思想也是应用线性贝叶斯估计来求 ( 色。l d ，) 的后验矩的最优估计。 定理3 1 向后滤波 。| d f ) 的最优线性贝时斯估计为 一。协) k ( 一七) ，r ( ) 】( 3 3 1 ) 其中 4 ，( 一七) 一册，4 + 皿- | 【口，( 一七+ 1 ) 一口。一i + l 】 墨( 素) t q t 一曩一t 【墨一，一r ( 七+ 1 ) 1 颤。 这里 且一。一c ，。g 0 。配+ ， 证明：称p 。协) 为参数向量口的- k 步滤波分布函数，由条件概率钙 p ( b 。协) - p ( q 。协一，b ) p ( b 。，怛m 吐+ ，) ( 3 3 2 ) 假如有 ( b 。，b ) 叫q ( 4 + 1 ) r ( + 1 ) 】( 3 3 3 ) 由【加lp 1 1 3 的定理知 p 一一q 小。，q ) 一p 。旧- 上。b 一。) 因此由条件期望得 e 一t 慨) 一层陋( b 。h 。，q 一。_ d f 】， 同样，可以给出( b 七旧。，d | 一。) 的期望与方差的线性贝叶斯估计，由模型得 硕士学位论文 其中 c ( 剐吣慨x 。 r 4 + l ；g f - 七+ l c h g 乙“+ 彬m 1 皿“1 1 “t 。+ t ，j ( 3 3 4 ) 嚣h c h g ；m 1 r 孟+ l 则用第一章1 3 节知识可得( b - 上f b 。，口。) 的线性贝叶斯估计为 ( b 一。1 只。+ 。，皿一。) t m ，一。+ c ，。( 奠。，r 矗+ ，( q 。+ 。一口。) 矿 。h 一。，皿一。) 一g 一。一c 。g - 。赋。g f 。+ ，c 。 所以占 一。防) 一e 【富 。慨。，d i 。) 险】 一m 。i + 日一t ( d 。( 一七+ 1 ) 一口t t + 1 ) 矿 一。b ) 一童 。怫。，q 一。她】+ 【矿 。虹。皿。w d f 】 一b | 。i r t 卜k + 1 = ) b ： + c t 一b | 一k r t 。：一l c ：。一县一t ( r 一。+ 。一r ( 七+ 1 ) ) 口工。 且 4 ，( o ) - 埘，r i ( 0 ) 一c l 证毕 有了上面q 。的滤波估计，同样用共轭先验就可以给出观测值均值“。的平 滑分布g “( 越) ，( ) ) ，且( 一七) ，( 以) 满足上面参数的滤波矩估计值。 3 4 硬类常用动态p o s s 蚰回归模型的参数更新信息计算 下面对3 1 节提到的两类p o 趣s o n