（统计学专业论文）动态贝叶斯模型的研究.pdf

摘要 贝叶斯预测模型是运用贝叶斯统计方法进行的一种预测，它与传 统预测方法的不同之处在于利用了来源于经验和历史资料的先验信 息。本文通过分析了贝叶斯模型比较常用的常均值模型，通过改进， 引入折扣因子万( 0 艿s 1 ) ，将原来的模型d l m i ，1 ，e ，形 改进为 1 ，1 ，v ，艿 ，简化了原本复杂的计算过程。同时分析了方差k 已知与未知 两种情况下的模型处理，给出了不同情况下的计算公式；并通过证明， 说明了模型的合理性。 本文利用实例验证模型的准确性。通过分析了1 9 6 0 年至2 0 0 5 年 美国的出口额，利用先验信息预测2 0 0 6 年美国的出口额。同时将贝 叶斯预测模型与普通回归预测模型的预测结果进行比较，通过误差分 析的结果，表明了贝叶斯预测模型具有明显的优越性。 最后，简述了贝叶斯模型在经济分析中的意义。 关键词贝叶斯，预测，后验分布，先验分布，后验信息 a b s t r a c t b a y e sf o r e c a s t i n gm o d e li s am e t h o db a s e do nb a y e ss t a t i s t i c s c o m p a r e dw i t ht r a d i t i o n s t a t i s t i c a lm e t h o d ，b a y e ss t a t i s t i c s a p p l i e s t r a n s c e n d e n t a li n f o r m a t i o n , w h i c hb a s e s0 ne x p e r i e n c ea n dh i s t o r i c a ld a t a m 萄o r l l y 1 h i sp a p e ra p p l i e s c o n s t a n t - m i nm o d e l ，w h i c hi s v e r y n o r m a li nb a y e sm o d e l ，a n du s i n gd i s c o u n t e df a c t o r 万( o 艿1 ) ， c h a n g i n g m o d e l d l m 1 ，l _ ，形 t o 1 ，l ，矿，艿 m a k i n g t h ef o r m c o m p l e x - c o m p u t i n gp r o c e d u r e ss i m p l e i na d d i t i o n , ia n a l y z e dh o w t o 如a lm o d e li n d i f f e r e n ts i t u a t i o nt h a tw h e t h e rv a r i a n c ei sk n o w n0 1 u n k n o w n ，a n da l s og i v et h ef o r m u l ai nt h e s es i t u a t i o n b yp r o v i n gt h e f o r m u l a , it e l lr e a d e r st h ef o r m u l ai sr a t i o n a l u s i n gac a s e ，ip r o v et h ea c c u r a c yo f t h em o d e l a n a l y z i n ga m e r i c a n e x p o r ta m o u n t 舶m1 9 6 0t o2 0 0 5a n du s i n gp r i o ri n f o r m a t i o n , if o r e c a s t t h ee x p o r ta m o u n ti n2 0 0 6 m e a n w h i l e , b yc o m p a r i n gw i t hr e g r e s s i o n m o d e l ，w ec a ng e te r r o ro f t w om o d e l s ，a n dk n o w nt h ea d v a n t a g eo fb a y e s f o r e c a s tm o d e l f i n a l l y , ii n t r o d u c et h em e a n i n go f b a y e sf o r e c a s t m o d e l se c o n o m i c s a p p l i c a t i o n k e y w o r d sb a y e s ，f o r e c a s t , p o s t e r i o rd i s t r i b u t i o n , p r i o rd i s t r i b u t i o n , p o s t e r i o r i n f o r m a t i o n n 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南 大学或其他单位的学位或证书而使用过的材料。与我共同工作的同志对本 研究所作的贡献均已在在论文中作了明确的说明。 作者签名： 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以采用复印、缩印或其它手段保存学位论文；学校可根 据国家或湖南省有关部门规定送交学位论文。 作者签名：上坠导师签名 硕士学位论文第一章绪论 1 1 贝叶斯方法的简介 第一章绪论 英国学者t 贝叶斯1 7 6 3 年在论有关机遇问题的求解中，提出了一种归 纳推理的理论，以后被一些统计学者发展为一种系统的统计推断方法，称为贝叶 斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认 为贝叶斯方法是惟一合理的统计推断方法的统计学者，组成数理统计学中的贝叶 斯学派，其形成可追溯到2 0 世纪3 0 年代。到5 0 6 0 年代，已发展为一个有影 响的学派。时至今日，其影响日益扩大。 它是总体分布参数0 的一个概率分布。贝叶斯学派的根本观点，是认为在关 于护的任何统计推断问题中，除了使用样本x 所提供的信息外，还必须对0 规定 一个先验分布，它是在进行推断时不可或缺的一个要素。贝叶斯学派把先验分布 解释为在抽样前就有的关于0 的先验信息的概率表述，先验分布不必有客观的依 据，它可以部分地或完全地基于主观信念。例如，某甲怀疑自己患有一种疾病 八在就诊时医生对他测了诸如体温、血压等指标，其结果构成样本x 。引进参数0 ： 有病时，分= l ；无病时，0 = 0 。x 的分布取决于0 是0 还是l ，因而知道了x 有助予 推断0 是否为l 。按传统( 频率) 学派的观点，医生诊断时，只使用x 提供的信息； 而按贝叶斯学派观点，则认为只有在规定了一个介于0 与l 之间的数p 作为事件 ( 0 = i ) 的先验概率时，才能对甲是否有病( 即0 是否为1 ) 进行推断。p 这个 数刻画了本问题的先验分布，且可解释为疾病a 的发病率。先验分布的规定对推 断结果有影响，如在此例中，若疾病a 的发病率很小，医生将倾向于只有在样本 x 显示出很强的证据时。才诊断甲有病。在这里先验分布的使用看来是合理的， 但贝叶斯学派并不是基于“p 是发病率”这样一个解释而使用它的，事实上即 使对本病的发病率毫无所知，也必须规定这样一个p ，否则问题就无法求解。 根据样本x 的分布p o 及0 的先验分布( 口) ，用概率论中求条件概率分布 的方法，可算出在已知x = x 的条件下，0 的条件分布刀p i 工。因为这个分布是在 抽样以后才得到的，故称为后验分布。贝叶斯学派认为：这个分布综合了样本x 及先验分布( o ) 所提供的有关的信息。抽样的全部目的，就在于完成由先验分 布到后验分布的转换。如上例，设p - p ( 口= l 产0 0 0 1 ，而丌( 口= l i x 产0 8 6 ，则贝叶斯学 派解释为：在某甲的指标量出之前，他患病的可能性定为0 0 0 1 ，而在得到x 后， 硕士学位论文 第一章绪论 认识发生了变化：其患病的可能性提高为0 8 6 ，这一点的实现既与x 有关，也 离不开先验分布。 计算后验分布的公式本质上就是概率论中著名的贝叶斯公式( 见概率) ，这公 式正是上面提到的贝叶斯1 7 6 3 年的文章的一个重要内容。 贝叶斯推断方法的关键在于所作出的任何推断都必须也只须根据后验分布 窟p l 工) ，而不能再涉及x 的样本分布p 口。例如，在奈曼一皮尔逊理论( 见假设 检验) 中，为了确定水平口的检验的临界值c ，必须考虑x 的分布p e ，这在贝叶 斯推断中是不允许的。 但贝叶斯推断在如何使用万p i x ) 上，有一定的灵活性，例如为作占的点估计， 可用后验分布密度h ( o l x ) 关于0 的最大值点，也可以用石i 护i 工的均值或中位数 等。为作0 的区间估计，可以取区间【a a d ，b o 明，使( 懈) 0 一 b 0 0i 均等 于事先指定的数1 - 口( o 口 1 ) ，并在这个条件下使区间长度b ( x ) - a ( x ) 最小。若 要检验关于0 的假设h ：0 d ，则可以算出的后验概率丌( d i ，然后在丌( 。 ix ) l r 2 时拒绝h 。如果是统计决策性质问题，则有一定的损失函数“9 ，口) ， 知道了嚣( o l x ) ，可算出各行动口的后验风险，即l ( e ，口) 在后验分布( 0 i x ) 下的 数学期望值，然后挑选行动盯使这期望值达到最小，这在贝叶斯统计中称为“后 验风险最小”的原则，是贝叶斯决策理论中的根本原则和方法。关于贝叶斯方法 的争论贝叶斯学派与频率学派争论的焦点在于先验分布的问题。所谓频率学 派是指坚持概率的频率解释的统计学家形成的学派。贝叶斯学派认为先验分布可 以是主观的，它没有也不需要有频率解释。而频率学派则认为，只有在先验分布 有一种不依赖主观的意义，且能根据适当的理论或以往的经验决定时，才允许在 统计推断中使用先验分布，否则就会丧失客观性。另一个批评是：贝叶斯方法对 任何统计问题都给以一种程式化的解法，这导致人们对问题不去作深入分析，而 只是机械地套用公式。贝叶斯学派则认为：从理论上说，可以在一定条件下证明， 任何合理的优良性准贝q 必然是相应于一定先验分布的贝叶斯准则，因此每个统计 学家自觉或不自觉地都是“贝叶斯主义者”。他们认为，频率学派表面上不使用 先验分布，但所得到的解也还是某种先验分布下的贝叶斯解，而这一潜在的先验 分布，可能比经过慎重选定的主观先验分布更不合理。其次，贝叶斯学派还认为， 贝叶斯方法对统计推断和决策问题给出程式化的解是优点而非缺点，因为它免除 了寻求抽样分布，这个困难的数学问题。而且这种程式化的解法并不是机械地套 公式，它要求人们对先验分布、损失函数等的选择作大量的工作。还有，贝叶斯 学派认为，用贝叶斯方法求出的解不需要频率解释，因而即使在一次使用下也有 意义。反之，根据概率的频率解释而提供的解，则只有在大量次数使用之下才有 意义而这常常不符合应用的实际。这两个学派的争论是战后数理统计学发展中 2 硕士学位论文 第一章绪论 的一个特色这个争论目前还远没有解决，它对今后数理统计学的发展还将产生 影响。 本文通过数据利用贝叶斯方法进行经济分析，推理。得出的结果再与传统 方法比较 对经济现象所作的科学推理，它与其他科学领域所作的有关现象的推理在本 质上是没有区别的，都强调科学的统一性。它与其他科学领域所作的有关现象的 推理一样，包括演绎推理、归纳推理和归谬推理。 我们对一个命题的合理信念程度，譬如，对从持久性收入假设演绎所得经济 行为方面的命题信念程度，依赖于我们现有信息的状况。所以，在通常情况下， 表示对命题的合理信念程度的概率总是条件概率，条件地依赖现在的信息状况 当有关一个特定命题的信息变化时，我们就要修正它的概率或信念程度。这个与 命题有关的修正概率的过程就是从经验学习中得到新的信息的实质所在。下文我 们将会看到，代表对命题信念程度、融合新信息时的修正概率可以定量地得出， 并且是可以操作的，就是用概率中的一个简单的规则，也就是贝叶斯定理。图示 这个修正概率的过程，用y 表示绘出的新数据，如图l 一1 所示。 圈1 - 1 在图1 - 1 左上方方框( 1 ) 和( 2 ) 中，对一个特定的命题日，表示出我们原有的 信息厶和基于j 。的先验概率p ( ni1 0 ) 。这个信息一般是各种类型的，通常是先 前的数据和研究、理论上的考虑以及成因考察等信息的综合。在左下方方框( 3 ) 和( 4 ) 中，显示了给定命题日后，新的观测值y 的概率密度函数p ( y l 王r ) 。这个 概率密度函数就是熟知的似然函数，于是先验概率p ( 日i 厶) 与似然函数p ( yi 印 合并在一起，运用贝叶斯定理，就产生后验概率“日i y ，1 0 ) 。可以看出后验概率 3 硕士学位论文第一章绪论 烈日i y ，i o ) 既依赖于先验信息厶有依赖于样本信息y ，运用这种方式，获得了对 初始先验概率p ( hi 厶) 的一种修正，它反映了新数据y 的信息，即用贝叶斯定理 将烈日i 厶) 转化为p ( h l y ，厶) 。 若我们涉及参数口，用图1 - 1 所示的方法，只要把e 代替日，即在方框( 2 ) 中用的是p 够l 厶) ，而不是p ( h l 厶) ，这里p 够l 厶) 是给定初始信息时口的先验 概率密度。先验概率密度表示基于初始信息，o 我们对口的初始信息，它是在方框 ( 4 ) 中，就有似然函数p o l 口) 。于是将p ( 口i 厶) 与p ( y l d 合并，用贝叶斯定理就 得到方框( 6 ) 中的后验概率密度p ( e l y ，i o ) 。这最后的密度融合了用先验概率密 度p 够i 厶) 表示的初始信息和样本信息y 。后验概率密度可以用来对口作出概率 的论述；例如，给定数值口和b ，那么就可以算出a e b 的概率。后验概率密 度的类似或其他用途将在以后各章中详细介绍。现在，要强调后验概率密度代表 的是我们对参数口的一种信念，这种信念是将先验信息与样本信息融合在一起。 当样本信息增多时，在非常一般的条件下，它将越来越控制后验密度，使它变成 更集中于参数的真实值。另外，若两个人由于他们有不同的初始信息，因而有不 同的先验分布，在更少约束的条件下，只要他们将别的共同的数据综合到各自的 先验密度之中，他们的后验分布会变得很相似，当数据增多时，它能提供的信息 会扫去初始的先验信息。 图卜1 所示的和文本描述的过程在经济学和其他科学领域很多模型与问题的 分析中是可操作和可应用的，认识到此点非常重要。正如它应有的那样，这个过 程被学者认为是归纳过程的核心。一个应被重视的基本点是在经济学和其他科学 领域中，对推断问题有一个统一的和可操作的方法。不论我们分析什么，诸如时 间序列、回归、“联立方程”模型，方法和原理都是同样的。这与推断的其他方 法相对，那些方法对不同的问题有不同的原理与特殊的方法。 在过去，由于经济学家们的工作都运用非贝叶斯方法，对一系列模型和问题 比较一下贝叶斯方法和非贝叶斯方法是有用的，也是有趣的。正如安斯康姆 ( a n s c o m b e ) 几年前关于统计说过这样的话；“对情况有一个恰当的评价只能通过 将正统的和贝叶斯的方法用于不同的统计问题，注意它们是如何做的以及做得如 何。” 贝叶斯分析的报告中包括有关的参数估计，重要的是至少要给出( a ) 对生成 观测值假定的随机模型的一个详细探讨；( b ) 对参数先验假设一个充分的讨论； 后验分布信息 先验分布反映了在做试验前我们关于未知参数的知识，有了样本带来的信息 后，这个知识有了改变，其结果就反映在后验分布中，或者说，后验分布综合了 先验分布的信息和样本的信息。在应用上往往根据求出的后验分布作出推断。贝 叶斯预测正是建立在利用先验分布求出后验分布的基础上的。 传统的预测方法利用过去的数据信息，建立统计模型，产生常规预测，并以 纯粹的机械形式将输入信息转换为输出信息。另外，传统的预测方法处理不了异 常情况的发生。贝叶斯不仅利用了过去的数据信息，还包括人的因素，人对预测 负有责任，并提供信息。它按照例外管理原则进行预测，这就是贝叶斯预测的一 个重要基本思想。它能处理异常情况的发生。所谓异常情况或例外情况有两种方 式，第一种情况是基于对未来事件的认识，对异常事件的发生是能够预料到的。 例如有信息表明，今年年底将建立一个新工厂，则电力需求将增加。我们说电力 需求增加的问题是能够预料到的，预测者需及早对模型进行干预。第二种情况是 预料不到的突发事件的发生，对这种情况用监控方法来处理模型。 有了以上说明，现在给出贝叶斯预测系统按照例外管理原则运行的框图，如 图3 1 所示。 贝叶斯预测另一个重要基本思想是建立动态模型，并把预测分布看成是条件 概率分布，预测者根据先验信息研id ，求出预测分布p 饥id i ) ，并运用贝叶 斯公式求得后验信息只id f ，并不断对先验信息进行修正，从而求得人们所需的 7 堡主兰堡堡塞釜= 兰堕笙 预测数值，贝叶斯预测递推算法的框图见图3 - 2 。 图l - 2 例外管理预测系统 图1 - 3 贝叶斯预测的递推算法 8 硕士学位论文第二章贝叶斯模型 2 1 基本数据 第二章贝叶斯模型 本文根据w w w c e n s u s g o v 网站公布的1 9 6 0 年至2 0 0 5 年某美国出口额，通 过数据分析并计算误差，来推测2 0 0 6 年月度出口额 表2 - 11 9 6 0 - 2 0 0 5 年美国出口顿 单位：十亿元 序号t年份数据 序号t年份数据 l1 9 1 9 6 52 41 9 8 3 2 0 1 7 9 9 21 9 6 l2 0 1 0 82 s 1 9 8 42 1 9 9 2 6 31 9 6 2 2 0 7 8 1 2 6 1 9 8 52 1 5 9 1 5 41 9 6 32 2 2 7 22 71 9 8 62 2 3 3 4 4 51 9 6 42 5 5 0 12 81 9 8 7 2 5 0 2 0 8 1 9 6 52 6 4 6 i2 9 1 9 8 83 2 0 2 3 71 9 6 6 2 9 3 1 3 0 1 9 8 93 5 9 9 1 6 8 1 9 6 73 0 6 6 6 3 1 1 9 9 03 8 7 4 0 1 91 9 6 83 3 6 2 63 21 9 9 14 1 4 0 船 1 01 9 6 93 6 1 4 1 43 3 1 9 9 24 3 9 6 3 1 1 11 9 7 04 2 4 6 93 4 l 粥1 34 5 6 9 4 3 1 21 9 7 l4 3 3 1 93 51 9 9 45 0 2 8 5 9 1 31 9 7 24 9 3 8 13 61 9 9 55 7 5 2 0 4 1 41 9 7 37 1 4 1 03 71 9 9 6 6 1 2 1 1 3 1 5 1 9 7 4 9 8 3 0 6 3 1 11 9 9 76 7 8 3 6 6 1 61 9 7 51 0 7 0 8 83 91 9 9 8 6 7 0 4 1 6 1 7l 穸7 61 1 4 7 4 5 4 01 9 9 96 8 3 9 6 5 1 8 1 9 7 71 2 0 8 1 64 l2 0 7 7 1 9 9 4 9 硕士学位论文 第二章贝叶斯模型 1 91 9 7 81 4 2 0 7 54 22 l7 1 8 7 1 2 2 01 9 7 91 8 4 4 3 92 0 0 2 6 8 2 4 2 2 2 l1 9 8 02 2 4 2 54 42 37 1 3 4 1 5 2 2 1 9 8 12 3 7 0 4 4 4 52 0 0 48 0 7 5 1 6 2 31 9 8 22 1 1 1 5 74 6 2 0 0 58 9 4 6 3 1 田 圈2 - 1 从图4 - 1 可以看出，1 9 6 0 年至2 0 0 5 年美国出口额基本呈持续增长的趋势， 但增长幅度却在不断变化。贝叶斯方法利用先验信息，既能够体现增长的总趋势 又能体现增长幅度的变化。 2 2 动态线性模型 所谓动态线性模型( d y n a m i cl i n e a rm o d e l s ，简记为d l m ) 是由两个方程 确定的系统，这个系统描述： ( i ) 过程的观测如何随机地依赖于当前的状态参数； ( i i ) 状态参数如何随时间变化，表示了系统内部的动态变化和随机扰 动 贝叶斯预测如同传统的预测一样需要建模，但贝叶斯预测需要建立动态模 硕士学位论文 第二章贝叶斯模型 型。正态动态线性模型由4 个元素所决定，伊，g ，v ，矿 ，= 化，g f ，吒，形 ，其中 对任意t ，都有 只1 只。一研g 。只一，以】， ) ，1 只【f 。t q ，e 】 上述模型简记为d l m _ f f , g l 矽l 。具体表示为： 观测方程只= e b + h ，h 州d k 】， 状态方程只= g 。只- l + 戗，口。一川n 形1 其中：y ，为，l 维观测向量，只为刀l 维状态参数向量，e 为n x ，维矩阵， q 为刀刀维矩阵，v ，和q 分别为r 维和一维的正态零均值误差项，方差分别是巧 和形。 由此可见，只要知道e 、q 、巧和形就可以确定一个动态线性模型，即由 4 个元素妒，g t ，k ，形j 可确定d l m 。 若定义z = e 阮id f 】，2 = v a r y ，i o , 一。】，则一步向前预测分布 只l d 一m z ，q 】，预测误差e ，= ) ，一z a 本文使用常均值模型，这种模型应用广泛而且简单，它体现了动态现行模型 的许多的基本概念和分析特性。 2 3 常均值模型 常均值模型是一种应用最广泛且又简单的时间序列模型，它体现了动态线性 模型的许多重要的基本概念和分析特性。 定义1 ：对每一时刻t ，常均值模型d u f l ，1 ，k t 形 ，定义如下： 观测方程：只= z t + 坼，v f 一p ，k 】， 状态方程：肛= 鸬。+ q ，q n o ，彤】 初始信息：i z oid o 一州c 。】， 其中“是r 时刻序列的水平，v l 是观测误差项或噪声项，q 是状 态误差项。在此，我们假定观测误差和状态误差都是服从正态分布，还 硕士学位论文第二章贝叶斯模型 假定对所有，和j ，当f j 时，v t 与，q 与q 相互独立，且v | 0 3 s 相 互独立。 定理h 对于每一时刻，假设，o 。的后验分布“- ，id 山) 一b ，。，c i 。】，则鸬 的先验分布以f m t - i ) 州砖，冠】，其中置= q - + 形。 证明；由朋= 肛一l + q 和q 与麒独立，故 e kl q 】= e k 1 q 。】+ e kj q 。】= 鸭。 v r p , 1 】= 陆k 。ld f 。】十砌怯i 皿。】 = c _ i + 形= 蜀 由芷态分布的可加性得 o id ，。) b 。，足】 推论1 ：进一步可知，以 4 q ) 阢，2 】，其中zr m t _ l ，q = 置+ 巧。 证明：由只= 肛+ q ，故有 e k ld r 】= 点kid ，- l 】+ 如id f q 】 = j 哆- 1 = z 胁ki b q 】= 陆阮i 口一。卜哳hid l - l 】 = q - i + 形+ k ；墨+ 巧= q 。 。故 id f 。) 一阮，q 】。 由多元正态分布的定义可知，“与乃的联合分布仍为正态分布，且 c 0 毗，以id | - 1 ) = c o v “+ 畸，肛l b 。) = 腑“id ，。) = q - i + 形 放泓) 怔， 乏：荔c t _ ! - f 形t o 推论2 - 肼的后验分布“ld t ) i 砖，c 】，其中以= 鸭。+ 4 岛，c = 4 k ， 硕士学位论文第二章贝叶斯模型 4 = 墨e , ，c t = y t 一工 证明：由上可知，朋与九的相关系数为 p i = r t | 心。q 泞， 回归系数为 4 = 心q + 形) 缸4 + 形+ k ) = 置q = 由条件正态理论可知 占k 肾以a 】巩- 竹压抚卅 = m t 。+ 4 瓴一z ) ， v a r z , i y , = 只，d f 4 1 - - 0 一彳k = 置一4 墨 = r t 一4 q 4 ， 以k ，d f 兰岛f d ，一i 砖。+ 4 抚一z l 置一4 岔4 】， l i p “l d ，h ，c t 】， 其中 m ，= m t - i + 4 “一z ) = 啊1 + a t e t e t = y l 一 t c f = 置一4 q 4 = 局q 心一置) = 4 巧。 还可以用贝叶斯方法来证明这个推论。贝叶斯方法当然可以应用于任何 一个分布假设的模型。在这里样本模型给出了如下的观测值的分布： p k ，b 。) ：e x p f _ 如一。) 2 ( 2 置姚碣乒 由定理l 知。 以，i d f 。) = c x p - ( , u t 一肼t 。) 2 ( 2 r t 肌嘁声， 由贝叶斯定理，麒的后验分布密度为 丸旧) = p “l y , ，d ，一。) 文丘l b 。) p ( y ，阻，q q ) p id | 。) 其中分母是在给出实际观测值时一步超前预测密度。这个后验密度具有标准 硕士学位论文 第二章贝叶斯模型 的贝叶斯形式。忽略掉依赖于固定值i t 的乘数因子和其他常数因子，而只考虑含 有肛的部分，这样就有 丸i q ) * 比ld f 。) p 以k ，d f 。) 薅( y ，一鸬) 2 ( 2 t ) 一( 一一m t 。) 2 ( 2 蜀) | 两边取对数，有 l n 【p 0 ，l d i ) 1 = c 一0 5 b , 一所) 2 e + ( 以一嘲。) 2 量j = c - 0 5 k 2 t 一2 d h 。局+ 只e k j = c 一0 5 c “一) 2 其中 c = l 1 r , + l k 】= r i k q ， 4 ；e i q , = 置 + k ) e l 。h 一啊- l m | = c t 协。d | r 。+ y t | v 1 = # 1 1 t d + 4 e t 放p ( u , i d , ) o ce x p - ，一m t ) 2 ( 2 c ，) j 。 t 其中标准常数为1 ( 2 刀c i 弦，故 一i d ，一b 。，e 】 对于推论2 的证明，使用了两种不同的方法，即应用标准正态理论和贝叶斯 方法加以证明，后者的证明思想方法十分重要。 在此，有必要对分布中的一些元素进行讨论。岛= y t z = 乃一称为一步 超前预测误差，4 是麒在z = y t 的条件下的先验回归系数，显然0 s 4s l 由 于模型的每个分量都服从正态分布，所以这些元素都可简单而又巧妙地进行计 算。应用这些结果，可以直接得到关于埘。和c | 的修正方程，值得注意的是肼，的 另一种表示： 慨= 4 以+ 0 - 4 h ，- l 这表明m 。是水平的先验估计m 。和观测值_ ) ，的加权平均。其权为4 。有时也称4 为修正系数。当先验分布比似然分布“y ，h ，q 。) 更集中时魄 巧) ，4 更接近 于零。相反地，当先验分布比似然分布更分散时，4 更接近于1 。另外由于e 墨， 后验分布比先验分布更集中，这表示由于得到了观测值只，那么有关肛的信息 也增加了。 1 4 硕士学位论文第二章贝叶斯模型 2 4 常均值贝叶斯模型的改进 在实践中，常均值模型d l m l ，l ，k ，形 中的彬一般不易求出，为了克服 这一困难，在模型中引进了折扣因子艿，通常o 艿 i ，并且有耳1 = 6 c t - i ，这 表明先验精度等于折扣的后验精度。记为 l ，1 ，e ，艿) 。 由于墨= c - + 形= c | 一6 ，故有形；c - p - 1 一1 ) 。由此可以看出，常均值 模型上圮m i ，1 ，k ，形 与改进后的常均值模型 l ，l ，l 万 等价故改进后的常均值模 型 1 i v 艿 为 弗= 肛+ k ，一一，v 】 筋= 颤q + q ，鳞b 形】 其中形= c - p 。1 一1 ) 。 综合以上可知，对每一时刻r 常均值改进模型记为 l ，l ，矿，万 ，0 2 ，方差为c ( n 一2 ) ，在一专 时，方差为c 。根据模型的定义，在去掉v 的条件下有 “i d o ) - r , k ，c 。】 其中c o = s o q 。在指定初始先验时，预测者给出矿的、磊，鳓的m 0 、c o 。注 意到由r 先验分布 陆k id o 】= c o n o ( n o 一2 ) ，瓴 2 ) 当较大时，实际上矿= 瓯。鳓的先验分布近似于均值为，方差为c o 的正态 分布。 结论：由上述模型，可得如下结果( f 1 ) ； ( 1 ) 在y 条件下， o ii f , d _ ) b i q ，y c 二。j “i f , q 一。) 一【m f l ，r r j 以i f , d i q ) 一，阿j “l n 口) 一k ，暇j 其中 砰= q + 形 z = i n t _ i 妨= l + 砰 m l = m t - 1 + 4 e , c = 一霹镬= a e i = y t f i a i = 镬 ( 2 ) 对于稽度= 矿一， id t 一。) 一r “q 2 ，西q 2 ) 1 4 ) 一r “2 ，玩1 2 ) 1 7 硕士学位论文 第二章贝叶斯模型 其中一= 一。+ 1 ，t = 吐- i + z 研。 ( 3 ) 去掉条件v ， “。fd | - 。) 毛。h 。，c | _ l 】 “1 4 一。) 一毛。k 川置】 抚id f ) 一。阮，q 】 以id t ) 瓦k ，c f 】 其中 c t - 1 = s i 鬈d ，r 。= s t r ： q i t s t 。q i 。 s h = d t d n , 4 ，s t = d t i n t ( 4 ) 修正方程： m t2 鸭1 十4 e t c t = 碴t s t m t 一霹q t = a s l s t = d t m t 怫= 啊- l - i - i d t = d 。也+ s t e j q , q i = 墨- l + r t a = r t q t 证明：结论( 2 ) 、( 3 ) 、( 4 ) 假设( 2 ) 中的先验分布成立，即劬f q 。) r n 。2 ，面。2 。 由( 1 ) 知id | ，纠一 u ，研初， 故 p id , ，力a c 矿e x p f - o 5 矿e ? 研 由贝叶斯定理，得到一的后验分布： 硕士学位论文 第二章贝叶斯模型 - t + l ，r、， 却id 1 ) 尹t 1 计+ 倌) 吖2 j 所以 ，一忸，期 其中修正系数一= n t - i + 1 。吐= “+ 孑岔。因此( 2 ) 得证。 再由( 1 ) 、( 2 ) 知 以。i 仍皿q ) n m l - i ，c 。d 如id t 一。) 一r h 一2 ，吐。2 】 故p 慨，= 矗十等 而i q 小降) 等一v 玛2e x p ( 一争砌q 等) 故 毗。i n , 4 ) = r p ，伊id 1 蚴 = r p l 仍d ，- 1 ) 础ld ，- l 坳 小学e x - 扣呸爿卜 令 一= n t _ i + 1 ， m 。+ 气竽= 外q + 竽 c , - i = q 4 d t d f n 所以妣) a c r p d 一善妒卜 = 日) 专r 匕缈) e x 寸吾9 户曙p ) = r ( ( 鼍m + 气爿 1 9 硕士学位论文第二章贝叶斯模型 卜+ 钭掣 故“4id ，。) 气。k 。g 。】 完全类似地可以证明： 以i d , 。) 毛。h + 局】 b i d , ) 毛。阮，q f 】 如ld f ) 一毛h ，g 】 喜中s t d = d i | n 。 q 。；墨一。矗 r 。= s t 4 r ： q = 墨一。岔 s t = d | | n t c f = 墨q ( 4 ) 的证明在上述证明过程中已经得到 由以上结论可以看到，在d l m 中，如果v 是未知的，则令矿= v 一，并 设矿的先验分布为咆，詈) ，咖一b ，c 尹一1 】，则容易得到； ( i ) x ，矿的联合分布密度为 以，伊) = w ( 2 彬洋e x p _ 矿g 一埘) 2 ( 2 c ) 卜价5 瞧胪讲绯， 伊争。缈k 一所) ：c e x p - c + , f m v 2 一j 1 伊 缈f 一所j + ( ) 的后验密度为 硕士学位论文 第二章贝叶斯模型 础l x ) 矿争e x p - 矿k 一小) 2 c + d 础l x ) 矿一e x p - 矿b 一小) 2 c + d 恻 即 i 工) 一唯2 ，d 2 ) 其中一+ = n + l ，d = d + g m ) 2 c 、 根据t h es a ss y s t e mf o rw i n d o w s9 0 所编程序，对美国出口额( 单位： 十亿元) 变化进行了预测。表7 - i 和图7 - 1 分别表示从1 9 6 0 年到2 0 0 5 年的出口额 的对数值的一阶差分序列。 表2 - 2出口额的对数值的一阶差分值 2 1 硕士学位论文第二章贝叶斯模型 隶 捌 搴 i 年份 图2 - 2 一折扣i 一- 折扣o 口 折扣o j 一折扣o 0 广阶差分 由图7 - l 见，水平肼的随机变化较大。而状态误差方差形是反映水平的变 化程度，本例用几个具有不同职的模型来说明如何评价预测性能，状态误差方 差形可由折扣因子万给出，假设研究的四个模型是由折扣因子值0 7 ，0 8 ，0 9 和l 所确定的。初始先验为= 0 ，c o = l ，n o = 1 ，a o = 0 0 1 ，图7 - 2 中给出了 艿= 1 。艿= 0 9 ，艿= 0 8 ，j = 0 7 ，这四个模型的数据和一步点预测序列。显然，对新 数据修正程度随着d 的减少而增加，这导致了预测更接近实际情况。 一 一 o o 兰三三三” 糍嚣 鼢一 ”三兰 硕士学位论文 第二章贝叶斯模型 由上可见，模型的比较实际上比较折扣因子的合适性，表7 - 2 给出了各种量， 前两个量是在估计预测精度是经常遇到， 4 6 即平均绝对误差 彻= k 1 4 6 l 方误差旌e = 4 4 6 ，第三个量是基于观测预报密度 l 4 6 p ( ) ，* ，y 4 5 ，y lid o ) 5g 比id f 一- ) 为方便起见，风包括了折扣因子艿，所以对每个占值，上述三种量提供了一个 对模型预测性能的度量。 表2 - 3 模型预测性能的比较 折扣 10 90 80 7 4 6 朋疆d1 0 3 6 5 9 5 1 0 3 4 5 1 91 0 3 2 6 51 0 3 0 5 8 1 4 6 题e2 8 5 4 4 1 72 7 8 8 5 1 l 2 7 2 ，5 4 8 82 6 6 5 2 2 3 上是3 4 4 5 6 7 8 3 93 1 “0 2 8 3 93 0 5 1 1 4 e - 3 9 3 0 9 8 4 6 8 3 9 其中密度函数是关于万的一个似然函数，对于不同的艿就有不同的模型。如 果由表7 - 2 知，m s e 和m a d 表明了万越小预测特性越好，然而l l r 却倾向于0 8 ， 这是由于它考虑了被m s e 和m a d 所忽略的预测分布的方差，在这个n r 中，它 既考虑了预测准确度又考虑预澳i 精度。 2 4 2 观测误差方差已知的情况 当方差已知时，可以根据以上介绍可知其计算步骤为： ( 1 ) 墨= c t 1 6 ( 2 ) 口= 置+ y ( 3 ) 4 = 置q , ( 4 ) 丘l = m t _ l ( 5 ) b = 儿一厶 硕士学位论文 第二章贝时斯模型 ( 6 ) q = 4 y ( 7 ) 刮l + 4 b t 注意：在中被使用的信息仅有( 1 4 ) l - l 美国出口额的预测，预测模型的初始信息为 脚o = 2 0 2 1 2 ，c o = 7 2 ，v = o 0 0 0 1 ，j = 0 8 ， 得到的1 9 6 0 - 2 1 1 1 1 6 年的预测结果。见表7 - 3 中给出了预测的部分信息，1 9 6 0 - 2 0 0 6 年的预测信息。 表2 - 4 常均值折扣模型计算结果数据 序号 预测分布修改系数观测值误差后验信息 ， 方差q 均值z4 y t e tc f 0 2 0 2 1 27 2 l9 0 。0 0 0 1 2 0 2 1 20 鲫1 9 钙1 91 9 6 5o 5 6 21 9 6 5 0 0 1 6o 0 1 0 0 0 0 20 0 1 2 6 0 01 9 6 5 0o 9 9 2 0 6 3 2 0 1 0 84 1 4 5 82 0 1 0 7 9 5 o o ( 1 9 1 9 2 0 3o 0 1 2 5 0 l2 0 1 0 40 9 9 2 0 0 l2 0 7 8 1- o 6 7 72 2 2 7 1 7 6 0 0 0 9 9 2 0 40 0 1 2 5 0 1 12 2 2 5 5o 9 9 2 o2 2 2 7 20 0 1 7 2 5 5 0 0 6 4o o c l 9 9 2 0 50 0 1 2 5 0 02 5 4 8 5o 9 9 2 0 0 02 5 5 0 14 1 0 1 62 6 4 6 0 8 9o 州 9 9 2 0 6o 0 1 2 5 0 0 2 6 4 5 30 9 9 2 0 0 02 6 4 6 10 0 0 82 9 3 0 9 6 80 0 0 9 9 2 0 7o 0 1 2 5 0 0 2 9 2 8 7o 9 9 1 2 0 0 02 9 3 1 _ 0 0 2 3 3 0 6 6 5 3 5o o c l 9 9 2 0 80 0 1 2 5 0 0 3 0 6 5 5 o 9 9 2 o 3 0 6 6 6 - 0 0 1 1 3 3 6 2 5 6 7o 0 ( 9 9 2 0 90 0 1 2 5 3 3 6 0 2o 9 9 2 0 0 0 3 3 6 2 6 - o 0 ：2 4 3 6 4 1 3 6 9o “ 9 9 2 0 1 00 0 1 2 5 0 03 6 3 9 2o 9 9 1 2 o3 6 4 1 4_ o 0 2 24 2 4 6 8 3 3 o 0 0 9 9 2 0 1 l o 0 1 2 5 0 0 4 2 4 2 00 9 9 2 0 0 04 2 4 6 94 1 0 4 94 3 3 1 8 9 1o 伽1 9 9 2 0 1 20 舟1 2 5 0 0 4 3 3 1 l0 9 9 2 0 0 04 3 3 1 9旬0 0 84 9 3 8 0 3 3o 0 c 1 9 9 2 0 1 3o 。0 1 2 5 0 0 4 9 3 3 2o 9 9 2 0 0 04 9 3 8 1 o 0 4 9 7 1 4 0 7 5 5o 肿9 9 2 0 1 40 0 1 2 5 0 1 1 7 1 2 3 3o 9 9 2 0 7 1 4 1 0 o 1 7 7 9 8 3 0 3 0 10 0 0 9 9 2 0 1 50 0 1 2 5 0 09 8 0 8 9o 9 9 2 0 0 0 9 8 3 4 j 2 1 71 0 7 0 8 70 0 0 9 9 2 0 1 6 0 0 1 2 5 0 01 0 7 0 2 60 9 9 2 0 0 01 0 7 0 8 8_ 0 0 6 21 1 4 7 4 4 1o o d 9 9 2 0 1 7 0 0 1 2 5 1 1 4 6 8 3o 9 9 2 0 1 1 4 7 4 5m 0 6 21 2 0 8 1 5 3o o d 9 9 2 0 1 80 0 1 2 5 0 0 1 2 0 7 5 7o 9 9 2 0 1 2 0 8 1 64 1 0 5 91 4 2 0 7 2 6 o o d 9 9 2 0 1 9o 0 1 2 5 0 0 1 4 1 9 0 50 舢1 4 2 0 7 5o 1 71 8 4 4 3 4 30 0 ( 1 9 9 2 0 2 0 o 0 1 2 5 0 01 8 4