（概率论与数理统计专业论文）arfma模型的bayes估计.pdf

中文摘要 中文摘要 分别在固定节点和自由节点两种情形下，本文利用b a y e s 样条技术对自回 归函数系数滑动平均模型进行统计分析利用截幂样条函数近似系数函数，通 过设置合理的先验，得到了所有参数的联合后验密度，进而导出了所有参数 的条件后验分布我们利用g i b b s 抽样器抽取后验密度的样本，以对模型中的 参数和非参数进行统计推断特别是对自由节点的情形，我们采用了可逆跳 m c m c 技术我们用仿真例子证实了本文所建议的方法，并应用于实际数据 的分析 关键词：截幂样条；g i b b s 抽样器；可逆跳m c m c 英文摘要 a b s t r a c t 2 b a y e s i a ns p l i n et e c h n i q u ei sa d o p t e dt oa n a l y s ea u t o - r e g r e s s i v ef u n c t i o n a l - c o e f f i c e n tm o v i n ga v e r a g em o d e l t w oc a s e $ o w ec o n s i d e r e d ，o n ei sb a y e s i a ns p l i n e w i t hf i x e dk n o t s ，t h eo t h e ri sb a y e s i a ns p l i n ew i t h 缸e e - k n o t s w ed e r i v ea l lo ft h e f l l n yc o n d i t i o n a lp o s t e r i o rd i s t r i b u t i o n s a n do b t a i nt h ee s t i m a t i o n so fa l lo fu n k n o w n q u a n t i t i e sb yv i r t u eo fg i b b ss a m p l e r i np a r t i c u l a r ，w em a k eu s eo ft h er e v e s i b l e j u m pm a r k o vc h a i nm o n t ec a r l oa p p r o a c hf o rb a y e s i a ns p l i n ew i t hf r e e - k n o t s t h e p r o p o s e dm e t h o d sa r ei l l u s t r a t e db ys i m u l a t i o n sa n dr e a le x a m p l e s k e y w o r d s ：b a y e s i a ns p l i n e ；g i b b ss a m p l e ；r e v e s i b l ej u m pm c m c 厦门大学学位论文原创性声明 本人呈交的学位论文是本人在导师指导下，独立完成的研究成果。 本人在论文写作中参考其他个人或集体已经发表的研究成果，均在文 中以适当方式明确标明，并符合法律规范和厦门大学研究生学术活 动规范( 试行) 。 另外，该学位论文为() 课题( 组) 的研究成果，获得() 课题( 组) 经费或实验室的 资助，在() 实验室完成。( 请在以上括号内填写课 题或课题组负责人或实验室名称，未有此项声明内容的，可以不作特 别声明。) 声明人( 签名) ： 年月日 厦门大学学位论文著作权使用声明 本人同意厦门大学根据中华人民共和国学位条例暂行实施办法 等规定保留和使用此学位论文，并向主管部门或其指定机构送交学位 论文( 包括纸质版和电子版) ，允许学位论文进入厦门大学图书馆及 其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、 硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇 编出版，采用影印、缩印或者其它方式合理复制学位论文。 本学位论文属于： () 1 经厦门大学保密委员会审查核定的保密学位论文， 于年月日解密，解密后适用上述授权。 () 2 不保密，适用上述授权。 ( 请在以上相应括号内打“或填上相应内容。保密学位论文 应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密 委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认 为公开学位论文，均适用上述授权。) 声明人( 签名) ： 年月日 a r f m a 模型的b a y e s 估计 第一章绪论 1 1 背景知识 时间序列分析是数理统计中的一个重要分支，其综合利用随机过程理论 和数理统计的方法来研究随机序列的规律性时间序列分析在经济领域中的 研究和应用一直都很活跃，并扩展到社会、气象、水利、交通、信息、农业和 工业领域b o x 和j e n k i n s ( 1 9 7 9 ) 提出的线性自回归移动平均( a r m a ) 1 】模型 已经形成了相当完善的理论然而，实际中的一些现象却无法由该模型得到合 理的解释为了得到更完美的结果，一些参数化的非线性模型相继被研究， 比较典型的有，门限自回归( t a r ) 【2 1 1 3 模型、指数自回归( e x p a r ) 4 模型和 双线性( b l ) 【5 j f 6 】模型三种由于与线性函数相对应的非线性函数有无穷多种 形式，要全部研究是不可能，因而近年来人们更多的采用非参数模型，即并 不假定函数的具体形式，而由数据自动的寻找这方面的工作主要有函数系 数自回归模型( f a r ) t 7 8 模型、自适应函数系数自回归( a f a r ) 0 模型、可加 自回归( a a r ) 嗍模型、单指数自回归( s i a r ) 模型、函数系数自回归移动平均 ( f a r m a ) 1 u 】模型等当然，上述模型，无论是参数的，还是非参数的，均是 在最经典的a r m a 模型特别是自回归模型的基础上推广得到的 同经典方法一样，利用b a y e s 方法分析时间序列模型也是常用的手法在 1 9 7 1 年，z e l l n e r 1 1 推导出了一阶及二阶的自回归模型的先验及后验密度； 1 9 7 6 年，b o x 和j e n l 【i n s 【l 】用b a y e s 理论对自回归滑动平均模型进行了分析； 1 9 8 3 年，m o n a h a n 1 2 建立了b a y e s 方法分析时间序列模型的完整理论，并说 明b a y e s 方法不仅适用于时间序列领域，而且方便快捷在时间序列领域用 b a y e s 理论作出巨大贡献的还有b r o e m e l i n g 和s h a a r a w y 堋 随着m a r k o vc h a i nm o n t ec a r l o 算法【1 4 】的提出，b a y e s 方法已经成为分析 统计模型的强有力工具在时间序列的统计推断方面，主要的工作有；m e c u l l o c h 和t s a y 【1 5 】利用g i b b s 抽样器讨论了自回归模型的参数估计；b a r n e t t ，k o h n 和s h e a t h e r 1 6 利用更一般的m a r k o vc h a i nm o n t ec a r l o 技术对自回归模型从 事了更深入的分析；m a r r i o t t 和s m i t hf “j 对线性a r m a 模型从事了b a y e s 分 3 a r f m a 模型的b a y e s 估计 4 析；c h e n1 18 】1 1 9 】利用g i b b s 抽样器方法分别讨论了双线性模型和门限自回归 模型的统计推断问题 最近，利用自由节点的b a y e s 样条技术分析非参数模型成为一种有竞争力 的新方法，这方面的工作有，i b r a h i m 和l a u l d 【2 0 】使用j e i f r e y s 先验对广义线性模 型进行b a y e s 分析；d e n s i o n 、m a l l i c k 和s m i t h 【2 1 】讨论了使用b a y e s 方法进行拟 合曲线；h o l m e s 和m a l l i c k 2 2 讨论了多元线性样条的b a y e s 回归；d i m a t t e o 、 g e n o v e s e 和k a s s 2 3 提出了自由节点样条的b a y e s 曲线拟合；l i n d s t r o m 2 4 讨 论了使用可逆跳对自由节点样条进行b a y e s 估计；c h e n 和i b r a h i m 【2 5 1 提出了 广义线性模型的共轭先验；e h l e r s 和b r o o l 【s 【2 6 】讨论了利用r j m c m c 有效地 构造自回归模型，他们【7 】还对阶数不确定的a r i m a 模型进行b a y e s 分析； u n n i k r i s h n a n 【n 8 1 研究了时间序列子集的b a y e s 选择问题；c a m p b e l l 2 9 1 则研究 了自激门限自回归模型的b a y e s 选择；v e r m a a k ，a n d r i e u ，d o u c e t 和g o d s i l l 3 0 利用r j m c m c 技术讨论了自回归过程的模型选择问题；w a n g 和g e o r g e l 3 1 引进自适应b a y e s 准则讨论了广义线性模型的变量选择；w a n g 和p o o n 【2 】研 究了单指数模型的b a y e s 估计和变量选择问题同经典的局域多项式、惩罚样 条、回归样条等方法相比，通常可以获得更精确的估计 1 2 文章结构 本文分析自回归函数系数滑动平均( a r f m a ) 模型该模型由其w a n g 3 3 提出，一般形式如下； pq z t 十 _ a m x m = 鼠+ f9 仇( z t - m - d ) c ，(121amxtd ) g t - m 21 ) z t 十 一m2 鼠+ 9 m 【z，【) j _ 一_ - 一 m = lm = l 其中， t ) 是均值为0 、方差为仃2 的独立同分布序列，整数p 、q 称为模型 的阶数，正整数d 称为延迟，9 1 ( ) ，踟( ) 是任意的一元函数事实上，若 9 1 ( ) ，蜘( ) 均为常数，则就是a r m a 模型因此，a r f m a 模型是a r m a 模型的直接推广 w a n g 3 3 】详细讨论了该模型的概率性质，包括平稳性条件、自协方差函数 和三阶矩结构，并利用局域多项式方法给出了模型中函数系数的估计 a r f m a 模型的b a y e s 估计 本文利用b a y e s 方法分析a r f m a 模型第二章首先构造该模型的b a y e s 框架在节点给定的条件下，我们用截幂样条函数逼近系数函数，导出了模型 的似然函数通过设置参数的先验分布，获得了参数的联合后验分布为了利 用g i b b s 抽样器进行抽样，我们导出了主要参数的全条件后验分布由于实际 中，样条节点个数和位置通常是未知的，也需要估计，因此第三章中我们进一 步采用自由节点的b a y e s 样条节点来分析a r f m a 模型在第二章和第三章 中，我们分别用仿真的例子验证了所建议方法的有效性第四章应用建议的方 法分析一个实际例子第五章对本文的研究内容进行了简单总结 5 a r f m a 模型的b a y e s 估计 第二章 a r f m a 模型的b a y e s 估计 2 1b a y e s 框架 2 1 1 似然函数及先验分布 假设 x t i t = l ， 是n 个来自a r f m a ( p ，q ；d ) 模型的观察值，初始值 取x t = 反= o ，t 0 则模型的似然函数可以近似表示为 砸荆o c ( 呐一掣唧 一刍。妻n 。篁；) ， 其中= m a x ( p ，q + d ) ，而 色) 由 g t = 轨+ n 枘一m 一g m ( x t - m - d ) & 一m t = 1 ，n 递推得到 事实上，只要模型a r f m a ( p ，q ；d ) 是可逆的，即当t _ + o 。时，岛一邑一0 几乎处处成立，则上述近似是合理的这也是时间序列分析中常用的近似方 法 对于模型中的函数( 祝) ，m = 1 ，q ，我们用j 阶截幂样条函数来逼近 因此，9 仇( 观) 能表示成如下形式； 瓤( 。0 = 霹，m ；l ，窖 其中，咒：( 1 ，霹，( 祝一7 ，m ) - ，( 一，y k ，m ) 乏- ) t ，+ ：m a x ( 乱，o ) ， = ( z o ，m ，岛，m ，岛+ 1 。，岛+ 知。，m ) t 是系数向量，个节点 = ( ，y l ，弧。，砚) t ，满足约束z ( 1 ) ，y 1 ，艰 ，y 。，m z ( n ) ，这里的z 1 ) 和z ( ) 分别是集合 祝；t = 1 ，) 的最小值和最大值 为了构造b a y e s 框架，我们需要设置参数的先验分布通常，先验分布的 选取应以合理性作为首要原则，同时兼顾计算的方便性，最常用的先验分布是 共轭先验简单地说，如果把先验密度当作根据历史经验对参数的认识，后验 6 a r f m a 模型的b a y e s 估计 密度当作知道样本后对参数的重新认识，则这两者之间应具有同性，即属于 同一类分布族对于参数o = ( 0 1 ，) t ，风，m = 1 ，g 和矿2 ，本文皆采用 共轭先验分布，但对于参数k 和7 m ，m = l ，口，要提供一个合适的共轭先 验是非常困难的，为了分析的可能，我们分别采用超参数为a 的p o i s s o n 分布 和区间p ( 1 ) ，z ( ) 】上的d i r i c h e c t ( 1 ，l ；1 ) 分布具体地， 1 参数a = ( 0 1 ，a p ) r 的先验密度 令参数口的先验分布是期望向量为0 ，协方差阵为, , 2 r i p ( 其中：昂是 p 阶单位阵，丁为一常数) 的正态分布( o ，盯2 丁厶) ，即 m 妒) 坤2 ) 一詈e x p 一丽a t a ) 2 节点个数k ，m = 1 ，g 的先验密度 节点个数的先验分布是以a 为参数的p o i s s o n 分布，即 喁) = 等，m _ 1 ，q 3 节点位置，m = 1 ，q 的先验密度 七。个节点z ( 1 ) 7 0 ，竹t 7 1 ，。 饥。，m 一y k + 1 ，m z ( ) 将区间 ( z ( 1 ) ，z ( ) ) 分解成k + 1 个子区间m 一1 ，m ，r l ，。) l = 1 ，2 ，- t - 1 每个 子区间占整个区间长度的比值为丽 i 而- - r l - - 1 ，通常假定该比值服从d i r i c h l e t 分布d ( i ，1 ，1 ) ，即( r l ，r 2 ，。) 为区间( a ，b ) 上均匀分布的次序统计 量 订( i ) = 而k m k ， 其中k = o x o ) 7 l ，。 7 七。，m z ( ) 6 ) 为示性函数 4 参数如，m = l ，q 和盯2 的先验密度 ( a ) 取正态一逆r 分布族，即 矿，g ( 兰，i ) ， 艮旷，一n j + l + k m ( o ，萨丁) ， 7 a r f m a 模型的b a y e s 估计 8 其中y 为给定的l + 歹+ 阶非负定方阵，注意阶数与节点个数有关由 此得到 哪棚坤州一掣p ) 一学吲一 唧 _ 堂笋) 虽然理论上y 可以取任意的非负定方阵，但最常用的有两种，= j 和 = ( 碟) 。 ( b ) 上式中盯2 取无信息先验分布 7 r ( 盯2 i 。) o ( ( 盯2 ) 一1 ， 这相当于口= 0 ，s = 0 2 1 2 联合后验分布 由b a y e s 定理，所有参数的联合后验分布为 p ( n ，p ，7 ，盯2 ，k l x ) o ( 工( n ，p ，盯2 ，7 ，k l x ) r ( o l 盯2 ) 丌( l ) i i7 r ( z , 。l a 2 , ) 丌( 盯2 ) y i 丌( ) ( 呐一掣唧 一孬1 。妻n 。芒 ) ( 呐一墨唧 一骞) 里qf k m 而! k 里qt入km e x p ( _ ) t ) q 2 ) 一学吲一；唧 t 7 1 = 上 。 巾2 ) 呼唧 _ 刍 ， ( 2 1 1 ) 其中，p = ( 卵，鳄，露) t ，7 = ( 7 ，7 多，7 孑) r ，膏= ( k l ，k 2 ，) t ， z = z 1 ，x 2 ，z ) 由上面的式子可以发现，联合后验密度的形式极其复杂，直接从后验分布 推断参数是非常困难，因此我们采用m a r k o vc h a i nm o n t ec a r l o 技术产生后验 分布的样本，以达到推断参数的目的 a r f m a 模型的b a y e s 估计 2 2 抽样 首先固定节点个数和位置，为了利用g i b b s 抽样器产生联合后验( 2 1 1 ) 样本，下面导出所有参数的全条件后验分布 2 2 1 全条件后验分布 1 参数a 的条件后验密度 给定参数，7 ，0 2 ，k ，参数a 的条件后验密度为： p ( a l e , 7 , 0 2 , k ；x ) e x p 一驴1 ( 虼一五矿( 虼一咒口) _ 嘉) ， 其中五为( 一p 1 ) p 矩阵 ：r ：鼍： 一z n 一1 一z n 一2 一z n p 圪为( 一p ，) 维向量，其第i 个分量为： 赫( 一一d ) ，是9 仇( 唧州一m d ) 的估计值，( 兢) = 碍风 通过计算可以导出 o i p ，1 ，( 7 2k ；x n p ( a ，a 2 z a ) ， ( 2 2 1 ) 其中a = ( t - - 1 易+ 昭五) 一1 昭k ，口= p 一1 昂- - kx y x o ) 一 2 参数，m = 1 ，q 的条件后验密度 给定参数a ，7 ，盯2 ，k ，参数艮的条件后验密度为： p ( 艮h 7 ，肛m , o 2 , k ；x ) e x p 一再1 ( 一如几y m 一) 一篮黪) ， 9 iliil_l p p 一 一 l 2 卅卅； z z 一 一 m 一 “ 匆 力 一l 兰一 “啊轨 。瞄 一 “ 印 a r f m a 模型的b a y e s 估计 其中：p m = ( 岛，风一1 ，风+ 1 ，岛) ，为( n 一歹) 0 + 1 + ) 矩 阵 当i = 1 时，第i 列是 ( 岛，+ l m ，雩矿+ 2 一m ，g n m ) ， 当1 l = j + l 时，第i 列是 ( z 筹1 一m d 勺，+ 1 一m ，z 髯2 一m d 岛，+ 2 一m ，z 船m - d 拿 r 一仇) ， 当j + 1 i = k m + 歹+ l 时，第i 列是 ( ( z p ，+ 1 一m d 一仉一j 一1 ，m ) ；_ 知+ 1 一。，一，( x n m d 一一j 一1 ，m ) ；- 白、r m ) ， y 仇为( 一) 维向量，其第i 个向量为： p +nmxf+ixp,+i一。一如( 即+ 卜州) 勺，+ i - n ，+ 2 。n mm 一2 。如( a 矿+ 一竹一d ) 勺， ， 通过计算可以导出： 其中 m = l 佗r ” 风l o ，7 ，肛m ，盯2 ，k ；x 一+ 1 + k ( 风，盯2 卢。) ，( 2 2 2 ) 风= ( r 一1 际1 + 碍) 一1 碟，= ( 丁一1 1 + 碟) ，仇= 1 ，q 3 参数盯2 的条件后验密度 给定参数o ，芦，y ，参数盯2 的条件后验密度为 即：h 肌 拈p ) - 坐掣掣型唧卜学) ， 即 盯2 l a , p ，5k ；x , i g ( 些生型孚趔， 其中：=! 三堡：；l 生互坯：生翌二! f 学) ，2 ( 2 2 3 ) 1 0 a r f m a 模型的b a y e s 估计 2 2 2 具体算法 固定节点个数k 和节点位置7 ，采用g i b b s 抽样器得到n ，盯2 ，风，m = 1 ，q 的估计值 第一步：对所有的参数赋予初值，并设a ，p ，仃2 的初值为n ( 0 1 ，3 ( 0 ) ，a 2 ( o ) 第二步：假设已经得到了参数a ，卢，盯2 的第i 个状态口( ，p ( 引，a 2 ( i ) ，接下来通过 以下步骤，获得它们的第i + 1 个状态： 1 抽取参数a 的第i + 1 个的随机数：直接从( 2 2 1 ) 抽取得到口( 件1 1 2 对m = 1 ，q ，抽取参数风的第i + 1 个的随机数：重新计算 pg & = 瓯+ o 射1 ) 一。一嘏( 一m d ) 仇， m = l m = l 直接从( 2 2 2 ) 抽取得到卢驴，进而得到雪舻1 ( 祝) = x t t s ( i + 1 1 ，其中 x t = 【1 ，祝，霹，( 晚一7 1 ，m ) ，( 1 k 。，仇) ) 3 抽取参数o r 2 的第i + 1 个的随机数：重新计算 pq g t = x t + o 铲x t m 一甜1 ( 珏。一d ) 白一m ， m = lm = l 直接从( 2 2 3 ) 抽取得到a 2 ( i + 第三步：重复第二步，直到抽到的样本收敛于各个参数 2 3 数值演示 在这一节里，我们通过仿真例子来验证所建议方法的有效性所有的迭 代初值我们分别取n ( o ) = ( 0 ，0 ，o ) t ，觥j = ( 0 ，0 ，o ) t ，仇= 1 ，q ，a 2 ( o ) = 1 0 ，我们用二阶截幂样条基逼近系数函数，节点个数均取= 5 ，m = 1 ，q ， 节点位置取样本的等分位点，即取，f = x ( fi 丛1 1 ，i = 1 ，k ，m = 1 ，q 对于先验分布中的超参数，取妒= 0 ，8 = 0 ，丁取样本容量的倒数 例1 ：考虑a p 。f m a ( 2 ，2 ；1 ) 模型 - ，t j 已一1 + o 7 5 x t 一2 = t 一1 6 x t 一2 e x p ( 一j ( 暑2 ) e t l + o 8 s i n ( 2 x t 一3 ) t 一2 ，( 2 3 1 ) a r f m a 模型的b a y e s 估计 其中 鼠 为独立同均值为0 方差为0 2 5 正态分布随机变量利用随机方法 产生容量为7 0 0 的样本为了消除初值的影响，删除前2 0 0 个，只用后面的 n = 5 0 0 个作为有效样本按照第二节描述的算法迭代6 0 0 0 次，取前面1 0 0 0 个 观察值作为预热，利用后面的5 0 0 0 个观察值的平均值作为后验均值的估计 这种试验重复进行了1 0 0 次，在c o r e ( t m ) d u ot 2 4 5 02 0 0 g h z 的机器上c p u 每次所花的时间大约是2 0 秒 表2 1 报告了模型参数的后验均值、后验中值，标准差和9 0 最高后验 密度区间( h p d ) ，得到的模拟结果如图2 1 可见，各个参数的估计值都非常接 参数真值均值中值标准差 9 0 h p d 近于真值，而相应的置信区间也包含了真值 图2 1 参数估计与函数系数偏差的箱型图 1 2 ! ! 坠垫堡1 91 1 坚堡塑 1 3 为了检验g i b b s 抽样器的运行状况，我们从1 0 0 次试验中随机抽出一次 试验，圈2 2 分别刻画了主要参数的g i b b s 抽样器的运行状况图2 3 分别刻 画了系数函数的拟合状况两个函数与真实值之间的偏差分别是0 0 0 5 9 9 9 3 和 0 0 3 7 0 6 2 8 ，可见拟舍程度还是程高的 一08 - 1 12 09 08 07 07 5 05 o2 5 0 j 丑【i i i _ j 一出山j i 越血i 溘山_ j i 上l o 吐山址j 。“ | l ! ! - 呷邗唧1 1 r | - i 胛唧伊下。_ 呵i _ e 鄹册r 阿f 1 即f 1 0 0 02 0 0 03 0 0 0 4 0 0 05 0 0 06 0 0 0 a 2 0 0 02 0 0 0 3 0 0 0 4 0 0 0 5 0 0 06 0 0 0 s i g m a 2 i 一- li - i - ：山- - 1 - 0 j ji n k 01 0 0 0 2 0 0 03 0 0 04 0 0 05 0 0 06 0 0 0 图2 2 参数口及护的g i b b s 抽样器的运行状况 图2 3 系数函数的二次截幂样条函数逼近：真实函数( 粗) ，估计函数( 细) 1 4 a r f m a 模型的b a y e s 估计 第三章可逆跳m e t r o p o l i s - h a s t i n g s 算法 在前一章里，在节点个数和位置已知的条件下给出了a r f m a 模型的b a y e s 估计但是实际中节点个数和位置通常是未知的，也需要估计针对上述的问 题，我们采用可逆跳m c m c 算法自动地选择节点个数和节点位置 3 1 跳跃类型的设计 对于函数系数9 m ( ) ，m = 1 ，2 ，q ，假定当前个节点的位置为= ( 7 1 ，仉， t 2 ，仇，饥。，。) t ，建议的节点个数和位置为( k ，彳m ) 通常有三种方法来 改变节点个数和位置 1 5 1 增加一个节点( b i r t h ) 以概率b k ，。增加一个新节点”，即k = + l ，p ( ，+ 1 ) = b m ， 注意到当前的个节点将( z ( 1 ) ，z ( ) ) 分成了凫m + 1 个区间，为了增加一 个新节点，首先随机选择一个区间i ，h 一1 删仉，m ) ，再从标准均匀分布中产 生一个随机数7 ，令新节点的位置为口= y i 一1 ，m + h ，m 一仉一1 ，m ) 7 7 因此，候选节点为 = ( 7 l ，仇，仉一1 ，。，弘，m ，他。，m ) ， 则候选参数为 风= ( 岛，m ，仇。+ j + 2 ，m ) 2 删除一个节点( d e a t h ) 以概率民m 在已存在的个节点中随机选取一个仉，。，( i = 1 ，2 ，k m ) 删除，则k = 一1 ，p ( ，一1 ) = d k 新节点为 = ( 7 l ，m ，仉一1 ，m ，+ 1 ，m ，讥。，m ) ， p ( l ，7 m ，一1 ) = 磊1 ，新参数为 风= ( 忍，m ，倪。钾，m ) a r f m a 模型的b a y e s 估计 3 移动一个节点( m o v e ) 以概率辄，m = 1 一b k ，。一d 七，仇随机选择已存在的节点( ，y 1 ，m ，m ) 中的一个( 比如，。) 移动则k = k ，p ( ，k m ) = 叼七m 候选节点的新位 置k m 从截断正态分布n ( t i ，。， ) j h - l ，m ，+ 1 m ) 中抽取，候选节点变为 = ( ，y 1 ，仇，饥一1 ，m ，k 。，+ 1 ，m ，y 南，m ) ， 候选参数为 = ( 风，m ，凤。勺+ 1 ，m ) 因增加一个节点和删除一个节点为互逆过程，故新增一个节点的接受 率为：q b ，m = m i n 1 ，a b ，m ) ，其中 a b 竹l = p ( 砧，k ，i n ，盯2 ，k - m , 皿m ；x ) p ( 启m l a ，7 詹盯2 ，肛。) d k + l ，仇丽1 1 6 p ( ，惫m ，y i 。，盯2 ，卢一m ，危一m ；z ) p ( 风i o ，彳，后，口2 ，p m ) b k ，m 彳= = = = 了百1 忑瓦：雨1 = 嘉球唧 警) 坚铲， 其中： 札一m = ( t 1 ，u m - 1 ，t 。+ 1 ，u k 。) ，鼠。= y z ( j j p 。j 岛) ， = 瑶( 卜风耘) 相应地，删除一个节点的接受率为：q d ，m = r a i n 1 ，a d ，m 】，其中 a d m = p ( z 。m ，罨。，彳l 口，a 2 ，七一m ，卢一m ；z ) p ( p 。i 口，y ，l 。，0 - 2 ，p m ) b k 一1 ，m i l = 弓i j = = 了= 1 了鬲 p ( 熊n ，h n ，7 l o ，盯2 ，艮m ，k m ；z ) p ( 口。i o ，痞，仃2 卢一m ) d k + l ，m i 三i 一 蹀? 簪) 丽等而， 由于移动一个节点并不改变节点的个数，因此，移动一个节点的接受率 为：q 7 ，m = r a i n 1 ，岛，m ) ，其中 a ，m = p ( 厉。，磊n ，彳i o 0 - 2 ，k m ，卢一m ；z ) p ( 只。p ，y ，忌，0 - 2 卢一m ) 叼七，。i b d ( 仉，m ，幢m ，盯 ) p ( 8 m ，k m ，7 i o ，盯2 ，卢一m ，k - m ；z ) p ( 风i o ，彳，后，盯2 ，p m ) 叼k ，m 击d ( ，y i m ，m ，盯；) 黠唧 簪) a r f m a 模型的b a y e s 估计 为了简化接受率的计算，特别取 6 咖乩4 m i n 【1 ，7 r ( 丌c m ( + ) 1 ) ) ， 嘶旷叫曲 ，衰) ， m = 1 ，q ， 显然b o ，。= 1 , d o ，。= 0 ，此时有l r ( k m ) b k ，。= 7 r ( + 1 ) d k + 1 m 3 2 具体算法 1 7 第一步：对所有的参数赋予初值，设参数a ，p ，盯2 ，七，7 的初值为o ( 0 1 ，p ( o ) ，0 - 2 ( o ) ，惫( o ) ，7 ( o ) 第二步：假设已经得到了参数a ，p ，2 ，k ，y 的第i 个状态a ( o ，f l ( o ，0 - 2 ( ) ，后( 1 ) ，1 ( 甜 接下来，获取它们的第i + 1 个状态： 1 抽取参数a 的第i + 1 个的随机数：直接从( 2 2 1 ) 抽取得到口( 件1 ) 2 对m = 1 ，q ，抽取参数如的第i + 1 个的随机数： ( a ) 由 色= 现+ o 射1 珏m 一鲋( 弘m d ) 芒t m m - - - - im - - - - 1 递推出新的 】， ( b ) 从标准均匀分布u ( o ，1 ) 中抽取随机数缸， i 如果t b k 删则运行( b i r t h ) 随机选择一个区间，在这个区 间产生一个新的节点位置，计算接受率a 6 仇，并产生个新标 准均匀分布随机数v ，如果v o l b 则增加一个节点，否则保 持节点不变 i i 如果b k ，仇 t b k 。+ d k ，m ，则运行( d e a t h ) 从当前的节点中 抽取一个节点并删除此节点，计算接受率口d m ，并产生一个新 的标准均匀随机数v ，如果秒 b k ，m + d k ，m 则运行( i i l o v e ) 从当前的节点中抽取一个 节点，从截断正态分布中抽取一个随机数，并作为新的节点， 计算接受率。叩，m ，并产生一个新的标准均匀分布随机数”，如 果v m ，则用新的节点代替原来的节点，否则，保持节点 不变 ( c ) 直接从( 2 2 2 ) 抽取得到麟+ 3 抽取参数2 的第i + 1 个随机数：通过 p口 色= 祝+ 。射1 ) 弘m 一甜1 ) ( x t - m - d ) 量t m m = lm - - 1 更新偷 ，直接从2 2 3 抽取得到a 2 ( 件。 第三步：重复第二步，直到抽取的样本收敛于各个参数 3 3 数值演示 在这一节中，我们仍用第二章的例子来验证所论述方法的有效性首先，所 有的迭代初值我们分别取n ( o ) = ( 0 ，0 ，o ) 丁，觥= ( 0 ，0 ，o ) t ，m = 1 ，q ， a 2 ( o ) = 1 0 ，节点个数是从参数入= 2 的泊松分布中随机抽取，节点位置从区 间陋( 1 ) z ( ) 】上的d i r i c h e c t ( 1 ，1 ；1 ) 分布中随机产生先验分布中的超参 数，取v = 0 ，s = 0 ，丁取样本容量的倒数，移动节点的建议分布中的超参数取 盯 = 0 0 1 ( ，m 一一1 ，仇) 2 例2 ：续例1 本例中，均用一次截幂样条基对系数函数进行逼近 利用随机方法产生容量为7 0 0 的样本为了消除初值的影响，删除前2 0 0 个，只用后面的n = 5 0 0 个作为有效样本按照第二节描述的算法迭代6 0 0 0 次，取前面1 0 0 0 个观察值作为预热，利用后面的5 0 0 0 个观察值的平均值作为 后验均值的估计这种试验重复进行了1 0 0 次，在c o r e ( t m ) d u ot 2 4 5 02 0 0 g h z 的机器上每次c p u 所花的时间大约是2 0 秒 表3 2 报告了模型参数的后验均值、后验中值、标准差和9 0 最高后验 密度区间( h p d ) ，而得到的模拟结果如图3 4 可见，各个参数的估计值都非常 1 8 a r f m a 垡型的b a y e s 估计 参数真值均值中值 标准差 9 0 h p d 接近于真值，而相应的置信区间也包含了真值 为了检验r j m c m c 算法的运行状况，我们从1 0 0 次试验中随机抽出一次 试验，图3 5 分别刻画了主要参数在r j m c m c 方法中的运行状况图3 6 分别 刻画了系数函数的拟合状况两个函数与真实值之间的偏差分别是0 0 2 7 2 0 2 8 和0 0 3 2 3 4 8 2 ，可见拟合程度还是很高的 图3 4 参数估计与函数系数偏差的箱型图 1 9 垒堕坐坚里塑里! 竺竺盐 2 0 砷- 卅_ “哪。_ _ ，叶1 _ 忡崎蚺_ ，_ 。惜一曲 ，舢 o f f ：2 0 0 0 3 0 0 04 0 0 05 0 0 06 0 0 0 a 2 - n j h j 山i “d - 一d 血- l n 山- l u | _ - = 。一w 一一t ”7 1 1 _ 1 t w 1 一_ 圉3 5 参数n 及口2 在r j m c m c 方法中的运行状况 图3 6 系数函数的一次截幂样条函数逼近：真实函数( 粗) ，估计函数f 细) 皇墨丛! 堡里塑旦型笪生 2 1 第四章应用实例 南方涛动( t h es o u t h e r no s c i l l a t i o n ) 现象是气象学中一十令人关注的现 象，一些学者希望通过对它的研究来揭示最近几十年来气候变化的规律考 虑南太平洋的塔希提岛( t a h i t i ) 和澳大利亚北部海滨城市选尔文( d a r v a n ) 两 地从1 9 5 0 年到1 9 9 5 年每月海平面平均压力之差数据集，共5 5 2 个观测值图 47 显示了该数据的平稳性 图47 南方涛动1 9 5 0 - 1 9 9 5 观察值 利用线性a r m a 模型建模技术，在b a 阳信息准则下，a r m a i1 ) 模型 丑一08 8 6 置1 = 日一0 4 2 9 t 一1 是最优的，相应的残差方差是5 53 5 1 ，进一步用a r f m a ( 1 ，1 ：d ) 模型 托+ q 置一1 = “+ g m 一1 一d ) ，_ 来对该数据集进行建模 ! ! ! 丛! 堡呈塑! ! 堕鱼笪 2 2 4 1 g i b b s 抽样法 设定d = 1 用二次截幂样条函数逼近系数函数g l 其中节点个数固定为 1 0 个，节点位置取款据集的等分位点所有的迭代初值分别取o o = 0 ，a 2 f 0 ) = l ， 按照第二章介绍的算法迭代6 0 0 0 次，取前1 0 0 0 个观察值作为预热，利用后面 的5 0 0 0 个观察值的平均值作为参数的估计，得到的模型为 置一08 8 4 0 4 置一1 = 十9 l ( x h ) p 1 ， ( 4 1 1 ) 其中，参数a l 和一的抽佯情况见图4 8 ，系数函数9 - ( ) 的拟合见图4 9 ，相应 oo4 0 o o 。日2 止址j - u 岫h “t l u 山_ ；上山一j 山，j l 山d j l - i l i 一“ - t l ，_ r “一一 ”r i r 一m - n r l t - ”一7 1 r n t ooo4 o 图4 8 参数的g i b b s 抽样情况 的平均残差方差d 2 = 5 4 4 l 竹，与a r - i a ( 1 ，1 ) 相比，模型( 4 1 1 ) 残差方差减步 了大约1 6 8 表4 3 显示了拟合模型参数的后验均值、后验中值，标准差和 9 0 最高后验密度区间( h p d ) 参数 均值中值标准差9 0 h p d a r f m a 模型的b a y e s4 陆- t 图4 9g i b b s 抽样法：估计的系数函数g l ( ) 4 2r j m c m c 抽样法 同样设定d = 1 ，用一次截幂样条函数逼近系数函数，其中节点个数初始 值为参数入= 2 的泊松分布随机数，节点位置为d i r i c h l e t ( 1 ，1 ；1 ) 分布的随 机数，初始迭代值分别取a o = 0 ，a 2 ( o ) = 1 ，按照第二章介绍的算法迭代8 0 0 0 次，取前3 0 0 0 个观察值作为预热，利用后面的5 0 0 0 个观察值的平均值作为参 数的估计，得到模型 j 一o 8 8 3 4 x t 一1 = e t + g l ( x t 一2 ) t 一1 ，( 4 2 1 ) 其中，参数a 和盯2 的抽样情况如图4 1 0 ，系数函数9 1 ( ) 的拟合见图4 1 1 ，相 应的平均残差方差寸2 = 5 4 7 3 3 8 表4 4 中分别显示了拟合模型参数的后验均 值、后验中值，标准差和9 0 最高后验密度区间( h p d ) 些! 兰! 些垦兰堕! 垫型竺堕 2 4 参数均值中值 标准差 9 0 h p d o1 3 4 0 o o o7 0 o o o 图41 0 参数在r j m c m c 方法中的抽样情况 图4 1 1r j m c m c 抽样法：估计的系数函数9 1 ( ) a r f m a 模型的b q 膨估计 第五章总结 分别在固定节点和自由节点两种情形下，本文利用b a y 髑样条方法分析 a r f m a 模型利用截幂样条函数近似系数函数，通过设置合理的先验分布， 结合似然函数，得到了所有参数的条件后验分布，设计了m e t r o p 0 1 i s h h a s t i n g 算法来进行抽样，特别是对自由节点的情形，采用了r j m c m c 算法，并用仿 真的例子说明了该方法的简便性与准确性最后，用南方涛动的实际数据来拟 合a r f m a 模型，既说明了该模型的应用性，又说明了算法的简捷性 对于函数系数进行估计时，本文采用的是截幂样条基，也可以采用有更好 数值特征的b 样条基，在选择节点位置方面，除了取样本的等分位点，还可 以等间距的取节点 参考文献 【1 】b o x ，g e p a n dg m j e n k i n s t i m es e r i e sa n m y s i s ：f o r e c a s t i n ga n dc o n t r o l f m 】 h o l d e n - d a y , s a nf a n c i s c o ，1 9 7 6 【2 】t o n g ，h t h r e s h o l dm o d e l si nn o n l i n e a rt i m es e r i e sa n a l y s i s m 1 s p r i n g e r - v e r l a g ， n e wy o r k ，1 9 8 3 【3 】t o n g ，h n o n - l i n e a rt i m es e r i e s ：ad y n a m i c a ls y s t e r m sa p p r o a c h m 】o