（概率论与数理统计专业论文）sltbl模型的bayes估计与子集选择.pdf

中文摘要 摘要 可分离的下三角双线性模型是一类既具有广泛性又具有良好概率结构的双线 性模型，简记为”s l t b l 模型“本文采用b a y e s 方法对可分离的下三角双线性 模型进行了统计分析通过设置合理的先验，得到了各个参数的联合后验密度， 进而导出了所有参数的条件后验分布我们利用g i b b s 抽样器方法抽取后验密度 的样本，以对参数进行统计推断特别地，由于从模型的方向向量的条件后验分 布中直接抽样是困难的，我们特别设计了个简单有效的m e t r o p o l i s h a s t i n g s 算 法以解决漉临瓤进步，我们采用逆跳m c m c 技术，以解决模型的定阶及子集 选择问题我们用仿真例子演示了本文所建议的方法，并应用于分析实际数据 关键词：双线性模型；g i b b s 抽样器；逆跳m c m c ；子集选择 英文摘要 a b s t r a c t m a r k o vc h a i nm o n t ec a r l o ( m c m c ) t e c h n i q u ei su s e dt om a k eb a y e s i a n i n f e r e n c ef o rs e p e r a b l el o w e rt r i a n g u l a rb i l i n e a rm o d e l s ，am o r eg e n e r a lm o d e l c l a s si l lt i m es e r i e sa n a l y s i s f i r s t ，w ed e r i v ea l lo ft h ec o n d i t i o n a lp o s t e r i o rd i s t r i b u t i o n s ，a n do b t a i nt h ee s t i m a t o r so fm o d e lp a r a m e t e r sb yv i r t u eo fg i b b s s a m p l e r s i n c ei t i sd i f f i c u l tt os a m p l ed i r e c t l yf r o mt h ec o n d i t i o n a lp o s t e r i o r o ft h ei n d e xi nt h em o d e l s ，as p e c i a lm e t r o p o l i s - h a s t i n g ss t e pi sd e s i g n e d f u r t h e r m o r e ，w ea p p l yt h er e v e r s i b l ej u m pm a r k o vc h a i nm o n t ec a r l oa p p r o a c h ， ag e n e r a l i z e dm c m c a l g o r i t h m ，t oc h o o s et h es u b s e tm o d e l sr a n d o m l y t h e p r o p o s e dm e t h o d sa r ed e m o n s t r a t e db ys i m u l a t e da n dr e a le x a m p l e s k e y w o r d s ：b a y e s i a na n a l y s i s ；b i l i n e a rm o d e l s ；m e t r o p o l i s - h a s t i n g sa l - g o r i t h n l ；r e v e r s i b l ej u m pm c m c 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的 研究成果本人在论文写作中参考的其他个人或集体的研 究成果，均在文中以明确方式标明本人依法享有和承担 由此论文而产生的责任 彻6 年6 月彳日 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定厦门 大学有权保留并向国家主管部门或其指定机构送交论文的纸质版和 电子版，有权将学位论文用于非赢利目的的少量复制并允许论文进 入学校图书馆被查阅，有权将学位论文的内容编入有关数据库进行 检索，有权将学位论文的标题和摘要汇编出版保密的学位论文在 解密后适用本规定 本学位论文属于 1 、保密( ) 在年解密后适用本授权书 2 、不保密 ( 请在以上相应括号内打” ”) 作者签名a 导师签名： 肿箩月彳日 年月 f 1 s l t b l 模型的b a y e s 估计及子集选择 第一章绪论 1 1 背景知识 在过去的几十年，人们已经研究出一系列经典的时间序列理论然而，大部 分时间序列的理论都是建立在非b a y e s 理论上在1 9 7 1 年，z e l l n er 【1 】推导出了一 阶及二阶的自回归模型的先验及后验密度1 9 7 6 年，b o x 和j e n “l l s 【询用b a y e s 理论对自回归滑动平均模型进行了分析但是，b a y e s 方法并没有得到人们的广 泛重视直到二十世纪八十年代，b a y e s 方法才越来越受到人们的青睐 1 9 8 3 年，m o n a h a n 【3 】是第一位用b a y e s 的方法对时间序列模型提出了完整的理论，并 说明了b a y e s 方法不仅是适用于时间序列领域的，而且是方便陕捷的后来，在 时间序列领域用b a y e s 理论作出巨大贡献的主要有：b r o e m e l i n g 和s h a a r a w y l 4 1 然而实际生活中所遇到的大部分时间序列数据所呈现的数据特征并不是线性 过程为了建立一个更好的模型来拟合或预测这些数据，我们必须放宽线性牲这 个条件于是越来越多的学者们开始探讨一系列非线性模型，其中：g r a n g e r 和 a n d e r s e n 【5 1 ，以及s u b b a r a 0 ( 6 】提出了族经典的非线性时间序列模型，称之为 “双线性时间序列模型”，研究表明这族模型广泛适用于社会、经济、生物等领 域 最近，随着m a r k o vc h a i nm o n t ec a r l o 算法【l l 】的提出，b a y e s 方法成为分 析统计模型的一个强有力的工具在时间序列的统计推断方面，主要的工作有t m e e u l l o c h 和t s a y 1 2 】利用g i b b s 抽样器讨论了自回归模型的参数估计；b a r n e t t ， k o h n 和s h e a t h e r 1 3 】利用更般的m a r k o vc h a i nm o n t ec a r l o 技术对自回归模型 从事了更深入的分析；m a r r i o t t 和s m i t h 1 4 】对线性a r m a 模型从事了b a y e s 分析；c h e n 【1 5 卜 1 6 1 利用g i b b s 抽样器方法分别讨论了双线性模型和门限自回 归模型的统计推断问题 s l t b l 模型的b a y e s 估计及子集选择 2 然而在实际应用中，除了对模型的参数进行估计之外，我们还需要研究这些 数据来自于某个模型最经典的方法是使用信息准则，例如：a i c 准则、b i c 准则等但是，当模型的阶数较高时，我们所要进行比较的模型的数目将是巨大 的例如：p 阶模型，其待选择的模型个数将会是2 p 个，这样的计算量将过于 庞尢因此，采用逆跳m a r k o vc h a i nm o n t ec a r l o ( 简称为r j m c m c ) 方法，使计 算变成简便陕速 我们假设观察数据为y ，可能来自的模型为 靠、= 1 ，2 ， ，对于模型m k ， 参数的维数为d i m ( 0 k ) 需要强调的是，对于不同的模型m k ，参数o k 的维数不一 定相同。 把该问题设计在一个b a y e s 环境中若给定模型m k 和参数钆，则似然函数 为： f ( y l k ，o k ) 设定模型眠的先验概率为 p k , ( = ，) 以及给定峨参数0 的先验密度为： 则( 女，o k ) 的后验密度为 f ( o k l k ) p ( k ，o k l y ) = p k f ( y l k ，钆) ， 这就是m e t r o p o l i s h a s t i n g s 算法中的目标分布为采用m c m c 技术，我们需要 构造个平稳的m a r k o v 过程，使其平稳分布为：p ( k ，如l ) 设当前状态为五= ( 尬，口；) ，下个状态为巧= ( u j ，如) 为构造转移概率， 分两步做建议： s l t b l 模型的b a y e s 估计及子集选择 3 1 建议模型的转移概率给定i ，建议转移概率p ( 幻) 。( 写p ( 列) = 1 ) ，从 中抽取j ； 2 建议参数间的转移分布给定( 尬，和j ，建议个条件密度q i , j ( o i ，u i j ) 和 一个确定的更新函数( 巩，t z 。) ；从q i ，( 矾，u 巧) 中抽取i t i j ，令0 = 仇，j ( 吼，) 1 2 文章结构 我们介绍一类可分离的下三角双线性时间序列模型1 8 1 ，其般形式如下； p q x ( t ) + a m x ( t m ) = ( t ) + b m e ( t m ) m=1”；=1 r rs、 一e ( t m ) d 。x ( t m n ) ，( 1 1 ) m = 1l n = oj 式中， e ( ) ) 是均值为0 、方差为一2 的独立同正态分布序列，整数p 、q 、 r 、s 称为模型的阶数为方便起见，通常把模型( 1 1 ) 简记为s l t b l ( p ，q ，r ，s ) 模 型，为保证模型的可识黜陛，假定d = ( d o ，d 1 ，南) 丁为s + 1 维方阿向量，即 d t d = 1 且d 的第一个非零分量为正数易见，s l t b l ( p ，q ，r ，s ) 模型是经典的线 性a r m a 模型f 2 】的自然推广 s l t b l ( p 、q ，r ，s ) 模型是一类既具有广泛性又具有良好概率结构的双线性模型 1 6 一 9 1 ，迄今为止所研究过的所有特殊的双线性模型，如对角双线性模型、下次对 角双缭陡模型、b l ( p ，0 ，p ，1 ) 模型【10 1 、b l ( p ，1 ，p ，1 ) 模型等，均为其特例w a n g 和w e i 【7 】详细讨论了该模型的概率陛质，包括平稳性条件、自协方差函数和三阶 矩结构 本文将按如下结构展开： 第二章中，构造b a y e s 模型的框架通过分析模型的似然函数，设置参数的先 验分布，最终获得参数的联合后验分布为了利用g i b b s 抽样器产生参数的后验 样本，我们导出了所有的条件后验分布针对方向向量d 的条件后验分布的复杂 性，我们提出了m e t r o p o l i s h a s t i n g s 算法来处理并具体给出了抽样方法和计算 s l t b l 模型的b a y e s 估计及子集选择 4 步骤在第三节里，用两个仿真的例子来说明用该方法进行参数估计的有效性 第三章中，处理模型的定阶及子集选择问题本章利用先进的逆跳m e t r o p o l i s h a s t i n g s 算法，通过设置合理的建议分布，计算各个参数的接收率同样的针对 方向向量d 的复杂性，我们再提出一种r j m c m c 算法来处理，同样用两个仿真 的例子来说明用r j m c m c 方法来处理子集选择的简便性与准确性 第四章中，利用德国农业市场在1 9 6 7 年四月到1 9 9 0 年五月间每周的鸡蛋价 格，用s l t b l ( 0 ，7 ，7 ，2 ) 模型进行拟合，用b a y e s 方法得到的参数估计与用r j m c m c 方法得到的子集选择，结果致，再次说明该方法的实用性 第五章，对本文所研究的内容进行总结，并指出本文研究的不足和进一步研 究的方向 s l t b l 模型的b a y e s 估计及子集选择 第二章s l t b l 模型的b a y e s 分析 2 1 1 似然函数及先验分布 2 1b a y e s 框架 假设序列 x ( ) ) 的n 个观察值为 z ( 1 ) 。z ( 2 ) ，z ( ) ) ，初值取( t ) = x ( t ) = 0 ， 0 ) 为个示性函魏这表明没有 任阿关于方向向量d 的信息提供给我们 2 1 2 联合后验密度 由b a y e s 定理，所有参数的联合后验密度为 p ( a ，b ，c ，d ，0 - 2 z )。( l ( a ，b ，c ，d ，0 - 2 ) 7 r ( a 1 0 - 2 ) n ( b 1 0 - 2 ) 丌( cj 盯2 ) 7 r ( 盯2 ) r c ( d ) 些堡墨堡型塑里! 堡! 堡! 上垄苤堡堡 “c 固掣唧 一刍。丢n ，削) 帅2 一e x n ( 川2 一“n ( 一丽b t b ) 帅2 一唧( 丢) 坤2 ) 掣唧 一嘉) 旧 ( 2 7 ) 由上面的式子可以发现，联合后验密度的形式极其复杂，直接从后验分布推 断参数是非常困难，因此我们采用m m - k o vc h a i nm o n t ec a r l o 技术产生后验分布 的样本，以达到推断参数的目的 2 2 抽样 为利用g i b b s 抽样器这最新的统计分析工具产生参数的后验样本，下面首 先导出全部参数的条件后验密度 2 2 1 全条件后验分布 1 参数a 的条件后验密度 给定参数b 、c 、d 、一2 ，参数a 的条件后验密度为： pa l b , c , d , x , a 2 ) “唧 一刍( k 一酬r ( k 一驯一熹) ， 其中：为( n p ) p 的矩阵 一z ( 1 + p 7 1 ) 一x ( 1 + p ，一2 ) ：| - 。( 2 十一1 ) 。( 2 + p l 2 ) 一x ( 1 + p 一p ) 一x ( 2 + p l p ) x ( n 一1 )一z ( 一2 ) r 一z ( 一p ) k 为( n p ) 维向量，其第i 个分量为 z “+ p ，) 喜 壹m m - - ? $ c m e ( i + p - m ) d 。z ( i + p t ln = o，) ) m = ， 7 m p + 文 。脚 s l t b l 模型的b a y e s 估计及子集选择 由简单的计算可以导出 。i b , c , d ，叩2 ( f i , o - 2 。) ， ( 2 8 ) p 洲叩，如，幽o c “， 一刍t 确。九k 一墨一尝) 卟，笔美誊耄引 k 为( n p ，) 维向量，其第 个分量为 m卜妻州咿m，壹d。x(i1n = 0 小) ) m ) 一c 。f a + p 7 一m ) + ，一m n ) m =lj 进步，有 6 n ，c ，d ，z ，口2 一nf 6 ，口2 6 1 ，( 2 9 ) 其中：b = ( r ，+ x t x 6 ) 1 霹k ，6 = ( r i + 胃凰) - 。 3 参数c 的条件后验密度 给定参数a 、b 、d 及o - 2 ，参数c 的条件后验密度为 水m 叩- _ 刍c k 一九k 嘶卜塞) ， 其中：五为( n p ，) r 矩阵，其第i 行第j 列的元素为t s ( + p 7 一j ) d x ( i + p t j n ) n = o 8 p +z m ，一 + p + o s l t b l 模型的b a y e s 估计及子集选择 9 k 为( n p 7 ) 的向量，其第i 个分量为： x ( i + p ，) + o 。z a + p ，一m ) 一b m o + p ，一m ) ， 更精确地有， c kb ，d ，。，口2 一( a ，口2 。) ， ( 2 1 0 ) 其中：e = ( 7 i + 霹墨) _ 1 霹k 。= ( r n 霹五) 4 参数d 的条件后验密度 给定参数a 、b 、c 及o - 2 ，参数d 的条件后验密度为 p ( d l a , b , d , x , a 2 ) c 0 的影响，参数d 的 条件后验密度并不是我们所熟悉和常见的分布 5 参数o - 2 的条件后验密度 给定参数a 、h 、c 、d ，得到参数a 2 的条件后验密度为 加2 旧如矗拈p ) 一一十l 唧岛垤，烈卅) ) 即 其中 a z l 。，如i g f 坠尘竺# 兰竺，a s s _ + 1 ， ( 2 1 2 ) rss= 2 ( t ) 为残差平方和 t = p + 1 = 扩a + a r n + b t b + c t c s l t b l 模型的b a y e s 估计及子集选择 1 0 2 2 2 方向向量d 的抽样方法 从上述的全条件后验分布可以看出，分别从( 2 8 ) 、( 2 9 ) 、( 2 。1 0 ) 和( 2 1 2 ) 中 直接抽取参数n 、b 、c 和一2 的样本是简单易行的，但是采用直接方法从( 2 1 1 ) 中产生随机数显然是不方便的甚至是不可能的针对这一难题，我们专门设计一 个i v i e t r o p o l i s - h a s t i n g s 算法具体地： 假定当前方向向量的值为d 一( d o ，d ，也) t ，按如下步骤更新方向向量d ： 1 在0 ，1 ，2 ，8 中随机抽取两个数，记为i 、j ，更新分量也、西 2 以b e t a ( m ，m ) 分布作为建议分布，产生随机数f ，令 d ；= 一画c o s ( 2 碟) 一d js i n ( 2 7 r f ) 西= 也s i n ( 2 r ) 一d jc o s ( 2 r f ) 3 令d + = ( d o ，蝣，d 。) ，即与d 相比，只有两个分量也、d j 是不 同的，其余保持不变 4 今 f ( d ) = e x p 一击( k x d d 九玢一x d d ) ) ， 分另4 计算，( d ) 和f ( d 4 ) ，以概率p = m i n 1 ，错) 接受d + 为新的方向向量， 否贝0 维持方向向量d 不变 5 为了保证方向向量d 的第个非零分量为正若d 0 为负数时，则令参数d 及 c 的各个分量变号从而，可以保证模型是可识别的 可通过选取特别的超参数m ，使接受率保持在一个合理的范围内易见，在 方向向量更新前后，均保持约束条件成立， 2 2 3 具体算法 最后，我们运行下面的步骤： 第一步：对所有的参数赋予初值，并设a 、b ，c 、d 、a 2 的初值为。( “、 b ( o ) 、c ( 叭、d ( 0 ) 、 矿( m s l t b l 模型的b a y e s 估计及子集选择 1 l 第二步：假设已经得到了参数a 、b 、c 、d 、一2 的第i 个状态o ( ”、6 ( ”、 c ( ”、d ( “、口2 ( ”接下来，获取它们的第z + 1 个状态t 1 抽取参数a 的第i + 1 个的随机数； 重新计算 f ) = z 0 ) 十。辨z 0 一m ) 一e6 船e 一m ) 一塞杈， 挚z e t - m - ”) ，m = j、n = u 直接从正态分布( 2 8 ) 抽取得到a ( 州) 2 抽取参数b 的第i + 1 个的随机数： 由 ( 0 = 。( ) + ea 黔1 。0 一m ) 一e 嘲0 一m ) 一塞黝， 争雄一n ，) ，m ：= l、n = u j 递推得到新的筘( t ) ，从正态分布( 2 9 ) 抽取b ( 件“ 3 抽取参数c 的第i + 1 个的随机数； 通过 ( t ) = 。( t ) + o 射1 ) z 0 一m ) 一e6 鼢1 ( t m ) 一蠢相， 塾zc t - m - n ) ，m = l、n = u 更新f ( t ) ，继而从正态分布( 2 1 0 ) 获取c ( 件” 4 抽取参数d 的第i + 1 个的随机数： 递推计算 m ) 一e6 鼢1 ) 心一m ) m ， 酗z c t - m - n ， 雄 ” ” 甜 甜 ，一，一 + 一 雄 | 1 雄 s l t b l 模型的b a y e s 估计及子集选择 1 2 采用前面已经论述的m e t r o p o l i s h a s t i n g s 算法得到毋+ 5 抽取参数一2 的第i + 1 个随机数； 利用新得到的参数，重新计算残差 ( t ) = z ) + n ；1 1 z ( t m ) 一蚶1 ) 0 一m ) 一m 妻= l c 黔( t m ) f 壹舻1 ，z ( t - m - n ) n = o ， l 直接从逆伽玛分布( 2 1 2 ) 抽取得到a 2 ( ” 第三步：重复第二步，直到获得足够多的样本 在第二步中，一旦获得新的参数，我们均重新递推计算白噪声序列f ( t ) ，t = 1 ，2 ，n ，这是因为该序列本质上是不可观察的，为了获得快速收敛的算法所必 不西爹韵 2 3 数值演示 在这一节里，我们通过仿真研究例子来验证所建议方法的有效陛所有的迭 代初值均取n ( o ) = ( 0 ，o ) r ，b ( o ) = ( 0 ，o ) t ，c 【o ) = ( 0 ：，o ) to - 2 ( o ) = 1 ， d ( o ) = ( 1 撕下r ，l 瓠耳1 ) 丁对于先验分布中的超参数，取v = o 0 0 1 ，a = o 0 0 1 r 般取样本容量的倒魏在方向向量d 的m e t r o p o l i s h a s t i n g s 算法中，取 建议分布为b e t a ( 2 5 ，2 5 ) 分布 首先用两个随机模拟的例子来检验所建议方法的有限样本性能特别地，我 们用r = d r d ，即估计的方向和真正方向的内积来衡量估计方向的性能 例2 1 ：考虑s l t b l ( 2 ，1 ，2 ，1 ) 模型： x ( t ) 一o 5 x ( t 一1 ) + o 4 x ( t 一2 ) e ( t ) + o 3 e 一1 ) + o 2 0 1 ) o 8 x ( t 一1 ) 一o 6 x ( t 一2 ) ) 一o 1 e ( t 一2 ) o 8 x ( t 一2 ) 一o 6 x ( t 一3 ) ( 2 1 3 ) s l t b l 模型的b a y e s 估计及子集选择1 3 其中 s ( t ) ) 为独立同正态分布随机变量，均值为0 ，方差为1 我们利用随机方法产生容量为7 0 0 的样本为了消除初值的影响，删除前2 0 0 个，只用后面的n = 5 0 0 个作为有效样本在方向向量d 的m e t r o p o l i s - h a s t i n g s 算法中，取建议分布为b e t a ( 4 ，4 ) 分布按照第二节描述的算法迭代7 0 0 0 次，取 前面3 0 0 0 个观察值作为预热，利用后面的4 0 0 0 个观察值作为推断的依据表2 1 中分别报告了模型参数的后验均值、后验中值、标准差和9 0 最高后验密度区间 ( h p d ) 方向向量d 的接受率为：4 4 3 可见，各个参数的估计值都非常接近 参数真值均值中值标准差 9 0 h p d 于真值，而相应的置信区间也包含了真值。另外，图2 1 分别刻画了主要参数的 g i b b s 抽样器预热期的运行状况 例2 2 ：s l t b l ( 2 ，0 ，2 ，2 ) 模型 x 0 ) 一o 4 x ( t 一1 ) + o 6 x ( t 一2 ) = ) + 0 3 印一1 ) 去x ( t 一1 ) 一丽1x ( t 一2 ) + 丽1 即一3 ) ) _ 0 s e ( t - 2 ) 击x ( t z ) 一击x ( t s ) + 丽1 即一a ) ) ( 2 1 4 ) 其中 e ( t ) ) i i d 一n ( 0 ，o 7 2 ) 利用随机方法同样产生容量为7 0 0 的样本为了 消除初值的影响，这次删除前3 0 0 个，只用后面的4 0 0 个进行计算类似例2 1 3 s l t b l 模型的b a y e s 估计及子集选择 1 4 0 01 o d o 瞳s i a m 8 图2 l ：例题2 1 参数p 及口2 的g i b b s 抽样器的运行状况 也迭代7 0 0 0 次，前面2 0 0 0 个观察值作为预热，利用后面的5 0 0 0 个观察值作为 推断的依据，分别计算各参数的后验均值、后验中值、标准差和最高后验密度区 间方向向量d 的接收率为2 8 8 3 表2 1 及图2 1 报告了具体的结果 s l t b l 模型的b a y e s 估计及子集选择 l 山_ 山j k l j k 吐m 山“【叫山 i 哪一甲f - w 1 叩r 唧i l 一w 啊 ， o o 图2 2 ：例题2 2 参数0 及口2 估计值的抽样情况 参数值真实值均值中值标准差 9 0 h p d 墅墨坠堡型笪里! ! 笪! 士丛主苤鲨堡 1 6 第三章逆跳m e t r o p o l i s - h a s t i n g s 算法和子集选择 3 1 先验分布 前一章节里，我们已经研究了用b a y e s 方法来估计s l t b l 模型的参数但是 我们会遇到两个问题：1 未知观察数据来自于哪个阶数的s l t b l 模型( 定阶) ； 2 模型中含有零参数( 子集选择) 针对以上的两个问题，我们采用逆跳m c m c 算法来处理注意到，第一个问题事实上是第二个问题的特殊情形我们只需要 考虑第二个问题为此，引入潜在向量，= ( r 。，。) t r a 的各个分量只取 0 或1 这里r 。= l ，表示相应的x ( t i ) 包含在最终的模型中；r 。，= 0 ，表示相 应的x ( t i ) 不包含在最终的模型中类似的，我们假设= ( r b 一，r b 。) r ， r c = ( r c l ，- ，r c ，) 丁，r d = ( r d 。，r d 。) 7 3 1 1 模型先验 即潜在向量、r d 的先验，最简单的是对的每个分量设置独 立先验设的联合密度先验为： p ”( r 。) 一i i 8 4 ( 1 一) 。， i = 1 特别取0 2 i = u ，即对每个自变量出现在设计阵中的先验概率相同，则 7 r ( ) = “，“7 n ( 1 一u ) p 一“r ，其中：，。，。= 1 + + ， 最简单的是取u = 1 2 ，则 ( ) = ( 1 2 ) 9 ，( 3 1 5 ) 对于其余的潜在向量、r c 、，为了计算的简便性，我们均假设其先验为： 7 r ( ”6 ) = ( 1 2 ) q ，7 r ( r 。) = ( 1 2 ) ，z r ( r d ) = ( 1 2 ) 8 + 1 ( 3 1 6 ) s l t b l 模型的b a y e s 估计及子集选择 1 7 3 1 2 参数先验 1 参数忍、岛、忍的先验密度 设风为r 。的非零分量相应的a 的分量组成的向量，n ，。为r a 非零分 量的个数令 p ( & l a 2 ) = ( 2 口2 ) 一乎卜。 叫 学l ，( 3 1 7 ) 2 盯2f r 7 即参数玩的先验分布是期望向量为0 ，协方差阵为一2 ( r 。) ( 其中；。为”。 阶的矩阵，且。 0 ) 的正态分布眠，。( o ，一2 ( r e 。) ) 同理，设风、忍分别为r b 、r 。的非零分量相应的b 、c 的分量组成 的向量，n 。、n ，。分别为n 、r 。非零分量的个数令 p 涵l 口2 ，码) = ( 2 z r a 2 ) p ( 忍 盯2 ，r 。) = ( 2 丌盯2 ) 孚l t 6 一e 。p 等i r 。一e x p 舒( r b ) 2 0 - 2 霹( v 2 。) 2 ，参数一2 的先验密度 同样地假设a 2 的先验分布设置为形状参数为i 玛分布，即 巾2 ) ( 固e x p 一会) 简记为e r 2 一i g ( g ，净) 3 ，参数忍的先验密度 ”( 鼠) = ” 孚r ( 等) 其中：n ，。为参数d 的非零分量的个数 1 岛 1 。c f 3 1 8 ) ( 3 1 9 ) 尺度参数为譬的逆伽 f 3 2 0 ) ( 3 2 1 ) 3 2 联合后验密度及抽样 3 。2 1 联合后验密度 在上述先验下，r = ( r a ，r d ) 、0 = ( 忍，风，风，阮) 、0 2 的后验分布为 、fj、，j 墼墨坠塑垒箜里塑里堡! ! 墅竖整堡一” f 去掉一卟与r 、0 、一2 均无关的常数) p ( t , o , 0 2 1 z ) m c 一业e x p 一驴t 耋，鄱， 。( 2 。o - 2 产吲去x 一 - 学 ( 2 舻一蚓一 唧 - 雩学 。( 2 。) 一专t f ，。一。p 一i 学 坤2 ，一e x p 一嘉l 吖广孚r ( 警) 3 2 2 抽样 3 2 2 1 参数以的砌m c m c 1 参数艮的条件后验密度 设x r 。为的非零分量相应的甄的子向量组成的矩阵，从而可以导 出参数岛的条件后验密度： 煅黼，一叩) 坤矿警。pf 坠生蛆笋丝堕盥 。( 2 s a 2 户l 一去冲 - 坠篙挚塑 l e x r _ 嘉 i s r o 一恻， 其中：瓦：( r 。+ 醒) 一1 醒k ，。= ( r 。+ 醒k ) - 1 & ：坪砭一埒x r 。( r 。+ 碍瓦) 。醒k 综上所述，我们可以得到： 1 口2 ，r 。，r d ，p 一 风h 口2 ，岛，成，风一 2 模型间的转移分布与接收概率 唧 _ 嘉卜一毛蚓t n 瓯，a 2 e r 。) ( 3 2 2 ) s l t b l 模型的b a y e s 估计及子集选择 1 9 采用个最简单的策略，每次最多更新的个分量，即以概率1 一o t 维持r 。不变，以概率n 允许变，但只允许的p 个分量中的某一个 分量变，而其它分量不动比如第i 个变量，即令r a 4 。= 1 一。从而吒= ( r 8 j 7 ，h ，r a 。，t a ：+ 一，r a p ) 首先不考虑参数估计，直接利用的后验分布 叫一r c 3 e x - 一嘉卜一 蚓一 来确定模型的阶数，假定当前的状态为而候选状态为t a + ，则接收概率为： a ，。，：= m i n 1 ，a ，。，： ， ( 3 2 3 ) 舯心一 学毕群蒜 3 2 2 2 参数忍的p , j m c m c 1 参数岛的条件后验密度 设厨。为的非零分量相应的忍的子向量组成的矩阵，从而可以导出 参数岛的条件后验密度： p ( 阮l 风，风，函ig 2 1r lx ) 。( ( 2 丌) 一警e x p 一坚立二墨尘塑! 坠二三鼍害l 生尘里出 。( 2 ，r a 2 一l 一。坤f - 壁掣 唧 _ 嘉) e r b l i r e 6 l j 1 ， 其中：瓦= ( f e b + 醒墨。) 一1 碟k ，。= ( r 6 + 程墨。) - 1 岛= 蹬碥一路如( r 6 + 醒如) 。醒k ， 综上所述，我们可以得到： r b i 口2 ，卢一 8 b i r + 萨。8 c 一 唧 - 枭卜小悯i 扩屯 俩，a 2 ，。) ( 3 2 4 ) s l t b l 模型的b a y e s 估计及子集选择 2 模型i 刚的转椤分币与援收概翠 同样采用前面那一个最简单的策略，每次最多更新的个分量，即设 候选状态为：呓= ( i ，- - ，飞。噱，氇。，) ( 其中：r 表= 1 一；) 首先不考虑参数估计，直接利用r 6 的后验分布 鼢扩一孙；e x n _ 嘉) 慨扎| b | 一， 来确定模型的阶数，假定当前的状态为r b 候选状态为r ：，则接收概率为： a r b , t ；= m i n 1 ，；) ， ( 3 2 5 ) 舯锄”一p 1 - s b - 川s ；1 小) 毕，群蒜 3 2 。2 。3 参数篷的r j m c m c 1 参数倪的条件后验密度 设x ，。为的非零分量相应的x c 的子向量组成的矩阵，从而可以导出 参数盈的条件后验密度： 姬m 甜坤矿孚唧 - 坠塑盟毯竽业塑进) 。c ( 2 ，r a 2 声i k 一唧 _ 壁学) 唧 - 嘉) | i z r o 一旧。i 哇 其中z 恧= ( r 6 + 醒墨。) _ 1 礁圪e 。= ( r 。+ 醒邑) 。， & = 培k 一印x r 。( r 。+ x t x , 。) 1 醒k 综匕所述，我们可以得到： i 口2 ，n ，r d ，卢一 $ c i t , ，8 8 ；魄，8 i 一 “一 嘉) - i z r o 一恻一， 晖一2 j ( 32 6 ) 墅兰垫堡型塑堡堡! 垡! 丛叁堡竖 2 1 2 模型间的转移分布与接收概率 与潜在向量，r b 的候选分布一样，以概率n 接受候选分布，每次最多 更新r c 的个分量，r ：= ( r c 一 。，r 乏，r 。，r c q ) ( 其中唁= 1 一j 首先不考虑参数估计，直接利用的后验分布 叫一”讯p e x “一嘉) 慨一悼。i 一， 来确定模型的阶数，假定当前的状态为，候选状态为，则接收概率为t a r ：= r a i n 1 ，嘶：) ， ( 3 2 7 ) 舯一一 等卒，蹀蒜 3 。2 2 4 参数盈的i u m c m c 1 参数。d 的条件后验密度 设墨。为的非零分量相应的硒的子向量组成的矩阵，从而可以导出 参数五的条件后验，导出参数d 的条件后验密度： p 岛怎如27 哪) c xe x p 一嘉卜一警r ( 等) 其中：s j = ( k x r d 嘞) 丁( y d 一坼。3 d ) 2 模型间的转移 与前面的方法一样，以概率n 略，。接受r ；， 设r ：= ( 7 如，r 也。屹，r d 。) ( 其中t 噍= 1 一亿) 3 参数的建议分布与接收率 此处，因为参数d 的条件后验并未服从我们所熟悉的概率分布，又特别 设计了个m c m c 算法： ( a ) 如果r d 。= 0 ，r d 乏= 1 ( 即增加个分量的情形) i 首先抽取满足b e t a ( k l ，如) 分布，其概率密度为： 百磊柄町k 1 - l ( 1 一卵) k 2 - l ， o 卵l ， 即叼b e t a ( k 1 ，膏2 ) 坠婴墨堡型塑旦! 堡! 堡! 士垄叁垄堡 2 2 i i 设候选向量d 为： d 4 = ( d o 而，土而，d 。而) t 其中：第i 个分量为所增加的分量，其符号随机得到，即以概率0 5 认为其符号为正 i i i 从而我们可以得到j a c o b i 行列式为： 扣t 刊孚， i v 根据接收概率= 后验比建议比x j a c o b i 行列式，我们可以得到： n rr + 为 c x p e x p 唧f 嘉) ”一季r ( 孚) 蛊) ”一孚r ( 等) 害糕1 q ( 1 一q ) 孚 矿1 1 ( 一q ) “2 1 ” 1 7 学) 篆群川净m 刊争阱1 2 口2 jb e 亡8 ( ；，等) 1 ”。7 为了简化计算，一般我们取1 = 1 2 ，k 2 = 警，则上式可以化简 n ，一唧 等) ( 1 - ”， ( b ) 如果r d 。= 1 ，屹= o ( 即减少个分量的情形) i ，设候选向量d 为： d + = ( d o ，一，d i - l , 0 ，也+ 1 ，d 5 ) t 1 一霹 i i 则接收概率为： 唧 一嘉) ”一孚1 1f 孚) ( 哦2 ，k ：- - i 、唰2k 2 1- ( d i ) 面碡甭葡_ 丽盯蕊 唧 学) ( 1 _ 玎1 s l t b l 模型塑墨堕型焦! 丛墨堡竖 一_ 2 3 一 3 z 2 5 参数护的条件后验密度： 给定参数炙、岛、恁、忍彳导到参数一2 的条件后验密度为 加。l 。叩，小z ) 一一“唧 一击( 。群n 一a ) ) 即 一觚川g ( 生业蓦型，掣) ，( 3 。s rss= 2 ( t ) 为残差平方和， t = p 7 + 1 ：口 ( r 。) 一1 盈+ 鬈( r 6 ) 一1 , 3 b + 弗( 丁e c ) 一1 盈 3 2 3 具俸算法 最后，运行下面的步骤： 第一步：对所有的参数赋予初值，并设参数a 、b 、c 、d t 一2 及潜在向 量r 。、r c 、的初值为口( 0 1 、b ( o ) 、c ( m 、d 0 1 、口2 及拶、 r o 、r l o 】、r 第二步：假设我们已经得到了参数a 、b 、c 、d 、。2 及潜在向量、 r h 、r 。、的第i 个状态( 、b ( i ) 、c ( “、d ”、0 2 ( 0 及r 岔、 ，g ) 、，p ) 、r 2 如下，获取它们的第i + 1 个状态： ( a ) 抽取参数a 的第i + 1 个的随税数l i 重新计算 ( t ) ：z ( t ) 十妻n 瓣z o m ) 一e 6 辨o m ) 一喜黝， 塞黜一一， 一留( # 一m ) 葛碟k 【t 一”一“ m = l 、n ：u i i 以概率a 。，：( 3 2 3 ) 接受模型的新状态记为r 扩1 1 s l t b l 模型的b a y e s 估计及子集选择 2 4 i i i 直接从正态分布( 3 2 2 ) 抽取得到。( 州( 注：r 扩1 为零的分量 所对应的参数值取o ) ( b ) 抽取参数b 的第i + 1 个的随机数： i 由 g ( t ) z ) + o 铲1 ) z ( t m ) 一b 辨( t 一”t ) ，l = l m = l r r s 、 一瑚i 一m ) d g z ( t m n ) 递推得到新的 ( t ) ) ， i i 以概率a 。，：( 3 2 5 ) 接受模型的新状态记为芬十1 1 试从正态分布( 3 2 4 ) 抽取b ( 件” ( c ) 抽取参数c 的第i + 1 个的随机数： i 通过 pq f o ) = z ( t ) + n 射1 ) z ( 一”1 ) 一6 黔1 g ( t 一”z ) m = 1 c 船o m = 1 更新( t ) i i 以概率a 。，：( 3 2 7 ) 接受模型的新状态记为括+ 1 i i i 继而从正态分布( 3 2 6 ) 获取c ( 件 ( d ) 抽取参数d 的第i + 1 个的随机数： i 递推计算 ，) m ) 一甜1 g ( t m ) 。) f 壹舭( t - - m - - n ) l n = oj i i 采用前面已经论述的r j m c m c 算法得到d ( 件1 ) d 黔 m d 。脚t，、l 雄 雄 ” u 甜 甜 ，槲，一 + 一 z | | 些里垫堡型塑旦! 堡! 笪! 垄苤塑 2 5 ( e ) 抽取参数0 2 的第i + i 个随机数： i 利用新得到的参数，重新计算残差 m 壹= l 姚卜m ， 始川叫t - m - n n = o，) 甜”f ( t m ) d ”) 。() l， i i 直接从逆伽玛分布( 3 2 8 ) 抽取得到矿( 件1 ) 第三步：重复第二步，直到获得足够多的样本 m 一 时m b 。d z m ，d + s l t b l 模型的b a y e s 估计及子集选择 2 6 3 3 数值演示 在这一节里，我们仍用两个仿真的例子来验证所论述方法的有效性首先， 设潜在向量及参数的迭代初值为：r 5 0 ) = ( o ，o ) t ，r 1 0 = ( o ，o ) 丁，r ! o ) 一 ( o ，o ) t 及n ( o )