（概率论与数理统计专业论文）带有趋势项的时间序列贝叶斯模型拟合.pdf

b a y e s l a n s e m od e lf i t t i n gf o rt i m e r i e sw i t hn e n d s 。上r ad i s s e r t a t i o ns u b m i t t e dt o s o u t h e a s tu n i v e r s i t y f o rt h ea c a d e m i cd e g r e eo fm a s t e ro fs c i e n c e b y l i uj u n x i a n s u p e r v i s e db y a s s o c i a t e dp r o f j i a n gq i b a o d e p a r t m e n to fm a t h e m a t i c s s o u t h e a s tu n i v e r s i t y d e c e m b e r2 0 0 9 一、学位论文独创性声明 独创性声明及使用授权的说明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果尽我所知，除了文中特别加以标明和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书丽使用过的材 料与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了 谢意 二、关于学位论文使用授权的说明 签名：粗日期：迦幽 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复 印件和电子文档，可以采用影印、缩印或其他复制手段保存论文本人电子文档的内容和 纸质论文的内容相一致除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容论文的公布( 包括刊登) 授权东南大学研究生院办理 u 1 摘要 在金融时间序列分析中，证券分析师对同一个时间序列给出短期、中期和长期趋势 这些不同尺度的趋势路径在投资管理中各有不同的用处，它们合在一起成为投资决策的主 要依据在天气预报中，人们同样关心短期、中期和长期天气变化趋势这些实际例子说 明时间序列的趋势路径与时间尺度有关本文研究的问题是如何用统计学的模型和方法解 释这些直观的思想 从统计学的角度看，时间序列恐的趋势曲线他= e ( 咒) 是时间t 的确定性函数我们 认为，脚与时间尺度有关，同一时间序列可以从不同的时间尺度上考察，小尺度上的短暂 苊势在大尺度上只能算作随机的波动因此，误差序列的方差可以恰当地体现时间序列的 尺度因素如果把误差方差视为可变的参数，那么时间尺度就会在趋势路径中得到体现 为了使误差方差可以自由变化，趋势曲线的模型是非参数的，误差方差的变动等价于光滑 化参数的变动趋势曲线的参数模型只适用于固定的时间尺度 我们假定趋势路径是连续的分段线性函数，误差序列服从a a ( p ) 过程模型中的参数 包括a r ( p ) 中的参数以及分段线性函数结点的个数和横坐标我们把结点纵坐标当作这些 参数的函数，用最t j 、- - 乘方法得到为了估计模型参数，我们采用b a y e s 框架，结点的个数 假定服从截断p o i s s o n 分布，其中的超参数a 大致等于结点个数的期望值我们把入视为 可变的，以反映趋势路径的尺度因素当a 连续变化时，趋势路径随时间尺度的变化而变 化，构成了一个趋势曲面 由于结点个数是随机变量，后验分布的抽样是一个变维抽样问题，对此本文采用可逆 跳跃m a r k o v 链m o n t ec m l o 方法此外，对于模型中的其它参数使用g i b b s 抽样器结合拒 绝法从后验分布中抽样我们要求相邻的趋势线段的斜率有较大的差异，从而，趋势路径 的结点是趋势的变点 最后，我们把本文的方法用于上证指数和深证成指数据，以检验本文方法的有效性 从实验的结果看，算法给出不同时间尺度的趋势路径与我们的直观想法相吻合 关键词；时间序列；趋势路径；时间尺度；贝叶斯分析；分段线性回归；可逆跳跃m a r k o v 链m o n t ec a r l o a b s t r a c t i nt h ef i e l do ff i n a n c i a lt i m es e r i e sa n a l y s i s ，s e c u r i t ya n a l y s t si n t r o d u c es h o r t ，i n t e r m e d i a t e a n dl o n gt e r mt r e n d sf o ras i n g l et i m es e r i e s t h e s et i m e - s c a l ed e p e n d e n tt r e n dp a t h sa r eo f d i f f e r e n tv a l u ea n da r eu s e di nd i f f e r e n ta s p e c t so fi n v e s t m e n tm a n a g e m e n t ，b e c o m i n gt h em a i n t o o lf o ri n v e s t m e n td e c i s i o n t h ec o n c e r na l s oa p p e a r si nw e a t h e rf o r e c a s t i n g ；s h o r t ，i n t e r m e d i a t e a n dl o n gr a n g ec l i m a t ec h a n g ep a t t e r n sa r ea l lu s e f u l i ne v e r y d a yl i f e t h e s ee x a m p l e st e l lu s t h a tt h et r c n dp a t h ss h o u l db cac o n c e p tc l o s e l yr e l a t e dt ot i m es c a l e i nt h i st h e s i s ，w ee s t a b l i s h s t a t i s t i c a lm o d e la n dm e t h o dt oe x p l a i nt h i si n t u i t i v ei d e a f r o mt h es t a t i s t i c a lv i e w ，t h et r e n do fat i m es e r i e s 托i sad e t e r m i n i s t i cf u n c t i o ng i v e nb yt h e e x p e c t a t i o ne ( 五) i ts h o u l dh a v es o m e t h i n gt od ow i t ht i m es c a l e f o rt h es a m et i m es e r i e s ，t h e s h o r tr a n g et r e n di ns m a l ls c a l ei sv i e w e da sr a n d o mf l u c t u a t i o n si nl a r g es c a l e t h ev a r i a n c eo ft h e e r r o rs e r i e sc a nb ec o n s i d e r e da sat i m es c a l ep a r a m e t e r n o n p a r a m e t r i ct r e n dp a t h sf o rd i f f e r e n t t i m es c a l c sw i l lb co b t a i n e db ya l l o w i n gt h i sp a r a m e t e rt ov 扣飘e q u i v a l e n t l ya st h es m o o t h i n g p a r a m e t e r n o t et h a tap a r a m e t r i cm o d e lf o rt h et r e n dd e f i n i t e l yi m p l i e saf i x e dt i m es c m e i nt h i st h e s i s ，t h et r e n di ss u p p o s e dt ob eap i c c e w i s el i n e a rc o n t i n u o u sf u n c t i o n t h ee r r o r s e r i e si sas a m p l ep a t ho fa r ( p ) p r o c e s s t h ep a r a m e t e r si no u rm o d e lc o n s i s to ft h en u m b e ra n d f i r s tc o o r d i n a t e so ft h en o d e si nt h et r e n da n dp a r a m e t e r si na r 0 ) t h es e c o n dc o o r d i n a t e so f t h en o d e sa r ec o n s i d e r e da sf u n c t i o no ft h e s ep a r a m e t e r sa n do b t a i n e db yl e a s ts q u a r em e t h o d w ea d o p tt h eb a y e s i a np a r a d i g m t h cn u m b e ro fn o d e si sa s s u m e dt oh a v eap r i o ro ft r u n c a t e d p o i s s o nd i s t r i b u t i o n ，w h o s eh y p e rp a r a m e t e r 入i sa p p r o x i m a t e l yt h ee x p e c t e dn u m b e ro fn o d e s t h u s ，a s 入c h a n g e s ，w eo b t a i nt r e n dc u r v e so fd i f f e r e n tt i m es c a l e s a n dat r e n ds u r f a c ei so b t a i n e d i fw ev i e wt h et r e n da saf u n c t i o no ft h et i m ea n d 入 s i n c et h en u m b e ro fn o d e si sr a n d o m ，v a r y - d i m e n s i o n a ls a m p l i n ga l g o r i t h mi sn e e d e d w c a d o p tt h er e v e r s i b l ej u m pm a r k o vc h a i nm o n t ec a r l of o rt h i st a s k o t h e rp a r a m e t e r sa r es a m p l e d u s i n gt h eg i b b ss a m p l i n ga n dr e j e c t i o ns a m p l i n g t h es l o p e so fa d j a c e n ts e g m e n t si nt h et r e n d s a r ea s k e dt oh a v ed i f f e r e n c el a r g ee n o u g h t h u st h en o d e sa r ei nf a c tt h ec h a n g e - p o i n t so ft h e t r e n d s o u rm e t h o di st e s t e da g a i n s tt h ei n d e xo fs h a n g h a is t o c ke x c h a n g ea n dc o m p o s i t i o n a li n d e x o fs h e n z h e ns t o c km a r k e t t h eo u t p u tb yo u ra l g o r i t h mf i t sw e l lw i t ho u ri n t u i t i o n k e y w o r d s ：t i m es e r i e s ；t r e n dp a t h s ；t i m cs c a l e ；b a y e s i a na n a l y s i s ；p i e c e w i s el i n c a rr e g r e s s i o n ； r e v e r s i b l ej u m pm a r k o vc h a i nm o n t ec a r l o v 摘要 目录 第一章引言 1 1 1 问题及研究意义 1 1 2 问题的背景 1 1 3 本文的主要工作 2 第二章时间序列趋势路径的时间尺度研究 4 2 1 模型定义4 2 2 模型参数的先验设置 4 2 3 模型参数的后验推导 5 2 4 参数后验的r j m c m c 抽样。 9 2 4 1m a r k o v 链m o n t ec a r l o 9 2 4 2 可逆跳跃m a r k o v 链m o n t ec a r l o 。 1 2 2 4 3 本文模型参数后验的r j m c m c 抽样 1 3 2 5 抽样算法 1 5 2 6 趋势路径的时间尺度观点 1 7 第三章实证分析 1 9 3 1 结点位置的估计。 1 9 3 2 上证指数序列的时间尺度分析 2 l 3 3 深证成指序列的时间尺度分析 2 7 第四章总结和展望 3 0 致谢 参考文献 3 1 3 2 第一章引言 1 1问题及研究意义 本文主要研究时间序列的趋势路径及其对时间尺度的依赖性传统的时间序列研究去 除了趋势项，主要研究平稳时间序列虽然平稳时间序列的研究很重要，但是在现实生活 中人们更关注的仍然是趋势我们将序列( 轨，t = 1 ，2 ，n 假定为趋势项脚和误差项e 的组合，即觌= 舰+ e t ，文中重点针对趋势项舰进行分析 在金融时间序列的研究中，对趋势的探索显得尤为重要人们关心某项资产价值将会 增加还是减少，增加或者减少的幅度如何，并且这种趋势将会保持多久对同一时间序列， 不同的尺度透露出不同的信息，小尺度上的短暂趋势在大尺度上只能算作随机的波动了 解短期、中期和长期趋势路径，可以对资产进行合理规划，决定应该短期投资还是长期持 有因此，我们对时间序列进行趋势推断和尺度分析具有很大的现实意义 1 2 问题的背景 传统的时间序列趋势分析有趋势拟合法和平滑法趋势拟合法根据序列所表现出来的 特征，又具体可以分为线性拟合和曲线拟合平滑法利用修匀技术，消弱短期随机波动对 序列的影响，使序列平滑化，从而显示出变化规律平滑法可以具体分为移动平均法和指 数平滑法，其中常用的指数平滑公式有简单指数平滑和h o l t 两参数指数平滑 非参数统计的方法有很多，譬如核估计，局部多项式、基函数等在本文中，我们使用 分段线性来做趋势拟合，在每一段中把时间作为自变量，相应的序列观察值作为因变量， 建立序列值随时间变化的回归模型使用分段线性回归主要是基于以下考虑：首先分段线 性回归简单直观，其次在在现实的金融数据研究，譬如股票研究，也是采用线性函数来分 析的，最后分段线性函数可以清楚的观察到趋势的转折变化如果分段结点的个数是已知 的，那么利用数值方法一定可以得到一个残差平方和最小的模型但现实的情况是，分段 结点的个数和位置都是未知，作为待估参数，每个结点间使用线性回归进行拟合我们引 进贝叶斯方法来处理分段结点的选取问题 贝叶斯方法是基于贝叶斯定理而发展起来的，用于系统地阐述和解决统计问题的方法 一个完全的贝叶斯分析包括数据分析，概率模型的构造、先验信息和效应函数的假设以及 最后的决策( l i n d l e y , 2 0 0 0 ) 贝叶斯推断的基本方法是将未知参数的先验信息与样本信息综 第一章引言 工3 本文的主要工作 合，根据贝叶斯定理，得出后验信息，最后根据后验信息去推断未知参数从上世纪九十年 代开始，由于m a r k o v 链m o n t ec 龇( m c m c ) 的使用，贝叶斯统计发生了革命性的变化 近年来，在贝叶斯框架下用抽样算法( m c m c 及其推广) 解决了涉及复杂模型和复杂数据的 经典统计学难题对于变维抽样问题，g r c c n ( 1 9 9 5 ) 对通常的m e t r o p l i s - h a s t i n g ( m h ) 移动进 行了推广，提出了可逆跳跃移动( r j ) ，相应的m c m c 算法叫做可逆跳跃m a r k o v 链m o n t e c a r l o ( r j m c m c ) d e n i s o n ，m a l l i c ka n ds m i t h ( 1 9 9 7 ) 采取r j m c m c 的方法用分段多项式对 连续和离散的函数进行拟合，达到了比较好的拟合效果 在曲线估计的空间尺度研究中，若采用非参数估计方法，采用不同的光滑化水平，那 么将会得到不同的模型非参数的方法本身就存在一个基本的问题，即e 五( z ) 并不一定 等于，( z ) ，也就是说存在着一种偏差因而，从空间尺度观点来研究非参数曲线估计问题 时。不去估计数据的最佳光滑化水平，而是让光滑化参数h 在一个比较宽泛的范围内变化， 令h h 由于不同的光滑化水平可以透露出不同的信息，这就给数据分析带来了一种有 效的策略比较大的光滑化参数将会构建出宏观的模型，用来处理大尺度特征而比较小 的光滑化参数则构建出了微观模型，细节性的小尺度特性也可以体现出来( c h a u d h u r ia n d m a r r o n ，2 0 0 0 ) 在空间尺度瞌面中，我们就可以直观的观察到不同光滑化水平下，数据模型 的不同特征。 1 3 本文的主要工作 本文假设模型是由某个趋势项和一个误差项相结合的，并且趋势路径是分段线性函数， 这里的误差项采用a a ( p ) 模型，当然也可以推广到a r m a ( p ，q ) ，a r c h ( r ，s ) ，g a r c h ( r ，8 ) 等情形，但相应的计算也更复杂我们在贝叶斯理论的框架下来对模型进行拟合，待估参 数有：分段线性的结点个数，结点的横坐标( 即位置) ，自回归参数和零均值白噪声方差 文章中我们对结点个数作了超参数为a 的截断泊松分布假设，结点位置的先验从样本点中 等概选取，自回归参数和白噪声方差采用了两个共轭先验当结点个数变化的时候，我们 面临的是一个变维抽样的问题，使用了可逆跳跃m a r k o v 链m o n t ec a r l o 方法从结点的后验 分布中抽样，此外还应用到了g i b b s 抽样算法和拒绝法抽样结点的纵坐标看成是上述参 数的函数，通过最小二乘回归的方法计算得到确定了结点横坐标和纵坐标也就确定了分 段线性函数的系数文中我们要求相邻线段的斜率变化足够大，即相邻线段夹角大于某给 定角度若不作此限制，将会出现结点个数偏多，非结构点被误选作结点的错误 进一步，我们把本文的模型放到时间尺度的角度来观察，把关于结点个数先验假设的 超参数a 作为时间尺度标记当a 在一个比较宽泛的范围内变化时，研究趋势路径将会做 出何种响应同非参数曲线估计的空间尺度观点中光滑化参数变化相对应，观察模型最终 结点个数是否随着先验参数的增加而增加，是否可以得到较为稳定的短期、中期和长期趋 势 文章接下来的篇幅做如下安排：第二章，研究时间序列趋势路径的时间尺度依赖性， 包括了趋势推断方法和趋势路径的时间尺度观点第三章，实证分析，比较了两种结点位 置的估计方法，对上证指数和深证成指数据给出了固定时间尺度入时的趋势推断。接着让 时间尺度在一个比较宽泛的范围变化，分析了趋势路径对时间尺度的依赖性，最后给出了 时间尺度下贝叶斯方法的短期、中期和长期趋势以及时间尺度曲面第四章，结论和展望 3 第二章时间序列趋势路径的时间尺度研究 2 1模型定义 我们有一列时间序列 x t ，t = l ，2 ，n ) ，假设它由一个趋势项和一个误差项相加得 到，模型如下： x t = m + e t ，t = 1 ，2 ，n ( 2 1 1 ) 模型表达式( 2 1 1 ) 中的舭表示趋势项，本文中假设为一个分段线性函数，r o 和r k + 1 是边界结点， n ，i = 1 ，2 ，七) 代表有k 个内结点，并且 r i 是升序排列的，因而趋势项 可表示为如下形式： 触娟t 帆t ( 砉) ， n t 代表指示函数，缸为最大内结点个数由于e ( k ) 入，所以超参数a 代表了 我们认为的模型中的结点个数 4 1 在k 给定的条件下，r ( 知) = ( ，1 ，r 2 ，住) 代表这七个内结点的位置，内结点n 从备选 结点集合 l ，2 ，n ) 中等概选取， m m = 筹 ( 2 2 2 ) 对于自回归模型的自回归系数n 和零均值白噪声的方差矿2 的先验设置为常见的共轭 先验，具体如下： 口一n ( ，砖) 川q l c ) ， ( 2 2 3 ) 2 一i g ( 8 ，z ) ，( 2 2 4 ) 其中a 服从截断正态分布，j ) 代表指示函数，c 是常数，和仃：是超参数盯2 服 从逆伽马分布，o 和z 是超参数 假定q 和盯2 与其余参数独立的情况下，我们得到参数( 南，p ( 七) 的先验分布 7 r ( 七，伊 ) ) = 7 r ( 七) 7 r ( r ( 知) i 七) 7 r ( q ) 7 r ( 口2 ) 2 3 模型参数的后验推导 b a y e s 统计方法的出发点是参数的后验分布，即x 已知时0 的条件分布丌( 6 i x ) ，因为 它综合了先验分布订( p ) 以及样本分布，( z ，0 ) 所提供的关于参数0 的全部信息我们认为 样本分布y ( z ，0 ) 为参数0 已知时样本x 的条件分布，即f ( z ，0 ) = p ( x l e ) 后验分布是一切 b a y c s 统计的出发点，因而计算后验分布就成为b a y e s 统计的主要任务，其分布密度 ( o l x ) r ( o ) p ( x i o ) 要计算后验分布，首先我们需要求出模型的似然函数 定理2 3 1 ：当e t a r ( 1 ) ，自回归系数为q ，e t n ( o ，盯2 ) ，并且i q l 1 时，e t 渐近于 一个正态分布n ( o ，品) 证明：由于 e t ) 服从一阶自回归过程，我们有 e t2 钆+ o t e t 一1 2 既+ o r e 一1 + o t 2 e t 一2 2 魂+ o t c t l + + q 知白一七+ a 凫+ 1 e t 一七一1 5 引理2 3 1 ：如果l a i 1 ， e ) 是平稳过程，则慨1 1 2 = e e ；是常数，且当七_ ，有 e c 一妻。一5 t 一，1 1 2 = 。2 七+ 2 i l e c 一七一，1 1 2 。 由于器o 魂。均方收敛的，于是有 在均方意义下成立 上述引理见：时间序列的理论与方法，田铮，6 1 页 记磊= 釜oo j e t - # ，求它的特征函数 9 ( t ) = e ( e 蝻) = e ( e 主t ( 乱+ a 翻一l + + a n e t - - n ) 、 = e ( e 姗) e ( e i t 。e t - 1 ) e ( e 越口”耻n ) =e 一 矿护e 一n 2 盯2 铲e 一 n 2 n 盯2 t 2 ：p 一三号警砘z=e 2 i 一”。 根据中心极限定理，我们可以求出e 。的特征函数 妒( t ) = e ( e 讹t ) = e ( e 托鬻。一矗一j ) = l i r ae ( e 乱圣。一8 t j ) n o 。 再由以上求出的特征函数可以知道 证毕 ：l i me 一 导筹# 口2 t 2 n - + 0 0 一丢- b 口2 2 = e 一互研o 拿一( 。，f 0 - 否2 ) 6 ( 2 3 1 ) 乱 伽 | | 龟 接下来求( e l e ) 的联合分布 p ( e l ，e 2 ，e ，1 ) p ( e l ，2 ，n ) i j i 而丽1e x p - 互1 志) 亟志e x p 可1 堡0 - 2 - r ) 1了翥雾币司e x p t - 互币亡硒丛丽e x p t 一互一卜王 = ( 2 矿啪龟l _ n 2 诤唧一1 1 1 - 盯，a 2 e ；+ 砉1 】) ：( 2 丌) 一号( 盯一n ) ( 1 一q z ) e x p 一1 1 - 盯a 2 e ；+ n 1 ( e 。一吮一t ) 2 】 z盯。：a 。 = ( 2 7 r ) 一量( 盯一 ) ( 1 一a 2 ) 唧卜刍 e 2 + ( 1 + q 2 ) e ；+ + ( 1 + q 2 ) e ：一，+ e ：一2 岫e 2 一2 0 t e n - l e n = ( 2 丌) 一暑l i 一 c x p 一丢t - - 1 e ) ， 其中 e = ( 三) l = 我们得到的似然函数为： p ( x l l e ，r ( 斛，o t ，盯2 ) 0 o o ；咀 0 0 1；0 o l吸；ol咀0；0 ，-j-。-。-。一 = ， n ， ， 昆 铅 + + + o l 2 f 钆 菩i 毗 | | = | l 以 化 韶 跏 ，lllillilj、llliilil_-i， 一一一一；矿胃 一 一 一 彬印舻霄；一一舻耳萨耳；一一户龠舻耳；一 2 ， 3 n 幺 一 及一e 。瑚 +p口一 一| 舻 一 p 嘲 7 口 一 n 一 伊 n 一2 一 霄2 = 其中e = 五一p ( 砉) ，并且p ( 砉) 由式( 2 1 2 ) 给出 接着我们来计算d 的后验，由似然函数( 2 3 2 ) 式和q 的先验假设( 2 2 4 ) 式， 7 r ( q l 叉，七，r 小，盯) 仪p ( x l k ，r ( 舢，q ，口2 ) 7 r ( q ) o ( 盯一竹( 1 - a 2 ) 5 e ) ( p 一击【( 1 一a 2 ) e i + i = 2 ( 铲蚴一) 2 】) 虻1 e x p 一去( q 一曲2 似n ) o c ( - 一a 2 声唧( _ 三唔薹e 一2 吕妻e 泓一t + 击妻= 1 胡) e x p 一三 篆一2 q 等+ 锃】) 厶( a ) ( 1 一口2 ) 厶( q ) 唧曲学+ a 2 _ 2 c 鼍等+ 钞+ c 学+ 和 。c ( 1 - q 2 ) ；e x p 一去坠篙丝，唰班吼 ( 2 3 3 ) 兵甲 m = 学n - 12 + 磊1 ，= 色掣+ 筹 由式( 2 3 3 ) 知，o g 的后验密度正比于一个截断正态分布的密度 然后计算盯2 的后验，同样的方法，利用似然函数( 2 3 2 ) 式和盯2 的先验假设( 2 2 5 ) 式， ，r ( 仃2 i x ，七，r 似) ，口) o ( p ( x i k ，r ( 柚，n ，盯2 ) 7 r ( 仃2 ) o ( 盯邗( 1 - ) 5 e x p 一刍【( 1 一固e ；+ ( e t 一- 1 ) 2 】 南c 护1 唧 一嘉 o c ( 护州c x p 一知咖。) e 2 + 妻( 年1 ) 2 m 文( 护1 唧 一知 8 ( 2 3 4 ) 第二章时间序列趋势路径的时间尺度研究2 4 参数后验的r j m c m c 抽样 其中 a = 三托 + 扣埘“妻( 色) 2 】 由式( 2 3 4 ) 知，仃2 的后验仍然服从逆伽马分布，相应的超参数有所变化 最后我们来计算( 七，r ( 七) 的联合后验，利用似然函数( 2 3 2 ) 式和k 的先验假设( 2 2 1 ) 式以及( ，l 他) l k ) 的先验( 2 2 2 ) 式， 7 r ( 七，r ( 七) i x ，0 2 ，q ) o ( p ( x l k ，r ( ，口，盯2 ) 霄( 后，r ) ) o c p ( x l k ，r ( ，q ，盯2 ) 丌( 七) 7 r ( r 似) l k ) o c e x p 一扣硼e i + 挚一- 1 ) 2 】 铷k k m a x 筹 o c 州一扣锄e i + 塾一- 1 ) 2 】) 孙k _ r ，则返回上一步 重要性抽样算法：考虑，= 晶 ( z ) = 厶 ( z ) 丌( z ) 如的估计问题 ( a ) 从试验分布g ( x ) 中抽取样本x l ，x 2 ，x m ； ( b ) 计算重要性权重姚= 7 r ( 翰) 9 ( 跪) ，j = 1 ，m ； ( c ) 计算j 的估计量j = 鬲1 銎1 毗，( 筑) 从上世纪九十年代开始，m a r k o v 链m o n t cc a r l o ( m c m c ) 的使用，使b a y e s 统计发生 了革命性的变化设x 是某个给定的b o r e l 可测空间，如果对任意的z ，p ( x ，) 是x 上的 概率测度，对任意的b o r e l 集a ，p ( ，a ) 是x 上的b o r e l 可测函数，那么我们称p ( ，) 是x 上的转移核( t r a n s i t i o nk e r n e l ) 我们用记号z _ py 表示从概率分布p ( x ，) 抽出样本y ，并说 这是从z 到可的移动m o v e ) ，其类型是转移核p 有时，我们也把z 三秽简写为z y 设丌是x 上给定的概率分布，如果对任意b o r c l 集a ，b 都有 l r ( d x ) p ( x ，b ) = 7 r ( d y ) p ( y ，a ) ( 2 4 1 ) jaj b 我们就说这类移动满足关于丌的平衡方程假定移动前的分布是丌，则方程( 2 4 1 ) 的左、右 两端分别是p 伽a ，y b ) 和p x b ，y a ) 因此，上述平衡方程说的是。从a 移动到 b 的概率等于从b 移动到a 的概率”平衡方程( 2 4 1 ) 可以改写成如下等价的微分等式； r ( d x ) p ( x ，d y ) = 7 r ( 咖) p ( 耖，如)( 2 4 2 ) 这个等式两边对( z ，y ) a b 积分就得到了( 2 4 1 ) 如果丌( 如) ，p ( x ，d y ) 关于某个盯有限 测度p 绝对连续，即存在可测函数l , v 使得p ( x ，d y ) = p ( x ，可) 肛( 咖) ，7 r ( d x ) = ，( z ) p ( 如) ，则平 衡方程( 2 4 1 ) 可以进一步改写为如下在应用中最常见的形式： f ( x ) p ( x ，y ) = ，( 耖) p ( y ，z )( 2 4 3 ) 在m c m c 中，平衡方程是一个非常重要的条件比如，如果在( 2 4 1 ) 中取b = x ，那 么我们就可以得到丌( a ) = 氏丌( 咖) p ( ，a ) 这意味着，若移动前的分布是丌，则移动后的分 布也是丌换言之，丌是这类移动的不变分布或平稳分布 m e t r o p o l i s - h a s t i n g s 移动：设丌( z ) 是x 上的某个概率测度的分布密度，即关于某个指定 的盯有限测度p ( 如) 的r a d o n n y k o d i m 导数所谓m e t r o p o l i s - h a s t i n g s 移动是指任何按 照下列算法得到的移动z 一剪： ( a ) 建议阶段：从条件分布q ( z ，z ) p ( 如) 中抽取一个样本z ； ( b ) 接受阶段：从均匀分布u 【0 ，1 】抽取个随机数u 当札r ( z ，z ) 全m i n l ，捌) 时， 置y = z ，否则取y = z 条件密度口( z ，y ) 叫做建议分布，r ( z ，z ) 称为接受概率这种移动对应的转移核是 p ( z ，a ) = 上口( z ，名) r ( z ，z ) p ) + 上q ( z 栩【1 一r ( z ，训p ( 如) “( z ) 从b 移动到a 的概率是 以丌( z ) p ( 如) p ( z ，a ) = 上上口( z ，名) r ( z 丌( z ) p ( 出) 肛( 如) + 上n b 上q ( z ，纠l r ( z 纠】丌( z ) p ( 如) p ( 如) 由于函数q ( z ，z ) r ( x ，z ) 7 r ( 茁) = m i n 7 r ( x ) q ( x ，名) ，7 r ( z ) q ( z ，z ) ) 关于z ，z 是对称的，所以a ，b 互换 后上述公式的值并不改变因此，m h 移动满足关于l r ( x ) # ( d x ) 的平衡方程 m a r k o v 链m o n t ec a r l o 算法：是指从某个初始点z ( o ) 出发的移动序列： z ( o ) 鱼z ( 1 ) 旦z ( 2 ) 鱼驾z ( ) 旦z ( 件1 ) 业 并且m o v e t y p e s 全 尼：t = 0 ，1 ，2 ， 是有限集 如果对z = ( x l , z z ，z 七) 的每个子向量x i 使用条件抽样，我们就得到了 g i b b s 抽样器；对= o ，l ，2 ，i = l ，2 ，知，从条件分布7 r ( 如l i z p ，z 结，z x ( o ，z g ) 抽取样本z p 如果使用m e t r o p o l i s - h a s t i n g s 移动，我们就有 m e t r o p o l i s - h a s t i n g s 算法：对t = 0 ，1 ，2 ，按照m e t r o p o l i s - h a s t i n g s 移动法则从点z ( 。) 移 动到某个新的点z ( + 1 ) ( 可能与原来的点z ( ) 相同) 1 1 2 4 2可逆跳跃m a r k o v 链m o n t ec a r l o 在模型选择问题中，参数的维数常常依赖于近似模型族的标记，假定当标记参数为k 时，近似模型族的参数的定义域是欧氏空间r n t 的子集e 蠡，整个模型选择问题的参数空间 是不交并e 全七e 七为了使用b a y e s 方法，我们必须设置k 的先验p ( k ) 以及在给定七时 巩的先验p ( o 七i k ) 在观测到数据z 之后，我们由近似模型族p ( x l k ，以) 可以算出后验分布 p ( k ，钆i z ) o ( p ( k ) p ( o k i k ) p c x l k ，靠) 原则上讲，可以通过对以的积分得到模型选择准则p ( k l z ) ，然而在实际问题中我们一般得 不到p ( k l x ) 的解析表达式因此，通常的作法是直接从联合后验p ( k ，民i z ) 中抽样，然后用 得到的样本去估计p ( k l x ) 记0 = ( k ，o k ) ，则丌( 9 ) 垒p ( k ，钆i z ) 是空间七e 七上的分布密度 因此，实现抽样过程的m a r k o v 链必须包含某些能够在不同维数空间中跳跃的移动类型对 于这样的变维问题，g r e e n ( 1 9 9 5 ) 对通常的m e t r o p l i s - h a s t i n g s 移动进行了推广，提出可逆跳 跃移动( i u ) ，相应的m c m c 算法叫做可逆跳跃m a r k o v 链m o n t ec a d o ( r j m c m c ) 简而言之，r j 就是e 垒七e 七上的m h 移动我们需要构造e 上的转移核q ( 8 ，秽) ，并 找到使平衡方程满足的接受概率r ( 8 ，秽) 如果8 的分布是丌( 硼) ，为了使建议分布q ( o ，抛) 满 足关于霄( 硼) 的平衡方程只需下式对e 中的任意可测子集a ，b 成立 上 上r c p 口枷， 丌c 瑚，= 上 r c 秽口c 秽，础) 霄c 踟， c 2 4 4 ， 现在，我们来构造i u 移动对侠0 p t ，i = 1 ，2 ，为了得到两个互逆的移动秽1 _ 如 和如_ 0 l ，我们取r ”t 上的分布密度q i ( - i ) ，i = 1 ，2 以及同胚映射：( 8 1 ，t i ) h ( 如，u 2 ) 这 里需满足等式m 1 + n l = m 2 + n 2 现在，我们提出建议p 1 _ 如( 0 1 ，u 1 ) 以及p 2 0 1 ( 0 2 ，u 2 ) ， 其中蚴是来自密度吼( 嘞) 的样本设这些建议的接受概率分别是r ( 8 1 ，6 1 2 ) 和r ( 8 2 ，0 1 ) 等式( 2 4 4 ) 成立当且仅当 r ( 8 1 , 8 2 ) p ( k = 1 , 8 1 口1 ( u 1 ) = r ( 8 2 , 8 i ) p ( k = 2 , 8 2 i z ) q 2 ( u s ) 0 ( 8 5 , u 2 ) l 因此我们得到接受概率的计算公式： 邶圳n ，箍渊i 辎i ) 江4 1 2 第二章时闻序列趋势路径的时间尺度研究2 4 参数后验的i l i m c m c 抽样 在实际使用中，我们一般取m l 或m 2 为0 当m l = 0 时，公式( 2 4 5 ) 不含i i i ，而1 1 2 是由 0 l ，0 2 确定的函数 1 9 9 7 年，r i c h a r d s o n 和g r c c n 又合作构造和实现了分裂( s p l i t ) 和融合( c o m b i n e ) 移动 跳跃方式，奠定了r j m c m c 方法理论基础和主要实现形式 2 4 3 本文模型参数后验的r j m c m c 抽样 在本文的问题中，我们有一列时间序列 五，t = 1 ，2 ，n ) ，真实的模型是未知的假 设它可以分成两部分，分段线性趋势项部分和a r ( 1 ) 模型部分分段线性部分来自于模型 集合 m o ，尬，) ，其中慨代表有k 个内结点的模型整个参数空间e 由可数个子空间 组成，e 全血e 詹，其中e 七是欧氏空间r n ( 知) 的子空间，r ”( 七) 代表n ( k ) = k + 2 维参数空 间我们的目标是从联合后验7 r ( p ( 奄) i x ) 中仿真出样本，由于问题是变维的，所以必须构 造在子空间e 七中移动的类型，使得样本可以自由探索合并参数可能的转移为： ( a ) 增加一个结点( 出生步) ， ( b ) 减少一个结点( 死亡步) ， ( c ) 移动一个结点( 移动步) 其中( a ) 和( b ) 是改变模型维数的( a ) 中，拟增加的结点位置在 x l ，z n ) 中均匀选 取一个x i ，使得它左右z 个设计点内没有其他结点之所以这样设定是为了保证结点相对远 离，结点靠的太近没有意义可供选择的点个数为n z ( 七) ，其中z ( k ) = ( 2 1 + 1 ) 七十2 ( z + 1 ) ( b ) 中，删除的