（概率论与数理统计专业论文）t回归模型的方差变点检测.pdf

d e t e c t i o no fv a r i a n c ec h a n g e - p o i n t si n s t u d e n t tl i n e a rr e g r e s s i o nm o d e l s ad i s s e r t a t i o ns u b m i t t e dt o s o u t h e a s tu n i v e r s i t y f o rt h ea c a d e m i cd e g r e eo fm a s t e ro f s c i e n c e b y c h e nj i p r o f l i nj i n g u a n d e p 缸t m e n to fm a t h e m a t i c s s o u t h e a s tu n i v e r s i t y n a n j i n g ，2 1 0 0 9 6 ，c h i n a d e c e m b e r ，2 0 0 9 东南大学学位论文 独创性声明及使用授权的说明 学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取 得的研究成果尽我所知，除了文中特别加以标明和致谢的地方外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意 二、关于学位论文使用授权的说明 东南大学，中国科学技术信息研究所、国家图书馆有权保留本人所送交 学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论 文本人电子文档的内容和纸质论文的内容相一致除在保密期内的保密论 文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容 论文的公布( 包括刊登) 授权东南大学研究生院办理 签名：_ 丝导师签各趁日期：丕 2 垒! ， 摘要 变点检测是统计学研究的热点课题之一，有很多学者对正态回归模型的 变点检测研究做出了不少成果t 回归模型是正态线性回归模型的推广，但它 比正态线性回归模型具有更强的稳健性和更广的应用范围在实际问题中，数 据往往具有重尾的性质，因此t 回归模型是比正态线性回归模型更合理的假设 大部分学者研究数据的期望或者回归模型的回归系数的变点问题，而将方差看 做是讨厌参数但是，方差也是研究数据特性的重要参数，也会有变点问题存在 而关于t 回归模型的方差变点检测问题还没有进行过比较详细的研究 本文首先应用经典s i c 的方法检测t 回归模型的方差变点，并应用b o o t s t r a p 的方法给出了其近似区间估计其次，将类似的方法应用到同时存在回归系数 和方差变点的模型上，同时得出了它们的点估计然后，应用贝叶斯方法中的 g i b b s 抽样方法检测模型的变点，并且应用二分法逐步检测多变点最后，应用 m c m c 方法给出多变点问题的同时估计 关键词：方差变点，学生t 分布，线性回归模型，s i c ，贝叶斯，m c m c 方法，g i b b s 抽样器，h a s t i n g s - m e t r o p o l i s 算法，b o o t s t r a p i a b s t r a c t c h a n g e - p o i n tp r o b l e mi so n eo ft h eh o tt o p i c si ns t a t i s t i c a lr e s e a r c h t h e r eh a v e b e e nm a n ys c h o l a r si nt h i sa r e as t u d y i n gd e t e c t i o no ft h ec h a n g e - p o i n t si nn o r m a ll i n c a r r e g r e s s i o nm o d e l sa n dh a v i n gm a d eal o to fr e s u l t s t h etl i n e a rr e g r e s s i o nm o d c li sa p r o m o t i o no ft h en o r m a ll i n e a rr e g r e s s i o nm o d e l ，b u ti th a ss t r o n g e rr o b u s t n e s sa n dw i d e r r a n g eo fa p p l i c a t i o n s i np r a c t i c a lp r o b l e m s ，t h ed a t ao f t e nh a v eh e a v y - t a i l e dn a t u r e t h e r e f o r e ，tr e g r e s s i o nm o d e l sa r em o r er e a s o n a b l ea s s u m p t i o nt h a nt h en o r m a ll i n e a r r e g r e s s i o nm o d e l s m o s to fs c h o l a r sr e s e a r c h e dt h ec h a n g e - p o i n t si nt h ee x p e c t a t i o no ft h e d a t ao rt h er e g r e s s i o nc o e f f i c i e n t so far e g r e s s i o nm o d e l ，a n dt h ev a r i a n c ew a ss e e na sa n u i s a n c ep a r a m e t e r h o w e v e r ，t h ev a j i a n c eo fd a t ai sa l s oa ni m p o r t a n tp a r a m e t e ra n d h a sc h a n g e - p o i n tp r o b l e m s ，t o o t h ec h a n g e - p o i n tp r o b l e m si nt h ev a r i a n c eo ftl i n e a r r e g r e s s i o nm o d e l sh a v en o tb e e ns t u d i e di nd e t a i l sb e f o r e i nt h i sp a p e r ，t h ec l a s s i cs i cm e t h o d sa r eu s e dt od e t e c tt h ec h a n g e - p o i n t si nt h e v a r i a n c eo ft h etl i n e a rr e g r e s s i o nm o d e l s ，a n dt h eb o o t s t r a pm e t h o di sa p p l i e dt og d v c n a na p p r o x i m a t ei n t e r v a le s t i m a t i o no ft h ev a r i a n c ec h a n g e - p o i n t s s e c o n d ，t h es i m i l a r m e t h o d sa r ea p p l i e dt ot h em o d e lw h i c hh a sc h a n g e - p o i n t si nt h er e g r e s s i o nc o e f f i c i e n t s a n dt h ev a r i a n c e sa tt h es a i n et i m e ，a n db o t ho ft h ec h a n g e - p o i n t sa r ee s t i m a t e dt o g e t h e r t h e n ，a p p l i c a t i o n so fg i b b ss a m p l e rm e t h o do fb a y e s i a nm e t h o d sa r eu s e dt od e t e c tt h e s i n g l ew a r i a n c ec h a n g e - p o i n ti nt h etl i n e a rr e g r e s s i o nm o d e l s ，a n dt h ep r o c e d u r eo fb i n a r y s e g m e n t a t i o ni sa p p l i e dt od e t e c tt h em u l t i p l ec h a n g e - p o i n t si nt h ev a r i a n c eo n eb yo n e f i n a l l y , a na p p l i c a t i o n0 fm c m cm e t h o d s i su s e dt ot h ed c t c c t i o no fm u l t i p l ec h a n g e - p o i n t s i nt h ev s d a n c eo ft h etl i n e a rr e g r e s s i o nm o d e l s k e yw o r d s ：v a r i a n c ec h a n g e - p o i n t ，s t u d e n t - td i s t r i b u t i o n ，l i n e a rr e g r e s s i o nm o d e l ，s i c ， b a y e s ，m c m ca l g o r i t h m ，g i b b ss a m p l e r ，h a s t i n g s - m e t r o p o l i sa l g o r i t h m ，b o o t s t r a p i i 摘要 a b s t r a c t 目录 第一章绪论 1 1 变点检测的研究概况 1 1 1 关于变点检测。 1 1 2 变点检测的经典统计方法 1 1 3 变点检测的贝叶斯估计 1 2 有关学生t 分布 1 3 本文的主要工作 第二章基于s i c 方法的t 回归模型的方差变点检测 2 1 引言 2 2 变点的检测 2 2 1 基于e m 算法的参数估计： 2 2 2 基于s i c 方法的变点估计 2 2 3进一步的推广 2 3 模拟计算一 2 3 1b o o t s t r a p 近似区间估计 2 3 2 进一步推广的模拟 2 4 实例分析 2 5 第二章小结 第三章t 回归模型的单方差变点检测的贝叶斯方法 3 1 引言 3 2 贝叶斯公式推导 3 2 1 模型的等价转换 3 2 2 贝叶斯公式 3 3g i b b s 抽样与模拟 3 3 1g i b b s 抽样方法 3 3 2 单方差变点的模拟。 i i i i h l l l 2 2 2 3 4 4 4 5 7 9 n 埒培m 坞 坞 均 均 船 船 纵 3 3 3 多方差变点的模拟2 4 3 4 实例分析2 6 3 5 第三章小结2 9 第四章t 回归模型的多变点检测的m c m c 方法 3 0 4 1 引言3 0 4 2 模型3 0 4 3m c m c 方法3 1 4 3 1 先验分布3 l 4 3 2 贝叶斯公式的推导3 l 4 3 3 产生马尔可夫链3 4 4 4 模拟计算3 5 4 5 实例分析。3 8 4 6 第四章小结3 8 第五章结束语 3 9 致 谢 4 0 参考文献 i v 4 1 第一章绪论 美国著名统计学家、美国科学院院士e f r o n 曾经说过：。在二十世纪，统计 思想和方法已成为许多科学领域的理论支柱目前，它在诸如天文学、物理学、 地质学等更复杂的科学领域中也发挥了日益重要的作用在二十一世纪，人们 将广泛认识到统计学是科学思想的中心成分之一。 统计学是一门具有强烈应用背景，广泛研究内容和丰富实际成果的科学 分支而变点检测则是统计学界比较热门的课题，应用较为广泛，实际应用效果 也较好变点问题最初来自质量控制工程，主要关心的是标准流水线产量的变 化问题如今变点检测在各个邻域都有广泛的应用：生物，医学，金融，信号处理 等而且t 分布的假设作为正态假设的推广，应用的范围更广( 实际数据很多不 符合正态假设，具有重尾的性质) ，因此t 分布假设可以用于处理重尾数据，并且 具有一定的稳健性 1 1 变点检测的研究概况 1 1 1 关于变点检测 在实际问题中，用单一的模型来描述数据往往会产生较大偏差这常常是 由于研究的数据并不都符合相同的模型，也就是说，数据中存在变点变点检测 有很强的应用背景，通过变点检测得出变点的位置，我们可以根据变点发生时 相关的事件分析交点产生的原因，从而为以后的数据分析提供一定的依据由 于变点检测的实用性，许多学者在这方面做出了很多优秀的工作主要的方法 有两类：经典统计诊断方法( s j f c 等) 和贝叶斯分析方法 变点检测问题一直是统计学关心的问题关于变点检测的文献最早可以 追述到p a g e ( 1 9 5 4 ，1 9 5 5 ，1 9 5 7 ) 应用累计和的方法检测变点大部分学者研究正 态模型的变点检测问题，其中很多是关于期望或者回归系数的变点检测问题的 文献w o r s l e y ( 1 9 7 9 ) 和h o r v 磊t h ( 1 9 9 3 ) 研究了正态分布的期望变点模型另外一 些学者分析了回归模型的回归系数的变点问题c h e n ( 1 9 9 8 ) 讨论了线性回归模 型的变点问题h i n k l e y ( 1 9 7 0 ) 在这类问题上应用极大似然估计和似然比检验并 推出了变点的一些渐进性质z h o u & l i a n g ( 2 0 0 8 ) 对广义线性回归模型的变点进 行了估计这些都在正态假设下研究变点c h e n g u p t a ( 2 0 0 1 ) 对变点检测和估 计问题的主要方法做了综述，而更多关于变点渐近性质的结果可以参考c s s r g h o r v 五t h ( 1 9 9 7 ) 在实际问题中，方差往往不应看做讨厌参数，而是很重要的数字特征c h c n 东南大学硕士学位论文 g u p t a ( 1 9 9 7 ) 研究了正态模型的方差变点问题并将其应用到股票价格分析上 j o h n s o nc ta i ( 2 0 0 3 ) 基于贝叶斯方法检测数据的方差变点h o r v 吞t h s t e i n e b a c h ( 2 0 0 0 ) 也对方差变点做了一些研究 总之，变点检测是统计研究的热门课题诸多学者在不同的模型下研究变 点问题，在不同的应用背景下分析实际数据的变点问题，并给出了合理的解释， 对实际数据分析做出了巨大的贡献 1 1 2 变点检测的经典统计方法 c h c n ( 1 9 9 8 ) 建议应用s i c ( s c h w a r zi n f o r m a t i o nc r i t c r i o n ) 检测回归模型的变 点在变点检测中，应用经典统计诊断方法( s i c 等) 时，变点的准确估计依赖于 其它参数的估计在正态假设下，给定变点时，我们应用极大似然方法( 即最d 、- - - - 乘方法) 估计变点以外的参数；但是在t 分布的假设下，由于不能直接给出参数 的极大似然估计，我们应用迭代的方法进行近似计算，主要有e m 算法和s a e m 算法估计出变点后，可以应用b o o t s t r a p 方法计算变点的区间估计对于多变点 的检测问题，往往利用v o s t r i k o v a ( 1 9 8 1 ) 提出的二分法，正如y a n g & k u o ( 2 0 0 1 ) 在 泊松过程中检测多变点的做法 1 1 3 变点检测的贝叶斯估计 在贝叶斯分析中，需要导出各个参数在其它参数给定时的条件后验分布， 再应用g i b b s 抽样或h a s t i n g s - m e t r o p o l i s 算法生成马尔可夫链，进而获得各个参 数( 包括变点) 的后验估计s e n & s r i v a s t a v a ( 1 9 7 3 ) 和s m i t h ( 1 9 7 5 ) 应用贝叶斯分 析的方法检测变点，不过他们各自的侧重点不同应用贝叶斯方法检测多变点 经常采用m c m c 方法，例如：l a v i e u c l c b a r b i e r ( 2 0 0 1 ) 和p a u l ( 2 0 0 6 ) 在经典统 计方法中，关于t 分布自由度的估计是一个困难的问题，但这可以通过贝叶斯的 方法解决g c w e k e ( 1 9 9 2 ) 给出了自由度的一个抽样方法，并且g e w e l m ( 1 9 9 3 ) 对t 回归模型进行了贝叶斯分析 1 2 有关学生t 分布 学生t 分布是在1 9 0 8 年由w i l l i a ms g o s s e t 以s t u d e n t 的笔名所命名的生 物社会、经济等领域的统计特性和变化规律，是统计学家非常关- 5 - 的问题为 了探索复杂动态随机系统的统计特性和变化规律，必须从该类随机系统采集所 需的数据但是，并不是所有的随机系统都满足正态假设的要求很多数据具有 重尾的性质，而且在样本量比较小时，t 分布的假设显得更加合理 2 第一章绪论 回归分析分析中，t 分布的假设比正态假设更加稳健l i n ，z h u & x i e ( 2 0 0 9 ) 研究t 回归模型的方差齐性，进一步l i n ，x i e & w e i ( 2 0 0 9 ) 将模型推广到偏t 的情 形 1 3 本文的主要工作 鉴于诸多学者在正态回归模型的回归系数变点问题的研究成果以及关于 t 回归模型的一些理论，本文主要研究t 回归模型的方差变点问题分别从经典 统计诊断( s i c ) 与贝叶斯分析的角度讨论了变点的检测问题 本文第二章应用s i c ( s c h w a r zi n f o r m a t i o nc r i t e r i o n ) 的方法检测t 回归模型 的单一方差变点，并且进行了多次重复模拟以便了解s i c 方法的效果和准确 性在得出变点点估计的同时应用b o o t s t r a p 的方法计算了其近似的区间估计 最后，将模型推广为同时存在回归系数和方差变点的情形并应用类似的方法检 测变点 第三章应用贝叶斯分析的方法检测变点对存在单一方差变点的t 回归模 型进行贝叶斯分析，导出各个参数的条件后验似然应用g i b b s 抽样器，产生收 敛的马尔可夫链，进而得到各个参数的估计并检测出变点最后，将单一方差变 点问题推广为多个方差变点问题在单一变点问题的基础上，应用二分法逐个 检测出所有的方差变点 第四章应用m c m c 方法研究t 回归模型的多变点问题与第三章一样，导 出各个参数的条件后验似然，然后应用g i b b s ，h a s t i n g s - m e t r o p o l i s 抽样算法生成 多变点的马尔可夫链，获得多变点的贝叶斯估计 综上所述，本文的主要工作包括： 一基于s i c 方法得到t 回归模型方差变点的检测方法，并应用于回归系 数方差同时存在变点的模型； 二、应用贝叶斯分析和g i b b s 抽样得到t 回归模型方差变点的贝叶斯估计： 三、基于m c m c 方法研究了t 回归模型方差多变点的问题，得到多变点的 同时贝叶斯估计； 四、基于多次重复模拟计算验证了s i c 的准确性； 五、应用b o o t s t r s p 方法获得了变点的近似区间估诜 六、应用二分法逐个检测模型中可能存在的多个变点 3 第二章基于s i c 方法的t 回归模型的方差变点检测 2 1 引言 基于正态假设的统计分析是为大家熟知的l a n g ce ta 1 ( 1 9 8 9 ) 引入t 回归 模型作为正态回归模型的推广众所周知在回归分析中，当残差项具有重尾密 度时，t 分布是更为合理与方便的假设若随机变量! ，一t ( p ，吼p ) ，则y 的概率密 度函数 m ，；篱￥) 2 r i ，+ l 脾， 其中，p ，咖，| ，分别表示t 分布的期望，方差与自由度下面给出存在方差变点的t 回归模型的含义 一般的t 回归模型可表示为： m = x t a + 矗， i = l ，2 ，n ， 其中旬一划t ( o ，) ，于是存在方差变点的t 回归模型的检验问题可以表示为： t t o ：k = x t a + 目， i = 1 ，2 ，n ，( 2 1 ) 肌：k = x t a + 1 1 ， i = l ，2 ，k ， ( 2 2 ) k = x t a + 4 ， i = 七+ 1 ，仃， 其中， 日一t ( o ，咖，i ，) ， 1 ) 一t ( o ，l ，| ，) ，e 5 2 ) 一t ( o ，也，| ，) 本章中c h e n ( 1 9 9 8 ) 的结果被推广到独立t 回归模型上首先，s l c ( s c h w a x z i n f o r m a t i o nc r i t e r i o n ) 被用于t 回归模型的方差变点检测，其中参数估计应用了 e m 算法然后，进行了多次模拟计算并应用b o o t s t r a p 的方法给出变点的近似 区间估计最后，将模型推广为同时存在回归系数和方差变点的情形 2 2 变点的检测 根据c h e n ( 1 9 9 8 ) 的文章，用s i c 将假设检验转换为一系列模型选择，s i c 定义为： s i c = - 2 l ( b ) + s l o g ， 4 第二章基于s i c 方法的t 回归模型的方差变点检测 其中l ( 旬表示似然函数，每表示参数的极大似然估计，s 是模型的参数个数，n 是 样本数则最大化似然函数相当于最小化s i c 对假设检验( 2 1 ) 和( 2 2 ) 考虑记号： y l = ( m ，蚝，圪) t ，y 2 = ( k + l ? ，碥) t ， x 。= ( x ，耀，碟) r ，x 2 = ( x 玉。，碹：，霹) r 其中七= 鼽，n p 下一节中，应用e m 算法分别给出凰成立和日- 成立( 后给定) 时t 回归模 型中参数的极大似然估计 1 2 2 1 基于e m 算法的参数估计 凰成立，参数日= ( 卢t ，西) t 的对数似然函数 圳蚓0 9 砷) 一三1 0 9 妒一等耋l o g 1 + 掣 ， 其中 毋= 霹( p ，) = 华，i = l ，i ， k ( ) = 端 s c o r e 函数如下 其中 叩) 2 去萎仇( k 一踟) 五2 万1 x t v ( y 一荆， 吣) = 一品+ 去萎忱( m x f o ) 2 ， = 一2 n 咖十去q ，( 雕 v = d i a g ( v , ，v 2 ，) ， 咄= 忱( p ) = 讽v + l ，i = l ，n ， q y ( 口) = ( y x p ) 墨y ( y x p ) 由于似然方程组非线性，应用e m 算法迭代解决 本章中假设自由度l ，已知，f e r n a n d e z 和s t c c l ( 1 9 9 9 ) 指出在估计i ，时，对数 似然无界，这会引起非正常的估计问题所以，给定而估计口= ( 矿，纠t e m 算法的应用： 5 东南大学硕士学位论文 凰成立时，观测值的对数似然函数 l o ( yi 职口) = 三l 。9 2 丌一+ 三l o g vi 一去q y ( p ) e m 算法通过两步迭代最大化对数似然函数，第( r + 1 ) 步算法过程如下： e 步：从0 = c o t , 咖) t 的初值口( o ) 开始，权重估计毋满足 e ( 阢l k ；口( 帕) = r ) 。了i z 两u 石+ 万l _ 豕可， 其中 孝( r ) = 学，2 在这里，独立随机变量阢一g 口m m 口( ( y + 1 ) 2 ，( y + 砰) 2 ) m 步：利用e 步中得到的权重，获得极大似然估计， 其中 p ( 件1 ) = ( x t y ( t ) x ) 一1 x t y ( n y ， 妒( 件1 ) = 去q 坩) ( p ( r ) ) ， y ( t ) = m a g ( u i r ) ，毋) ，谚) 在e 步和m 步之间继续上面的算法直到序列p ( r ) 收敛 日l 成立时( 詹给定) ，对数似然 “p ) = 礼t o g k ( 小妻l o g 妒t 一字崦也 一下u - i - 1 圭l 。g 1 + 毋( 卢，1 ) ) - = 1 一u+l壹log1+d2(p，锄)肛)，2 t 幺1 ”川叫 其中0 = ( 矿，4 , 1 ，屯) t s c o r e 函数如下： u ( p ) = 去x f u ( h x l p ) + 石1 2 t ( k 一恐卢) ， 吣- ) = 一去+ 研1q ( 础 u ( 仍) = 一面n - k + 去q b ( 既 6 ( 2 3 ) ( 2 4 ) ( 2 5 ) 第二章基于s i c 方法的t 回归模型的方差变点检测 = d i a g ( v l ，地，) ， = d i a g ( v k + l ，坝+ 2 ，) ， = 石v 弼1 ，i = 1 ，n ， = 攀：i = 1 , “2 , - - 七乞一一 = ( y x x 1 p ) t 丘( h x 1 卢) ， = ( b 一而p ) t ( 砖一弱p ) 应用e m 算法，在七给定时观测值的对数似然函数 “( yi p ；口) = 一詈1 0 9 2 丌一鲁1 0 9 ，一字她锄 + l l o gl v , i + 虿1 1 0 9l 屹l 一2 - 丢x q v l ( f 3 ) 一去q ( 雕 e 步：0 满足 e ( 阢i 删r ) ) = = 丽v + l ， 印，- 葶= 麓郇 在这里，独立随机变量阢一g 口m 仇口( ( 1 ，- t - 1 ) 2 ，( 1 ，- i - 霹) 2 ) m 步：利用e 步获得的估计，得到极大似然估计： 卢( r + 1 ) = ( x f v r 噩- i - 霹疃帕恐) 一1 ( 砰订一班 + 墨芗磅即砼) ， 妒( r + 1 = q 瞎) ( p ( r ) ) ， 毋+ 1 = 击q 识，) ( p ( ，) ) ， 订r ) = d j a g ( u ( r ) ，谚) ，以) ， 皤r ) = d i a g ( u 肄1 ，趔2 ，皤) 此节给出无方差变点模型与存在方差变点模型的s i c h o 成立时 s l c ( n ) = 一2 l o ( 0 ) + ( p + 1 ) l o g n ( 2 6 ) ( 2 7 ) h u 地 霹泐 h q q 中其 东南大学硕士学位论文 给定七，凰成立时 = - 2 n l o g k ( | ，) + n l o g + 佃+ 1 ) l o g n n + ( | ，+ 1 ) l o g 1 + d 2 ( 乃：两l ，) i - - - - 1 s i c ( k ) = - - 2 l k ( o ) + ( p + 2 ) 1 0 9 ，l( 2 8 ) = - 2 n l o g k ( v ) + 七l o g l + ( n k ) l o g 锄 + ( p + 2 ) l o g n 七 十( ，+ 1 ) t o g 1 + d ；( 声：孑1 ) ) i = 1 + ( + 1 ) l o g 1 + d 2 ( 声，鑫) i ，) 当l ，- + 时，上式即为c h e n ( 1 9 9 8 ) 的结果 由s i c ( s c h w a r zi n f o r m a t i o nc r i t e r i o n ) ( 式( 2 7 ) 和( 式( 2 8 ) ) 当 s i c ( n ) m i n s i c ( k ) ：ps 七r 一p 拒绝原假设日0 即当a n 0 时，拒绝凰， 其中 a n = m i 7 l s w ( k ) 一s l c ( n ) ：ps 七n p ) 即存在方差变点，于是得到变点的极大似然估计j i 满足 s z c ( 蓐) = m i n s i c ( k ) ：p ks ，i p ) 在实际问题中，需要引入显著性水平a 和临界值c a ( c 口0 ) 当 n + c a 盯2 - ( n - k + 1 f i 订字入c 印( 一知) 唧 一耋。陌2 妣叫冽2 + 叫她 c 3 s ， 显然，各个参数和变点的条件后验分布可以由上式推导出，从而导出它们 的贝叶斯估计 给定叮1 0 2 ，u ，l ，和七，卢的条件后验分布： 唧惟譬一。妻。譬) ( y x p ) t 一1 ( y = 茎盟i 2 唧l _ r 一l o c 唧f = ( 卢一声) t x t z 一1 x ( 卢一乃) i 其中 于是 ：d i a g ( a w 1 ，盯 u 七，以u 南+ 1 ，仃；) ， 西= ( j 【t 一1 j 【) 一1 x t e 一1 y p l ( 仃l ，眈，u ，七) 一( 声，( x t e l x ) 一1 ) ( 3 4 ) 给定卢，c r 2 ，u ，l ，和七，口l 的条件后验分布： 设u i = 犰一卢0 1 的条件后验分布： 一m ) 唧瞧杀】 o c 妒- 字唧( 一鲁) ， 其中 因此 仆壹蓦，i - - - - 1 7 砖 咖- = 羔砖 一o ， 1 i ( 卢，a r 2 ，u ，p ，七) 一x 2 ( 七) 2 1 ( 3 5 ) ( 3 6 ) 东南大学硬士学位论文 = = = = = = = = = = = = = = = = = = = 兰= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 2 2 。2 2 2 2 2 2 给定卢，口1 u ，| ，和七，口2 的条件后验分布： 其中 所以 拈。奎。峨叼_ 2 如= 山 叼 t = 七+ l 一。 屯i ( 卢，仃l ，u ，以七) 一妒( n 一七) 给定卢，盯1 ，g 2 ，| ，和j i ：，u 的后验分布： 由于每个分量咄，i = 1 ，七独立同分布，其后条件验分布： 百字唧( 一警) o ( 妒f 广币( 一妒l 2 ) ， 其中 于是 其中 因此 蜘篙22 - + v 妒l x 2 + 1 ) 同理，蛾，t = 七十1 ，n 的条件后验分布： 订学唧( 一警) 仪酽e 印( 一忆2 ) ， 锄：塑2 2 + 一v 咄 锄一x 2 + 1 ) 2 2 ( 3 7 ) ( 3 8 ) ( 3 9 ) ( 3 1 0 ) ( 3 1 1 ) ( 3 1 2 ) 、叫 碍虿、二 一产垒2 n姗卜 、j 一 阁，l 二唧 唧 兰 ) 一fz 七 一 一 一一 n l 一 等 一屹 赴 第三章t 回归模型的单方差变点检测的贝叶斯方法 给定卢，0 1 ，0 2 ，u 和七，l ，的条件后验分布： ( 善) 警蚓哪鱼唧( 一耋去山) o c ( 善) 警r 唧c 刊，( 3 1 3 ， 其中 7 = 去( 1 0 9 w i + 麦) + 入 ( 3 1 4 ) 这个密度函数来自于非标准的统计分布，但是可以通过数值方法获得来自 于上面分布核的随机数；详情参见a p p e n d i xa o fg e w c k e ( 1 9 9 2 ) 给定卢，0 1 ，0 2 ，u 和p ，变点詹的条件后验分布： 七ic卢，盯，眈，u，)“乏i差毛曼乏i二萋：揣詹=p，np c 3 j 5 ， 3 3 g i b b s 抽样与模拟 3 3 1g i b b s 抽样方法 显然，单独获得某个参数或变点的贝叶斯估计是困难的，所以我们应用 g i b b s 抽样方法同时产生各个参数和变点的马尔可夫链，从而获得它们后 验分布的信息，并给出贝叶斯估计即应用g i b b s 抽样方法产生关于o c t ) = 归，口p ，盯箩，u ，l ，七u ) 的马尔可夫链而此链既不是独立的也不是同分 布的，但是它收敛于式( 3 3 ) 所示的联合后验分布核 由上面的推导，关于各个参数和变点的后验分布的g i b b s 抽样很容易实现 给定一个任意的初值日( 们，第歹+ 1 抽样如下： ( 1 ) 在盯p ，毋) ，u ，l ，o ) 和加) 给定的条件下，应用式( 3 4 ) 抽取p u + 1 ) ； ( 2 ) 在g u + ，口乒，u ，u ) 和七o ) 给定的条件下，应用式( 3 5 & 3 6 ) 抽取盯p + 1 ) ； ( 3 ) 在9 0 + ，盯p + 1 1 ，u ，v o ) a n d 础) 给定的条件下，应用式( 3 7 3 8 ) 抽取穆+ 1 ) ； ( 4 ) 在9 0 + 1 1 ，盯p + 1 1 ，盯扩，) a n d 七d ) 给定的条件下，应用式( 3 9 ，3 1 0 ，3 1 1 & 3 1 2 ) 抽 取u o + 1 ) ； ( 5 ) 在f l u + t ) ，盯? “) ，毋+ ，u 叶1 ) a n d 后给定的条件e 应用式( 3 1 3 ) 和a p p e n d i x ao fg e w e k e ( 1 9 9 2 ) 中的方法抽取p ( j + 1 ) ； ( 6 ) 在9 c ，+ 1 1 ，仃p + 1 1 ，毋+ ，u u + 1 ) a n dv o + 1 ) 给定的条件下，应用式( 3 1 5 ) 抽取k c f + 1 ) 上面的6 个步骤就是一次完整的g i b b s 抽样，若当进行了m 次抽样后，马 尔可夫链收敛，就可以利用后t m 次抽样的结果进行贝叶斯估计的计算，其 东南大学硕士学位论文 中t 是总共的抽样次数可以将( t m ) 一1 圣 ，+ 1p ( 。) 作为e ( p ) 的数值近似，即 为近似后验期望估计但是，马氏链不仅仅反映参数和变点的某些数字特征( 比 如期望，最值) ，它反映的是整个后验分布的性质 3 3 2 单方差变点的模拟 下面将对存在单方差变点的t 回归模型做一个模拟例子模型设定如下： k = 砰p + ， i = l ，2 ，k ， k = 砰卢+ 2 1 ， i = 詹+ 1 ，n ， 其中 1 ) 一t ( o ，盯 ，y ) ，2 一t ( o ，蠢，) ， n = 2 0 0 ，p = 5 ，卢= ( 1 0 ：8 ，6 ，4 ，2 ) r ， k = 7 5 ，a l = l ，d r 2 = 5 ，l ，= 5 ，a = 0 3 产生托一谢n ( 0 5 1 毛。5 ) ，i = 1 ，2 ，2 0 0 一共进行了t = 6 0 0 0 次g i b b s 抽样，结果 如图( 3 1 ) 和( 3 2 ) 所示 从图( 3 1 ) 和( 3 2 ) 可以看出g i b b s 抽样收敛的非常快，所以可以用各条马尔 可夫链的均值作为各个参数和变点的贝叶斯后验期望估计的近似于是得到估 计： 乃= ( 1 0 0 6 6 6 ，8 2 5 8 2 ，6 2 3 7 3 ，3 4 2 6 2 ，2 3 0 3 9 ) t ， 痧= 4 8 0 0 4 ，子l = 1 0 3 2 0 ，如= 4 3 2 2 5 ：k = 7 5 3 1 0 2 除了压，反和免存在一些比较明显的偏差，其它参数，尤其是变点的估计是比较 准确的由此可见上述的贝叶斯理论也是较好的变点检测的方法 3 3 3 多方差变点的模拟 本节将模型推广为多变点的情形，根据v o s t r i k o v a ( 1 9 8 1 ) 提出的二分法，应 用上面单变点的检测方法逐步检测出所有的变点模型设定如下： 阢一( z p ，砖；| ，) ，i = 1 ，2 0 0 相互独立，其中 卢= 【1 0 ，8 ，6 ，4 ，2 1 t ，l ，= 5 ， 钒= l ，t = l ，5 5 ， 2 4 1 0 ， 5 0 b v s t o2 0 0 0 4 0 0 06 0 0 0 t v v s t 8 6 4 2 0 2 蚂t o2 0 4 0 0 0 6 0 0 0 l 图3 1 关于卢，盯l ，( 7 2 的t = 6 0 0 0 次g i b b s 抽样 8 0 7 6 7 4 6 8 k v s t 图3 2 关于七的t = 6 0 0 0 次g i b b s 抽样 东南大学硕士学位论文 o i 2 f r i 2 o i 2 即在t 回归模型中存在3 个方差变点，分别在5 5 ，9 0 ，1 3 5 我们将逐步检测它们， 戤，i = 1 ，2 0 0 的产生方法与前面一致有上节单变点的检测过程可以看出 由g i b b s 抽样产生的马尔可夫链收敛的非常快，于是在这个模拟例子中只进行 t = 2 0 0 0 次g i b b s 抽捧具体过程和结果如图( 3 3 ) 一( 3 6 ) 所示 在第1 步( 图( 3 3 ) ) 中，检测出第1 个变点七l = 5 4 ( 马尔可夫链的均值为 5 4 1 0 5 5 ) 在第2 步( 图( 3 4 ) ) 中，先在k l 前面的点中检测变点，图像发散说明不 存在变点；再在七l 后面的点中检测出了第2 个变点k 2 = 1 3 8 ( 马尔可夫链的均值 为1 3 8 2 3