（概率论与数理统计专业论文）双线性时间序列模型的参数和变点估计及异常点挖掘.pdf

东南大学硕士学位论文 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了谢意。 研究生签名：埠日期： 东南大学学位论文使用授权声明 - 2 细f 矿i i 匆 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文 的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档 的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借 阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东 南大学研究生院办理。 研究生签名：蟑导师签名： i 牛日期： 摘要 本文对双线性时间序列模型进行研究，探讨该模型下参数估计，变点估计以及基于变点的异常 点挖掘问题双线性时间序列模型通过双线性项对a r m a 模型进行推广，形式上虽然比较简单，但问 题却大大的复杂化。比如由于白噪声和观察数据的乘积作用，数据往往波动比较大，会产生突然的变 化等 参数估计是统计问题研究的传统领域，本文将给出双线性模型参数的极大似然估计，并讨论似 然函数和极大似然估计的特殊性质，用图表方式说明其”双峰”现象 数据挖掘工作在人们的日常生活和生产中起着极其重要的作用，变点估计和异常点挖掘成为 了其中重要的两个分支变点问题近年来因其应用的广泛性受到了越来越多的关注本文借鉴前人 对a r ( p ) 模型变点估计的研究成果，在双线性模型的框架下运用b a y e s 方法研究模型的参数变点，得到 变点位置的b a y e s 估计异常点问题的研究主要集中在附加异常点( a o ) 和革新异常点( i o ) 上，本文主要 对双线性时间序列模型的a o 异常点进行挖掘，采用标准g i b b s 抽样法 模拟试验的举例说明了本文提出的方法取得了良好的效果，而变点估计与异常点挖掘在试验中 的相互关系也在试验总结中给出 关键词： 双线性模型；极大似然；b a y e s ；变点；异常点；a o a b s t r a c t i nt h i sp a p e lw ed i s c u s sb i l i n e a rt i m es e r i e sm o d e l s o u rs t u d yf o c u s e so np a r a m e t e ra n dc h a n g e - p o i n t e s t i m a t ea n do u t l i e rd e t e c t i o np r o b l e mw i t ht h ee x i s t e n c eo fc h a n g e p o i n t b i l i n e a rm o d e l sg e n e r a l i z ea r m a m o d e l st h r o u g ht h eb i l i n e a rt e m m i ns p i t eo ft h es i m p l ef o r m ，t h ep r o b l e m sh a v eb e e nm a d em o r ec o m p l e x f o r e x a m p l e ，o na c c o u n t o f p r o d u c t o f w h i t e n o i s ea n d o b s e r v a t i o n d a t a ，t h e d e g r e e o f t h e d a t a w a v e o f a l w a y s v e r td e e p l ya n dt h ed a t aa l w a y sc h a n g e sa b m b t l y p a r a m e t e re s t i m a t ei st h et f a d i t i o n a lf i e l do fs t a t i s t i cp r o b l e m s t h em a x i m u ml i k e l i h o o de s t i m a t ei s o b t a i n e di nt h i sp a p e ra n dt h es p e c i a lp r o p e r t i e so fl i k e l i h o o df u n c t i o na n dm l ea r ed i s c u s s e d t h e ，b i m o d a l i t y ”p h e n o m e n o ni si l l u s t r a t e d t h ew o r ko fd a t am i n i n g 。o fw h i c hc h a n g e p o i n te s t i m a t ea n do u t l i e rd e t e c t i o ni st h et w om a i np a r t ， p l a y sa ni m p o r t a n tr o l ei np r o d u c t i o na n do u rd a i l yl i f e i nr e s e n ty e a r , t h ec h a n g e p o i n tp r o b l e mi sb e i n g p a y e dc l o s ea t t e n t i o nt ob e c a u s eo fi t sw i d e l yu s e o nt h eb a s eo fr e s e a r c hr e s u l t so fa r ( p ) b yt h ep r e d e c e s s o r s ，w ea p p l yb a y e st h e o r yt ot h ep a r a m e t e rc h a n g e p o i n te s t i m a t ea n do b t a i nt h eb a y e se a t i m a t eo f l h el o c a t i o no fc h a n g e - p o i n tt h es t u d i e so fo u t l i e rd e t e c t i o nf o c u so na d d i t i v eo u t l i e r s ( a o ) a n di n n o v a t i o n o u t l i e r ( i o ) i nt h i sp a p e r , w ea d o p ts t a n d a r dg i b b ss a m p l e rt od e t e c ta oi nb i l i n e a rt i m es e r i e sm o d e l s t h ee x a m p l e so f s i m u l a t i o ne x p e r i m e n td e m o n s t r a t et h ef a v o r a b l ee f f e c to fm e t h o dw es u p p o r t f u r t h e r m o r e ，t h er e l a t i o no fc h a n g e p o i n te s t i m a t ea n do u t l i e rd e t e c t i o ni ss h o w e di nt h es u m m a r yo fe x p e r i m e n t k e y w o r d s ：b i l i n e a rm o d e l s ；m a x i m u ml i k e l i h o o d ；b a y e s ；c h a n g e - p o i n t ；o u t l i e r ；a o 目录 摘要 - 髓 a b s t r a c t m 目录i v 第一章引言 1 1 1 问题概述 1 1 2 变点与异常点问题研究的现状 1 1 3 本文的工作 2 第二章双线性时间序列模型及其参数估计 3 2 1 模型介绍 3 2 2 参数估计 3 2 2 1极大似然估计 3 2 2 2 模拟举例 5 2 3 极大似然估计的性质 6 2 3 1 似然函数的性质 6 2 3 2 极大似然估计的性质 9 第三章变点估计1 2 3 1变点问题研究的常用方法 1 2 3 2 参数变点的估计。 1 2 第四章异常点挖掘 2 0 4 1 异常点的类型 2 0 4 2g i b b s 抽样。2 l 4 2 1 标准g i b b s 抽样 2 1 4 3 用标准g i b b s 抽样挖掘双线性模型中的a o 型异常点 2 2 目录 4 4 含变点的异常点挖掘步骤2 6 第五章模拟试验2 8 5 1 模拟举例 2 8 5 2 模拟试验的总结3 7 第六章结论及有待进一步研究的问题。3 8 6 1 结论3 8 6 2 有待进一步研究的问题3 8 致谢3 9 参考文献4 0 v 1 1 问题概述 第一章引言 在时间序列领域，以b o x 和j e n k i n s l 9 7 0 年的标志性著作 t i m es e r i e sa n a l y s i s ”为开端 的线性时间序列模型的研究，发展到今时今日已日趋完善然而世界是非线性的，非线 性时间序列模型的研究正在受到越来越多的重视，其发展可谓方兴未艾近年来研 究比较热门的模型包括门限自回归( t a r ) ，自回归条件异方差( a r c h ) ，广义条件异方 差( g a r c h ) ，以及本文要研究的双线性( b l ) 模型 双线性时间序列模是1 9 7 8 年由g r a n d e r 和a n d e r s o n 提出的本文主要研究在双线性模 型下，参数估计，变点估计和基于变点的异常点挖掘三个方面的内容参数估计是统计问 题的传统领域，本文讨论极大似然估计和b a y e s 估计选择这样两种估计方法一是因为极 大似然估计是一个传统的具有高精度的参数估计法，且其在双线性模型下会有特殊的性 质值得讨论：二是因为b a y e s 方法将为后文的变点估计和异常点挖掘做好准备 在统计问题中，变点问题是一门新的课题，特别是放到双线性模型的框架下该 问题可以追溯到1 9 5 4 年p a g e 在b i o m e t r i c a 上发表的第一篇关于变点统计的统计分析文 章”c o n t i n u o u si n s p e c t i o ns c h e m e ”他研究自动生产线上产品质量检测问题，当产品质量 超过质量控制警戒线时，希望能及时预报，以免产出更多的次品这个质量发生质变的时 候，就是我们要研究的变点本文中研究的是参数变点问题，即从某个时刻以后，模型的 参数发生了变化我们将从后验的角度对变点的检验和估计作出判断 本文的异常点挖掘工作是基于变点估计来完成的所谓异常点，直观上是与其他一大 堆数据不一致的几个数据点异常点挖掘在工业生产，经济，金融领域都有着广泛的应用 找出异常点，分析异常点出现的原因及其后果有利于发现问题的根源，防范于未然 1 2 变点与异常点问题研究的现状 变点问题最早在质量工程管理中得到应用自1 9 5 4 年p a g e 在b i o m e t r i c ai - 发表的第一 篇关于变点统计的统计分析文章开始，变点统计问题吸引了许多统计学家的注意，发表 了一系列理论结果和应用结果 近二十年来，变点问题研究在理论和应用等方面都有了快速的发展理论上，已有了 一系列较为成熟的成果c s o r g oa n dh o r v z i t h ( 1 9 9 7 ) 的专著”l i m i tt h e o r e m si nc h a n g e p o i n t a n a l y s i s ”在变点统计分析的极限理论方面进行了较为深入的研究，是对这一领域近二 十年来理论研究的总结但是，上述所设计的变点都是突变点( a b r u p tc h a n g e p o i n t ) ，实 第一章引言 际上，相对于突变点，还有两种变点被研究，即渐进变点( g r a d u a lc h a n g e p o i n t ) 和流行变 点( e p i d a m i cc h a n g e p o i n t ) 近几年来，已经有文献进行讨论，h u s k o v t ( 1 9 9 9 ) 对于位置参数 模型，关于渐进变点问题，提出了变点的最d , - 乘法的估计，并且讨论了这种变点估计的 渐进性质g u p t aa n dr a m a n a y a k e ( 2 0 0 1 ) 讨论了指数分布参数具有线性趋势渐进变点问 题，利用广义似然比检验的思想，给出了渐进变点的检验方法，并且对于检验统计量，讨 论了其统计性质这两种变点问题不仅在理论上进一步丰富了变点统计分析的内容，在 实际应用中，它们也有较强的应用背景 变点理论是统计推断的中心问题之一由于变点问题常常涉及到非独立随机变量的 分析问题，这是非常难以处理的所以这个问题的研究在理论上难度很大，更富有挑战性 一些处理变点问题的方法也不断发展完善起来如：极大似然估计，( 加权) 最小二乘法，非 参数方法和b a y e s 方法等等变点问题的研究内容也呈现多种状况，关于分布参数的变点， 常常考虑总体均值和方差的变化情况，以及变点的统计推断考虑位置。尺度参数模型中 参数变点的统计推断关于分布变点，常常利用非参数方法或其他方法，给出变点的检验 和估计( 点估计和区间估计) ，估计量的渐进分布和收敛速度 在国内，2 0 世纪8 0 年代，陈希孺和缪伯其教授( 1 9 8 8 ) 分别用”局部法”研究了变点问题 谬伯其( 1 9 9 3 ) 做出了关于只有一个变点模型的非参数统计推断苏召学( 1 9 9 6 ) 从时间序列 具有若干个变点情况下的似然函数出发，并给出了时间序列变点个数的统计推断方法 杨喜寿，杨宏昌( 1 9 9 6 ) 研究时间序列的变点问题。所给出的统计方法可用来推断一个时间 序列是否存在着变点，存在几个变点以及变点在什么位置 本文研究的第二个大问题是异常点估计异常点挖掘也是近年来受关注较多的领 域所谓异常点，直观上是与其他一大堆数据不一致的几个数据点现在受关注比较多， 研究成果也比较多的是附加异常点( a o ) 和革新异常点( 1 0 ) 对于双线性模型来说，最经 典也是最有效的方法是g i b b s 抽样法，c h e n ( 1 9 9 7 ) 年提出了用g i b b s 抽样法将异常点作为 一个参数来处理，他使用标准g i i b s 抽样，用后验概率判断了每个点成为异常点的可能性 大小对于没有”淹没”和”掩盖”的情况下标准g i b b s 抽样具有良好的效果此外，b a t t a g l i a ， f r a n c e s c o ( 2 0 0 1 ) 提出的遗传算法也是较新颖的异常点检测法 鉴于双线性模型的复杂性，常规的方法很难取得理想的效果，本文的工作基本都建立 在贝叶斯方法的基础上，从后验的角度考虑问题 1 3 本文的工作 本文结构安排如下：第二章介绍双线性模型，给出该模型下参数的极大似然估计， 并分析估计的性质第三章，提出变点的定义，常用的变点估计方法以及双线性模型下 用b a y e s 方法对至多一个变点的情形进行变点估计第四章，给出异常点的定义，分类，并 用g i b b s 抽样的方法挖掘双线性模型的a o 型异常点第五章，用模拟的例子来说明以上方 法的有效性最后，总结本文的成果，并提出进步的问题 2 第二章双线性时间序列模型及其参数估计 2 1 模型介绍 双线性模型是由g r a n g e r 和a n d e r s e n ( 1 9 7 8 ) 提出，并f 1 日s u b b ar a o ( 1 9 8 1 ) 用来建立经济 和统计时间序列的模型一个时间序列称为阶数为( p ，q ，r ，s ) 的双线性序列，若它满足 ( 2 1 ) 其中， g t ) 一i i d ( o ，仃2 ) ，_ ( 以 ， 岛) 及 岛) 为未知参数，称该模型为双线性时间序列 模型，记为b l ( p ，q ，r s ) 从模型( 2 1 ) 中可以看出，当固定忙。 时，模型对 托) 是线性的；反之，固 定【五 时，模型对【。) 亦是线性的，故称之为“双线性”较之a r m a ( p ，q ) ，虽然在形 式上该模型只是多了一个乘积项，但却使问题的范畴由线性推广到非线性的领域，并且 使许多问题大大的复杂化，一些常规且有效的方法也失去了绝对的优良性 尽管双线性模型有其自身的复杂性，但是并没有影响其广泛的应用性在现实世 界中，许多动态系统本身就是一个双线性系统另外，由于该模型与线性模型的紧密 联系，许多非线性现象都可以用双线性模型有效的近似双线性模型在旱涝预报( 金菊 良，2 0 0 0 a ，2 0 0 0 b ，2 0 0 1 ) ，经济序列中都得到了成功的应用 2 2 参数估计 极大似然估计是常用的精度较高的估计参数的经典方法本文将用极大似然的方法 来研究双线性时间序列模型的参数估计问题，并讨论双线性模型极大似然估计的特殊性 质 2 2 1 极大似然估计 由模型( 2 1 ) 可以得到 pq r 8 e t = 咒一也咒一i + 易e t j 一五一乒t j ( 2 2 ) i = 1 i = 1 i = l j = l 给定 x ) 的一个实现 轨，t = 1 ，2 ，) ，极大似然估计即求参数 a = ( 1 ，2 ，讳) 7 ，b = ( p l ，6 1 2 ，0 q ) 7 ，c = ( 卢1 1 ，屏1 ，卢1 2 ，屏2 ，胁。) 7 3 2 1 = 1砭 助 。芦 ，：l + 易 。芦 一 岛 +叫 墨a p 汹 = 氍 第二章双线性时间序列模型及其参数估计 使得似然函数 达到最大，这等价于 l ( a , b , c , a 2 l x ) 。( 口州e x p 一刍三ne ；) 1 ( 2 3 ) f ；：m i n - j o t = l 由此，极大似然估计转化为最小二乘估计我们用非线性迭代算法 第一步，假定第k 步得到参数a ，b ，c 的估计值为 纠= ( $ h 一，毋) 7 ，= ( 掣，孵) ，删= ( 础，麟，础，鲫，删t $ 1 7 由( 2 2 ) 可以递推得到 rs 二鳍 i = 1 j = l x l 色一歹，t = l ，2 ，n ( 2 4 ) 此处约定轨= 色，t 1 第二步，将 色，t = 1 ，2 ， i 同( 。t ，t = l ，2 ，) 一起作为观察值，则有 写成矩阵形式即 pq 轨= 咖i x 一 + 乱一易套一j + i = 1 j = l r5 ff ：o ：j i = 1 j = l y = z a a + 易b + 磊c + 3 t j x t a j 其中，y = ( x l ，x 2 ，x n ) 7 为 托 的一个实现，= ( e 1 ，g ) 7 磊为n p 阶矩阵，其第i 行元素为 磊为n g 阶矩阵，其第i 行元素为 ( z 一1z t 一2 x i p ) ( - g i 一1 一白一2 一色一g ) 历为n 7 s 阶矩阵，其第i 行元素为 ( z 一1 毒t 一1 。t r i 一1z i l g i 一2 x i r 拿i 一。) 进一步，令z = ( z a ，z 2 ，磊) ，0 = ( a t ，b 7 ，c ，) 7 则第k + l 步时模型满足 y ：z o ( k + 1 ) + 从而，有 否( 知+ ：f z t z ) - l z ，y ”7 = f 7 事实上，根据似然函数( 2 3 ) 以及以上符号，可以写成对数似然为 l 。glo ( 一专l 。扩( y z o ) ”一z o ) 4 ( 2 5 ) ( 2 6 ) ( 2 码 一 岛 ” 尔o 。芦 + 一k 砷 越 p ：l 一 砭 = 一 第二章双线性时问序列模型及其参数估计 二二二二二 令警= o 得 o ( y z o ) 7 ( y z o o ) a e 一 翌! ! 二兰皇2 ：皇! ! 二圣皇! ：( ! 二垡 ) a ( v z o ) ：一掣( ，“) ( y z o ) a e r 1 八 = 一z 7 ( y z o ) = 0 其中，为单位矩阵，从而可得 夺= ( z z ) 一1 ( z 7 y ) 重复以上两个步骤，直到第k 步和第k + 1 步的结果差别很小得到参数的估计值以 后，c r 2 的极大似然估计也易得 1 方2 = 寺磊2 t = l 下面给出具体的操作方法 取r = 【( 1 n ) d 】，通常d = 1 5 或者2 ，对观察序列y = 和t ，t ：1 ，2 ， 进行零 均值化处理，z i u 。* ，t = 1 ，2 ， ，即 z ；= x t 一牙，亡= 1 ，2 ， 这里，孟：1 量n 勋，拟合长阶a r ( r ) 模型 p n z 净一a i x t _ t + 色 约定。；= 磊= 0 ，t 0 ，：, z ，1 4 白噪声的一个估计序列色 p n 色= z ；一玩z l l ，t = 1 ，2 ， i = 1 将反作为反的近似值，4 1 1 a ( 2 6 ) 式，将得到的参数估计值作为迭代的初值，按上述两个步骤 进行迭代 2 2 2 模拟举例 下面我们用上面提出的迭代算法研究双线性模型参数的极大似然估计 例1 我们以讨论较多的b l ( 1 ，0 ，1 ，1 ) 为例 ：= 0 6x t 一1 + t + 0 2 。t l t 一1 由模型生成2 0 0 个数据，取p = 0 n2 0 0 ) 1 5 】1 2 ，故拟合长阶a 冗( 1 2 ) 模型，可得到下面的 式子： 色= x t - 0 7 3 6 1 4 x ；_ 1 + 0 0 9 3 4 4 x ；_ 2 0 0 5 1 4 6 x ；一3 + 0 0 5 5 8 5 x ；_ 4 0 0 2 7 3 7 x ；_ 5 + 0 0 4 5 1 3 z t - - 6 0 0 0 4 5 1 2 0 7 + 0 0 6 4 7 2 x ：_ 8 + 0 0 3 0 4 9 x ；：一9 0 1 3 5 4 9 x ；_ l o + 0 0 7 2 1 x ；_ 1 l + 0 0 2 2 5 x ；_ 1 2 5 第二章双线性时间序列模型及其参数估计 将其作为邑的近似值，代入( 2 6 ) 式，将得到的参数估计值作为迭代的初值谷( 0 1 ： ( 0 5 5 3 5o 1 7 8 7 ) , 并将此初值按照上述迭代过程运算，得到参数的估计值为 荟= ( 乒l 历1 ) 7 = ( 0 5 5 5o 2 0 1 ) 7 ；方2 = 1 0 4 0 若增大样本容量，拟合更高阶的a r ( p n ) 模型，可以提高估计的精度将上例和 在b l ( 1 ，1 ，1 ，1 ) ，b l ( 2 ，0 ，1 ，1 ) 和b l ( 2 ，1 ，l ，1 ) 模型下模拟的结果归纳如下表 表2 1 极大似然估计 b l ( 1 ，0 ，1 ，1 ) 砂1 = 0 6 0 5 5 5 b l ( 2 ，0 ，1 ，1 ) 西1 = 0 4 0 3 51 f i n = 0 2 0 2 0 1 如= 0 3 o 2 9 4 o - 2 = 1 01 0 4 0 z n = 0 2 0 2 0 7 口2 = 1 01 0 2 5 b l ( 1 ，1 ，l ，1 ) 砂1 = - 0 5 - 0 5 4 2 b l ( 2 ，0 ，1 ，1 ) 多1 = 0 5 0 4 7 3 0 1 = 0 2 0 1 7 1 2 = 0 3 0 3 11 p 1 1 = - 0 3 - 0 2 4 10 1 = 0 2 0 1 7 6 仃2 = 1 01 0 4 5 p l l = 0 1 0 0 8 9 盯2 = 1 01 0 9 6 2 3 极大似然估计的性质 上一节我们给出了双线性时间序列模型参数的极大似然估计，这种估计方法 是基于极值理论提出的，它也是假设检验和区间估计的基础本节我们将着重讨 论b l ( 1 ，0 ，1 ，1 ) 似然函数以及极大似然估计的性质 2 3 1 似然函数的性质 b l ( 1 ，0 ，1 ，1 ) 是受关注比较多的一个特殊的双线性时间序列模型，其形式为 x t = c x t 一1 + 卢) ，t l e t 一1 + e t 其中，( 氏) 一i i d ( o ，0 - 2 ) s e s a ya n ds u b b a ( 19 8 8 ) 和k i m ，b i l l a r d 及b a s a w a ( 19 9 0 ) 提出了该模型的四阶矩限制： 1 咖2 + 卢2 0 - 2 1 i 3 + 3 西p 2 0 - 2 i 1 时，p 为均值向量当 2 时，岂是t 的协方差矩阵 令p l = m a x p ，r ，基于前p 1 个观察值可以得到参数的联合先验分布为： 即 l ( o t ， z ，咖2 i y ) o c ( 刍) 华e x p 一刍( s t + 跏 其中， ( 刍) ”e x p - 1 虿u a ) l ( o 。，e 。 卅y ) 。c ( 击) 竿- 1e x p 一刍( s - + + 训m s l = ( y p l + i ：七一z p 。+ 1 k 0 1 ) 7 ( y p l + 1 七一z p l + 1 k 0 1 ) 岛= ( y 知+ l ：n z 七+ 1 ： 2 ) 7 ( y k + 1 ：n z k + 1 ：n 0 2 ) 下面给出各参数的后验概率分布 定理3 2 1 其中 证明： 7 r ( k l y ) o ( ( & ) 一竿 s l = k l + l ：七y p 。+ l ：七+ k + 1 ：n y k + i ：n 一 ：+ r , i - 1 0 1 。一 ：+ i 1 0 2 。+ 入 e 1 + = l 瓦。+ 1 詹y p l + 1 南 0 2 。= 2 z ：+ 1 y k + x ：n f 1 = 瓦1 + 1 七z p ，+ 1 七 i 1 = z ：+ l ：z 七+ 1 ：n 仃( k l y ) 。c 厶+ 。佃厶卅，。0 0 0 ( 刍) 竿- 1e 印【一鱼掣) 打2 d 。d 。 1 3 7 r ( 后) l 詹 + 1 k y y ，、【 第三章变点估计 其中 o ck l ，。o 鬻c 知竿飞卅丁s i + $ 2 + v a ， 器砌e - 概 。( 1 铂，h q t 51 诅，。q 。|甚釜基慨概 ( 趾产) 竿一1 “观 厶卅，( 半) 2 竿( & + 岛+ 训一竿慨概 厶卅，( s i j cs 2 - i - 入) 一竿d e l d 2 ( 3 1 ) 研+ & + 王，a = ( y p l + l ：j c z p l 十l ：七0 1 ) 7 ( y p l + l ：七一z p l + 1 ：蠡 1 ) + 岛+ 入 = o l z ；l 扎奄z p l + 1 七e l 一 j 瓦。+ 1 七y p l + 1 七一y ：l + 1 知z p l + 1 ：七0 1 + k 1 + 1 ：南y p l + 1 ：k + s 2 + a = e ：f 1 0 1 一e i l 厶1 - - 1 e l 。一e ：。f 1 0 1 + ：+ f 1 0 l 。 1 一1 一l 一l 1 一 ：，f l e h + y ：1 + 1 ：七y p l + 1 ：詹+ 岛+ 正，入 = ( 0 1 一e l 。) f 1 ( e l 一 1 。) + 岛 o l + = r - l z p i + l ：k y p l + 1 ：七 _ 1 = 瓦l + 1 ：凫，+ 1 昆= k l + 1 ：七y p l + l ：七一 i 。f 1 0 l 。+ s 2 + 工，a 从而 ( 3 1 ) o ( a p 卅，。厶谢，。【( 1 一e 1 ) 7 f 1 ( 。一 ，。) 十岛r 竿d e 。d e ： 。c r p + q + r sf r p 卅，。 1 + 。c 厶蝌，。爵竿 一p 1 + 一p q r 8 f l f ( 1 一e l + ) 】7 钆，) 一 f ( n - p , + j 7 - q - 坚， ) ( n 掣p 筹xl + a 2 i t y 2 ： 一 一l + i ，一p g 二r 苟稃口婵口2 届d e 。 o c 厶卅，。爵掣概 。c 厶卅，。( k 。+ l - 启y p i + l ：k - - o i + f l e l 。+ 岛+ a ) 一塑 掣d 2 岛= ( y k + l ：一z k + l ：n 0 2 ) 7 ( y k 十1 ：n z 七+ 1 ： r e 2 ) = ：z ：+ 1 ：n z k + l ：n 0 2 一e ：z ：+ 1 ：y 七+ 1 ：一y ：+ i ：n z k + l ：n 0 2 + k + 1 ：y 七+ 1 ： = ：i 1 0 2 一e 2 i 厶2 - - 1 0 2 。一e ：。i 1 0 2 + e ：。；1 0 孙一e ：+ i 1 0 2 。+ y ：+ i ：y 七十1 ： = ( 0 2 0 2 + ) 7 i 1 ( 0 2 0 2 。) 一e ：。i 1 0 2 。+ k + 1 ：y 七+ l ： 一 1 4 ( 3 2 ) 第三苹交点估计 其中 从而 其中 从而 e 2 。= 2 z ：+ 1 y k + l ：ni 1 = z ：+ 1 ：z k + 1 ：n ( 3 2 ) 。( 厶卅，。【( z 一 2 。) 7 i 1 ( 。一e z 。) + k ，+ 1 忌y p 。+ 1 七+ k + l ：y 七十1 一e ：牛f l e l 幸一 ：+ i 1 2 。+ 工，入 一下d o n - p 1 4 - 1 2 p o c 厶卅，。 ( e 2 一e 。娲1 ( e 2 一e 。) + & 一掣d ： ( 3 3 ) 故证得 令 s r 4 = k l + 1 ：七y p l + 1 ：七+ y ：+ 1 ：y k + l ：n 一 ：+ f l e h e ：+ i 1 0 2 + + a 则七的b a y e s 估计为 ( 3 3 ) 。c 厶卅，巧掣d z ，n 、一n - - p i + u - - 1 o ( ( & ) 一 z 7 r ( k l y ) 。( ( & ) 一半 m = 芒纂n - - p + v - - 2丌( 七) ( ) 一f 其它参数的后验分布如下 j 5 = a r g p 。s m 拧s a 川x 一7 r ( k l y ) 定理3 2 2 ( 1 ) 咖2 l y ) 。c 南篡，m i y ( 半，鲁) ( 2 ) 唰y k 量m i y m 。，万丽鲁尹蔫, n - p l + v - l - p - q - r s ) ( 3 ) t r ( 0 2 y ) 证明： 后笺。m 刚e 2 ，万丽鲁尹蔫, n - p 1 + v - 1 - p - q - r s ) 一l ( 1 ) 7 r ( 盯2i y ) o ( k = p l + 一l 。c 。k ，。l j 刍) 竿- 1e x p _ 一掣州啪 - d 2 k = p l + 1( 刍) 竿- 1 7 1 - ( 咖x p 一尝) 厶卅p _ 驴s 1 归 ) ( - r p _ 1 q + r 。je 砷 一2 嘉2 d o 。 1 5 ( 3 4 ) 第三章变点估计 = e x p 一嘉) = e x p 一刍( k 。+ 1 七一乙。+ 1 詹。- ) 7 ( y p l + l ：k - - 乙。+ 1 七e 。) ) 其中 同理可得 塾学堂e 。一 j 盯2 1一lz ：1 + 1 ：k y p l + 1 七 ；) + ( 0 1 一 i ) ) ；= 1z ；l + 1 七y p l + 1 七 0 - 2 k 1 + 1 七z p l + 1 七 0 - 20 - 2 。+ 学】) e x p 卜菇1 。、y p l , + 1 南y p l + l ：k - - e ；7 。e i ) ) 。= 毕 j 1 2 = 酬芬) = e x p 【一去( y k + i ：n - - z 七+ l ： 2 ) 7 ( y 七+ 。：一z 七+ l ： 2 ) ) 一p - 扣学e 。叫 其中 从而 由于 同理 故 e x p 一三( 2 一 ；) 7 坛( e 。一e ；) ) ( 3 4 ) o c z ：+ 1 y k + l ：ny ：+ 1 z k + l ：n 0 - 20 - 20 2 + 学 e x p 一驴1 ( y “y m ：一 ；7 k + 狲 ；= 嵫1 学+ = 学 知笺。砌) ( 击) 竿- l e x p 一刍喝扎m y 如批t ： 一 ：7 v 1 + ：一 ；7 k 。 2 ) ) ( 3 5 ) n 一1 ( 3 5 ) o ( f 、 ，z j k = p l - i - 1 。：三f 1 盯 i = k 学 甜。学 = 1 z ；l + 1 忌y p l + 1 七 = 1 。 k 一1 e 。- 1 咧刍) 竿- le x p 一杀) 1 6 e ；= e 2 。 ，l 1 斟 e l 一2 1 2 一 一 r l r l p p x x e e = = 第三章变点估计 n 一1 o f f 丌( 尼) k = p l + l需( 击) 孛- 1 e x p _ 嘉附竿r ( 气坐 n 一1 k = p l + l n l m l y ) 需( 知竿飞x p 一嘉) 。( 7 r ( k l y ) ，g (j ，、 k = p l + l 一l ( 2 ) t r ( o ll y ) o c k = p l + 1 n 一1 k = p l + l n 一1 k = p i + 1 生翌! 竺鱼、 22 7 砌) l ，。o ( 击) 竿- 1e x p 一掣渺d e 2 m ) 厶卅，。r ( 竿) 2 竿( 研+ 岛+ 州一竿d e 2 7 r ( 七) 厶，+ 。忡( 品+ + 入) 一半d 2 ( 3 6 ) & + 岛+ v a = ( 0 2 0 2 + ) 7 i 1 ( 2 一e 2 。) + y ：+ 1 ：y k 十1 ：n e ；+ i 1 2 。+ - 研+ 王，a 其中， 从而 一l ( 3 6 ) o cf k = p l + l n 一1 = ( e 2 一 2 。) 7 i 1 ( 0 2 一e 2 + ) + & s j = y ：+ 1 ：y 七+ 1 ：n 一 ：。i 1e 2 。+ 吼+ 王入 7 r ( 七) 厶+ 口+ ，。【( e 2 一 z 。) 7 i 1 ( e 2 一 z 。) + & 】- 竿d e 2 丌( 七) k = p l + 1 l jr p + q + r 。 ，+ ( 2 一0 2 + ) 】7 i 1 【 一p 1 + 一p q r s n - 1 丌( 七) ( ) 一半屈7 r ( 七) ( ) 一气f 、 k = p l + l 。( n - 1 丌( 后) ( & ) 一竿。( 丌( 后) ( & ) 一平 k = p l + 1 n 一1 k = p l + l n l k = p l + 1 ( 0 2 - 0 2 , ) ) d 2 7 r ( 尼) 【y ：+ 1 ：y 七十1 ：一9 ：。： 2 + + s 一1 + 刈一生2 竽堕 7 r ( 尼) ( e 1 一 1 。) 7 f 1 ( o l 0 1 。) + k l + l ：k y p 。十l ：七+ y ：+ 1 ：y k + l ：n e ：。f 1 0 l 。一 ：。e 2 1 0 2 。+ 王，n 一盟竺譬型 1 7 第三章变点估计 o ( n - 17 r ( 七) 【( e 1 一。) ，i - l ( e 1 一。) + & 】一n - p 毛+ v - 1 e x 0 1 o ( 7 r ( 七) 【( e 一 。) 7 i 1 一 。) + & 】一 k = p l + 1 一1 k = p a + 1 n l o cf k = p l + l n l o c 丌( 七) 【1 + ( e 1 一e 1 。) ，( & 1 ) e 1 一0 1 。) 】- 掣( & ) 一竿 m 万而苦斋一 i1 + 【 ( e l e l 。) 7 、一p l + s p 4 一e l i p q r 8 ，一1 ( l o l 。) x ( s 4 ) 一生掣型 一p 1 + 一1 一p q r 8 丌( 七) ( & ) 一；( & ) 一掣 _ 一 州 - ，而而斋，- p l + u - 1 - p - q - r s ) o c 七笺。m i y m e ，万丽鲁亍鬲, n - p l + v - 1 - p - q - r s ) 其中，& 如定理3 2 1 中定义 ( 3 ) 唰y ) 。c 笺m ) k 。o 。( 刍) 竿- ie x p 一掣渺概 。( 笙丌( 艮) ：( s 。+ 岛+ 以) 一竿d e 。 。( 南= p l + i 丌( 艮) 厶卅，( - + 岛+ 以) 一半d e - 用证明( 2 ) 同样的方法可以得到 韪+ 岛+ 入= ( 0 l e 1 + ) 7 f 1 ( o