马尔科夫链蒙特卡罗方法的应用

1、马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用l理论理论l理论模型理论模型l软件介绍软件介绍l实证分析实证分析孔文涛.吴静怡.赵晨晖.陈志明理论理论l马尔科夫链模拟l吉布斯抽样l贝叶斯推断l其他算法 孔文涛回顾马尔科夫过程1,()()(|,)(|),.(|,)(|),.tthsthshtthtthtxxxhtxstxp xxstp xxhtxp xxxp xxhta对于一个属于空间的随机过程给定的值，如果的值不依赖于的取值，那么称过程是一个马尔科夫过程。它的条件分布函数满足 如果是一个离散时间的随机过程，则上式变为 令 表示的子集，则函数( , ,)(|),.thtph ap xa

2、xht 称为马尔科夫过程的转移概率函数。马尔科夫链模拟及mcmc方法( |)pxx马尔科夫链模拟的思想是在 上模拟一个马尔科夫过程，使它收敛于平稳转移分布。这个分布可以用于考虑参数向量为 和数据为 的推断问题。( |)( |)pxpxmcmc马尔科夫链模拟的关键是构造一个具有指定的平稳转移分布的马尔科夫过程，并且充分长地运行这个模拟，使得过程当前值的分布与平稳转移分布足够接近。利用马尔科夫链模拟来得到分布的方法称为方法。马尔科夫链模拟及mcmc方法mcmc,( |),mcmc,metropolishastingsgibbspx方法的基本思想是:建立一个马尔科夫链对未知变量 进行模拟 当链达到稳

3、态分布时即得所求的后验分布。随机点 来自于分布不同的抽样方法导致了不同的方法 如方法、抽样方法以及各种复合方法等。马尔科夫链模拟及mcmc方法o 转移概率矩阵的定义。o 定义：对于一个马尔可夫链 ，称由状态i经过m步转移到状态j的转移概率 为元素，组成的矩阵为转移概率矩阵， 用 表示。o 当m=1时的转移概率矩阵为 ，就是一步转移概率矩阵，将其简记为 ，简称为转移矩阵。, 3 , 2 , 1:nn)(mpij)()(mpmpij) 1 () 1 (ijppijpp 马尔科夫链模拟及mcmc方法o 考虑“缺失值”的问题。o dempster，laird和rubin(1977)提出em算法来解决数

4、据分析时“缺失值”的问题。 m步：如果缺失值是可以得到的，能够利用完全数据分析的方法来建立一个波动率模型。 e步：给定可以利用的数据及拟合的模型，能够推导出缺失值的统计分布。马尔科夫链模拟及mcmc方法o tanner和wong(1987)以两种方式扩展了em算法。 首先：引进迭代模拟的思想从条件分布中抽取一个随机数来代替缺失值。 第二：利用数据扩张的概念扩展了em算法的应用在研究的问题中加入一个辅助变量。吉布斯抽样o geman(1984)、gelfand和smith(1990)提出的mcmc方法。o 通过一个三个参数的简单问题来引进吉布斯抽样的思想。吉布斯抽样123112322313312

5、(|,),(|,),(|,),(1)(|,)iij iixmfx mfx mfx mfx m 将三个参数表示为 、 和 。令 表示可用的数据集，表示接受的模型。现在的目标是要估计这些参数，以便利用拟合的模型作出推断。假定模型的似然函数很难得到，但是在给定其他参数下，单个参数的三个条件分布是可以得到的，即下面三个条件分布已知：其中表示给定数据、i模型以及其他两个参数的条件下，参数 的条件分布。吉布斯抽样2 03 023112 03 011223 0112 133112 131112 1311)(|,)2)(|,)3)(|,)fx mfx mfx m ，令和是 和 的两个任意初始值，则吉布斯抽样过

6、程如下：从中抽取一个随机样本，并将其表示为。从中抽取一个随机样本，并将其表示为。从中抽取一个随机样本，并将其表示为。这就完成了一个吉布斯迭代，且参数变为，和1 22 23 211 2 1 311,2,3,(),().mmmm ，。下一步，利用新参数作为初始值，重复前面随机抽取的迭代，可以完成另一个吉布斯迭代，得到更新的参数、和。重复前面的迭代 次，得到一系列的随机抽取： 吉布斯抽样o 对一个充分大的m， 渐近等价于来自三个参数的联合分布 的一个随机抽取。o 实际中，我们利用一个充分大的n，并且丢掉吉布斯迭代的前m个随机抽取，建立一个吉布斯样本，即o 因为前面的迭代从联合分布 中建立了一个随机样

7、本，所以可以利用它们来作出统计推断。1,2,3,()mmm123( ,|,)fx m 1,12,1 3,11,2,3,(),().mmmnnn 123( ,|,)fx m 吉布斯抽样o 吉布斯抽样具有将一个高维的估计问题利用所有参数的条件分布分解为几个较低维数问题的优点。o n个参数的高维问题转化为n个1维的条件分布迭代地解决。o 当参数高度相关时，联合地抽取。12312123( )(,)( )(,)ab 如果和是高度相关的，则一个吉布斯迭代包含给定，联合抽取给定，抽取吉布斯抽样o 收敛性问题o 理论：仅仅指出当迭代次数m充分大时收敛发生，没有对m的选择提供具体的指导。有多种检验吉布斯样本收敛

8、性的方法，但没有哪种方法最好的一致结论。o 实际：并不能保证对所有的应用都是收敛的。必须仔细地执行，以保证没有明显的对收敛性要求的违背。贝叶斯推断后验分布o 条件后验分布：在数据、其它参数和一定模型给定的条件下参数的分布。o 贝叶斯推断是将先验的思想和数据结合，得到后验分布，然后基于后验分布进行统计推断。o 贝叶斯分析寻求将关于参数的知识与数据相结合来作出推断，参数的知识是通过对参数预先指定一个先验分布表示的，记为 。( )p贝叶斯推断后验分布(| )( ,)(| ) ( )( |)(2)( )( )( )( , )(| ) ( )(2)( |)( |xf xfxf xpfxf xf xf x

9、f xdf xpdfxf 令 为未知参数向量， 是数据。对一个给定的模型，用表示数据的似然函数，则由条件概率的定义， 边际分布可由下式得到 方程中的分布称为 的后验分布。一般地，可以利用贝叶斯准则得到 )(| ) ( )(3)(3)(| )xf xpf x 由方程，基于似然函数作出统计推断，相当于利用具有一个固定的先验分布的贝叶斯方法。贝叶斯推断共轭先验分布o 由方程(2)得到的后验分布一般不是简单的，但也有先验分布与后验分布属于同样的分布族的情形，这样一个先验分布称为共轭先验分布。o 对mcmc方法，共轭先验的使用可以得到条件后验分布的一个显示解，然后可以利用通常的概率分布的计算机程序得到吉

10、布斯样本的随机抽取。其他算法metropolis算法o 条件后验分布没有显示解。o 假定我们希望从分布 中抽取一个随机样本，它包含一个负杂的标准化常数，直接的抽取要么太浪费时间，要么不可行。但是存在一个近似的分布，可以很容易地得到随机抽取。o metropolis算法就是从近似分布中产生一系列的随机抽取，使得它们的分布函数收敛到 。 ( ,)fx( ,)fx其他算法metropolis算法o 具体算法如下进行：001*1*11),(|)0.2)1,2,( )(|)(1995)(|)(|).(|)( )(|)(ttttijtijtjitfxtatjgelmantjjfxbrfxc抽取一个随机的初

11、始值满足对重复以下迭代第 次迭代时，在给定前面的抽取下，从已知分布中抽取一个候选样本 ，用表示已知分布，在等中称为跳跃分布。这个跳跃分布一定是对称的，即对于所有的 ，和 ，有计算比率*1min( ,1) ( |)tttrfx 以概率设定 其他在一些正规性条件下，序列依分布收敛到；其他算法metropolis算法*1*1*( |)( )( )ttttttrfxiiir 算法的实施要求对所有的和计算比率 的能力，以便从跳跃分布中抽取 ，并从均匀分布中抽取一个随机实现，决定接受或者拒绝 。不需要的标准化常数，因为只利用比率。 此算法的接受和拒绝准则可以陈述如下：如果从到 的跳跃增加了条件后验密度，则

12、接受作为 ；如果这个跳跃降低了后验密度，则以等于密度比 的概率设定；否则设定1。其他算法metropolis-hasting算法*1*1*11*1*1(1970)(|)/(|)(|)/(|)(|)/(|)(|)/(|)tttttttttthastingmetropolisfxjfxjrfxjfxjmetropolis hasting 以两种方式推广了算法。首先，跳跃分布没有必要一定是对称的；其次，跳跃准则修正为 这个修正的算法称为算法。其他算法格子吉布斯算法o 在金融应用中，arma或者波动率等模型可能包含一些非线性参数，而这些参数的条件后验分布没有显示表示，执行吉布斯抽样或者metropol

13、is-hasting算法可能会变得复杂。o tanner(1996)描述了当条件后验分布是1元时，在吉布斯抽样中得到随机抽取的一个简单程序，这个方法称为格子吉布斯抽样(griddy gibbs)。其他算法格子吉布斯算法123123121(|,)( ,)( ,)1).(|,)(1, ).2),(|,)iiiiiiiiimjijimiifxfxjmfx 令 表示具有条件后验分布的尺度参数，这里是剔除 之后的参数向量。例如，如果则。格子吉布斯抽样进行如下：从 的一个恰当选择的区间上选择格子点，即估计条件后验密度函数，得到利用得到逆累计分布函数的一3)(0,1)i个近似。抽取一个均匀随机变量，并且通过

14、近似的逆累计分布函数转换这个观测，得到 的一个随机抽取。研究动态马尔科夫链及mcmc方法o 马尔科夫是享誉世界的著名数学家，社会学家。他研究的范围很广，对概率论、数理统计、数论、函数逼近论、微分方程、数的几何等都有建树。马尔科夫最重要的工作是在1906一1912年间，他提出并研究了一种能用数学分析方法研究自然过程的一般图式，后人把这种图式以他的姓氏命名为马尔可夫链(markov chain)。同时他开创了对一种无后效性的随机过程的研究，即在已知当前状态的情况下，过程的未来状态与其过去状态无关，这就是现在大家耳熟能详的马尔可夫过程(markov process)。研究动态马尔科夫链及mcmc方法

15、o 马尔科夫链由马尔科夫1907年提出的，后由蒙特卡罗(monte carlo)加以发展而建立起来的。o 之后，马尔科夫过程、马尔科夫链模拟及mcmc方法得到广泛研究，广泛应用于医学、公共卫生领域，教育管理工作，经济管理领域。研究动态马尔科夫链及mcmc方法omcmc方法最初应用于计算物理(metropolis等，1953)，hasting(1970)的工作使其更为一般化，但主要用于统计问题。gelfand和smith(1990)的研究显示出mcmc方法在贝叶斯计算上有着巨大的潜力，他们将马尔科夫链的方法与tanner和wong(1987)的增参数方法相结合，证明了对含有潜在动态变量的计量模型

16、的估计是极为成功的。omcmc方法不仅可以用于一般arma模型的估计，还可以用于各种波动模型的估计。就sv模型而言，mcmc方法不仅可以用来估计基本sv模型，而且可以估计sv模型的一元与多元扩展。o近年来，以各种复杂的动态随机系统的统计推断为主要目的序列蒙特卡洛方法(sequential monte carlo (smc)也取得了很大的进展。研究动态马尔科夫链及mcmc方法o 近年来，由于吉布斯抽样(gibbs sampling)技术和计算技术的突破，jacquier, polson, rossi (jpr,1994) 首次应用马尔科夫链蒙特卡罗法(mcmc)方法估计sv模型。随后，tse,

17、zhang, yu(2002)等学者实证了mcmc方法估计sv的效果,得出mcmc是最佳的sv参数估计方法。为此，shephard(2005)为代表的学者倡导采用mcmc方法得到了最广泛的认同和实际应用。研究动态马尔科夫链及mcmc方法o 多应用于指数波动率的预测、股票投资组合的策略研究、股票收益率的预测、汇率走势的分析。o 林静、韩玉启和朱慧明(2005)在基于mcmc稳态模拟的指数回归模型及其应用中利用基于gibbs抽样的mcmc模拟方法与winbugs软件解决了指数模型中高维数值计算的不便，提高了计算的精度，有利于该模型在可靠性分析理论中的推广。研究动态马尔科夫链及mcmc方法o 庄悉备

18、和伍海华在加权马尔可夫链的理论及在股市中的应用中运用加权马尔可夫链理论建立股票市场运行的数学模型并充分发挥历史数据的作用，克服传统的马氏理论在实际应用于股市分析中存在的缺陷：比如齐次性要求难以满足；转移概率矩阵的调整难度大，计算量大；预测的准确性受客观因素、市场环境的影响太大等等。研究动态马尔科夫链及mcmc方法o 张普和吴冲锋(2009)在基于非参数蒙特卡罗模拟的股票波动性价值研究中采用非参数蒙特卡罗模拟法求解证券波动性价值的分布特征。指出预期平均波动率是决定波动性价值大小的首要因素，二者呈正相关关系，说明投资者对未来波动的预期将直接决定波动性价值的水平，预期平均波动水平越高，投资者预期中赢

19、利的机会越多，可能的收益也越大。研究动态马尔科夫链及mcmc方法o 朱信山，王晓静(2009)在灰色马尔可夫链组合预测方法的应用中提出了一种新的组合预测方法，将灰色verhulst-马尔可夫链预测模型和灰色gm(1,1)-马尔可夫预测模型按照残差方程加权组合来预测事物中长期发展趋势；并以国外发达国家高速公路网规模成熟发展为案例验证对其中长期预测的精度。文章还将此预测模型应用于广东省公路客运量以预测其未来510年的发展趋势。研究动态贝叶斯分析及mcmc方法o buhlmann (1967)将贝叶斯思想和方法引入到精算学的研究中。o buhlmann和straub(1970)为经验贝叶斯信用方法奠定了基础。o 为了充分利用历史数据中的信息,提高未决赔款准备金估计的预测精度, scollinik (2001)、ioannis ntzoufras (2002)等将现代贝叶斯理论和mcmc (markov chain monte carlo)方法引入到未决赔款准备金的估计中。o verrall(2004)将广义线性模型与贝叶斯分析结合,对准备金进行估计。研究动态吉布斯抽样和贝叶斯分析o 朱慧明，郝立亚(2007)在非寿险精算中的贝叶斯信用模型分析中利用贝叶斯统计方法，构造了一类新的贝叶斯信