【《关于Beta-GOS模型的研究文献综述》3300字】

关于Beta-GOS模型的研究文献综述目录TOC\o"1-3"\h\u27463Beta-GOS模型概述 1302241.1模型介绍 1241661.2参数设定 2206131.3Gibbs抽样 41.1模型介绍传统的贝叶斯非参先验，比如DP、中餐馆过程、PY过程和Indianbuffet过程都假设数据是可交换的。换句话说，数据的顺序并不影响数据的概率分布。可交换性并不是对所有数据都是合理的假设，比如时间序列和空间数据，我们经常看到这类数据是时间上或空间上存在相关。基于不可交换的随机划分的模型最近才在文献中出现，这些模型允许划分依赖于解释变量。Park和Dunson(2010)提出广义乘积划分模型(GPPM)，此划分过程依赖于预测变量。他们的GPPM通过包含预测变量放松了可交换的假设，隐含地定义了一个广义波利亚罐子机制。Muller和Quintana（2010）提出了包含对自变量回归的乘积划分模型，该模型使得具有相似自变量的样本有更大的概率聚成一类。Blei和Frazier（2011）提出了非可交换的距离相关的中餐馆过程，该过程使得顾客的位置分配取决于他们之间的距离。BASSETTI等(2010)基于条件同分布（Berti等,2004）推广了可交换性，通过对预测概率分布的改造提出了广义渥太华序列（GOS）模型。GOS模型也是本文模型的基础。基于GOS，AIROLDI等(2014)提出一类灵活的不可交换SSS。Beta-GOS是GOS的一个特例，通过引入服从贝塔分布的隐变量来驱动speciessampling过程。考虑一个随机变量序列,它的预测概率分布为 (2-19)其中,，。 (2-20)此时我们就称服从Beta-GOS过程。不可交换，没有表示定理，因此没有潜在随机概率测度使得给定下独立同分布。但是条件同分布的(CID),即边际分布一样，且对,在给定下，条件同分布。尽管对于CID序列没有表示定理，但可以证明对于任意给定的有界可测函数,当样本个数趋于无穷时,预测均值和经验均值收敛到同一极限。在潜在合适的选择下，预测规则(10)就会变成以往模型的预测分布。比如如果时，预测规则就变成了所对应的罐子模型的预测分布。从定义来看，分配规则也可以用偏好依附机制来描述。在这个机制中，每个个体由随机权重来表述。这个权重可以看作是个体的吸引力指数，因为它决定了下个观测值等于的概率。更准确地说，第一个观测值被分配一个随机值，抽取自。现在，假设我们有了和他们对应的随机权重。那么第个观测值等于的概率为,等于的概率为，以此类推。总的来说，会等于最近的个对象的和第j个对象的吸引力的乘积。下面我们重点讨论下Beta-GOS的聚类情况。1.2参数设定预测概率分布(2-19)诱导出对的随机划分，分为块。在概率论中，被称为划分的长度，对行为的知悉有利于我们了解Beta-GOS的聚类结构。比如对于，我们知道。对于Beta-GOS，我们主要考虑两种情况：(1)对任意,和;(2)对任意,和。对于第一种情况，可以证明,其中是个有限随机变量。对于第二种情况，可以证明。我们可以看到，对于第一种情况，收敛到一个有限随机变量表明了随着变大，数据最终会形成几个比较大的类。相反对于第二种情况，划分的平均长度取决于，越大，平均而言聚类的个数越大，但同时方差也变大,因此在这种情况下，Beta-GOS过程可以用来表示的不确定性。的参数的设定可以用来反应序列的先验自相关性。相等的概率会随着增大而减小，最近的观测值更有可能被抽中。这样的考虑有利于知道我们设定的贝塔分布的超参数。根据独立性易得 (2-21)在情况(1)下，即和,和。因此，相等的概率仅取决于滞后阶数,呈指数级衰减。如果我们设定,,则可得和,即每个观测值都有相同的期望权重，从数值上看这与的预测概率分布的权重是一样的，但这只是在期望值相等，前面已经提到在两种情况下的渐近行为是不一样的在实际中，贝塔分布的参数的确定并不显然，它一般要根据具体问题来确定。一般上来讲，我们可以从聚类个数的期望值出发来设定参数。比如我们可以设定和来表示短记忆过程，,的具体值的设定可以根据渐进关系。我们建议选择或来鼓励先验低自相关性，此时。另一方面，我们可以设定来表示长记忆过程，然后根据来选择。后面这个设定在对样本相关结构信息和聚类情况没有先验信息的情况下是合理的，也应该是默认选择。从上可以看出通过对不同设定，Beta-GOS会有不同的聚类结构，因而这些参数需要根据具体问题来设定以此来反映序列相关的先验信息。1.3Gibbs抽样Beta-GOS可以对不可交换数据进行建模，比如时间序列。模型基本结构为 (2-22)其中为样本个数，表示某一概率密度，向量是来自Beta-GOS过程的一个实现，表示隐变量的参数，同理。正如前面所说，来自Beta-GOS序列是CID序列。特别地，边际上。所以可以看成如同DP中的基准分布。该模型可以进一步包含对超参数设定超先验，比如，但我们这边主要考虑在固定Beta分布的参数的情况下Beta-GOS的行为表现。此时仍然是不可交换序列，但是条件同分布序列，即给定下，是条件同分布的。 模型（2-22）的后验推断包括了和样本聚类结构。因为后验没有解析形式，所以我们使用MCMC抽样。不同于DPM那样引入类标签变量，我们引入类匹配变量,表示第个观测值等于前面个观测值或新的值（）的情况，当我们知道后，我们很容易推出。如果不等同于前面的值，即，此时第个点的值会从基准分布抽取，从而产生新的类。用类匹配标签而不是通常的类标识标签的方法来表述样本的聚类情况，便于不可交换过程的MCMC抽样。Blei和Frazier（2011）已经证明这样的表示方式能使后验样本更快收敛。容易知道，在这样的表示下，始终为1，对于，则有分布(2-23)其中,为指示(indicator)函数，即给定一个集合,如果，则，否则为0。下面我们来具体阐述的变更对聚类的影响情况。我们考虑如下具体情况。更新前：(1)(2)对于第一种情况(1)，更新会减少一个类；对于第二种情况(2)，更新会使在更新前所属的类减小。更新时：(1)(2),对于第一种情况(1)，更新会增加一个类；对于第二种情况(2)，更新会使在更新后所属的类增大，如下图2-3和图2-4所示。在图2-3中，图(a)表示更新前的情况，图(b)表示更新时，此时整个聚类情况并没有变化，而图(c)表示更新时，即第3个数据匹配到前面第2个数据，此时所有数据都聚成一类。在图2-4中，图(a)表示更新前的情况，图(b)表示更新时，此时整个数据从一类分裂为两类，而图(c)表示更新时，即第3个数据匹配到前面第1个数据，此时所有数据依然只聚成一类。因此在实际编程中，我们根据上述规则来动态更新，这样效率更高。下面我们给出Gibbs抽样时条件后验分布。正如前面提到的那样，我们容易由类匹配标签推出样本聚类结构。假设个样本聚成了类，那么表示属于第类的样本索引的集合，对应的类的参数为。另外,,同理，，所以我们可以得到的后验抽取公式。图2-3：在更新前后的聚类情况图2-4：在更新前后的聚类情况抽取: (2-24)其中 (2-25)这边抽取的时候我们已经把积掉，这样MCMC能够更快收敛到真实的后验分布。如果似然函数和基准分布是共轭的，上述积分就有显示解。如果不是共轭的，就可以考虑使用Neal（2000）应对非共轭情形时的算法。另外，由于在DPM中很多抽取算法需要可交换性的条件，所以像split和merge之类的抽样算法就不适用。抽取:关于隐变量的完全条件分布，我们可以证明 (2-26)其中，。因此，它们仅仅取决于聚类结构，跟的取值没有关系。抽取:在抽取时为了更快收敛，我们积掉了。如果我们对的推断感兴趣，那么我们可以在每次迭代的最后抽取每个不同值 (2-27)同样地，如果似然函数和基准分布是共轭的，那么的分布就有解析形式；如果是非共轭的，那么可以采用MH算法。抽取超参数：另外，如果我们对Beta分布的超参数和设定了超先验，比如，那么我们利用MH算法来抽取它们的后验分布。它们的后验分布为 (2-28)其中和同抽取部分，表示Beta函数。参考文献[1]AhmedA,XingE.Dynamicnon-parametricmixturemodelsandtherecurrentchineserestaurantprocess:withapplicationstoevolutionaryclustering[C]//Proceedingsofthe2008SIAMInternationalConferenceonDataMining.SocietyforIndustrialandAppliedMathematics,2008:219-230.[2]AiroldiEM,CostaT,BassettiF,etal.Generalizedspeciessamplingpriorswithlatentbetareinforcements[J].JournaloftheAmericanStatisticalAssociation,2014,109(508):1466-1480.[3]AntoniakCE.MixturesofDirichletprocesseswithapplicationstoBayesiannonparametricproblems[J].Theannalsofstatistics,1974:1152-1174.[4]Antoniano-VillalobosI,WalkerSG.Anonparametricmodelforstationarytimeseries[J].JournalofTimeSeriesAnalysis,2016,37(1):126-142.[5]BassettiF,CasarinR,LeisenF.Beta-productdependentPitman–YorprocessesforBayesianinference[J].JournalofEconometrics,2014,180(1):49-72.[6]BassettiF,CrimaldiI,LeisenF.Conditionallyidenticallydistributedspeciessamplingsequences[J].Advancesinappliedprobability,2010,42(2):433-459.[7]BertiP,PratelliL,RigoP.Limittheoremsforaclassofidenticallydistributedrandomvariables[J].TheAnnalsofProbability,2004,32(3):2029-2052.[8]BlackwellD,MacQueenJB.FergusondistributionsviaPólyaurnschemes[J].Theannalsofstatistics,1973,1(2):353-355.[9]BlackwellD.DiscretenessofFergusonselections[J].TheAnnalsofStatistics,1973,1(2):356-358.[10]BleiDM,FrazierPI.DistanceDependentChineseRestaurantProcesses[J].JournalofMachineLearningResearch,2011,12(8).[11]BleiDM,JordanMI.VariationalinferenceforDirichletprocessmixtures[J].Bayesiananalysis,2006,1(1):121-143.[12]CasseseA,ZhuW,GuindaniM,etal.ABayesiannonparametricspikedprocesspriorfordynamicmodelselection[J].BayesianAnalysis,2019,14(2):553-572.[13]CifarelliD,RegazziniE.Problemistatisticinonparametriciincondizionidiscambiabilitaparzialeeimpiegodimedieassociative[R].Tech.rep.,QuaderniIstitutoMatematicaFinanziariadell’UniversitadiTorino,1978.[14]Cruz‐MesíaRD,QuintanaFA,MüllerP.SemiparametricBayesianclassificationwithlongitudinalmarkers[J].JournaloftheRoyalStatisticalSociety:SeriesC(AppliedStatistics),2007,56(2):119-137.[15]DeIorioM,JohnsonWO,MüllerP,